ARMA-C3: A Contrastive ARMA Convolutional Framework for Unsupervised and Semi-supervised Classification

Sintesi Tecnica di ARMA-C3: Un Framework Convoluzionale ARMA Contrastivo

Enunciato del Problema

L'identificazione accurata e precoce dei disturbi neurodegenerativi e medici rimane una sfida a causa della scarsità di dati etichettati, della complessità dei pattern di imaging e delle modalità ad alta dimensionalità e rumorose (ad esempio, risonanza magnetica a diffusione, ultrasuoni, raggi X). Gli approcci tradizionali di machine learning spesso trattano i soggetti o le immagini come istanze indipendenti, ignorando informazioni relazionali cruciali e strutture a livello di soggetto che possono indicare la progressione della malattia. Inoltre, i metodi esistenti basati sulle Reti Neurali su Grafo (GNN) in contesti biomedici fanno prevalentemente affidamento sull'apprendimento supervisionato, richiedendo grandi quantità di dati etichettati costosi, oppure non riescono a sfruttare appieno le strutture dei dati sottostanti in regimi non supervisionati e semi-supervisionati. I metodi attuali basati su grafi spesso faticano a preservare simultaneamente le strutture di coorte a livello di comunità e a imporre rappresentazioni di soggetto invarianti all'aumento dei dati sotto una costruzione di grafo rumorosa.

Metodologia

Gli autori propongono ARMA-C3, un framework unificato di apprendimento su grafo non supervisionato e semi-supervisionato progettato per la classificazione dei nodi. Il framework integra tre componenti fondamentali: apprendimento contrastivo, Convoluzione ARMA (Media Mobile Auto-Regressiva) e regolarizzazione Graph-Cut.

1. Costruzione e Preprocessing del Grafo:

   • Estrazione delle Caratteristiche: Per i dataset di risonanza magnetica a diffusione (dMRI) (ADNI, NIFD), il metodo estrae mappe di Anisotropia Frazionata (FA), le registra su un atlante della sostanza bianca e costruisce descrittori basati su istogrammi da Regioni di Interesse (ROI) neuroanatomicamente rilevanti predefiniti. Per i dataset basati su immagini (BreastMNIST, PneumoniaMNIST, Ultrasuoni del Fegato), le caratteristiche vengono estratte utilizzando backbones pre-addestrati congelati (ViT-DINO per gli ultrasuoni, ResNet-18 per i raggi X) per evitare l'overfitting in regimi a bassa quantità di dati.
   • Formazione del Grafo: I soggetti sono modellati come nodi. Viene costruito un grafo a livello di soggetto in cui gli archi rappresentano la similarità inter-soggetto, calcolata tramite similarità coseno dei vettori di caratteristiche. Viene applicata una soglia $\alpha$ per sparsificare la matrice di adiacenza, agendo come un meccanismo implicito di denoising.

2. Componenti Architettonici:

   • Convoluzione ARMA: Il framework impiega reti neurali convoluzionali su grafo basate su ARMA. A differenza delle GCN standard, i livelli ARMA utilizzano stack di filtri ricorsivi per approssimare le convoluzioni spettrali su grafo. Ciò consente risposte in frequenza flessibili, un migliore controllo dell'oversquashing attraverso la raffinazione iterativa dei messaggi e la cattura di dipendenze sia locali che a lungo raggio nel grafo.
   • Regolarizzazione Strutturale (Graph-Cut/Modularità): Per prevenire il mescolamento delle caratteristiche e l'over-smoothing (dove gli embedding di cluster diversi si fondono), il modello incorpora la massimizzazione della modularità. Questo impone vincoli espliciti sugli assegnamenti di cluster soft, incoraggiando connessioni forti all'interno delle comunità e connessioni deboli tra di esse. Un regolarizzatore di bilanciamento previene il collasso di tutti i nodi in un singolo cluster.
   • Apprendimento Contrastivo (MERIT): Il framework adotta l'approccio della Rete Siamese Contrastiva Multi-scala (MERIT). Impone la coerenza attraverso multiple viste aumentate dello stesso grafo utilizzando un paradigma insegnante-studente (con un insegnante a Media Mobile Esponenziale). Ciò garantisce che le rappresentazioni apprese siano invarianti al rumore delle caratteristiche locali e alle perturbazioni strutturali globali.

3. Obiettivo di Ottimizzazione:
   Il modello viene addestrato ottimizzando congiuntamente una perdita di regolarizzazione strutturale ($L_{struct}$) e una perdita contrastiva ($L_{con}$). In contesti semi-supervisionati, viene aggiunta una perdita di cross-entropy supervisionata ($L_{sup}$) per i nodi etichettati. L'obiettivo totale è:
   $$L = L_{struct} + \lambda_{con} L_{con} \quad (\text{non supervisionato})$$
   $$L_{total} = \lambda_{con} L_{con} + L_{sup} + \lambda_{struct} L_{struct} \quad (\text{semi-supervisionato})$$

Contributi Chiave

1. Framework Unificato: Il documento introduce una nuova formulazione congiunta che ottimizza simultaneamente la regolarizzazione strutturale basata sulla modularità e la coerenza contrastiva multi-vista all'interno di un singolo obiettivo. Questo accoppiamento è dichiarato unico nel contesto dell'apprendimento su grafo di popolazioni biomediche, colmando il divario in cui i metodi precedenti trattavano questi componenti in modo indipendente.
2. Clustering Non Supervisionato Robusto: Il framework esegue un clustering a livello di nodi completamente non supervisionato senza fare affidamento su etichette diagnostiche. Scopre gruppi di soggetti stabili, consentendo una classificazione della malattia robusta in scenari reali caratterizzati da scarsità di etichette e grave squilibrio di classe.
3. Generalizzazione Cross-Modale: Il metodo dimostra una forte adattabilità attraverso modalità biomediche fondamentalmente diverse, inclusa la risonanza magnetica a diffusione (neuroimaging), ultrasuoni del seno, ultrasuoni del fegato e raggi X del torace.
4. Ingegneria delle Caratteristiche Cliniche: Per i dati dMRI, gli autori costruiscono una rappresentazione compatta utilizzando ROI informate clinicamente (ad esempio, corpo calloso, fornice) e distribuzioni FA basate su istogrammi, preservando informazioni microstrutturali sensibili alla malattia.

Risultati Sperimentali

Il framework è stato valutato su cinque dataset: ADNI (CN vs. MCI, CN vs. AD), NIFD (Demenza Frontotemporale), BreastMNIST, PneumoniaMNIST e un dataset di Ultrasuoni del Fegato.

• Prestazioni Non Supervisionate: ARMA-C3 ha ottenuto prestazioni competitive o superiori rispetto alle tecniche di clustering classiche (K-Means, SpectralNet), al clustering su grafo all'avanguardia (MAGI, TokenCut) e a backbones GNN standard (GCN, GAT). In particolare, ha ottenuto miglioramenti statisticamente significativi rispetto a MAGI su tutti i dataset (ad esempio, punteggio F1 di 0,786 contro 0,778 su CN vs. MCI; 0,841 contro 0,790 su BreastMNIST).
• Prestazioni Semi-Supervisionate: Utilizzando solo il 10% di dati etichettati, ARMA-C3 ha costantemente superato i classificatori tradizionali (SVC, Random Forest) e altri metodi semi-supervisionati basati su grafi (APPNP, JacobiConv). Ha mantenuto compromessi bilanciati tra precisione e richiamo, aspetto critico per lo screening delle malattie dove i falsi negativi sono costosi.
• Studi di Ablazione: Gli esperimenti hanno confermato che:
  • Una risoluzione più fine dei bin dell'istogramma (20 bin) è cruciale per distinguere sottili differenze microstrutturali nelle fasi iniziali della malattia.
  • La scelta del backbone delle caratteristiche è importante (ViT-DINO ha superato ResNet-18 sugli ultrasuoni, mentre ResNet-18 è stato leggermente migliore sui raggi X).
  • Soglie moderate di sparsificazione del grafo ($\alpha$) e pesi della perdita contrastiva ($\lambda_{con}$) offrono il miglior equilibrio tra preservazione strutturale e soppressione del rumore.
  • Gli embedding appresi preservano la geometria intrinseca dei dati anche sotto una riduzione aggressiva della dimensionalità (PCA), a differenza delle caratteristiche grezze.

Significato e Affermazioni

Il documento afferma che ARMA-C3 offre un framework unificato e clinicamente rilevante per l'analisi dei dati biomedici, in particolare in scenari in cui l'annotazione è costosa o i dati sono sbilanciati. Modellando le relazioni inter-soggetto e sfruttando il filtraggio spettrale con coerenza contrastiva, il metodo apprende rappresentazioni stabili, ben separate e robuste.

Gli autori posizionano ARMA-C3 come uno strumento di pre-screening efficiente in termini di etichette per le pipeline cliniche (ad esempio, studi di coorte dMRI, triage con ultrasuoni). Mira a ridurre il carico di annotazione manuale mantenendo una separazione significativa dei sottogruppi dal punto di vista diagnostico. La capacità del framework di generalizzare attraverso modalità di imaging eterogenee suggerisce il suo potenziale come strumento versatile per diversi compiti di imaging biomedico, superando i limiti degli approcci specifici per modalità o puramente supervisionati.

Limitazioni Riconosciute: Gli autori notano che il framework è sensibile agli iperparametri di costruzione del grafo (in particolare la soglia di sparsificazione $\alpha$), richiede un adattamento specifico per dataset e attualmente impiega una strategia di costruzione di grafo trasduttivo statica che necessita di ricostruzione quando vengono introdotti nuovi soggetti. Sono previsti lavori futuri per affrontare la modellazione multiclasse e l'apprendimento induttivo su grafo.