Riepilogo Tecnico: Reti Neurali a Grafo Robuste tramite Raffinamento delle Etichette Guidato dalle Comunità e Apprendimento Contrastivo Progressivo

1. Definizione del Problema

Le Reti Neurali a Grafo (GNN) sono altamente efficaci per la classificazione semi-supervisionata dei nodi, ma soffrono significativamente del rumore delle etichette (label noise). Il meccanismo di passaggio di messaggi (message-passing) inerente alle GNN causa la propagazione di supervisioni errate attraverso la struttura del grafo, contaminando le rappresentazioni dei nodi vicini e degradando la capacità di generalizzazione.

I metodi esistenti per le GNN robuste affrontano due limitazioni primarie:

1. Bias Locale: La maggior parte delle strategie di correzione delle etichette si basa pesantemente sull'omofilia locale (informazioni sui vicini) e trascura l'informazione strutturale globale. Ciò le rende suscettibili all'interferenza di segnali rumorosi locali in strutture di grafi complesse.
2. Instabilità dell'Apprendimento Contrastivo: Nell'apprendimento contrastivo su grafi, i segnali di supervisione rumorosi possono distorcere l'allineamento delle rappresentazioni. L'incorporazione diretta di etichette rumorose nelle prime fasi di addestramento può causare l'apprendimento di una supervisione errata, mentre il meccanismo di passaggio di messaggi facilita ulteriormente la diffusione del rumore.

Inoltre, sebbene le comunità nei dati di grafo spesso esibiscano una forte coerenza semantica (i nodi all'interno della stessa comunità tendono a condividere etichette simili), gli attuali metodi raramente elevano la mitigazione del rumore dal livello del nodo al livello della comunità.

2. Metodologia: CG-GNN

Gli autori propongono CG-GNN, un framework che integra il raffinamento delle etichette guidato dalle comunità con l'apprendimento contrastivo progressivo. L'architettura è composta da tre componenti principali:

A. Augmentation del Grafo e Ottimizzazione del Percorso di Propagazione

Per affrontare la scarsità delle etichette e la propagazione del rumore, il framework migliora innanzitutto la struttura del grafo e ottimizza i percorsi di propagazione:

• Augmentation del Grafo: I nodi non etichettati vengono collegati ai nodi etichettati in base alla somiglianza delle caratteristiche (similarità del coseno degli embedding GCN). Viene utilizzata una perdita di ricostruzione degli archi per ottimizzare questi pesi di associazione latente, creando una matrice di adiacenza aumentata $\hat{A}$.
• Rilevamento del Rumore: Una strategia a doppio encoder identifica i nodi rumorosi utilizzando due meccanismi:
  1. Basato sulla Perdita (Loss-based): Seleziona i nodi con perdite di addestramento ridotte (assumendo che le etichette pulite vengano apprese per prime).
  2. Basato sull'Omofilia (Homophily-based): Utilizza un meccanismo di voto di vicinato per rilevare i nodi le cui etichette contraddicono il consenso dei loro vicini.
     I nodi sono partizionati in sottoinsiemi puliti ($V_c$) e rumorosi ($V_n$) in base all'intersezione di questi due criteri.
• Potatura degli Archi (Edge Pruning): Per sopprimere la propagazione del rumore, gli archi collegati ai nodi identificati come rumorosi vengono dinamicamente potati. Questa decisione si basa su un punteggio di rischio del rumore che combina l'incertezza predittiva e l'incoerenza strutturale.

B. Correzione del Rumore Consapevole della Comunità

Inveve di correggere le etichette nodo per nodo, CG-GNN tratta le comunità (rilevate tramite l'algoritmo Louvain) come l'unità fondamentale per il raffinamento.

• Strategia Guidata dall'Entropia: Il framework calcola l'entropia dell'informazione della distribuzione delle etichette all'interno di ogni comunità.
  • Bassa Entropia (Alta Purezza): Le comunità con etichette coerenti ricevono una soglia di correzione più alta per preservare le informazioni affidabili.
  • Alta Entropia (Bassa Purezza): Le comunità con etichette eterogenee ricevono una soglia più bassa per facilitare la formazione di rappresentazioni semantiche coerenti.
• Correzione Adattiva:
  • Per le comunità grandi ($N_{cm} \ge N_{min}$), viene applicata una correzione basata sulla comunità: i nodi rumorosi vengono ricalibrati sull'etichetta di consenso della maggioranza della comunità se la loro somiglianza di rappresentazione con i nodi di consenso supera la soglia adattiva.
  • Per le comunità piccole, viene invece utilizzata una correzione basata sul vicinato per evitare l'instabilità dovuta a dati insufficienti.

C. Apprendimento Contrastivo a Stadi

Per sfruttare la semantica delle etichette senza essere corrotti dal rumore, viene impiegato uno schema di apprendimento contrastivo a due stadi:

1. Stadio Non Supervisionato (Warm-up): Nelle prime epoche di addestramento, il modello esegue l'apprendimento contrastivo non supervisionato. Allinea le rappresentazioni dello stesso nodo attraverso due viste (generate da encoder indipendenti) senza utilizzare le etichette. Ciò consente al modello di apprendere strutture topologiche robuste prima dell'esposizione a una supervisione potenzialmente rumorosa.
2. Stadio Supervisionato: Dopo il warm-up, il modello transita verso l'apprendimento contrastivo semantico supervisionato. Utilizza le etichette raffinate ad alta confidenza (provenienti dal modulo di correzione della comunità) per costruire coppie positive (stessa classe) e coppie negative (classi diverse), migliorando la compattezza intra-classe e la separabilità inter-classe.

D. Obiettivo Totale

Il modello è addestrato utilizzando una funzione di perdita multi-task:
$$L_{total} = \alpha \cdot L_{rec} + L_{pred} + \lambda \cdot L_{contrast}$$
Dove $L_{pred}$ è una perdita di predizione pesata che assegna pesi inferiori ai nodi rumorosi, $L_{rec}$ è la perdita di ricostruzione degli archi, e $L_{contrast}$ combina le perdite contrastive non supervisionate e supervisionate.

3. Contributi Chiave

1. Governance del Rumore a Livello di Comunità: Il documento introduce un metodo che eleva la gestione del rumore delle etichette dal livello del nodo al livello della comunità. Sfruttando la coerenza strutturale globale, esegue una correzione del rumore differenziata in base all'entropia e alla dimensione della comunità.
2. Apprendimento Contrastivo Progressivo: È stato progettato un framework di apprendimento a stadi per transitare dall'apprendimento strutturale non supervisionato all'apprendimento semantico supervisionato. Ciò mitiga la perturbazione causata dalle etichette rumorose durante le fasi critiche di ottimizzazione iniziale.
3. Soppressione del Rumore Strutturale: Viene introdotto un meccanismo di potatura degli archi per sopprimere attivamente i percorsi di propagazione del rumore a livello strutturale, limitando la diffusione di informazioni errate.
4. Validazione Empirica: Esperimenti estesi dimostrano che il framework supera costantemente i metodi allo stato dell'arte in varie configurazioni di rumore.

4. Risultati Sperimentali

Gli autori hanno valutato CG-GNN su quattro dataset benchmark: Cora, Citeseer, PubMed e Amazon Photo.

• Configurazioni di Rumore: Gli esperimenti sono stati condotti sotto Rumore Uniforme (inversione casuale delle etichette) e Rumore di Coppia (Pair Noise) (inversione verso classi semanticamente simili) con tassi di rumore fino al 40%.
• Baseline: Il metodo è stato confrontato con una GCN standard e nove baseline robuste, tra cui Co-teaching, GRACE, NRGNN, RTGNN, ERASE e GTA.
• Performance:
  • CG-GNN ha ottenuto la migliore o la seconda migliore accuratezza di classificazione in tutti i dataset e le configurazioni di rumore.
  • Ha dimostrato una stabilità superiore, in particolare in scenari con alti tassi di rumore e dati etichettati limitati (ad esempio, tasso di etichettatura dell'1% su PubMed e Photo).
  • Gli studi di ablazione hanno confermato che la rimozione di qualsiasi componente (Augmentation del Grafo/Potatura, Correzione del Rumore o Apprendimento Contrastivo) comportava una significativa degradazione delle prestazioni.
  • La visualizzazione (t-SNE) ha mostrato che CG-GNN produce embedding dei nodi con strutture di clustering più chiare e confini di classe più netti rispetto alle baseline, indicando una migliore preservazione della struttura semantica nonostante il rumore.

5. Significato e Rivendicazioni

Il documento afferma che CG-GNN colma l'importante lacuna nei metodi GNN robusti esistenti incorporando l'informazione strutturale globale (tramite le comunità) piuttosto che fare affidamento esclusivamente sull'omofilia locale. La significatività risiede nella sua capacità di:

• Mitigare la Propagazione del Rumore: Potando gli archi e raffinando le etichette a livello di comunità, il framework impedisce efficacementamente alla supervisione errata di contaminare l'intero grafo.
• Stabilizzare l'Addestramento: La strategia di apprendimento contrastivo progressivo assicura che il modello apprenda caratteristiche topologiche robuste prima di tentare di adattarsi alle etichette semantiche, prevenendo l'overfitting precoce al rumore.
• Generalizzare: Il framework mostra una forte robustezza attraverso diversi scali di grafi e tipi di rumore, rendendolo adatto ad applicazioni del mondo reale dove le annotazioni di alta qualità sono scarse e rumorose.

Gli autori concludono che, sebbene il metodo sia efficace, il lavoro futuro esplorerà l'estensione del framework per gestire scenari in cui si verificano simultaneamente sia il rumore delle etichette che il rumore strutturale.