Riepilogo Tecnico: Distillazione Modello-Dati (M2D) per l'Apprendimento su Grafi Trasparente

1. Enunciazione del Problema

Le Reti Neurali su Grafi (GNN) hanno raggiunto prestazioni all'avanguardia in compiti come la classificazione dei nodi, la previsione dei collegamenti e la classificazione dei grafi. Tuttavia, man mano che le architetture GNN diventano più complesse per affrontare problemi come il bias, l'over-smoothing e la limitata espressività, esse diventano progressivamente opache. Questa "opacità epistemica" ostacola l'adozione delle GNN in contesti ad alto rischio e rende difficile comprendere perché architetture specifiche (ad esempio, Graph Attention Networks o Graph Transformers) superino modelli più semplici (ad esempio, GCN) su dataset specifici.

I metodi esistenti di spiegabilità si concentrano principalmente su spiegazioni a livello di istanza (attribuire le previsioni a nodi, archi o caratteristiche specifici) o su spiegazioni a livello di modello (identificare pattern globali). Sebbene utili, questi metodi non forniscono trasparenza architetturale. Non spiegano il divario fondamentale di prestazioni tra modelli semplici e complessi né concretizzano i meccanismi specifici (come obiettivi di equità o aggregazione basata sull'attenzione) che permettono a un modello complesso di avere successo. Gli autori sostengono che, se questi vantaggi architetturali potessero essere "concretizzati" in aumentazioni statiche dei dati, gli esseri umani potrebbero auditare la logica del modello direttamente nello spazio dei dati.

2. Metodologia: Distillazione Modello-Dati (M2D)

Il documento introduce la distillazione Modello-Dati (M2D), un framework che sposta la complessità dallo spazio del modello allo spazio dei dati. Invece di comprimere un modello insegnante complesso in un modello studente più semplice tramite la distillazione della conoscenza standard, la M2D distilla il comportamento dell'insegnante in un grafo aumentato ($\tilde{G}$). Questo grafo aumentato contiene caratteristiche dei nodi arricchite e pesi di adiacenza modificati, permettendo a un modello studente leggero ($m$) di eguagliare le prestazioni del modello insegnante complesso ($M$).

2.1 Formulazione del Problema

Dato un grafo non diretto $G = (V, E, X)$ e un modello insegnante $f_T$ con parametri $\theta_T$, la M2D apprende una trasformazione $f_g$ con parametri $\theta_g$ che arricchisce i dati originali per produrre $\tilde{G} = (V, \tilde{E}, \tilde{X})$. Un modello studente $f_s$ con meno parametri ($|\theta_s| < |\theta_T|$) viene quindi addestrato su $\tilde{G}$.

L'obiettivo di ottimizzazione congiunta è:
$$\min_{\theta_g, \theta_s} \mathcal{L}_{dis}(f_T(G), f_s(\tilde{G})) + \mathcal{L}_{cls}(f_s(\tilde{G}), y) - \mathcal{S}(G, \tilde{G})$$
Dove:

• $\mathcal{L}_{dis}$: Perdita di distillazione (divergenza KL) che allinea le uscite dello studente con i logit dell'insegnante.
• $\mathcal{L}_{cls}$: Perdita di classificazione tra le uscite dello studente e la verità fondamentale.
• $\mathcal{S}(G, \tilde{G})$: Una funzione di similarità che garantisce che il grafo aumentato rimanga vicino all'originale, prevenendo modifiche eccessive dei dati.

2.2 Il Framework M2D

Il processo di apprendimento alterna l'aggiornamento della struttura/caratteristiche del grafo e l'aggiornamento degli embedding dello studente. La trasformazione $f_g$ è scomposta in due componenti apprendibili:

1. Apprenditore di Caratteristiche ($f_\phi$): Genera nuove caratteristiche dei nodi $Z$ basate sugli embedding correnti dello studente. La nuova matrice delle caratteristiche è $\tilde{X} = [X \parallel Z]$.
2. Apprenditore di Struttura ($f_a$): Prevede nuovi pesi di adiacenza $W$ basati sugli embedding a coppie dei nodi. La matrice di adiacenza finale $\tilde{A}$ è una combinazione dell'adiacenza originale $A$, dei pesi appresi $W$ e di un termine basato sulla similarità $s(x_u, x_v)$, controllato dagli iperparametri $\gamma$ e $\beta$.

2.3 Obiettivi di Addestramento e Regularizzazione

L'addestramento comporta l'ottimizzazione separata dei parametri dello studente ($\Theta_s$) e dei parametri di aumentazione del grafo ($\Theta_g$):

• Ottimizzazione dello Studente: Minimizza una somma ponderata della perdita di classificazione ($\mathcal{L}_{cls}$) e della perdita di distillazione ($\mathcal{L}_{dis}$).
• Ottimizzazione dell'Aumentazione del Grafo: Minimizza le stesse perdite supervisionate più due termini di regolarizzazione:
  • Diversità delle Caratteristiche ($\mathcal{L}_{div}$): Penalizza le correlazioni tra le nuove caratteristiche generate e le caratteristiche esistenti per garantire che catturino informazioni complementari.
  • Regolarizzazione del Grafo ($\mathcal{L}_{graph}$): Impone la sparsità sulla matrice di adiacenza appresa e penalizza i nodi di grado zero per mantenere il grafo aumentato vicino alla topologia originale.

3. Analisi Teorica

Il documento fornisce garanzie teoriche riguardo alla trasparenza delle caratteristiche apprese:

• Teorema 1: Se il modello insegnante soddisfa la parità demografica (equità) rispetto a un attributo sensibile, la M2D può apprendere caratteristiche che soddisfano anch'esse questa indipendenza, trasferendo efficacemente i meccanismi di equità nei dati.
• Teorema 2: Per gli insegnanti che utilizzano meccanismi di attenzione (come GAT o Graph Transformers), le caratteristiche apprese nel modello studente codificano l'aggregazione del vicinato ponderata dall'attenzione dell'insegnante.
• Corollario 1: Nei grafi omofili, pesi di attenzione più alti nell'insegnante corrispondono a una maggiore similarità nello spazio delle caratteristiche distillate, dimostrando che l'aumentazione dei dati cattura il meccanismo di attenzione.

4. Risultati Sperimentali

Gli autori hanno valutato la M2D su tre fronti principali: GNN Equi, Graph Attention Networks (GAT) e Graph Transformers (GT).

4.1 Trasparenza dell'Equità

Utilizzando FairGNN, FairVGNN e NIFTY come insegnanti e una GCN standard come studente:

• Prestazioni: Le varianti distillate con M2D hanno raggiunto costantemente livelli di accuratezza ed equità comparabili a quelli degli insegnanti complessi.
• Analisi del Meccanismo: Sul dataset del credito tedesco, gli autori hanno visualizzato le caratteristiche e la struttura apprese. Le caratteristiche apprese mostravano una chiara separazione delle classi mescolando gli attributi sensibili (genere), e la struttura appresa rimuoveva o indeboliva gli archi distorti (ad esempio, connessioni tra nodi maschili con etichette conflittuali) rafforzando al contempo quelli non distorti. Ciò ha dimostrato che la M2D ha concretizzato con successo i vincoli di equità nella topologia e nelle caratteristiche del grafo.

4.2 Trasparenza Architetturale (GAT e GT)

Confrontando GAT e Graph Transformers rispetto a studenti GCN e MLP:

• Prestazioni: La M2D ha migliorato significativamente le prestazioni dello studente rispetto all'addestramento vanilla e alla distillazione della conoscenza standard. In molti casi (ad esempio, Cora, Citeseer), il semplice studente GCN con M2D ha eguagliato o superato l'accuratezza dell'insegnante.
• Allineamento dell'Attenzione: L'analisi delle caratteristiche apprese ha mostrato una forte correlazione positiva tra la similarità delle caratteristiche e i pesi di attenzione dell'insegnante nei dataset omofili.
• Ripesatura degli Archi: Le visualizzazioni sul dataset Cora hanno mostrato che i pesi degli archi normalizzati per riga appresi dalla M2D approssimavano da vicino i coefficienti di attenzione GAT (correlazione di Pearson = 0,84), traducendo efficacemente il complesso meccanismo di attenzione in pesi di archi statici.

4.3 Limitazioni Osservate

• Eterofilia: Su dataset eterofili (Cornell, Texas), l'allineamento tra caratteristiche apprese e attenzione era più debole e l'accuratezza della distillazione era inferiore.
• Qualità dell'Insegnante: Quando il modello insegnante performava peggio di una baseline semplice (ad esempio, MLP su dataset eterofili), la M2D trasferiva questa conoscenza subottimale, portando a un degrado delle prestazioni.

5. Contributi Chiave e Significato

Il documento rivendica i seguenti contributi:

1. Framework: Introduzione della M2D come framework generale per scambiare la complessità del modello e dei dati, posizionandola in una regione distinta dello spazio di progettazione modello-dati (spostamento diagonale) rispetto alla tradizionale Distillazione della Conoscenza (verticale) o alla Distillazione dei Dati (orizzontale).
2. Implementazione: Un framework iterativo che utilizza l'apprendimento di caratteristiche e struttura con ottimizzazione multi-obiettivo per distillare comportamenti GNN complessi in grafi aumentati.
3. Trasparenza: Evidenza empirica che la M2D migliora la trasparenza rivelando i meccanismi sottostanti. Nello specifico, permette agli esseri umani di ispezionare come un modello equo mitiga il bias (tramite rimozioni specifiche di archi o modifiche delle caratteristiche) e perché i modelli basati sull'attenzione superano quelli convoluzionali (tramite pesi di archi appresi che mimano l'attenzione).

Significato:
Gli autori sostengono che la M2D sposta il peso della complessità dal modello "scatola nera" ai dati "scatola bianca". Concretizzando i vantaggi architetturali e i vincoli di equità nella struttura e nelle caratteristiche del grafo, la M2D consente un audit diretto della logica del modello da parte degli esseri umani. Questo è particolarmente critico per le applicazioni ad alto rischio in cui comprendere il motivo di una decisione del modello (ad esempio, "questo arco è stato rimosso per prevenire il bias") è importante quanto la previsione stessa. Il documento conclude che, sebbene la M2D non garantisca l'equità o risolva tutti i problemi di bias, fornisce uno strumento potente per rendere l'apprendimento su grafi complesso più interpretabile e auditabile.