Résumé technique : Distillation Modèle-vers-Données (M2D) pour l'apprentissage de graphes transparents

1. Énoncé du problème

Les réseaux de neurones à graphes (GNN) ont atteint des performances de pointe dans des tâches telles que la classification de nœuds, la prédiction de liens et la classification de graphes. Cependant, à mesure que les architectures GNN deviennent plus complexes pour résoudre des problèmes tels que les biais, le lissage excessif et l'expressivité limitée, elles deviennent de plus en plus opaques. Cette « opacité épistémique » entrave l'adoption des GNN dans des contextes à haut risque et rend difficile la compréhension de la raison pour laquelle des architectures spécifiques (par exemple, les réseaux d'attention de graphes ou les transformateurs de graphes) surpassent des modèles plus simples (par exemple, les GCN) sur des jeux de données particuliers.

Les méthodes d'explicabilité existantes se concentrent principalement sur des explications au niveau de l'instance (attribuant des prédictions à des nœuds, des arêtes ou des caractéristiques spécifiques) ou sur des explications au niveau du modèle (identifiant des modèles globaux). Bien qu'utiles, ces méthodes ne parviennent pas à fournir une transparence architecturale. Elles n'expliquent pas l'écart de performance fondamental entre les modèles simples et complexes, ni ne matérialisent les mécanismes spécifiques (tels que les objectifs d'équité ou l'agrégation basée sur l'attention) qui permettent à un modèle complexe de réussir. Les auteurs soutiennent que si ces avantages architecturaux pouvaient être « matérialisés » en augmentations de données statiques, les humains pourraient auditer la logique du modèle directement dans l'espace des données.

2. Méthodologie : Distillation Modèle-vers-Données (M2D)

L'article introduit la distillation Modèle-vers-Données (M2D), un cadre qui déplace la complexité de l'espace du modèle vers l'espace des données. Au lieu de compresser un modèle enseignant complexe en un modèle étudiant plus simple via la distillation de connaissances standard, M2D distille le comportement de l'enseignant dans un graphe augmenté ($\tilde{G}$). Ce graphe augmenté contient des caractéristiques de nœuds enrichies et des poids d'adjacence modifiés, permettant à un modèle étudiant léger ($m$) d'égaler les performances du modèle enseignant complexe ($M$).

2.1 Formulation du problème

Étant donné un graphe non orienté $G = (V, E, X)$ et un modèle enseignant $f_T$ avec des paramètres $\theta_T$, M2D apprend une transformation $f_g$ avec des paramètres $\theta_g$ qui enrichit les données originales pour produire $\tilde{G} = (V, \tilde{E}, \tilde{X})$. Un modèle étudiant $f_s$ avec moins de paramètres ($|\theta_s| < |\theta_T|$) est ensuite entraîné sur $\tilde{G}$.

L'objectif d'optimisation conjointe est :
$$\min_{\theta_g, \theta_s} \mathcal{L}_{dis}(f_T(G), f_s(\tilde{G})) + \mathcal{L}_{cls}(f_s(\tilde{G}), y) - \mathcal{S}(G, \tilde{G})$$
Où :

• $\mathcal{L}_{dis}$ : Perte de distillation (divergence KL) alignant les sorties de l'étudiant sur les logits de l'enseignant.
• $\mathcal{L}_{cls}$ : Perte de classification entre les sorties de l'étudiant et la vérité terrain.
• $\mathcal{S}(G, \tilde{G})$ : Une fonction de similarité assurant que le graphe augmenté reste proche de l'original, empêchant une modification excessive des données.

2.2 Le cadre M2D

Le processus d'apprentissage alterne entre la mise à jour de la structure/les caractéristiques du graphe et la mise à jour des plongements de l'étudiant. La transformation $f_g$ est décomposée en deux composants apprenables :

1. Apprenant de caractéristiques ($f_\phi$) : Génère de nouvelles caractéristiques de nœuds $Z$ basées sur les plongements actuels de l'étudiant. La nouvelle matrice de caractéristiques est $\tilde{X} = [X \parallel Z]$.
2. Apprenant de structure ($f_a$) : Prédit de nouveaux poids d'adjacence $W$ basés sur les plongements de paires de nœuds. La matrice d'adjacence finale $\tilde{A}$ est une combinaison de l'adjacence originale $A$, des poids appris $W$ et d'un terme basé sur la similarité $s(x_u, x_v)$, contrôlé par des hyperparamètres $\gamma$ et $\beta$.

2.3 Objectifs d'entraînement et régularisation

L'entraînement implique l'optimisation séparée des paramètres de l'étudiant ($\Theta_s$) et des paramètres d'augmentation du graphe ($\Theta_g$) :

• Optimisation de l'étudiant : Minimise une somme pondérée de la perte de classification ($\mathcal{L}_{cls}$) et de la perte de distillation ($\mathcal{L}_{dis}$).
• Optimisation de l'augmentation de graphe : Minimise les mêmes pertes supervisées plus deux termes de régularisation :
  • Diversité des caractéristiques ($\mathcal{L}_{div}$) : Pénalise les corrélations entre les nouvelles caractéristiques générées et les caractéristiques existantes pour s'assurer qu'elles capturent des informations complémentaires.
  • Régularisation du graphe ($\mathcal{L}_{graph}$) : Impose la parcimonie sur la matrice d'adjacence apprise et pénalise les nœuds de degré zéro pour maintenir le graphe augmenté proche de la topologie originale.

3. Analyse théorique

L'article fournit des garanties théoriques concernant la transparence des caractéristiques apprises :

• Théorème 1 : Si le modèle enseignant satisfait la parité démographique (équité) par rapport à un attribut sensible, M2D peut apprendre des caractéristiques qui satisfont également cette indépendance, transférant ainsi efficacement les mécanismes d'équité dans les données.
• Théorème 2 : Pour les enseignants utilisant des mécanismes d'attention (comme GAT ou les transformateurs de graphes), les caractéristiques apprises dans le modèle étudiant encodent l'agrégation de voisinage pondérée par l'attention de l'enseignant.
• Corollaire 1 : Dans les graphes homophiles, des poids d'attention plus élevés chez l'enseignant correspondent à une plus grande similarité dans l'espace de caractéristiques distillé, prouvant que l'augmentation de données capture le mécanisme d'attention.

4. Résultats expérimentaux

Les auteurs ont évalué M2D sur trois fronts principaux : les GNN équitables, les réseaux d'attention de graphes (GAT) et les transformateurs de graphes (GT).

4.1 Transparence de l'équité

En utilisant FairGNN, FairVGNN et NIFTY comme enseignants et un GCN standard comme étudiant :

• Performance : Les variantes distillées par M2D ont constamment atteint des niveaux de précision et d'équité comparables à ceux des enseignants complexes.
• Analyse des mécanismes : Sur le jeu de données de crédit allemand, les auteurs ont visualisé les caractéristiques et la structure apprises. Les caractéristiques apprises ont montré une séparation claire des classes tout en mélangeant les attributs sensibles (genre), et la structure apprise a supprimé ou affaibli les arêtes biaisées (par exemple, les connexions entre des nœuds masculins avec des étiquettes contradictoires) tout en renforçant les arêtes non biaisées. Cela a démontré que M2D a réussi à matérialiser les contraintes d'équité dans la topologie du graphe et les caractéristiques.

4.2 Transparence architecturale (GAT et GT)

Comparaison des GAT et des transformateurs de graphes par rapport aux étudiants GCN et MLP :

• Performance : M2D a considérablement amélioré la performance des étudiants par rapport à l'entraînement vanilla et à la distillation de connaissances standard. Dans de nombreux cas (par exemple, Cora, Citeseer), le simple étudiant GCN avec M2D a égalé ou dépassé la précision de l'enseignant.
• Alignement de l'attention : L'analyse des caractéristiques apprises a montré une forte corrélation positive entre la similarité des caractéristiques et les poids d'attention de l'enseignant sur les jeux de données homophiles.
• Repondération des arêtes : Les visualisations sur le jeu de données Cora ont montré que les poids d'arêtes normalisés par ligne appris par M2D approximaient étroitement les coefficients d'attention GAT (corrélation de Pearson = 0,84), traduisant efficacement le mécanisme d'attention complexe en poids d'arêtes statiques.

4.3 Limites observées

• Hétérophilie : Sur les jeux de données hétérophiles (Cornell, Texas), l'alignement entre les caractéristiques apprises et l'attention était plus faible, et la précision de la distillation était inférieure.
• Qualité de l'enseignant : Lorsque le modèle enseignant performait moins bien qu'une base simple (par exemple, MLP sur des jeux de données hétérophiles), M2D transférait cette connaissance sous-optimale, entraînant une dégradation des performances.

5. Contributions clés et signification

L'article revendique les contributions suivantes :

1. Cadre : Introduction de M2D comme cadre général pour échanger la complexité du modèle et des données, le positionnant dans une région distincte de l'espace de conception modèle-données (déplacement diagonal) par rapport à la distillation de connaissances traditionnelle (verticale) ou à la distillation de données (horizontale).
2. Implémentation : Un cadre itératif utilisant l'apprentissage de caractéristiques et de structure avec une optimisation multi-objectifs pour distiller les comportements complexes des GNN dans des graphes augmentés.
3. Transparence : Preuves empiriques que M2D améliore la transparence en révélant les mécanismes sous-jacents. Plus précisément, il permet aux humains d'inspecter comment un modèle équitable atténue les biais (via des suppressions d'arêtes spécifiques ou des modifications de caractéristiques) et pourquoi les modèles basés sur l'attention surpassent les modèles convolutifs (via des poids d'arêtes appris qui imitent l'attention).

Signification :
Les auteurs soutiennent que M2D déplace le fardeau de la complexité du modèle « boîte noire » vers les données « boîte blanche ». En matérialisant les avantages architecturaux et les contraintes d'équité dans la structure et les caractéristiques du graphe, M2D permet un audit direct de la logique du modèle par les humains. Ceci est particulièrement critique pour les applications à haut risque où comprendre la raison d'une décision du modèle (par exemple, « cette arête a été supprimée pour prévenir le biais ») est aussi important que la prédiction elle-même. L'article conclut que si M2D ne garantit pas l'équité ni ne résout tous les problèmes de biais, il fournit un outil puissant pour rendre l'apprentissage de graphes complexe plus interprétable et auditable.