Résumé Technique : HADES – Distillation de Connaissance Adaptative Sensible à l'Hétérophilie pour les Réseaux de Neurones Hypergraphiques

Problématique

Les réseaux de neurones hypergraphiques (HNN - Hypergraph Neural Networks) ont démontré des performances supérieures aux réseaux de neurones sur graphes (GNN) conventionnels pour modéliser les relations d'ordre supérieur entre les entités. Cependant, cette puissance expressive entraîne des coûts de calcul élevés, ce qui entrave leur déploiement pratique. Pour y remédier, des études récentes ont exploré la distillation de connaissance par hypergraphe, transférant la connaissance d'un enseignant HNN puissant vers un étudiant MLP (Perceptron Multicouche) léger pour permettre une inférence plus rapide.

Une lacune critique dans les méthodes de distillation existantes est l'hypothèse selon laquelle la connaissance de l'enseignant est uniformément fiable pour tous les nœuds. Cet article identifie que les HNN présentent des performances prédictives nettement inférieures sur les nœuds hétérophiles (nœuds connectés à des voisins ayant des étiquettes de classe différentes via des hyperarêtes diverses) par rapport aux nœux homophiles. Par conséquent, transférer la connaissance de l'enseignant de manière indiscriminée à ces nœuds hétérophiles peut dégrader la performance de l'étudiant, car les prédictions de l'enseignant dans ces régions sont intrinsèquement moins fiables.

Méthodologie : HADES

Les auteurs proposent HADES (Heterophily-aware ADaptive diStillation), une méthode qui régule de manière adaptative le transfert de la connaissance de l'enseignant en fonction de la fiabilité estimée de cette connaissance pour chaque nœud spécifique.

1. Quantification de l'hétérophilie

HADES quantifie l'hétérophilie des nœuds pour servir de proxy à la fiabilité de l'enseignant. Contraっent de l'énumération simple de voisins, qui ne parvient pas à capturer les nuances structurelles des hypergraphes, HADES emploie un processus en deux étapes :

• Hétérophilie de l'hyperarête : L'hétérophilie d'une hyperarête est calculée comme l'entropie des étiquettes de classe de ses nœuds membres. Une entropie plus élevée indique une plus grande diversité de labels au sein de l'hyperarête.
• Hétérophilie du nœud : Le score d'hétérophilie d'un nœud est l'agrégation pondérée des scores d'hétérophilie de ses hyperarêtes incidentes.
  • Les auteurs proposent quatre stratégies de pondération pour agréger ces scores : Uniforme (poids égal), Pondérée (proportionnelle à la taille de l'hyperarête), Pondérée par Borne (limitant l'influence des hyperarêtes extrêmement grandes en utilisant le troisième quartile) et Pondérée par Logarithme (mise à l'échelle logarithmique).
  • La stratégie Uniforme est utilisée par défaut, bien que les expériences montrent que la stratégie Pondérée par Borne donne souvent des résultats supérieurs.

2. Mécanisme de distillation adaptative

HADES intègre cette quantification dans la fonction de perte de distillation. Pour chaque nœud $v$, un poids de fiabilité $r(v)$ est calculé :
$$r(v) = \exp(-\beta \cdot h(v))$$
où $h(v)$ est le score d'hétérophilie du nœud et $\beta$ est un hyperparamètre contrôlant la sensibilité à l'hétérophilie.

• Les nœuds homophiles (faible $h(v)$) reçoivent des poids de fiabilité élevés, contribuant davantage à la perte de distillation.
• Les nœuds hétérophiles (élevé $h(v)$) reçoivent des poids de fiabilité faibles, réduisant l'influence des prédictions potentiellement bruitées de l'enseignant.

La perte de distillation finale est une somme pondérée des pertes (logits, plongements/embeddings, ou les deux) sur tous les nœuds, normalisée par la somme des poids de fiabilité. Cette approche est agnostique au mécanisme de distillation spécifique (logits, embeddings ou conjoint) et à l'architecture HNN spécifique utilisée comme enseignant.

Principales Contributions

1. Observations : Les auteurs démontrent empiriquement que (i) l'hétérophilie des nœuds suit une distribution à longue traîne dans les hypergraphes du monde réel, et (ii) les enseignants HNN souffrent d'une dégradation substantielle des performances (chute d'environ 40 à 50 % de précision) sur les nœuds hautement hétérophiles, performant souvent moins bien qu'un simple MLP basé sur les caractéristiques.
2. Méthode : La proposition de HADES, un nouveau cadre de distillation qui quantifie l'hétérophilie des nœuds et module de manière adaptative le transfert de connaissances, garantissant que les signaux d'enseignants peu fiables provenant des nœuds hétérophiles sont pondérés à la baisse.
3. Évaluation : Expérimentations approfondies sur quatre jeux de données d'hypergraphes réels (Citeseer, Cora, Pubmed, DBLP) utilisant deux enseignants HNN différents (HGNN, UniGCN) et trois objectifs de distillation (Logit, Embedding, Joint).

Résultats Expérimentaux

• Amélioration des Performances : HADES améliore systématiquement la précision des modèles étudiants distillés sur tous les jeux de données, enseignants et types de distillation par rapport aux méthodes de base qui ne tiennent pas compte de l'hétérophilie. Les gains ont atteint jusqu'à 7,69 % par rapport à la référence.
• Dépassement de l'Enseignant : Dans de nombreuses configurations (particulièrement sous la distillation Logit et Joint), les étudiants entraînés par HADES ont surpassé leurs enseignants HNN, suggérant que le filtrage des connaissances non fiables de l'enseignant permet à l'étudiant d'apprendre une représentation plus robuste.
• Vitesse d'Inférence : Les étudiants MLP légers ont obtenu des temps d'inférence nettement plus rapides, avec des accélérations allant de 3,1× à 12,3× par rapport aux enseignants HNN. L'accélération a été la plus prononcée sur les hypergraphes plus larges où les coûts de calcul des HNN croissent exponentiellement.
• Sensibilité : La méthode s'est révélée robuste au paramètre $\beta$, surpassant systématiquement la référence sur une large gamme de valeurs, la performance optimale étant généralement observée autour de $\beta = 4 \sim 5$.

Signification

L'article affirme que HADES répond à une limitation fondamentale de la distillation par hypergraphe : l'hypothèse d'une fiabilité uniforme de l'enseignant. En modélisant explicitement la relation entre l'hétérophilie des nœuds et la fiabilité de la prédiction, HADES permet un transfert de connaissances plus efficace. La signification réside dans sa capacité non seulement à accélérer l'inférence, mais aussi à améliorer la précision prédictive au-delà du modèle enseignant dans des scénarios spécifiques, tout en restant agnostique au mécanisme de distillation sous-jacent ou à l'architecture de l'enseignant. Cela suggère que les futures stratégies de distillation pour les données relationnelles complexes devraient prioriser la fiabilité de la connaissance source plutôt que la quantité d'information transférée.