Résumé Technique : Les réseaux de neurones sur graphes hétérogènes sont-ils réellement efficaces pour la classification de nœuds ? Une perspective causale

1. Énoncé du problème

Bien que les réseaux de neurones sur graphes hétérogènes (HGNN) soient devenus un cadre dominant pour la classification de nœuds en intégrant diverses sémantiques de nœuds et d'arêtes, leur efficacité intrinsèque reste peu examinée. La littérature existante suppose souvent implicitement que les HGNN sont intrinsèquement supérieurs aux réseaux de neurones sur graphes (GNN) plus simples en raison de leur complexité architecturale ou de la simple présence d'informations hétérogènes. Cependant, des preuves empiriques antérieures suggèrent que les HGNN ne surpassent pas systématiquement les GNN plus simples sur les benchmarks hétérogènes, et des évaluations rigoureuses sur des graphes homogènes ont montré que les architectures classiques (par exemple, GCN) peuvent rivaliser avec des modèles de pointe complexes lorsqu'elles sont correctement ajustées.

Cette tension soulève une question fondamentale : Les HGNN sont-ils véritablement efficaces pour la classification de nœuds, et si oui, le gain de performance est-il piloté par l'architecture du modèle ou par l'information structurelle fournie par l'hétérogénéité ? De plus, si l'hétérogénéité est bénéfique, quels sont les mécanismes causaux sous-jacents qui stimulent cette amélioration ?

2. Méthodologie

Les auteurs proposent un audit causal systématique en trois étapes pour démêler les effets de l'architecture du modèle des effets de l'information hétérogène.

Étape 1 : Isoler les effets de l'architecture du modèle

Pour déterminer si la sophistication architecturale pilote la performance, les auteurs ont mené une étude de reproduction complète :

• Portée : 20 baselines de HGNN représentatives (couvrant les modèles basés sur les relations, les méta-chemins, hybrides et l'encodage de structure) ont été reproduites sur 21 jeux de données de graphes hétérogènes.
• Protocole : Tous les modèles ont été évalués sous un protocole unifié utilisant les implémentations officielles. Crucialement, les auteurs ont effectué un ajustement d'hyperparamètres extensif pour une baseline simple, le RGCN (Relational Graph Convolutional Network), sur tous les jeux de données.
• Comparaison : Les résultats du RGCN ajusté ont été comparés à la fois aux résultats rapportés originaux des HGNN complexes et aux résultats reproduits de ces mêmes modèles (avec un ajustement équivalent).

Étape 2 : Isoler les effets de l'information hétérogène

Avec l'architecture du modèle (RGCN) fixée, les auteurs ont étudié la contribution causale de l'information hétérogène elle-même :

• Conception expérimentale : Trois variantes de graphes ont été construites pour chaque jeu de données :
  1. Homo : Une projection homogène où tous les types de nœuds/arêtes sont fusionnés en une seule relation.
  2. Homo+Hete : Un graphe homogène augmenté de canaux de relations hétérogènes supplémentaires.
  3. Hete : Le graphe hétérogène brut original.
• Contrôle : Toutes les variantes ont été entraînées en utilisant l'identique backbone RGCN et la même stratégie de recherche d'hyperparamètres. Les différences de performance sont attribuées uniquement à la structure du graphe.

Étape 3 : Analyse de médiation causale

Pour expliquer pourquoi l'information hétérogène améliore la performance, les auteurs ont développé un cadre d'analyse de médiation causale :

• Traitement ($T$) : L'introduction de l'information de relation hétérogène (comparaison de $G_{Homo}$ vs $G_{Homo+Hete}$).
• Résultat ($Y$) : Performance de la classification de nœuds.
• Médiateurs ($M$) : Un ensemble de facteurs structurels candidats, incluant l'homophilie, la divergence de distribution locale-globale, le degré, la densité, la joignabilité (reachability), la diversité et la cohérence structurelle liée aux caractéristiques.
• Procédure :
  1. Filtrage : Les candidats ont été filtrés selon qu'ils étaient significativement affectés par le traitement ($T \to M$) et si leurs changements étaient fortement associés aux améliorations de performance ($M \to Y$).
  2. Décomposition : L'effet total a été décomposé en Effet de Médiation Causale Moyen (ACME) et en Effet Direct Moyen (ADE) pour quantifier la proportion de gains de performance expliquée par des facteurs structurels spécifiques.

3. Résultats clés

La complexité de l'architecture n'est pas le moteur

• Constats de reproduction : Après un ajustement systématique des hyperparamètres, le modèle simple RGCN a systématiquement surpassé la majorité des 20 baselines de HGNN complexes.
• Gains de performance : Dans de nombreux cas, le RGCN ajusté a dépassé les résultats initialement rapportés des HGANN avancés (par exemple, sur les jeux de données DBLP et ACM).
• Conclusion : L'architecture du modèle et sa complexité n'ont aucun effet causal sur la performance de la classification de nœuds. Les avantages observés des HGNN dans la littérature antérieure sont souvent attribuables à des procédures d'entraînement incohérentes ou à un ajustement insuffisant des baselines plus simples.

L'information hétérogène est causalement efficace

• Impact structurel : Sous un backbone RGCN fixe, l'introduction d'informations hétérogènes a systématiquement amélioré la performance de la classification de nœuds par rapport à la projection homogène ($Homo$).
• Mécanisme : Le gain de performance n'est pas simplement dû à une connectivité accrue (car $Homo+Hete$ a souvent sous-performé $Hete$), ce qui suggère que les sémantiques spécifiques aux relations fournissent des signaux structurels uniques.

Médiateurs causaux identifiés

L'analyse de médiation a identifié deux facteurs structurels primaires qui transmettent l'effet causal positif de l'hétérogénéité :

1. Homophilie ($H$) : L'information hétérogène augmente la cohérence des étiquettes au sein des voisinages locaux.
2. Divergence de distribution locale-globale ($D$) : L'information hétérogène rend les distributions de labels des voisinages locaux plus distinctes de la distribution globale des labels.

Résultats quantitatifs :

• L'homophilie a rendu compte de 48,3 % de l'amélioration totale de la performance (ACME = 0,028).
• La divergence local-global a rendu compte de 32,8 % de l'amélioration totale (ACME = 0,019).
• Effet conjoint : Ensemble, ces deux médiateurs expliquent 70,7 % de l'effet total, ce qui en fait les voies principales pour les gains de performance. D'autres facteurs comme le degré, la densité et la joignabilité ont montré des associations faibles ou incohérentes avec les améliorations de performance.

Tests de robustesse

• Structures randomisées : Des expériences avec des structures hétérogènes randomisées (préservant le nombre de paramètres mais détruisant l'organisation sémantique) ont montré que la performance variait considérablement, confirmant que le bénéfice provient de l'organisation structurelle spécifique des relations, et non de la simple capacité des paramètres.
• Graphes hétérophiles : Sur les jeux de données à faible homophilie, le RGCN ajusté a tout de même surpassé les baselines complexes, renforçant l'idée que l'efficacité provient de l'exploitation des signaux structurels plutôt que de la complexité architecturale.
• Benchmark unifié (HGB) : Sur le Heterogeneous Graph Benchmark (HGB), le RGCN a obtenu les performances les meilleures ou proches des meilleures sur plusieurs jeux de données, validant davantage que les architectures simples sont compétitives lorsqu'elles sont correctement ajustées.

4. Signification et contributions

L'article apporte trois contributions principales au domaine de l'apprentissage sur les graphes hétérogènes :

1. Benchmarking complet : Il présente l'étude de reproduction la plus étendue à ce jour, couvrant 20 baselines de HGNN sur 21 jeux de données sous un protocole d'évaluation unifié et rigoureusement ajusté.
2. Désenchevêtrement causal entre architecture et information : Il établit que l'architecture et la complexité du modèle n'influencent pas causalement la performance de la classification de nœuds. La supériorité perçue des HGNN complexes est largement un artefact d'un ajustement sous-optimal des baselines plus simples.
3. Explication mécaniste de l'hétérogénéité : Il identifie que la véritable valeur de l'information hétérogène réside dans sa capacité à remodeler la structure du graphe pour améliorer les signaux pertinents pour la classe. Plus précisément, l'information hétérogène améliore la performance en augmentant l'homophilie (cohérence des labels dans les voisinages) et la divergence de distribution local-global (distinguabilité des contextes locaux par rapport au préalable global).

5. Conclusion

Les auteurs concluent que pour la classification de nœuds, l'avantage des HGNN provient principalement de l'information structurelle portée par l'hétérogénéité plutôt que de la seule complexité du modèle. En séparant rigoureusement les effets architecturaux des effets informationnels, l'étude démontre que des modèles simples et bien ajustés comme le RGCN peuvent égaler ou dépasser des architectures complexes. L'analyse de médiation causale clarifie en outre que l'information hétérogène est efficace car elle organise la structure du graphe pour rendre les classes de nœuds plus distinguables, principalement par l'amélioration de l'homophilie et des différences de distribution local-global.