Résumé technique : Les caractéristiques des LLM peuvent nuire aux GNN

Énoncé du problème

Alors que la littérature récente rapporte largement que l'intégration de caractéristiques de nœuds générées par des modèles de langage de grande taille (LLM) améliore la précision sur les benchmarks standards (par exemple, TAPE, GLEM), cet article identifie un mode d'échec contrasté. Spécifiquement, lorsque les caractéristiques des LLM sont introduites via une pure concaténation d'entrée — sans entraînement conjoint, de distillation ou de conditionnement par prompt — elles peuvent systématiquement dégrader les performances sur les benchmarks homophiles où les pipelines de LLM de bout en bout réussissent généralement.

Les auteurs isolent la sous-étape de la « pure concaténation » pour démontrer que, sous des conditions spécifiques (notamment des contextes à faible échantillonnage et à haute dimensionnalité), l'ajout de caractéristiques de LLM agit comme une source d'interférence plutôt que de signal, entraînant des chutes de précision significatives.

Méthodologie

L'étude emploie un design expérimental rigoureux à travers neuf jeux de données de classification de nœuds (couvrant des niveaux d'homophilie $h \in [0.05, 0.81]$) pour isoler les effets des caractéristiques de LLM.

• Configuration expérimentale :

  • Caractéristiques : Les caractéristiques originales ($F_{orig}$, ex: BoW, Word2Vec) sont concaténées avec les caractéristiques générées par LLM ($F_{LLM}$, explications TAPE encodées par SBERT via GPT-4o-mini).
  • Backbones : Les expériences utilisent un backbone MLP (principal) et des backbones GCN/GCNII/GAT (secondaires) pour tester la dépendance architecturale.
  • Splits : Les résultats primaires utilisent le split public standard de Planetoid (régime à faibles étiquettes : 60–140 étiquettes d'entraînement), des splits aléatoires étant utilisés pour vérifier la dépendance au régime.
  • Métriques : La métrique centrale est $\Delta_{concat}$, la différence de précision de test entre $F_{orig} \parallel F_{LLM}$ et $F_{orig}$ seul.

• Cadres analytiques :

  • Contraste direct : Comparaison de coalitions spécifiques (ex: $\{F_{orig}, F_{LLM}\}$ vs $\{F_{orig}\}$) pour éviter de diluer les effets d'interférence.
  • Décomposition de Shapley : Une décomposition à 4 facteurs (Structure, $F_{orig}$, $F_{LLM}$, Profondeur) sur 12 coalitions effectives pour attribuer les contributions marginales, en reconnaissant que la moyenne peut masquer des modes d'échec spécifiques.
  • Études d'ablation : Expériences contrôlées remplaçant $F_{LLM}$ par des zéros, des projections PCA de $F_{orig}$, ou du bruit gaussien pour distinguer les pénalités de dimensionnalité, les artefacts de décroissance de poids ou les effets de contenu informationnel.
  • Analyse de mise à l'échelle (Scaling) : Ajustement d'un profil de loi de puissance à la relation entre le coût de concaténation et le ratio de la dimension des caractéristiques par rapport aux échantillons ($\sqrt{d_l/n}$).

Contributions clés et résultats

F1 : Le régime d'interférence

Dans le régime à faibles étiquettes et haute dimensionnalité (spécifiquement le split public de Planetoid), la pure concaténation des caractéristiques de LLM dégrade les performances.

• Observation : Sur PubMed, l'ajout de caractéristiques de LLM fait chuter la précision du MLP de $-17,0 \pm 0,3$ points de pourcentage (pp). Cora chute de $-4,3 \pm 0,6$ pp. CiteSeer montre une chute négligeable dans le bruit.
• Mécanisme : Il ne s'agit pas d'une « malédiction de la dimensionnalité » générique. L'ablation montre que si le bruit gaussien pur cause une chute de $-37,3$ pp, les vraies caractéristiques de LLM causent une chute de $-17,0$ pp. Les caractéristiques de LLM fournissent un « sauvetage de contenu » d'environ 20 pp par rapport au bruit pur, mais le résultat net reste une pénalité significative due au surapprentissage dans le régime à faible échantillonnage.
• Dépendance au régime : Lorsque l'on utilise des splits aléatoires plus larges (50/25/25), l'ampleur de la chute se comprime à $\le 1,2$ pp, confirmant que le problème est piloté par le surapprentissage dû au faible échantillonnage plutôt que par des défauts de contenu intrinsèques.

F2 : Seuil prédictif via la discriminabilité LLM-seul

Le papier propose $\Delta_{sig}$ (l'écart de précision d'un MLP entraîné uniquement sur $F_{LLM}$ par rapport au bruit aléatoire) comme prédicteur du succès de la concaténation.

• Règle de seuil : Un point de rupture dérivé par bootstrap $\tau = 13,8$ pp sépare les régimes.
  • Si $\Delta_{sig} \le \tau$ : Le coût de concaténation est non-positif (susceptible de nuire).
  • Si $\Delta_{sig} > \tau$ : Le coût de concaténation est positif (susceptible d'aider).
• Performance : Cette règle classifie correctement 7/9 jeux de données.
• Comparaison avec l'homophilie : L'homophilie ($h$) est un mauvais prédicteur ($r^2 = 0,06$), tandis que $\Delta_{sig}$ est corrélé de manière bien plus significative ($r^2 = 0,38$).

F3 : Isolation du mécanisme

À travers des ablations sur PubMed, les auteurs écartent les hypothèses alternatives :

• Dimensionnalité : Remplacer les caractéristiques de LLM par des zéros de même dimension ne cause aucune dégradation ($+0,1$ pp), écartant un simple décalage de dimension.
• Auto-information : Remplacer par la PCA des caractéristiques originales ne cause qu'une légère interférence ($-2,3$ pp).
• Régularisation : Diviser la décroissance de poids par deux ne change pas la chute, écartant les artefacts de la décroissance de poids.
• Conclusion : La chute de $-17$ pp est spécifique au contenu informationnel des caractéristiques de LLM interagissant avec la contrainte de l'échantillon fini.

F4 : Contexte de la décomposition de Shapley

Bien que la concaténation directe montre des effets négatifs, une décomposition de Shapley à 4 facteurs montre que $F_{LLM}$ a une contribution positive (mais faible) sur les jeux de données hétérophiles. Cela souligne que le « succès » global rapporté dans les benchmarks précédents repose souvent sur un entraînement conjoint ou des modules de sélection qui atténuent le coût brut de la concaténation.

F5 : Loi de mise à l'échelle (Scaling Law)

Le coût de concaténation suit une mise à l'échelle en loi de puissance par rapport au ratio de la dimension des caractéristiques par rapport aux étiquettes d'entraînement :
$$|\Delta_{concat}| \propto \left(\sqrt{\frac{d_l}{n}}\right)^{1,31}$$
Ce profil ($r^2 = 0,97$) explique la chute de $-17$ pp à $n=60$ et prédit l'atténuation du coût à mesure que $n$ augmente (par exemple, tombant à $<1$ pp à $n \approx 10^4$).

Stratégies de remédiation

Le papier évalue des « correctifs peu coûteux » pour le régime à faible $\Delta_{sig}$ :

1. Supprimer $F_{LLM}$ : La solution la plus efficace. Supprimer entièrement le canal LLM restaure la précision de base ($72,1\%$), dominant strictement tous les correctifs appris.
2. Porte scalaire apprenable (Learnable Scalar Gate) : Une porte scalaire apprenable $g$ appliquée à $F_{LLM}$ (initialisée à 0) récupère 89 % de l'écart. Cependant, elle sous-performe toujours la base de référence « suppression » d'environ 1,8 pp ($p \approx 0,008$).
   • Recommandation : Utiliser la porte uniquement lorsque les pipelines en aval nécessitent structurellement la présence du canal LLM (ex: entrées multi-tâches partagées). Sinon, supprimer le canal est supérieur.

Signification et affirmations

Le papier ne prétend pas que les caractéristiques LLM sont universellement nuisibles. Au lieu de cela, il caractérise un régime spécifique où la méthode d'intégration la plus simple (pure concaténation) produit l'effet inverse.

• Réconciliation avec les travaux antérieurs : Les résultats ne contredisent pas les benchmarks agrégés (ex: Wu et al. [5]) qui rapportent des gains. Ces gains sont attribués à l'entraînement conjoint, à l'EM variationnel ou aux modules de fusion par porte (comme vu dans TAPE, GLEM) qui fournissent le biais inductif nécessaire pour prévenir l'interférence observée dans la pure concaténation.
• Conseils pratiques :
  • Les praticiens devraient effectuer des tests A/B entre $F_{orig}$-seul et $F_{orig} \parallel F_{LLM}$ avant l'adoption.
  • $\Delta_{sig}$ sert de lentille interprétative pour le régime (aide ou nuit) plutôt que de filtre A/B précis, car sa mesure nécessite un calcul similaire au test A/B lui-même.
  • Dans les régimes à faible $\Delta_{sig}$ et faible nombre d'étiquettes, le « correctif trivial » consistant à supprimer les caractéristiques LLM est souvent la stratégie optimale.

Le papier conclut que le « changement de signe » de bénéfique à nuisible est piloté par le choix de conception spécifique de la pure concaténation dans les contextes à faible échantillonnage, et que le succès global des GNN enrichis par LLM repose sur des échafaudages d'intégration plus sophistiqués qui atténuent cette interférence spécifique.