How to Make LMs Strong Node Classifiers?

Résumé Technique : AUGLM – Modèle de Langage de Graphe Augmenté pour la Classification de Nœuds

Énoncé du Problème
Bien que les modèles de langage (LM) aient montré un potentiel certain dans les tâches d'apprentissage sur les graphes, les approches existantes pour la classification de nœuds sur les graphes à attributs textuels (TAG) sont confrontées à un compromis fondamental entre performance et flexibilité architecturale. Les méthodes de l'état de l'art (SOTA) telles qu'InstructGLM et LLaGA obtiennent des résultats probants en modifiant l'architecture du LM — spécifiquement en élargissant le vocabulaire avec des jetons uniques pour chaque nœud ou en injectant des plongements (embeddings) sensibles à la topologie dans l'espace des jetons. Bien qu'efficaces, ces modifications compromettent la généralité du LM de base, empêissant un apprentissage multitâche fluide sur divers jeux de données et restreignant l'utilisation de modèles propriétaires ou à code source fermé où l'accès à l'architecture est indisponible. La question centrale abordée par ce travail est la suivante : Comment des modèles de langage (LM) de type texte-vers-texte prêts à l'emploi peuvent-ils atteindre une performance de classification de nœuds compétitive sans aucune modification architecturale ?

Méthodologie : AUGLM
Les auteurs proposent AUGLM (Augmented Graph Language Model), un cadre qui améliore les LM standards par des stratégies d'augmentation de données plutôt que par des changements architecturaux. AUGLM reformule la classification de nœuds comme une tâche de texte-vers-texte, préservant la structure originale du LM tout en enrichissant le contexte d'entrée. Le cadre repose sur trois composantes fondamentales :

1. Agrégation basée sur la Récupération (Retrieval-Based Aggregation) :
   Au lieu de s'appuyer sur une simple agrégation de voisins multi-sauts (qui peut introduire du bruit ou causer une « explosion de voisins »), AUGLM emploie deux stratégies de récupération complémentaires pour fournir un contexte riche :

   • Récupération Topologique : Utilise le Personalized PageRank (PPR) pour identifier les voisins les plus pertinents pour un nœud cible en fonction de la structure du graphe, plutôt que par distances de sauts fixes. Les caractéristiques textuelles de ces $K$ meilleurs voisins PPR sont concaténées pour former un contexte structurel.
   • Récupération Sémantique Prototypique : Inspiré par la génération augmentée par récupération (RAG) et les Transformers de graphes, ce module traite les caractéristiques textuelles de tous les nœuds non cibles comme un corpus externe. Il récupère des « prototypes » — des exemples représentatifs pour chaque classe — en entraînant d'abord un GNN léger pour générer des prédictions de nœuds. Les exemples les plus confiants pour chaque classe sont sélectionnés comme prototypes. Le système récupère ensuite le prototype le plus sémantiquement similaire (et ses voisins PPR associés) au texte du nœud cible.

2. Guidage par Classificateur (Élagage de Candidats) :
   Pour pallier la compréhension limitée de la topologie du graphe inhérente au LM, AUGLM incorpore le guidage d'un modèle spécialiste. Un GNN léger pré-entraîné prédit un ensemble de $I$ étiquettes candidates pour chaque nœud. Ces candidats sont convertis en texte et inclus dans le prompt. Cette stratégie permet d'élaguer efficacement l'espace de recherche, permettant au LM de concentrer son raisonnement sur la distinction entre des candidats hautement pertinents et informés par la topologie, plutôt que sur l'ensemble de l'espace des étiquettes.

3. Entraînement et Optimisation :
   Le cadre implique trois modules paramétrés : un GNN léger ($\psi$) pour générer les prototypes et les candidats, un récupérateur sémantique ($\phi$), et le LM de base ($\theta$).

   • Le GNN est pré-entraîné indépendamment.
   • Le récupérateur sémantique est entraîné à l'aide d'une perte de correspondance de distribution (divergence KL) pour aligner les probabilités de récupération avec la probabilité que le LM génère l'étiquette de vérité terrain correcte.
   • Le LM de base est affiné (fine-tuned) en utilisant une perte de log-vraisemblance négative (NLL) par jeton sur les prompts d'entrée augmentés.
   • Crucialement, les graphes de calcul du récupérateur et du LM sont découplés via des opérateurs de stop-gradient lors de phases d'entraînement spécifiques, assurant une rétropropagation efficace.

Contributions Clés

• Préservation Architecturale : Contrairement aux méthodes SOTA précédentes, AUGLM ne nécessite aucune modification de l'architecture ou du vocabulaire du LM, permettant l'utilisation de n'importe quel LM de type texte-vers-texte prêt à l'emploi.
• Augmentation à Double Stratégie : L'introduction d'un mécanisme de récupération hybride combinant des informations topologiques (PPR) et sémantiques (basées sur des prototypes) pour surmonter les limites de l'agrégation simple de voisins.
• Guidage Léger : Une nouvelle méthode pour transférer le biais inductif topologique d'un GNN vers un LM via l'élagage des étiquettes candidates, améliorant la performance sans altérer les paramètres internes du LM.
• Flexibilité Multi-tâche : Le cadre permet un entraînement conjoint sur plusieurs jeux de données divers sans nécessiter d'extensions de jetons spécifiques au jeu de données, une capacité souvent perdue dans les approches modifiant l'architecture.

Résultats Expérimentaux
Les auteurs ont évalué AUGLM sur quatre jeux de données TAG réels : Cora, Pubmed, ogbn-arxiv et ogbn-products.

• Performance : Équipé de noyaux (backbones) Flan-T5, AUGLM surpasse systématiquement les classificateurs de nœuds textuels de type sortie-texte SOTA (incluant InstructGLM et LLaGA).
• Comparaison avec les Modèles à Sortie Vectorielle : AUGLM a atteint des performances comparables, et dans certains cas supérieures (par exemple, sur ogbn-products), aux meilleurs modèles à sortie vectorielle (tels que TAPE et GLEM+RevGAT), malgré un fonctionnement purement dans le domaine textuel.
• Études d'Ablation : Les expériences ont confirmé que les trois composantes (récupération topologique, récupération sémantique et élagage d'étiquettes) contribuent positivement à la performance, bien que leur importance relative varie selon le jeu de données.
• Entraînement Conjoint : Un modèle entraîné conjointement sur les quatre jeux de données a obtenu des performances comparables aux modèles entraînés séparément pour chaque jeu de données, démontémontrant la capacité du cadre à se généraliser à travers diverses structures de graphes sans dégradation des performances.

Signification et Revendications
L'article positionne AUGLM comme une étape cruciale pour combler le fossé entre les classificateurs de nœuds spécialisés et spécifiques à une tâche et les modèles de fondation polyvalents. En démontrant qu'un apprentissage de graphes de haute performance peut être atteint par l'augmentation des entrées plutôt que par la modification de l'architecture, ce travail suggère une voie vers des modèles d'apprentissage de graphes plus polyvalents et largement applicables. Les auteurs affirment que cette approche conserve les avantages de l'ajustement d'instructions (instruction tuning) — spécifiquement la capacité d'entraînement conjoint sur des jeux de données divers — tout en surmontant l'inflexibilité des méthodes d'intégration de graphes-LM précédentes. Le travail conclut que, bien que les LM actuels aient des limitations inhérentes à la compréhension des structures de graphes, celles-ci peuvent être efficacement atténuées par une augmentation stratégique des données, ouvrant la voie à des modèles unifiés excellant dans de multiples tâches d'apprentissage de graphes.