Semantic Refinement with LLMs for Graph Representations

1. Problématique : L'Hétérogénéité Structure-Sémantique

L'article aborde un défi fondamental dans l'apprentissage sur les graphes : l'hétérogénéité entre la structure et la sémantique.

• Contexte : Les données structurées en graphes proviennent de domaines variés (réseaux de citations, plateformes sociales, graphes moléculaires, infrastructures de transport).
• Le Conflit :
  • Dans certains domaines (ex: réseaux de citations comme Cora/Pubmed), les signaux prédictifs proviennent principalement de la sémantique (le contenu textuel des nœuds).
  • Dans d'autres (ex: graphes moléculaires ou réseaux de transport), les attributs sémantiques sont faibles ou absents, et les signaux proviennent des motifs structurels (rôles topologiques, motifs, connectivité).
• Limitation des approches existantes : La plupart des méthodes actuelles tentent de résoudre ce problème du côté du modèle (en modifiant l'architecture des GNN pour ajouter des biais inductifs fixes). Cependant, aucun modèle à biais inductif fixe ne peut généraliser optimalement à travers tous ces régimes hétérogènes. De plus, les méthodes utilisant les LLM pour générer des descriptions de nœuds le font souvent sans contexte graphique, perdant ainsi les relations structurelles cruciales.

2. Méthodologie : Le Framework GES (Graph-Exemplar-guided Semantic Refinement)

Les auteurs proposent une approche centrée sur les données plutôt que sur le modèle. Au lieu de changer l'architecture du GNN, ils traitent les sémantiques des nœuds comme des variables adaptatives qui sont raffinées dynamiquement en fonction du contexte structurel et des retours du modèle.

Le framework GES fonctionne en quatre étapes principales :

A. Initialisation des Sémantiques Sensibles à la Structure

Pour uniformiser le traitement, les informations structurelles sont converties en texte naturel.

• Pour chaque nœud, des statistiques structurelles (degré, centralité d'intermédiarité, coefficient de clustering, etc.) sont calculées.
• Ces statistiques sont normalisées (rang percentilique) et converties en un résumé textuel structuré ($t_{struct}$).
• Description initiale ($d_v$) :
  • Graphes textuels : Concaténation du texte original et du résumé structurel.
  • Graphes sans texte : Utilisation exclusive du résumé structurel.

B. Construction de la Mémoire Conditionnée par le Modèle

Un GNN est entraîné sur ces descriptions initiales pour produire des prédictions. Ces informations sont stockées dans une mémoire conditionnée par le modèle ($B$), qui contient pour chaque nœud un triplet :

1. La description textuelle actuelle ($d_v$).
2. L'embedding structurel (via struc2vec) représentant le rôle topologique ($s_v$).
3. La distribution de prédiction du GNN ($p_v$).

C. Récupération d'Exemplaires (Exemplar Retrieval)

Pour chaque nœud cible, le système récupère un ensemble d'exemplaires ($S_v$) dans le graphe. Cette récupération est basée sur une similarité conjointe :

• Similarité Sémantique : Basée sur l'embedding du texte.
• Similarité Structurelle : Basée sur l'embedding topologique.
• Filtrage par Confiance : Seuls les exemplaires ayant une faible entropie de prédiction (c'est-à-dire des nœuds que le GNN classe avec confiance) sont retenus.
• Formule de similarité : $S(v, u) = \alpha \cdot sim_{text}(v, u) + (1-\alpha) \cdot sim_{struct}(v, u)$.

D. Raffinement Sémantique Guidé par les Exemplaires (LLM)

Un Grand Modèle de Langage (LLM) est utilisé pour réécrire la description du nœud cible.

• Entrée du LLM : La description originale du nœud + l'ensemble des exemplaires récupérés ($S_v$).
• Instruction : Le LLM doit réécrire la description pour mettre en évidence les indices discriminatifs suggérés par les exemplaires, tout en restant fidèle au contenu existant. Il ne s'agit pas d'ajouter de nouvelles connaissances, mais d'affiner et de re-prioriser les informations existantes pour mieux correspondre au régime structure-sémantique du graphe.
• Résultat : Une nouvelle description raffinée ($d'_v$) qui est ré-encodée pour entraîner un GNN final.

3. Contributions Clés

1. Changement de paradigme (Data-Centric) : Passage d'une adaptation par modification du modèle (biais inductifs fixes) à une adaptation par raffinement des données d'entrée (sémantiques adaptatives).
2. Mécanisme d'Exemplaires In-Graph : Utilisation de nœuds similaires au sein du même graphe (filtrés par similarité structurelle et sémantique) pour guider le LLM, contrairement aux méthodes précédentes qui utilisent des prompts statiques ou des données externes.
3. Universalité : Le framework fonctionne efficacement aussi bien sur des graphes riches en texte (Cora, Pubmed) que sur des graphes purement structurels (réseaux d'aéroports), sans nécessiter de modification de l'architecture du GNN sous-jacent.
4. Efficacité en ressources limitées : La méthode démontre une robustesse particulière dans les régimes à faible nombre d'étiquettes (low-label), où la qualité des représentations d'entrée est critique.

4. Résultats Expérimentaux

Les auteurs ont évalué GES sur cinq jeux de données (2 textuels, 3 sans texte) en utilisant des backbones GNN standards (GCN, GAT, MLP).

• Performance Globale : GES surpasse systématiquement les méthodes de base (Raw Text, Raw Feat.) et les approches compétitives utilisant des LLM (TAPE, KEA, TANS) sur tous les backbones.
  • Exemple : Sur Cora (Low-label), GES atteint 82.40% contre 80.66% pour TANS.
  • Exemple : Sur les graphes d'aéroports (sans texte), GES améliore significativement les performances par rapport aux caractéristiques structurelles brutes.
• Robustesse aux Biais de Données :
  • Adaptation de Domaine (Domain Adaptation) : GES montre une meilleure capacité de transfert entre graphes différents (ex: USA $\to$ Europe) par rapport aux méthodes basées sur l'alignement SVD ou les descriptions synthétiques.
  • Apprentissage par Transfert : Les descriptions raffinées par GES se transfèrent mieux d'un graphe source à un graphe cible.
• Analyse des Mécanismes :
  • L'ablation montre que la combinaison de la similarité structurelle et textuelle est cruciale, surtout pour les graphes sans texte.
  • Le raffinement augmente la discriminabilité des embeddings (écart entre similarité intra-classe et inter-classe) avant même l'entraînement final du GNN.
• Coût : Bien que GES nécessite un appel LLM par nœud, le coût est justifié par les gains de performance, particulièrement dans les scénarios à faible étiquetage où l'acquisition de données est coûteuse.

5. Signification et Conclusion

Ce travail ouvre une nouvelle direction pour l'apprentissage sur les graphes en traitant les représentations d'entrée comme des états dynamiques plutôt que comme des caractéristiques statiques.

• Impact Théorique : Il démontre que l'alignement entre la structure du graphe et la sémantique des nœuds peut être résolu par un mécanisme de raffinement de données guidé par le modèle, sans avoir à concevoir des architectures de GNN sur-mesure pour chaque type de graphe.
• Impact Pratique : La méthode est applicable à des graphes hétérogènes réels où la nature des signaux prédictifs (structure vs texte) est inconnue a priori. Elle offre une solution robuste pour les scénarios de faible ressources (low-label) et les graphes sans attributs textuels.
• Limites : Le coût d'inférence LLM sur de très grands graphes reste un défi, et la qualité du raffinement dépend de la capacité du LLM utilisé (bien que des modèles open-weight comme Gemma-3-12B fonctionnent bien).

En résumé, GES propose une approche élégante où le modèle (GNN) et les données (LLM) collaborent pour adapter la représentation des nœuds au contexte spécifique du graphe, surmontant ainsi les limitations des biais inductifs fixes.