Résumé Technique : Jetons de Regroupement de Graphes Apprenables Sensibles à la Requête comme Invite pour les Modèles de Langage de Grande Taille

1. Énoncé du Problème

L'article aborde le défi de l'intégration de données structurées sous forme de graphes avec des Modèles de Langage de Grande Taille (LLM) pour des tâches de Réponse aux Questions sur des Graphes Attribués en Texte (Graph QA). Bien que les LLM possèdent de solides capacités de raisonnement, l'intégration efficace de structures de graphes complexes reste difficile. Les approches existantes relèvent généralement de deux catégories, toutes deux confrontées à des limitations significatives :

• Projection au Niveau des Nœuds : Cette méthode transmet toutes les représentations de nœuds générées par un Réseau de Neurones à Graphes (GNN) au LLM sous forme de jetons individuels. Bien qu'elle préserve les informations structurelles fines, elle souffre de problèmes de scalabilité sévères. À mesure que les graphes croissent de manière exponentielle, la longueur de l'invite dépasse les limites de la fenêtre contextuelle des LLM, ou le coût computationnel devient prohibitif.
• Projection au Niveau du Graphe : Cette méthode compresse toutes les informations des nœuds en un seul vecteur (par exemple, via un regroupement moyen) avant de les transmettre au LLM. Bien que cela résolve le problème de scalabilité, cela conduit inévitablement à une perte d'information, car les contextes relationnels complexes sont condensés en une seule représentation, rendant difficile pour le LLM l'accès à des détails spécifiques.

De plus, les méthodes existantes emploient souvent une Fusion Tardive de la Requête, où la requête et le graphe sont encodés indépendamment et combinés uniquement après que la représentation du graphe a été entièrement construite. Cette approche peut échouer à exploiter efficacement le contexte spécifique à la requête pendant la phase critique d'encodage du graphe.

2. Méthodologie

Les auteurs proposent un cadre novateur nommé Jeton de Regroupement de Graphe Apprenable (LGPT), intégré avec une stratégie de Fusion Précoce de la Requête. La méthode opère sans affiner le LLM lui-même, se concentrant plutôt sur l'optimisation de l'encodeur de graphe et de la génération d'invite.

2.1 Fusion Précoce de la Requête

Au lieu d'encoder le graphe et la requête séparément, la méthode proposée intègre le contexte de la requête avant la construction de la représentation du graphe.

• La requête $q$ est intégrée dans l'espace d'encodage du graphe en tant que nœud de requête virtuel ($n_q$) à l'aide d'un encodeur de texte.
• Ce nœud virtuel se connecte à tous les nœuds du graphe, permettant le passage de messages via un GNN ($GNN_{query}$) pour générer des représentations de nœuds sensibles à la requête.
• Un GNN subséquent ($GNN_{graph}$) encode les informations relationnelles de cette structure de graphe modifiée. Cela garantit que la représentation du graphe est intrinsèquement consciente du contexte de la requête, plutôt que d'être simplement une structure statique.

2.2 Jetons de Regroupement de Graphes Apprenables (LGPT)

Pour combler le fossé entre les projections au niveau des nœuds et au niveau du graphe, les auteurs introduisent $n$ paramètres apprenables (jetons) qui agissent comme un pont entre le graphe et le LLM.

• Mécanisme : Le graphe est traité par un GNN de regroupement ($GNN_{pool}$) où tous les nœuds originaux sont entièrement connectés à $n$ jetons apprenables. Par le biais du passage de messages, ces jetons agrègent les informations du graphe.
• Sortie : Au lieu d'un seul vecteur ou de $k$ vecteurs de nœuds (où $k$ est le nombre de nœuds), la méthode produit $n$ jetons ($\{g'_1, \dots, g'_n\}$).
• Projection : Ces jetons sont passés à travers une couche de projection (MLP) pour correspondre à la dimension d'encodage du LLM et sont concaténés avec l'invite textuelle du graphe et l'encodage de la requête.
• Base Conceptuelle : L'approche combine conceptuellement le regroupement souple (où les nœuds peuvent appartenir à plusieurs clusters, similaire au regroupement hiérarchique) et les mécanismes d'auto-attention (similaires aux Transformers de Graphes). En utilisant plusieurs jetons plutôt qu'un seul vecteur, elle atténue la perte d'information tout en maintenant une longueur d'invite fixe et gérable.

2.3 Objectif d'Entraînement

Le LLM et la couche d'encodage de texte sont maintenus figés. L'objectif de l'entraînement est d'optimiser les paramètres apprenables $\psi$ des composants de l'encodeur de graphe ($GNN_{query}$, $GNN_{graph}$, $GNN_{pool}$, LGPT et la couche de projection) afin de minimiser la perte d'entropie croisée entre la réponse prédite et la vérité terrain.

3. Contributions Clés

L'article expose deux contributions principales :

1. Jetons de Regroupement de Graphes Apprenables (LGPT) : Un mécanisme de regroupement novateur qui représente les informations du graphe en utilisant un nombre fixe de jetons apprenables. Cela équilibre le compromis entre la scalabilité de la projection au niveau du graphe et la richesse informationnelle de la projection au niveau des nœuds.
2. Fusion Précoce de la Requête : Une approche qui intègre le contexte de la requête dans le processus d'encodage du graphe avant l'encodage du graphe. Les auteurs soutiennent que cela est plus efficace que les méthodes de fusion tardive où la requête et le graphe sont combinés après l'encodage.

4. Résultats Expérimentaux

La méthode a été évaluée sur le benchmark GraphQA, comprenant trois jeux de données : ExplaGraphs (raisonnement de bon sens), SceneGraphs (compréhension spatiale) et WebQSP (QA sur graphes de connaissances).

• Performance sans Entraînement du LLM : La méthode proposée a obtenu une amélioration moyenne de performance de 4,13 % par rapport à la forte base G-Retriever (qui utilise une projection au niveau du graphe avec 1 jeton) sur tous les jeux de données. Plus précisément, elle a progressé de 5,77 % sur ExplaGraphs, de 3,92 % sur SceneGraphs et de 2,38 % sur WebQSP.
• Études d'Ablation :
  • Fusion Précoce de la Requête : A contribué à une amélioration moyenne de 2,88 % par rapport à la base.
  • LGPT : A contribué à une amélioration moyenne de 3,87 % par rapport à la base.
  • Combinaison : L'utilisation conjointe des deux techniques a produit les gains les plus élevés, confirmant leur nature complémentaire.
• Comparaison avec la Fusion Tardive : Les expériences comparant la Fusion Précoce à la Fusion Tardive (utilisant un regroupement multimodal) ont montré que la Fusion Précoce surpassait systématiquement la Fusion Tardive. Dans certains cas, la Fusion Tardive a même dégradé les performances par rapport à une absence de fusion, suggérant que la combinaison d'encodages entièrement traités peut introduire du bruit.
• Analyse du Nombre de Jetons : Les auteurs ont constaté que l'utilisation de 8 LGPT produisait des performances optimales. Augmenter le nombre à 32 n'a pas amélioré les résultats et, dans certains cas, a conduit à une baisse des performances en raison du surapprentissage ou de la redondance d'information.
• Entraînement du LLM (LoRA) : Lorsque le LLM a également été entraîné en utilisant l'Adaptation à Rang Faible (LoRA), la méthode proposée a toujours surpassé les bases, obtenant une amélioration supplémentaire de 11,48 % par rapport au G-Retriever entraîné avec LoRA.

5. Importance et Revendications

L'article revendique que l'approche proposée adresse efficacement le « goulot d'étranglement informationnel » dans les LLM augmentés par des graphes. En introduisant des jetons apprenables, la méthode évite les prohibitions computationnelles du traitement de chaque nœud tout en empêchant la perte d'information associée à la compression d'un graphe en un seul vecteur.

Les auteurs soulignent que leur méthode est particulièrement significative car elle réalise ces gains sans nécessiter l'entraînement du modèle de langage de grande taille lui-même, en faisant une solution évolutive et efficace pour gérer des données de graphes attribués en texte complexes. L'intégration du contexte de la requête tôt dans le pipeline est présentée comme un facteur critique pour générer des encodages de graphes plus efficaces, adaptés à la question spécifique posée.