Résumé Technique : Améliorer le raisonnement des petits modèles de langage par l'ancrage dans des graphes de connaissances

Problématique

Bien que les grands modèles de langage (LLM) aient établi des références pour le raisonnement zero-shot, leur déploiement est souvent coûteux et écologiquement lourd. Les petits modèles de langage (SLM) offrent une alternative durable mais éprouvent des difficultés significatives lors de tâches de raisonnement relationnel multi-sauts complexes, telles que l'inférence de relations de parenté à partir de textes narratifs (par exemple, le benchmark CLUTRR). Les principales limitations des SLM dans ce domaine sont :

• Fragilité déductive séquentielle : À mesure que la profondeur du raisonnement augmente, des erreurs mineures dans l'extraction initiale des faits agissent comme de fausses prémisses, se propageant à travers la chaîne et menant à des échecs logiques catastrophiques.
• Maintien de l'état symbolique : Les SLM échouent souvent à maintenir un état symbolique cohérent sur de longs contextes, entraînant des relations « hallucinées ».
• Le phénomène "Lost-in-the-Middle" : Les SLM peinent avec l'enchaînement logique dans des contextes zero-shot, particulièrement lorsqu'ils traitent des architectures compressées de moins de 4 milliards de paramètres.

Méthodologie

Les auteurs proposent un cadre agentique neuro-symbolique qui transforme le SLM d'un raisonneur autonome en un agent minimaliste. Cette approche découple la compréhension textuelle de la logique relationnelle en utilisant deux appels d'outils spécialisés :

1. extract_facts (Extraction Symbolique) : Le SLM analyse le récit narratif pour extraire des triplets de parenté $(u, rel, v)$. Pour s'aligner sur le schéma logique du jeu de données, le système adopte une direction d'arête inversée où le triplet représente la relation du point de vue du nœud cible (par exemple, une arête allant du père à la fille est étiquetée "fille"). La sortie est un graphe de connaissances (KG) structuré.
2. get_hint (Raisonnement d'Expert Neural) : Un réseau de neurones convolutionnels sur graphes relationnels (RGCN) pré-entraîné traite le KG généré par le SLM. Le RGCN agit comme un expert, retournant la relation de parenté la plus probable et un score de confiance pour une paire d'entités donnée. Cet « indice » est réinjecté dans le contexte du SLM pour assister l'inférence finale.

Configurations Expérimentales :
L'étude évalue le cadre à travers deux scénarios en utilisant les modèles Gemma 3 (1B, 4B) et Llama 3.2 (3B) :

• Scénario Oracle : Le système est fourni avec les triplets de vérité terrain et des indices pour établir la limite supérieure théorique de la capacité de raisonnement.
• Scénario Réaliste : Le SLM doit extraire ses propres faits via un prompting zero-shot, introduisant du bruit d'extraction (relations hallucinées ou manquantes).

Pour atténuer le bruit d'extraction, le cadre incorpore des triplets inverses a posteriori afin d'assurer un flux d'information bidirectionnel. Le RGCN est entraîné sur des chaînes de raisonnement de 2 à 4 sauts et évalué sur des ensembles de test nécessitant jusqu'à 10 sauts pour tester la généralisation systématique.

Contributions Clés

1. Cadre pour l'apprentissage relationnel zero-shot : Les auteurs introduisent un cadre neuro-symbolique qui améliore les performances des SLM. Dans des contextes réalistes où le SLM extrait ses propres faits, la méthode produit un gain de performance de 1,5 à 2 fois par rapport aux bases de référence fondées uniquement sur le récit.
2. Analyse comparative d'architecture : Une étude sur différents modèles open-source (Gemma 3 1B/4B, Llama 3.2 3B) révèle comment la taille du modèle et l'architecture influencent la qualité de l'extraction symbolique et la résilience au bruit.
3. Identification des modes de défaillance : Une analyse approfondie comparant les pipelines réalistes aux configurations Oracle isole des modes de défaillance spécifiques, incluant le « goulot d'étranglement de l'extraction » et un « effet de distraction » où les faits auto-générés bruités dégradent la performance malgré la présence d'indices experts.

Résultats

• Performance Oracle : Lorsqu'ils sont fournis avec des indices de vérité terrain, les SLM montrent une amélioration significative. Par exemple, la précision de Llama 3.2 3B passe de 16,13 % (Récit seul) à 62,79 % (Récit + Indice Oracle), suggérant que la barrière principale n'est pas la compréhension linguistique mais le maintien de l'état symbolique.
• Performance Réaliste et le Goulot d'Étranglement de l'Extraction : Dans le scénario réaliste, la précision du RGCN chute de 60,69 % (sur les faits Oracle) à 24,88 % (sur les faits extraits par le SLM). Cela confirme qu'une seule erreur dans la phase d'extraction initiale rend le graphe de connaissances logiquement irrécupérable pour le solveur GNN.
• L'Effet de Distraction : L'étude identifie un phénomène contre-intuitif où le fait de fournir à la fois des faits extraits par le SLM et des indices experts peut dégrader la performance. Pour Gemma 4B, la configuration avec seulement l'indice du GNN (19,75 %) a surpassé la configuration avec les faits du SLM et l'indice (14,98 %). Cela suggère que les triplets bruités agissent comme des « ancres logiques » qui induisent le SLM en erreur. Llama 3.2 3B a démontré une plus grande résilience à cet effet.
• Différences Architecturales : Les modèles basés sur Llama ont montré une meilleure robustesse à mesure que la profondeur du raisonnement augmentait vers 10 sauts, tandis que les variantes Gemma ont montré une dégradation immédiate des performances au-delà du seuil de 4 sauts, probablement dues à la susceptibilité au phénomène "Lost-in-the-Middle".

Signification et Revendications

L'article caractérise les défis de l'ancrage symbolique dans les systèmes agentiques à faibles ressources. Sa revendication principale est que, bien que les SLM possèdent la capacité latente pour un raisonnement relationnel complexe lorsqu'ils sont guidés par des structures symboliques de haute qualité, leur utilité est actuellement limitée par la qualité de la phase d'extraction.

Les auteurs concluent que le goulot d'étranglement n'est pas la capacité de raisonnement du module expert GNN, mais la fragilité déductive séquentielle introduite par l'extraction initiale des faits par le SLM. Ils soutiennent que pour que les pipelines neuro-symboliques soient fiables dans des environnements à domaine ouvert, les travaux futurs doivent se concentrer sur la vérification itérative et le raffinement symbolique afin d'élaguer les hallucinations d'extraction, plutôt que de simplement compter sur les capacités de raisonnement du module expert.