💬 NLP

Improving Factuality in LLMs via Inference-Time Knowledge Graph Construction

Ce papier propose un cadre novateur qui améliore la précision factuelle des grands modèles de langage en construisant et en affinant dynamiquement des graphes de connaissances structurés lors de l'inférence, ce qui intègre les connaissances internes du modèle avec la récupération externe pour surmonter les limites des approches basées sur du texte non structuré.

Auteurs originaux : Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une bibliothécaire très intelligente et bien informée (le Modèle de Langage à Grande Échelle, ou LLM). Cette bibliothécaire a lu des millions de livres et peut vous dire presque n'importe quoi. Cependant, comme tout être humain, elle a une limite à ce qu'elle peut se souvenir parfaitement. Parfois, elle peut confondre deux histoires similaires, oublier un détail spécifique, ou inventer avec assurance un fait qui semble juste mais qui ne l'est pas. C'est ce que les chercheurs appellent une « hallucination ».

Pour résoudre ce problème, les auteurs de cet article proposent une nouvelle façon pour la bibliothécaire de travailler, qu'ils appellent « Construction de graphe de connaissances au moment de l'inférence ».

Voici comment leur méthode fonctionne, décomposée en étapes simples en utilisant une analogie de construire une carte pour trouver un trésor caché.

Le Problème : La recherche « non structurée »

Habituellement, lorsque vous posez une question piège à la bibliothécaire, elle peut essayer de répondre en réfléchissant intensément (comme une « Chaîne de Pensée »). Ou alors, elle peut chercher du texte sur Internet et le lire.

Le Problème : Lire un long paragraphe de texte désordonné, c'est comme essayer de trouver une rue spécifique dans une ville en lisant un roman sur cette ville. Il est facile de se perdre, de rater un tournant, ou de se laisser distraire par des détails non pertinents. La bibliothécaire peut saisir le mauvais fait parce que l'information n'était pas organisée.

La Solution : Construire une « Carte » (Le Graphe de Connaissances)

Au lieu de simplement lire du texte, les auteurs enseignent à la bibliothécaire à dessiner une carte (un Graphe de Connaissances) pendant qu'elle répond à la question. Cette carte relie des points (faits) par des lignes (relations).

Voici leur processus en 4 étapes :

1. Dessiner la Carte de Graine (Initialisation)

Lorsque vous posez une question (par exemple : « Sur quelle pièce de théâtre sont basées les Danses Symphoniques de Bernstein ? »), la bibliothécaire examine d'abord sa propre mémoire et dessine un petit croquis grossier.

Elle écrit : Dag Achatz → transcrit → Danses Symphoniques → provient de → West Side Story.
Le Problème : La mémoire interne de la bibliothécaire peut être incomplète. Elle peut s'arrêter à West Side Story et penser : « C'est la réponse ! » Mais en réalité, West Side Story lui-même est basé sur autre chose. Il manque une pièce à la carte.

2. Étendre la Carte (Expansion Interne)

La bibliothécaire examine son croquis et se demande : « Quoi d'autre sais-je à propos de ces points ? » Elle essaie d'ajouter plus de lignes à la carte en utilisant ses propres capacités cognitives.

Elle pourrait ajouter : West Side Story → composé par → Leonard Bernstein.
Le Problème : Même avec cette expansion, la bibliothécaire pourrait toujours manquer le lien crucial qui relie West Side Story à la pièce originale, Roméo et Juliette. Sa mémoire interne présente une lacune.

3. Consulter le « Guide de la Ville » (Récupération Externe)

C'est l'étape magique. La bibliothécaire réalise : « Je ne suis pas sûre d'avoir le tableau complet. » Alors, elle fait une pause et consulte un Guide de la Ville de confiance et externe (comme Wikipédia ou Google Recherche).

Elle cherche West Side Story dans le guide.
Le guide indique : « West Side Story a été inspiré par Roméo et Juliette. »
La bibliothécaire prend ce nouveau fait vérifié et l'ajoute à sa carte : West Side Story → inspiré par → Roméo et Juliette.
Le Bénéfice : Si la bibliothécaire avait fait une erreur plus tôt (par exemple, penser que la musique datait d'une année différente), le Guide de la Ville l'aide à corriger la carte, pas seulement à l'enrichir.

4. Trouver le Trésor (Répondre sur le Graphe)

Maintenant, avec une carte complète et corrigée reliant Dag Achatz jusqu'à Roméo et Juliette, la bibliothécaire trace le chemin sur la carte. Parce que le chemin est clair et vérifié par le Guide de la Ville, elle peut affirmer avec assurance : « La réponse est Roméo et Juliette. »

Pourquoi est-ce mieux ?

L'article affirme que cette méthode est supérieure pour trois raisons principales :

Structure plutôt que Chaos : Au lieu de s'enfoncer dans un flot de texte non structuré, la bibliothécaire travaille avec une carte structurée. Cela rend plus difficile la distraction par des informations non pertinentes.
Auto-correction : La bibliothécaire ne fait pas seulement confiance à sa propre mémoire. Elle utilise le guide externe pour corriger les erreurs dans sa propre carte. Si la bibliothécaire pense que « A mène à B », mais que le guide dit « A mène à C », la bibliothécaire met à jour la carte.
Les petites bibliothécaires peuvent accomplir de grandes tâches : Les expériences ont montré que même des « bibliothécaires » plus petites et moins puissantes (des modèles d'IA plus petits) pouvaient performer aussi bien que des géants si elles utilisaient cette méthode de construction de carte. Le guide externe égalise les chances.

Les Résultats

Les auteurs ont testé cela sur trois types différents de défis de culture générale.

Le Résultat : Leur méthode a obtenu systématiquement plus de bonnes réponses que les façons standard de poser des questions à l'IA.
Le Boost de « Rappel » : Ils ont constaté qu'en utilisant le guide externe, la « carte » qu'ils ont construite contenait les faits corrects beaucoup plus souvent (un bond énorme en « rappel », ou capacité à trouver les bons faits) par rapport à se fier uniquement à la mémoire de l'IA.

Le Problème (Limites)

Les auteurs sont honnêtes sur les défauts :

Garbage In, Garbage Out (Entrée pourrie, sortie pourrie) : Si la bibliothécaire dessine la partie initiale de la carte incorrectement, et que le guide externe ne le repère pas, la réponse finale sera toujours fausse.
Pas Parfait : Il existe toujours un écart entre avoir les bons faits sur la carte et réellement choisir la bonne réponse. Le système n'est pas encore 100 % parfait.

Résumé

En bref, cet article suggère que, au lieu de demander à une IA de simplement « réfléchir » ou « lire un paragraphe », nous devrions lui demander de construire une carte visuelle de faits, de vérifier cette carte contre une encyclopédie de confiance, de corriger toute erreur sur la carte, puis de suivre la carte jusqu'à la réponse. Cela rend l'IA plus précise, moins susceptible de mentir, et plus facile à comprendre.

Résumé technique : Amélioration de la factualité des LLM via la construction de graphes de connaissances au moment de l'inférence

Énoncé du problème

Les grands modèles de langage (LLM) génèrent fréquemment des réponses factuellement incohérentes en raison des limites de leur mémoire paramétrique. Bien que les paradigmes de génération augmentée par la récupération (RAG) tentent de pallier ce problème en intégrant des connaissances externes au moment de l'inférence, les approches existantes traitent généralement les connaissances récupérées comme du texte non structuré. Cette approche basée uniquement sur le texte souffre d'une précision de récupération plus faible, entrave le raisonnement compositionnel et amplifie l'influence des informations non pertinentes, compromettant ainsi la cohérence factuelle des sorties des LLM. De plus, les méthodes reposant sur des graphes de connaissances (KG) statiques et préconstruits manquent d'adaptabilité dans des contextes en évolution rapide et sont difficiles à mettre à l'échelle.

Méthodologie

Les auteurs proposent un nouveau pipeline en quatre étapes qui construit et étend dynamiquement des graphes de connaissances au moment de l'inférence, en intégrant à la fois les connaissances internes du LLM et les connaissances externes récupérées. Le processus est formalisé comme suit :

Initialisation du graphe : Étant donné une question $Q$ , le LLM est invité à extraire les entités et relations pertinentes pour former un graphe de connaissances initial ( $G_0$ ). Cela capture le cœur de la question.
Extension du graphe : Le graphe initial est étendu de manière itérative selon une approche en largeur d'abord en utilisant les connaissances internes du LLM. Le modèle sélectionne des entités dans un tampon et génère de nouveaux triplets (sujet-relation-objet) pour étendre le graphe jusqu'à une profondeur prédéfinie $D$ , aboutissant à un graphe de connaissances étendu ( $G_1$ ).
Récupération externe : Pour corriger les imprécisions ou combler les lacunes de $G_1$ $G_{1}$ , le système utilise un mécanisme de récupération externe (via Wikipedia et Google Search avec BM25). Le LLM sélectionne des entités ou des triplets spécifiques du graphe et choisit entre deux actions :
- Correction : Remplacer les triplets erronés par des triplets factuellement exacts trouvés dans des sources externes.
- Extension : Ajouter de nouveaux triplets connexes pour combler les lacunes de connaissances.
  Ce raffinement itératif produit un graphe de connaissances ancré ( $G^*$ ).
Réponse sur le graphe : Enfin, le LLM génère la réponse en interrogeant le graphe de connaissances affiné ( $G^*$ ). Le modèle est contraint de raisonner uniquement sur les triplets présents dans le graphe afin de réduire les hallucinations hors graphe et de garantir que la réponse s'appuie sur des chaînes de preuves vérifiables.

Contributions principales

L'article présente trois contributions principales :

Construction de KG au moment de l'inférence : Une nouvelle méthode pour extraire des triplets directement à partir des connaissances internes d'un LLM et concevoir une stratégie d'extension itérative pour étendre dynamiquement les KG pendant l'inférence.
Intégration hybride des connaissances : Un pipeline unifié qui combine de manière transparente les connaissances internes du LLM avec des bases de connaissances externes. Cette approche hybride compense les lacunes inhérentes à chaque source, renforçant l'ancrage factuel.
Validation empirique : Une évaluation approfondie sur trois benchmarks divers de questions-réponses factuelles (Complex WebQuestions, HotpotQA et SimpleQA) démontre des améliorations constantes et significatives de la précision des réponses et de la cohérence factuelle sur différents jeux de données et modèles de base.

Résultats expérimentaux

La méthode a été évaluée sur CWQ, HotpotQA et SimpleQA en utilisant divers modèles de base (y compris GPT-4o, Deepseek-V3, Llama-4-Scout et Qwen2.5).

Gains de performance : L'approche proposée a obtenu des résultats de pointe dans les configurations de connaissances internes et externes. Dans le cadre de connaissances externes, la méthode a montré des améliorations substantielles, en particulier sur le jeu de données difficile SimpleQA, avec des gains de précision allant jusqu'à 23,0 % par rapport aux références.
Améliorations du rappel : L'intégration de la récupération externe a considérablement augmenté le rappel des faits de vérité terrain apparaissant dans le processus de raisonnement. Par exemple, sur SimpleQA, le rappel de Llama-4-Scout est passé de 13,0 % (interne uniquement) à 37,5 % (avec récupération externe).
Généralisation : La méthode s'est révélée robuste à travers différentes échelles de modèles. Notamment, des modèles plus petits (par exemple, Llama-4-Scout) équipés de cette méthode pouvaient surpasser ou égaler des modèles nettement plus grands (par exemple, DeepSeek-V3) lorsque la récupération externe était utilisée, suggérant que la méthode atténue efficacement les limites de la mémoire paramétrique interne.
Insights des ablations : L'analyse a révélé un compromis où une complexité de raisonnement accrue (plus de sauts) conduit à des tailles de graphe plus importantes mais à une précision réduite, car le modèle peine à identifier le chemin correct parmi les candidats étendus. Cependant, les modèles plus grands ont généralement montré une précision et un rappel plus élevés, l'écart de performance entre les modèles se réduisant lorsque des connaissances externes étaient introduites.

Importance

L'article postule que la construction de graphes de connaissances au moment de l'inférence est une voie prometteuse pour améliorer la factualité des LLM de manière structurée, interprétable et évolutive. En allant au-delà de la récupération de texte non structuré, le cadre proposé permet aux LLM d'accéder et d'intégrer systématiquement des connaissances factuelles. La capacité à construire et à affiner dynamiquement des graphes permet une adaptation en temps réel aux lacunes de connaissances, offrant une solution plug-and-play qui améliore la fiabilité sans nécessiter de curation manuelle extensive ni de graphes préconstruits statiques. Les auteurs soulignent que, bien que des limitations concernant la propagation des hallucinations et l'optimalité de la récupération de graphes subsistent, cette approche constitue une étape significative vers une IA plus digne de confiance dans des domaines à haut risque.