💬 NLP

When Correct Edges Cannot Be Verified: A Provenance Gap in Incomplete KGQA and a Provenance-Favoring Completion Policy

Cet article révèle que la vérifiabilité textuelle est un mauvais indicateur de la correction des arêtes dans le cadre du Questionnement sur les Graphes de Connaissances Incomplets en raison d'un manque généralisé de texte de support pour les faits valides, menant à la proposition de TGComplete, une politique privilégiant la provenance qui priorise l'admission de seules les arêtes vérifiables afin de garantir l'auditabilité plutôt que de maximiser le rappel.

Auteurs originaux : Yongqi Kang, Yu Fu, Yong Zhao

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yongqi Kang, Yu Fu, Yong Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un mystère complexe à l'aide d'une encyclopédie numérique géante (un Graphe de Connaissances) et d'un détective très intelligent, mais qui hallucine parfois (un Grand Modèle de Langage).

D'habitude, le détective parcourt l'encyclopédie en suivant une piste de faits pour trouver la réponse. Mais parfois, il manque des pages dans l'encyclédie. La piste se brise, et le détective se retrouve bloqué.

Pour corriger cela, le détective peut essayer de « deviner » le fait manquant à partir de sa propre mémoire, ou il peut se rendre dans une bibliothèque de livres (du texte) pour chercher des preuves. La grande question posée par ce papier est la suivante : Si le détective trouve un livre qui mentionne le fait manquant, cela signifie-t-il que le fait est réellement vrai ?

Les auteurs disent : Non, pas nécessairement. Et voici pourquoi, expliqué simplement.

1. Le problème de la « page manquante »

Dans le monde réel, les graphes de connaissances sont incomplets. Imaginez une carte d'une ville où certaines rues ont été effacées. Si votre GPS (le modèle de raisonnement) tente de conduire du Point A au Point B, il se heurte à une impasse.

L'ancienne méthode (GoG) : Le détective devine simplement le nom de la rue manquante en se basant sur ce qu'il « se rappelle ». Il peut avoir raison, ou il peut s'agir d'une hallucination totale.
La nouvelle idée : Avant d'accepter la supposition, vérifiez la bibliothèque (le texte) pour voir si quelqu'un a écrit sur cette rue. Si la bibliothèque possède un livre mentionnant cette rue, nous supposons que la supposition est sûre.

2. La grande surprise : Le « fossé de provenance »

Les auteurs ont testé cela en prenant une carte parfaite, en supprimant secrètement 20 % à 40 % des rues, et en observant ce qui se passait. Ils savaient exactement quelles rues étaient les « vraies » rues manquantes car ils les avaient supprimées eux-mêmes.

La découverte contre-intuitive :
Ils ont découvert que 76 % à 96 % des rues manquantes correctes ne pouvaient pas être trouvées dans les livres de la bibliothèque, même en effectuant une recherche exhaustive dans chaque livre.

L'analogie :
Imaginez que vous cherchiez un fait spécifique et obscur : « Qui était le maire d'un petit village en 1994 ? »

Le Fait : Il est 100 % vrai.
La Bibliothèque : Vous cherchez dans tous les journaux, biographies et livres d'histoire.
Le Résultat : La bibliothèque ne mentionne pas le nom du maire dans la même phrase que le nom du village. Le fait est vrai, mais il est textuellement invisible.

Les auteurs appellent cela le fossé de provenance (Provenance Gap).

Vérifiabilité : Puis-je trouver un livre qui dit cela ?
Exactitude : Est-ce réellement vrai ?
Le Fossé : Ce n'est pas parce que vous ne pouvez pas trouver un livre que c'est faux. Et ce n'est pas parce que vous pouvez trouver un livre que cela garantit que c'est toute la vérité. La plupart des faits dans ces bases de données sont comme ce maire obscur : ils existent, mais ils n'apparaissent pas sous la forme « Tête + Queue » dans une seule phrase d'un livre.

3. La solution : TGComplete (Le « Détective Prudent »)

Puisqu'on ne peut pas compter sur la découverte d'un livre pour prouver qu'un fait est vrai, les auteurs ont construit un nouveau système appelé TGComplete.

Au lieu d'essayer d'être parfait, TGComplete change l'objectif. Il demande : « Dois-je admettre ce fait dans mon raisonnement, ou dois-je admettre que je n'ai pas de preuve ? »

Comment ça marche :

Arrêt : Quand la piste se brise, il s'arrête.
Recherche : Il cherche des preuves dans la bibliothèque.
Vérification : Il vérifie si les preuves soutiennent fortement la supposition.
Décision :
- S'il y a une preuve forte ? Admet le fait et continue.
- S'il n'y a pas de preuve ? S'abstient (s'arrête et dit « Je ne sais pas »). Il ne devine pas.

4. Le compromis : Précision vs Rappel

C'est ici que la partie « Gestion des risques » intervient.

Le Coût : Parce que TGComplete refuse de deviner sans preuve, il manque certaines réponses correctes. Il rejette environ 24 % à 50 % des faits manquants corrects parce qu'ils n'avaient aucune preuve textuelle.
Le Gain : Cependant, les faits qu'il accepte sont beaucoup plus dignes de confiance. Il filtre les suppositions « fausses ».
La Magie : Étonnamment, même s'il rejette de nombreux faits corrects, la précision finale de la réponse (obtenir la bonne réponse à la question) reste la même que la méthode de supposition.

Pourquoi ?
Les auteurs ont découvert que la plupart des faits manquants (même les corrects) sont causalement redondants.

Analogie : Imaginez résoudre un labyrinthe. Vous devez tourner à gauche, puis à droite, puis à gauche. Le « fait manquant » est le deuxième « gauche ».
Les auteurs ont découvert que dans 95 à 97 % des cas, le labyrinthe pouvait toujours être résolu même si vous ignoriez ce tour spécifique, car les connaissances internes du détective ou d'autres chemins suffisaient pour atteindre la sortie.
Ainsi, rejeter le fait manquant n'a pas nui au score final, mais cela a permis d'éviter au détective d'affirmer avec certitude un fait faux.

5. L'essentiel

Le papier conclut que nous devons changer notre façon de penser sur la « vérification » des faits dans l'IA.

Ancienne croyance : « Si je ne le trouve pas dans le texte, c'est probablement faux. »
Nouvelle réalité : « Si je ne le trouve pas dans le texte, cela peut toujours être vrai, mais je ne peux pas le prouver . »

TGComplete est un outil d'Auditabilité. Il ne promet pas de trouver toutes les bonnes réponses. Au lieu de cela, il promet que chaque réponse qu'il donne est étayée par une trace écrite. Il échange « tout trouver » contre « ne dire que ce que je peux prouver ».

Dans un monde où nous avons besoin de faire confiance à l'IA, ce papier suggère qu'il vaut mieux avoir un système qui dit « Je ne sais pas » plutôt qu'un système qui ment avec assurance, même si cela signifie qu'il manque quelques suppositions correctes en cours de route.

Résumé Technique : « Quand les arêtes correctes ne peuvent être vérifiées : un écart de provenance dans l'IKGQA incomplète et une politique favorisant la provenance »

1. Formulation du problème

L'article traite de la Réponse aux Questions sur les Graphes de Connaissances Incomplets (IKGQA), un contexte où des triplets critiques nécessaires au raisonnement sont manquants dans le Graphe de Connaissances (KG). Les méthodes standards comme Think-on-Graph (ToG) échouent lorsque les chemins de raisonnement sont interrompus par des arêtes manquantes. Des approches récentes, telles que Generate-on-Graph (GoG), tentent de résoudre ce problème en demandant aux modèles de langage de grande taille (LLM) de générer les triplets manquants à partir de leur connaissance paramétrique. Pour atténuer les risques d'hallucination, une stratégie courante consiste à vérifier ces arêtes générées par rapport à un texte extrait avant de les admettre dans la chaîne de raisonnement.

Les auteurs contestent un postulat fondamental et non testé de cette stratégie de « vérification avant admission » : la vérifiabilité textuelle suit-elle réellement la correction ? Plus précisément, ils cherchent à savoir si une arête soutenue par un texte est plus susceptible d'être correcte, et inversement, si les arêtes dépourvues de support textuel sont probablement incorrectes.

2. Résultats clés : L'écart de provenance (The Provenance Gap)

À travers une étude de mesure systématique utilisant les triplets supprimés « gold » (vérité terrain) du protocole standard de suppression aléatoire (sur les jeux de données CWQ et WebQSP), les auteurs identifient un phénomène contre-intuitif qu'ils nomment l'Écart de Provenance :

Divergence entre Correction et Vérifiabilité : Parmi les arêtes qui sont gold-correctes (correspondant à la vérité terrain supprimée), 76 à 96 % n'ont aucun passage de support dans le corpus, même sous des conditions de recherche exhaustives.
Cause Structurelle : Cet écart n'est pas un artefact d'une mauvaise recherche, mais une propriété structurelle des faits de type Freebase. La plupart des faits (impliquant par exemple des nœuds médiateurs CVT, des identifiants de base de données, des faits inter-phrases ou des entités de longue traîne) n'apparaissent pas sous forme de co-mention tête-queue dans un passage textuel unique.
Implication Métrique : Les métriques de fidélité textuelle (ex: « ratio de fondement textuel ») mesurent la provenance (l'arête peut-elle être vérifiée ?), et non la correction (l'arête est-elle vraie ?). Les deux concepts sont séparés par un écart de paradigme que la recherche dans le corpus ne peut combler.
Redondance Causale : Un résultat secondaire révèle que 95 à 97 % des réponses correctes ne dépendent d'aucune arête complétée non supportée. La plupart des arêtes complétées sont causalement redondantes pour la réponse finale, déplaçant le problème de « garantir la correction » vers la « gestion des risques » (admettre ou s'abstenir en situation d'incertitude).

3. Méthodologie : TGComplete

Sur la base de ces conclusions, les auteurs proposent TGComplete, une politique d'admission favorisant la provenance, sans entraînement et sans index. Contra contrairement à GoG, qui est de type generate-to-complete (générer pour compléter), TGComplete est de type retrieve-to-complete (rechercher pour compléter).

Pipeline :

Déclencheur de rupture (Breakpoint Trigger) : Lorsque le raisonnement rencontre une arête manquante $(h, r, ?)$ , le système déclenche une recherche textuelle dans un corpus externe (Wikipedia).
Extraction de candidat : Une entité terminale candidate $t$ est extraite des passages récupérés.
Boucle de vérification à trois facteurs : Une arête candidate n'est admise que si elle passe par :
- Accord multi-sources : Comptage des sources indépendantes soutenant le candidat.
- Jugement d'implication par LLM : Une boucle légère où le LLM principal juge si les passages sources impliquent strictement le candidat (correspondant aux scores : Impliqué, Incertain, Non impliqué).
- Détection de conflit dans le KG : Vérification des conflits avec les contraintes fonctionnelles existantes dans le KG.
Admission/Abstention : Si le score de confiance combiné dépasse un seuil fixe ( $\tau=0.5$ ) et qu'aucun conflit n'existe, l'arête est admise. Sinon, le système s'abstient (rejette l'arête) et effectue un retour en arrière (backtrack) avec une requête plus ciblée. Crucialement, le seuil n'est jamais abaissé pour accommoder des candidats de faible qualité.

4. Résultats expérimentaux

Évalué par rapport à la ligne de base GoG et d'autres méthodes RAG/Graph-RAG sur les sous-ensembles IKG-20% et IKG-40% de CWQ et WebQSP :

Précision (EM) : TGComplete obtient aucune perte statistiquement détectable en Exact Match (EM) par rapport à GoG (McNemar $p > 0.05$ sur tous les sous-ensembles). Cela confirme que le rejet des arêtes non vérifiables ne nuit pas de manière significative à la précision de la réponse finale, ce qui est cohérent avec la découverte de la redondance causale.
Précision des arêtes : TGComplete améliore considérablement la précision des arêtes par rapport aux triplets gold (15–21 % contre 3–14 % pour GoG). En filtrant les candidats non vérifiables, les arêtes admises sont plus susceptibles d'être correctes.
Fidélité stricte (Provenance) : Les arêtes admises dans TGComplete présentent une fidélité stricte 3,1 à 7,4 fois plus élevée (vérifiée par un juge indépendant) par rapport à GoG.
Coût de rappel : La méthode accepte un rappel d'arêtes plus faible, rejetant 24 à 50 % des arêtes gold-correctes qui manquent de support textuel. Cependant, comme ces arêtes rejetées sont principalement redondantes sur le plan causal, cela ne se traduit pas par une baisse de la précision de la réponse finale.
Robustesse : Le modèle « pas de perte de précision, provenance plus élevée » se maintient même sur le jeu de données IKGWQ (mises à jour de connaissances réelles), bien que les scores de fidélité absolue restent bas en raison de la difficulté de fonder des faits actualisés.

5. Signification et Revendications

L'article positionne TGComplete non pas comme une méthode universellement supérieure, mais comme un point de principe sur un compromis précision/provenance–rappel.

Recadrage de la complétion : Les auteurs soutiennent que la complétion d'arêtes en IKGQA doit être vue comme une décision de gestion des risques plutôt que comme un concours de correction. Puisque la plupart des arêtes correctes sont invérifiables, l'objectif passe à « admettre ou s'abstenir sous incertitude de provenance ».
Auditabilité : TGComplete est conçu pour les contextes où l'auditabilité est importante. Il garantit que les arêtes admises sont vérifiables, même si cela signifie écarter certains faits corrects mais non vérifiables.
Limites de la vérification textuelle : L'étude conclut qu'aucune méthode de vérification textuelle ne peut garantir la correction en raison de l'écart de provenance inhérent. Le fondement textuel sert de signal pour la provenance, et non de certificat de vérité.
Directions futures : L'article suggère que combler l'écart pourrait nécessiter une composition d'indices plus riche (agrégation multi-passages), des indices structurés (tableaux/infoboxes), ou des ressources d'alignement KB-texte, plutôt que de simplement améliorer la recherche ou la génération par LLM.

Les auteurs publient le code, les prompts et les scripts d'évaluation pour soutenir la réplication, soulignant que leur contribution est une étude de mesure révélant une limitation fondamentale dans les stratégies actuelles de vérification de l'IKGQA ainsi qu'une politique pour y naviguer.