💬 NLP

When Correct Edges Cannot Be Verified: A Provenance Gap in Incomplete KGQA and a Provenance-Favoring Completion Policy

Dit artikel onthult dat tekstuele verifieerbaarheid een slechte proxy is voor de correctheid van randen in Incomplete Knowledge Graph Question Answering vanwege een wijdverbreid gebrek aan ondersteunende tekst voor geldige feiten, wat leidt tot de voorstel van TGComplete, een beleid dat de herkomst bevoordeelt en prioriteit geeft aan het alleen toelaten van verifieerbare randen om controleerbaarheid boven het maximaliseren van de recall te waarborgen.

Oorspronkelijke auteurs: Yongqi Kang, Yu Fu, Yong Zhao

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yongqi Kang, Yu Fu, Yong Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complex mysterie probeert op te lossen met behulp van een gigantische, digitale encyclopedie (een Knowledge Graph) en een zeer slimme, maar soms hallucinerende detective (een Large Language Model).

Normaal gesproken loopt de detective door de encyclopedie en volgt hij een spoor van feiten om het antwoord te vinden. Maar soms ontbreken er pagina's in de encyclopedie. Het spoor breekt en de detective komt vast te zitten.

Om dit op te lossen, kan de detective proberen een ontbrekend feit te "raden" vanuit zijn eigen geheugen, of hij kan naar een bibliotheek met boeken (tekst) gaan om bewijs te zoeken. De grote vraag die dit paper stelt is: Als de detective een boek vindt dat het ontbrekende feit vermeldt, betekent dat dan dat het feit daadwerkelijk waar is?

De auteurs zeggen: Nee, niet noodzakelijkerwijs. En hier is waarom, eenvoudig uitgelegd.

1. Het "Ontbrekende Pagina"-probleem

In de echte wereld zijn knowledge graphs incompleet. Stel je een kaart van een stad voor waarbij sommige straten zijn gewist. Als je GPS (het reasoning model) probeert van Punt A naar Punt B te rijden, kom je bij een doodlopende weg.

De Oude Manier (GoG): De detective raadt de ontbrekende straatnaam simpelweg op basis van wat hij zich "herinnert". Hij kan het goed hebben, of het kan een complete hallucinatie zijn.
Het Nieuwe Idee: Voordat de gok wordt geaccepteerd, controleer de bibliotheek (tekst) om te zien of iemand over die straat heeft geschreven. Als de bibliotheek een boek heeft dat deze straat vermeldt, nemen we aan dat de gok veilig is.

2. De Grote Verrassing: De "Provenance Gap"

De auteurs testten dit door een perfecte kaart te nemen, stiekem 20% tot 40% van de straten te verwijderen en te kijken wat er gebeurde. Zij wisten precies welke straten de "echte" ontbrekende straten waren, omdat ze ze zelf hadden verwijderd.

De Contraintuïtieve Bevinding:
Ze ontdekten dat 76% tot 96% van de correcte ontbrekende straten niet gevonden kon worden in de bibliotheekboeken, zelfs niet als ze elke bibliotheekboek grondig zouden doorzoeken.

De Analogie:
Stel je voor dat je zoekt naar een specifiek, obscuur feit: "Wie was de burgemeester van een klein dorpje in 1994?"

Het Feit: Het is 100% waar.
De Bibliotheek: Je doorzoekt elke krant, biografie en geschiedenisboek.
Het Resultaat: De bibliotheek vermeldt de naam van de burgemeester niet in dezelfde zin als de naam van het dorp. Het feit is waar, maar het is tekstueel onzichtbaar.

Het paper noemt dit de Provenance Gap.

Verifieerbaarheid: Kan ik een boek vinden dat dit zegt?
Correctheid: Is dit daadwerkelijk waar?
De Kloof: Alleen omdat je geen boek kunt vinden dat dit bevestigt, betekent het niet dat het onwaar is. En alleen omdat je wel een boek kunt vinden, garandeert dat niet dat het de volledige waarheid is. De meeste feiten in deze databases zijn zoals die obscure burgemeester: ze bestaan, maar ze verschijnen niet als "Kop + Staart" in een enkele zin in een boek.

3. De Oplossing: TGComplete (De "Voorzichtige Detective")

Omdat we niet kunnen vertrouwen op het vinden van een boek om een feit te bewijzen, hebben de auteurs een nieuw systeem gebouwd genaamd TGComplete.

In plaats van te proberen perfect te zijn, verandert TGComplete het doel. Het vraagt: "Zal ik dit feit opnemen in mijn redenering, of zal ik toegeven dat ik geen bewijs heb?"

Hoe het werkt:

Stop: Wanneer het spoor breekt, stopt het.
Zoeken: Het zoekt naar bewijs in de bibliotheek.
Verifiëren: Het controleert of het bewijs de gok sterk ondersteunt.
Beslissen:
- Als er sterk bewijs is? Accepteer het feit en ga verder.
- Als er geen bewijs is? Onthoud je (stop en zeg "Ik weet het niet"). Het doet geen gokken.

4. De Afweging: Precisie versus Recall

Dit is waar het "Risicobeheer" om de hoek komt kijken.

De Kosten: Omdat TGComplete weigert te gokken zonder bewijs, mist het sommige correcte antwoorden. Het wijst ongeveer 24% tot 50% van de correcte ontbrekende feiten af omdat ze geen bewijs in de tekst hadden.
De Winst: De feiten die het wél accepteert, zijn echter veel betrouwbaarder. Het filtert de "valse" gokken eruit.
De Magie: Verrassend genoeg blijft de eindantwoord-nauwkeurigheid (het krijgen van het juiste antwoord op de vraag) gelijk aan de methode die gokt, ondanks dat het veel correcte feiten verwerpt.

Waarom?
De auteurs ontdekten dat de meeste ontbrekende feiten (zelfs de correcte) causaal redundant zijn.

Analogie: Stel je voor dat je een doolhof oplost. Je moet naar links gaan, dan naar rechts, dan naar links. Het "ontbrekende feit" is de tweede "links".
De auteurs ontdekten dat in 95–97% van de gevallen het doolhof nog steeds opgelost kon worden, zelfs als je die specifieke ontbrekende afslag negeerde, omdat de interne kennis van de detective of andere paden voldoende waren om de uitgang te bereiken.
Dus het verwerpen van het ontbrekende feit schaadde de eindscore niet, maar het voorkwam wel dat de detective een vals feit met zelfvertrouwen zou beweren.

5. De Kernboodschap

Het paper concludeert dat we onze manier van denken over het "controleren" van feiten in AI moeten veranderen.

Oude Overtuiging: "Als ik het niet in de tekst kan vinden, is het waarschijnlijk onwaar."
Nieuwe Realiteit: "Als ik het niet in de tekst kan vinden, kan het nog steeds waar zijn, maar ik kan het niet bewijzen."

TGComplete is een instrument voor Auditability (controleerbaarheid). Het belooft niet elk enkel correct antwoord te vinden. In plaats daarvan belooft het dat elk antwoord dat het geeft, wordt ondersteund door een dossier. Het ruilt "alles vinden" in voor "alleen dingen zeggen die ik kan bewijzen".

In een wereld waarin we AI moeten kunnen vertrouwen, suggereert dit paper dat het beter is om een systeem te hebben dat zegt "Ik weet het niet", dan een systeem dat vol zelfvertrouwen liegt, zelfs als dat betekent dat het onderweg een paar correcte gokken mist.

Technische Samenvatting: "Wanneer correcte randen niet geverifieerd kunnen worden: Een provenance-kloof in incomplete KGQA en een provenance-bevoordelend voltooiingsbeleid"

1. Probleemformulering

Het artikel behandelt Incomplete Knowledge Graph Question Answering (IKGQA), een setting waarin cruciale triples die nodig zijn voor redeneren ontbreken in de Knowledge Graph (KG). Standaardmethoden zoals Think-on-Graph (ToG) falen wanneer redeneerpaden worden onderbroken door ontbrekende randen (edges). Recente benaderingen, zoals Generate-on-Graph (GoG), proberen dit op te lossen door Large Language Models (LLMs) ontbrekende triples te laten genereren vanuit parametrische kennis. Om het risico op hallucinaties te beperken, is een veelgebruikte strategie om deze gegenereerde randen te verifiëren tegenover opgehaalde tekst voordat ze in de redeneerketen worden toegelaten.

De auteurs dagen een fundamentele, ongeteste premisse van deze "verifieer-voor-toelating"-strategie uit: Is tekstuele verifieerbaarheid daadwerkelijk een indicator voor correctheid? Specifiek onderzoeken zij of een rand die door tekst wordt ondersteund, waarschijnlijker correct is, en omgekeerd, of randen die geen tekstuele ondersteuning missen, waarschijnlijk incorrect zijn.

2. Belangrijkste bevindingen: De Provenance-kloof

Door middel van een systematische meetstudie met de gouden verwijderde triples uit het standaard random-deletion protocol (op CWQ en WebQSP datasets), identificeren de auteurs een contra-intuïtief fenomeen dat zij de Provenance-kloof noemen:

Divergentie tussen Correctheid en Verifieerbaarheid: Onder randen die goud-correct zijn (overeenkomend met de verwijderde grondwaarheid), hebben 76–96% geen ondersteunende passage in de corpus, zelfs niet onder exhaustieve retrieval-condities.
Structurele Oorzaak: Deze kloof is geen artefact van slechte retrieval, maar een structurele eigenschap van Freebase-stijl feiten. De meeste feiten (bijv. die betrekking hebben op CVT mediator nodes, database-identifiers, cross-sentence feiten, of long-tail entiteiten) verschijnen niet als head–tail co-mentions in een enkele tekstpassage.
Implicatie voor Metrieken: Tekstuele getrouwheidsmetrieken (bijv. "text-grounded ratio") meten provenance (kan de rand worden geverifieerd?), niet correctheid (is de rand waar?). De twee concepten worden gescheiden door een paradigma-niveau kloof die in-corpus retrieval niet kan dichten.
Causale Redundantie: Een secundaire bevinding onthult dat 95–97% van de correcte antwoorden niet afhankelijk is van een ongeverifieerde voltooide rand. De meeste voltooide randen zijn causaal redundant voor het uiteindelijke antwoord, wat het probleem verschuift van "het waarborgen van correctheid" naar "risicobeheer" (toelaten of onthouden onder onzekerheid).

3. Methodologie: TGComplete

Gebaseerd op deze bevindingen stellen de auteurs TGComplete voor, een training-vrije, index-vrije provenance-bevoordelende toelatingspolicy. In tegen tegenstelling tot GoG, dat genereert-om-te-voltooien, retrieveert TGComplete om-te-voltooien.

Pipeline:

Breakpoint Trigger: Wanneer redeneren een ontbrekende rand $(h, r, ?)$ tegenkomt, triggert het systeem tekst-retrieval uit een externe corpus (Wikipedia).
Candidate Extraction: Een kandidaat tail-entiteit $t$ wordt geëxtraheerd uit de opgehaalde passages.
Drie-factor Verificatie-loop: Een kandidaat-rand wordt alleen toegelaten als deze voldoet aan:
- Multi-source Agreement: Het tellen van onafhankelijke bronnen die de kandidaat ondersteunen.
- LLM Entailment Judgment: Een lichtgewicht loop waarbij de backbone LLM beoordeelt of de bronpassages de kandidaat strikt impliceren (gemapt naar scores: Entailed, Uncertain, Not Entailed).
- KG Conflict Detection: Controleren op conflicten met bestaande functionele restricties in de KG.
Toelating/Abstention: Als de gecombineerde betrouwbaarheidsscore een vaste drempel ( $\tau=0.5$ ) overschrijdt en er geen conflicten bestaan, wordt de rand toegelaten. Zo niet, dan onthoudt het systeem zich (wijst de rand af) en voert een backtrack uit met een meer gerichte query. Cruciaal is dat de drempel nooit wordt verlaagd om kwalitatief minder goede kandidaten te accommoderen.

4. Experimentele Resultaten

Geëvalueerd tegen de GoG-baseline en andere RAG/Graph-RAG methoden op IKG-20% en IKG-40% subsets van CWQ en WebQSP:

Nauwkeurigheid (EM): TGComplete bereikt geen statistisch detecteerbaar verlies in Exact Match (EM) vergeleken met GoG (McNemar $p > 0.05$ over alle subsets). Dit bevestigt dat het verwerpen van ongeverifieerde randen de uiteindelijke antwoordnauwkeurigheid niet significant schaadt, wat consistent is met de bevinding over causale redundantie.
Edge Precision: TGComplete verbetert de edge precision tegenover gouden triples aanzienlijk (15–21% vs. 3–14% voor GoG). Door ongeverifieerde kandidaten te filteren, zijn de toegelaten randen waarschijnlijker correct.
Strikte Getrouwheid (Provenance): De toegelaten randen in TGComplete vertonen een 3.1–7.4× hogere strikte getrouwheid (geverifieerd door een onafhankelijke judge) vergeleken met GoG.
Recall Kosten: De methode accepteert een lagere recall van randen door 24–50% van de goud-correcte randen die geen tekstuele ondersteuning missen, af te wijzen. Omdat deze afgewezen randen echter grotendeels causaal redundant zijn, vertaalt dit zich niet in een daling van de uiteindelijke antwoordnauwkeurigheid.
Robuustheid: Het patroon van "geen nauwkeurigheidsverlies, hogere provenance" houdt stand, zelfs in de IKGWQ dataset (real-world kennisupdates), hoewel absolute getrouwheidsscores laag blijven vanwege de moeilijkheid van het funderen van actuele feiten.

5. Betekenis en Claims

Het artikel positioneert TGComplete niet als een universeel superieure methode, maar als een geprincieerd punt op een precisie/provenance–recall afweging.

Herformulering van Completion: De auteurs argumenteren dat edge completion in IKGQA moet worden gezien als een risicobeheersingsbeslissing in plaats van een wedstrijd om correctheid. Omdat de meeste correcte randen onverifieerbaar zijn, verschuift het doel naar "toelaten of onthouden onder provenance-onzekerheid".
Auditabiliteit: TGComplete is ontworpen voor settings waar auditabiliteit van belang is. Het garandeert dat toegelaten randen verifieerbaar zijn, zelfs als dat betekent dat sommige correcte maar onverifieerbare feiten worden weggegooid.
Beperkingen van Tekstverificatie: De studie concludeert dat geen enkele tekstverificatiemethode correctheid kan garanderen vanwege de inherente provenance-kloof. Tekstuele grounding dient als een signaal voor provenance, niet als een certificaat van waarheid.
Toekomstige Richtingen: Het artikel suggereert dat het dichten van de kloof meer vereist is van rijkere evidence compositie (multi-passage aggregatie), gestructureerde bewijsvoering (tabellen/infoboxen), of KB-tekst alignment resources, in plaats van simpelweg het verbeteren van retrieval of LLM-generatie.

De auteurs stellen hun code, prompts en evaluatiescripts beschikbaar om replicatie te ondersteunen, waarbij zij benadrukken dat hun bijdrage een meetstudie is die een fundamentele beperking in huidige IKGQA-verificatiestrategieën blootlegt en een beleid biedt om hiermee om te gaan.