💬 NLP

Improving Factuality in LLMs via Inference-Time Knowledge Graph Construction

Dit artikel stelt een nieuw raamwerk voor dat de feitelijke nauwkeurigheid van Large Language Models verbetert door tijdens de inferentie gestructureerde kennisgrafieken dynamisch te construeren en te verfijnen, wat interne modelkennis integreert met externe ophaalresultaten om de beperkingen van ongestructureerde tekstgebaseerde benaderingen te overwinnen.

Oorspronkelijke auteurs: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Gepubliceerd 2026-05-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shanglin Wu, Lihui Liu, Jinho D. Choi, Kai Shu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen bibliothecaris hebt (het Large Language Model, of LLM). Deze bibliothecaris heeft miljoenen boeken gelezen en kan je bijna alles vertellen. Net als elke mens heeft hij echter een limiet aan wat hij perfect kan onthouden. Soms verwarren ze twee vergelijkbare verhalen, vergeten ze een specifiek detail, of maken ze zelfverzekerd een feit op dat klinkt als waarheid maar dat niet is. Dit noemen onderzoekers "hallucinatie".

Om dit op te lossen, stellen de auteurs van dit paper een nieuwe manier voor waarop de bibliothecaris kan werken, die zij "Inference-Time Knowledge Graph Construction" noemen.

Hier is hoe hun methode werkt, opgesplitst in eenvoudige stappen met een analogie van het bouwen van een kaart om een verborgen schat te vinden.

Het Probleem: De "Ongestructureerde" Zoektocht

Meestal proberen ze, wanneer je de bibliothecaris een lastige vraag stelt, het antwoord te vinden door gewoon hard na te denken (zoals een "Chain of Thought"). Of ze zoeken wat tekst op internet op en lezen het door.

Het Probleem: Een lang, rommelig alinea tekst lezen is als proberen een specifieke straat in een stad te vinden door een roman over die stad te lezen. Het is makkelijk om verdwaald te raken, een afslag te missen, of afgeleid te worden door irrelevante details. De bibliothecaris kan het verkeerde feit grijpen omdat de informatie niet georganiseerd was.

De Oplossing: Een "Kaart" Bouwen (Het Kennisnetwerk)

In plaats van alleen maar tekst te lezen, leren de auteurs de bibliothecaris om tijdens het beantwoorden van de vraag een kaart te tekenen (een Kennisnetwerk). Deze kaart verbindt punten (feiten) met lijnen (relaties).

Hier is hun 4-stapsproces:

1. Het Zaadje van de Kaart Tekenen (Initialisatie)

Wanneer je een vraag stelt (bijvoorbeeld: "Op welk toneelstuk was Bernstein's Symphonic Dances gebaseerd?"), kijkt de bibliothecaris eerst naar zijn eigen geheugen en tekent een klein, ruw schetsje.

Hij schrijft op: Dag Achatz → getranscribeerd → Symphonic Dances → is afkomstig uit → West Side Story.
Het Probleem: Het interne geheugen van de bibliothecaris kan onvolledig zijn. Hij kan stoppen bij West Side Story en denken: "Dat is het antwoord!" Maar eigenlijk is West Side Story zelf weer gebaseerd op iets anders. Er ontbreekt een stukje op de kaart.

2. De Kaart Uitbreiden (Interne Uitbreiding)

De bibliothecaris kijkt naar zijn schets en vraagt zich af: "Wat weet ik nog meer over deze punten?" Hij probeert meer lijnen aan de kaart toe te voegen met zijn eigen denkvermogen.

Hij voegt misschien toe: West Side Story → gecomponeerd door → Leonard Bernstein.
Het Probleem: Zelfs met deze uitbreiding mist de bibliothecaris misschien nog steeds de cruciale link die West Side Story terugverbindt met het oorspronkelijke toneelstuk, Romeo en Julia. Zijn interne geheugen heeft een gat.

3. De "Stadsgids" Raadplegen (Externe Ophaling)

Dit is de magische stap. De bibliothecaris beseft: "Ik weet niet zeker of ik het volledige plaatje heb." Dus pauzeert hij en raadpleegt een vertrouwde, externe Stadsgids (zoals Wikipedia of Google Zoeken).

Hij zoekt West Side Story op in de gids.
De gids zegt: "West Side Story was geïnspireerd door Romeo en Julia."
De bibliothecaris neemt dit nieuwe, geverifieerde feit en voegt het toe aan zijn kaart: West Side Story → geïnspireerd door → Romeo en Julia.
Het Voordeel: Als de bibliothecaris eerder een fout had gemaakt (bijvoorbeeld denken dat de muziek uit een ander jaar stamde), helpt de Stadsgids hem de kaart te corrigeren, niet alleen om er aan toe te voegen.

4. De Schat Vinden (Antwoorden op de Grafiek)

Nu, met een complete, gecorrigeerde kaart die Dag Achatz helemaal verbindt met Romeo en Julia, traceert de bibliothecaris het pad op de kaart. Omdat het pad duidelijk is en geverifieerd door de Stadsgids, kan hij zelfverzekerd zeggen: "Het antwoord is Romeo en Julia."

Waarom is dit beter?

Het paper stelt dat deze methode om drie hoofdredenen superieur is:

Structuur boven Chaos: In plaats van door een vloed van ongestructureerde tekst te waden, werkt de bibliothecaris met een gestructureerde kaart. Dit maakt het moeilijker om afgeleid te worden door irrelevante informatie.
Zelfcorrectie: De bibliothecaris vertrouwt niet alleen op zijn eigen geheugen. Hij gebruikt de externe gids om fouten in zijn eigen kaart te herstellen. Als de bibliothecaris denkt dat "A leidt tot B", maar de gids zegt dat "A leidt tot C", dan past de bibliothecaris de kaart aan.
Kleine Bibliothecarissen kunnen Grote Taken: De experimenten toonden aan dat zelfs kleinere, minder krachtige "bibliothecarissen" (kleinere AI-modellen) net zo goed konden presteren als reuzen als ze deze kaartbouwmethode gebruikten. De externe gids maakt het speelveld gelijk.

De Resultaten

De auteurs testten dit op drie verschillende soorten trivia-uitdagingen.

De Uitkomst: Hun methode kreeg consequent meer juiste antwoorden dan de standaardmanieren om de AI te vragen.
De "Terugroep"-Boost: Ze ontdekten dat door de externe gids te gebruiken, de "kaart" die ze bouwden veel vaker de juiste feiten bevatte (een enorme stijging in "recall", of het vinden van de juiste feiten) in vergelijking met alleen vertrouwen op het geheugen van de AI.

De Haken en Ogen (Beperkingen)

De auteurs zijn eerlijk over de gebreken:

Afval In, Afval Uit: Als de bibliothecaris het initieel deel van de kaart verkeerd tekent, en de externe gids pakt het niet op, zal het uiteindelijke antwoord nog steeds verkeerd zijn.
Niet Perfect: Er is nog steeds een kloof tussen het hebben van de juiste feiten op de kaart en het daadwerkelijk kiezen van het juiste antwoord. Het systeem is nog niet 100% perfect.

Samenvatting

Kortom, dit paper suggereert dat we in plaats van een AI te vragen om gewoon te "denken" of "een alinea te lezen", we het moeten vragen om een visuele kaart van feiten te bouwen, die kaart te controleren tegen een vertrouwde encyclopedie, eventuele fouten op de kaart te herstellen, en vervolgens de kaart te volgen naar het antwoord. Dit maakt de AI nauwkeuriger, minder waarschijnlijk om te liegen, en makkelijker te begrijpen.

Technische Samenvatting: Het Verbeteren van Feitelijke Juistheid in LLM's via Kennisgrafconstructie tijdens Inferentie

Probleemstelling

Grote Taalmodellen (LLM's) genereren vaak feitelijk inconsistente antwoorden als gevolg van beperkingen in hun parametrische geheugen. Hoewel Retrieval-Augmented Generation (RAG)-paradigma's proberen dit te mitigeren door externe kennis tijdens inferentie te integreren, behandelen bestaande benaderingen opgehaalde kennis doorgaans als ongestructureerde tekst. Deze enkel op tekst gebaseerde aanpak lijdt aan lagere ophaalprecisie, belemmert compositief redeneren en versterkt de invloed van irrelevante informatie, wat uiteindelijk de feitelijke consistentie van LLM-outputs ondermijnt. Bovendien missen methoden die vertrouwen op statische, vooraf geconstrueerde Kennisgrafieken (KG's) aanpassingsvermogen in snel veranderende contexten en zijn ze moeilijk te schalen.

Methodologie

De auteurs stellen een nieuw, vierstapsproces voor dat dynamisch Kennisgrafieken construeert en uitbreidt tijdens inferentie, waarbij zowel interne LLM-kennis als externe opgehaalde kennis wordt geïntegreerd. Het proces wordt als volgt geformaliseerd:

Grafinitialisatie: Gegeven een vraag $Q$ , wordt de LLM geprompt om relevante entiteiten en relaties te extraheren om een zaad-KG ( $G_0$ ) te vormen. Dit vangt de kernfocus van de vraag op.
Grafuitbreiding: De zaad-KG wordt iteratief in een breedte-zoek-methode uitgebreid met behulp van de interne kennis van de LLM. Het model selecteert entiteiten uit een buffer en genereert nieuwe tripletten (onderwerp-relatie-object) om het graf tot een vooraf gedefinieerde diepte $D$ uit te breiden, wat resulteert in een uitgebreide KG ( $G_1$ ).
Externe Ophaling: Om onnauwkeurigheden of hiaten in $G_1$ $G_{1}$ aan te pakken, maakt het systeem gebruik van een extern ophaalmechanisme (met Wikipedia en Google Search via BM25). De LLM selecteert specifieke entiteiten of tripletten uit het graf en kiest tussen twee acties:
- Correctie: Het vervangen van foutieve tripletten door feitelijk accurate exemplaren gevonden in externe bronnen.
- Uitbreiding: Het toevoegen van nieuwe gerelateerde tripletten om kennishiaten te overbruggen.
  Deze iteratieve verfijning produceert een verankerde KG ( $G^*$ ).
Antwoorden op Graf: Ten slotte genereert de LLM het antwoord door de verfijnde KG ( $G^*$ ) te bevragen. Het model is beperkt tot redeneren over de tripletten die in het graf aanwezig zijn om hallucinaties buiten het graf te verminderen en ervoor te zorgen dat het antwoord gebaseerd is op verifieerbare bewijsketens.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Constructie van KG tijdens Inferentie: Een nieuwe methode om tripletten direct uit de interne kennis van een LLM te extraheren en een iteratieve uitbreidingsstrategie te ontwerpen om KG's dynamisch tijdens inferentie uit te breiden.
Hybride Kennisintegratie: Een geünificeerd proces dat naadloos interne LLM-kennis combineert met externe kennisbanken. Deze hybride aanpak compenseert voor de hiaten inherent aan elke bron, waardoor de feitelijke verankering wordt verbeterd.
Empirische Validatie: Uitgebreide evaluatie op drie diverse feitelijke QA-benchmarks (Complex WebQuestions, HotpotQA en SimpleQA) toont consistente en significante verbeteringen in antwoordnauwkeurigheid en feitelijke consistentie over verschillende datasets en backbone-modellen.

Experimentele Resultaten

De methode werd geëvalueerd op CWQ, HotpotQA en SimpleQA met behulp van diverse backbone-modellen (waaronder GPT-4o, Deepseek-V3, Llama-4-Scout en Qwen2.5).

Prestatiewinst: De voorgestelde aanpak behaalde state-of-the-art resultaten in zowel interne als externe kennisinstellingen. Onder de externe kennisinstelling toonde de methode aanzienlijke verbeteringen, met name op de uitdagende SimpleQA-dataset, met nauwkeurigheidswinsten tot 23,0% ten opzichte van baselines.
Verbetering van Recall: De integratie van externe ophaling verhoogde de recall van ground-truth feiten die in het redeneerproces voorkomen aanzienlijk. Bijvoorbeeld, op SimpleQA steeg de recall van Llama-4-Scout van 13,0% (alleen intern) naar 37,5% (met externe ophaling).
Generalisatie: De methode bleek robuust over verschillende modelgroottes. Opvallend genoeg konden kleinere modellen (bijvoorbeeld Llama-4-Scout) uitgerust met deze methode aanzienlijk grotere modellen (bijvoorbeeld DeepSeek-V3) overtreffen of evenaren wanneer externe ophaling werd gebruikt, wat suggereert dat de methode effectief de beperkingen van intern parametrisch geheugen mitigeert.
Ablatie-inzichten: Analyse onthulde een afweging waarbij een toename in redeneercomplexiteit (meer hops) leidt tot grotere grafgroottes maar een afname in nauwkeurigheid, aangezien het model moeite heeft om het juiste pad te identificeren onder de uitgebreide kandidaten. Grotere modellen vertoonden echter over het algemeen een hogere nauwkeurigheid en recall, waarbij de prestatiekloof tussen modellen kleiner werd wanneer externe kennis werd geïntroduceerd.

Betekenis

Het artikel stelt dat constructie van KG's tijdens inferentie een veelbelovende richting is voor het verbeteren van de feitelijke juistheid van LLM's op een gestructureerde, interpreteerbare en schaalbare manier. Door voorbij te gaan aan ongestructureerde tekstophaling, stelt het voorgestelde kader LLM's in staat om systematisch toegang te krijgen tot en feitelijke kennis te integreren. Het vermogen om grafen dynamisch te construeren en te verfijnen, maakt real-time aanpassing aan kennishiaten mogelijk, en biedt een plug-and-play oplossing die de betrouwbaarheid verbetert zonder uitgebreide handmatige curatie of statische vooraf gebouwde grafen te vereisen. De auteurs benadrukken dat hoewel beperkingen met betrekking tot de propagatie van hallucinaties en optimaliteit van grafophaling blijven bestaan, de aanpak een aanzienlijke stap voorwaarts biedt naar meer betrouwbare AI in hoog-risico domeinen.