💻 informatica

Dynamic Knowledge Grounding for Retrieval-Augmented Generation: Uncertainty-Aware Evidence Fusion with Adaptive Retrieval Control

FORGE is een principieel raamwerk dat Retrieval-Augmented Generation verbetert door een onzekerheidsgestuurde adaptieve retrieval-controller, een betrouwbaarheidsgewogen evidence-fusienetwerk en een token-niveau grondingsverificatiemodule te integreren om hallucinaties en computationele kosten aanzienlijk te verminderen, terwijl het een state-of-the-art prestatie levert over meerdere benchmarks.

Oorspronkelijke auteurs: Babasaheb Satpute, Chaya Jadhav, Rajesh Bharati, Deepak Kshirsagar

Gepubliceerd 2026-11-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Babasaheb Satpute, Chaya Jadhav, Rajesh Bharati, Deepak Kshirsagar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het uitgestrekte landschap van kunstmatige intelligentie zijn grote taalmodellen opgekomen als krachtige motoren van tekst, in staat om verhalen te schrijven, problemen op te lossen en vragen te beantwoorden met een vloeiendheid die vaak de menselijke gedachte nabootst. Deze systemen werken door gebruik te maken van een enorme interne bibliotheek van feiten en patronen die ze tijdens de training hebben geabsorbeerd. Deze interne bibliotheek heeft echter een aanzienlijk gebrek: deze is statisch en kan verouderd raken, en nog gevaarlijker is dat het model vol vertrouwen feiten kan verzinnen die nooit hebben plaatsgevonden, een fenomeen dat bekend staat als "hallucinatie". Om dit op te lossen, ontwikkelden onderzoekers een methode genaamd retrieval-augmented generation. Deze aanpak werkt als een bibliothecaris voor de AI, waardoor het systeem kan pauzeren met schrijven om antwoorden op te zoeken in een externe database van documenten voordat het spreekt. Hoewel dit helpt, gedragen huidige systemen zich vaak onhandig, waarbij ze informatie ophalen voor elke vraag, ongeacht of dit nodig is, en die informatie vervolgens op een eenvoudige, ondoordachte manier mengen, wat nog steeds tot fouten kan leiden.

Een team van onderzoekers heeft nu een nieuw framework geïntroduceerd genaamd FORGE, ontworpen om dit proces slimmer, efficiënter en veel betrouwbaarder te maken. In plaats van elke vraag hetzelfde te behandelen, fungeert FORGE als een zorgvuldige redacteur die precies beslist wanneer er informatie moet worden opgezocht, hoe de betrouwbaarheid van verschillende bronnen moet worden afgewogen en hoe te verifiëren dat het uiteindelijke antwoord daadwerkelijk wordt ondersteund door wat er is gevonden. Het systeem is gebouwd rond drie afzonderlijke onderdelen die naadloos samenwerken. Ten eerste leert het te herkennen wanneer het onzeker is over een antwoord en grijpt het pas dan naar externe kennis, waardoor tijd wordt bespaard en de ruis van irrelevante gegevens wordt vermeden. Ten tweede, wanneer het informatie verzamelt, dumpt het niet simpelweg de tekst in het antwoord; in plaats daarvan analyseert het zorgvuldig de kwaliteit van elk document, controleert of verschillende bronnen het met elkaar eens zijn en geeft meer belang aan de meest betrouwbare passages. Ten slotte, terwijl het systeem zijn reactie genereert, controleert het constant elk woord dat het schrijft om te verzekeren dat dit wordt ondersteund door het gevonden bewijs, waarbij het weigert claims te maken die geen ondersteuning hebben.

De onderzoekers hebben deze nieuwe aanpak getest over acht verschillende uitdagende benchmarks, variërend van eenvoudige feitenchecking tot complexe vragen die het verbinden van ideeën uit meerdere documenten vereisen. De resultaten toonden aan dat FORGE bestaande methoden aanzienlijk overtrof. Het verbeterde de nauwkeurigheid van antwoorden met tussen de 2,1 en 4,8 punten vergeleken met de beste eerdere systemen, terwijl het tegelijkertijd het percentage hallucinaties met bijna 39 procent verminderde. Misschien nog wel zo belangrijk is dat het systeem veel efficiënter werd. Door te leren de zoekstap over te slaan voor vragen die het al goed kende, verminderde het het aantal keren dat het informatie moest zoeken met meer dan 42 procent. Dit betekent dat het systeem niet alleen eerlijker is, maar ook sneller en minder rekenintensief om uit te voeren.

Het succes van FORGE berust op een verschuiving in de manier waarop de AI met zijn kennisbank interacteert. In plaats van blindelings informatie op te halen voor elke query, gebruikt het systeem een geleerd beleid om de eigen onzekerheid te peilen. Als het model zich zelfverzekerd voelt, antwoordt het vanuit het geheugen; als het een gat in zijn kennis signaleert, activeert het een zoekopdracht. Wanneer het zoekt, maakt het gebruik van een geavanceerd fusienetwerk dat verschillende documenten verschillend behandelt, waarbij een hoger gewicht wordt toegekend aan bronnen die gezaghebbend zijn en consistent met elkaar. Dit voorkomt dat het systeem wordt misleid door een enkel onbetrouwbaar document. Bovendien draait er een verificatiemodule op de achtergrond die een betrouwbaarheidsscore toekent aan elk gegenereerd woord. Als het systeem geen bewijs kan vinden om een specifieke claim te ondersteunen, kan het ervoor kiezen om zich in te houden in plaats van een feit te verzinnen. Dit granulair niveau van controle stelt het systeem in staat om een hoge standaard van waarheidsgetrouwheid te handhaven zonder de flow van natuurlijke taal op te offeren.

In hun analyse toonden de onderzoekers aan dat deze verbeteringen niet slechts gelukkige toevalligheden zijn, maar geworteld zijn in strikte wiskundige principes die garanderen dat het systeem optimaal functioneert over de tijd. Ze toonden aan dat de methode om te beslissen wanneer informatie moet worden opgehaald convergeert naar de best mogelijke strategie, waardoor verspilde inspanning wordt geminimaliseerd. Ze bewezen ook dat de manier waarop informatie wordt gecombineerd theoretisch optimaal is voor het behoud van de meest nuttige details terwijl de rest wordt weggegooid. Cruciaal is dat zij vaststelden dat het verificatieproces een betrouwbare maatstaf voor vertrouwen biedt, waardoor de claims van het systeem consistent gekoppeld zijn aan echt bewijs. De studie bevestigt dat door deze drie capaciteiten — adaptief zoeken, intelligente versmelting en strikte verificatie — in één framework te integreren, het mogelijk is om kunstmatige intelligentie te bouwen die niet alleen kennisrijker, maar ook eerlijker en efficiënter is. Dit werk suggereert een duidelijke weg vooruit voor het creëren van AI-tools die gebruikers kunnen vertrouwen met informatie met een hoge inzet, van medisch advies tot juridisch onderzoek, waar nauwkeurigheid en het vermogen om bronnen te citeren essentieel zijn.

Technische Samenvatting: Dynamische Kennisgronding voor Retrieval-Augmented Generation

1. Probleemstelling

Hoewel Retrieval-Augmented Generation (RAG) is opgeklommen tot een paradigma voor het funderen van de outputs van Large Language Models (LLM's) in externe kennis, kampen huidige benaderingen met drie kritieke beperkingen:

Statische Retrieval: Bestaande systemen halen een uniforme hoeveelheid passages op voor elke query, ongeacht de complexiteit of de bestaande parametrische kennis van het model. Dit leidt tot verspilde berekening en de introductie van irrelevante ruis voor queries die het model met vertrouwen uit het geheugen zou kunnen beantwoorden.
Eenvoudige Evidence Fusie: Standaard RAG-systemen combineren doorgaans opgehaalde passages met de query via oppervlakkige concatenatie of eenvoudige aandacht (attention). Deze aanpak faalt in het modelleren van differentiële relevantie, bronbetrouwbaarheid of inter-passage consistentie, waarbij alle bewijslast als even betrouwbaar wordt behandeld.
Ongeverifieerde Gronding: Ondanks retrieval-augmentatie kunnen LLM's nog steeds inhoud genereren die conflicteert met de opgehaalde bewijslast of ongefundeerde claims maakt. Huidige methoden missen expliciete mechanismen voor verificatie op token-niveau om de propagatie van hallucinaties in scenario's met hoge inzet te voorkomen.

2. Methodologie: Het FORGE-framework

De auteurs stellen FORGE (Factually-Optimized Retrieval for Grounded gEneration) voor, een verenigd framework dat deze beperkingen aanpakt via drie nauw geïntegreerde modules:

A. Adaptive Retrieval Controller (ARC)

De ARC-module formuleert adaptieve retrieval als een online leerprobleem om te bepalen wanneer, wat en hoeveel er opgehaald moet worden.

Onzekerheidgestuurde Triggering: Bij elke generatiestap schat ARC de epistemische onzekerheid (reduceerbaar door retrieval) versus de aleatorische onzekerheid (onreduceerbaar) van het model in. Retrieval wordt alleen getriggerd wanneer de epistemische onzekerheid een geleerd drempelwaarde overschrijdt.
Strategiekelectie: Wanneer retrieval wordt getriggerd, hanteert ARC een contextual multi-armed bandit formulering met Upper Confidence Bound (UCB) exploratie. Het selecteert tussen strategieën zoals single-hop, multi-hop, query-decompositie of het overslaan van retrieval op basis van de huidige context (onzekerheid, verborgen staat, query-embedding).
Theoretische Basis: Het beleid is ontworpen om retrieval-regret te minimaliseren, wat zorgt voor sublineaire regret-bounds ten opzichte van het optimale vaste beleid.

B. Evidence Fusion Network (EFN)

De EFN voert fusie van opgehaalde bewijslast uit op meerdere granulariteitsniveaus, waarmee het verder gaat dan eenvoudige concatenatie.

Multi-Granulariteit Aandacht: Passages worden gecodeerd op drie niveaus: token, zin en passage. Het netwerk berekent cross-attention op elk granulariteitsniveau om verschillende scopes van informatie te vangen.
Betrouwbaarheidsweging: Elke passage krijgt een geleerd betrouwbaarheidsscore ( $r_j$ $r_{j}$ ) gebaseerd op drie factoren:
1. Relevantie: Query-passage gelijkenis.
2. Autoriteit van de Bron: De inherente kwaliteit van de bron.
3. Consistentie: Inter-passage overeenstemming (gemeten via Natural Language Inference scores).
Gated Fusion: Een geleerde gate combineert dynamisch de multi-granulariteit representaties, gewogen door betrouwbaarheid, om een optimale gefuseerde context te produceren. Dit is theoretisch onderbouwd in de Information Bottleneck en rate-distortion frameworks.

C. Grounding Verification Module (GVM)

De GVM biedt fijnmazige, token-niveau feitelijke consistentiecontrole.

Token-Level Scoring: Voor elk gegenereerd token berekent de GVM een grounding score die de implicatie (entailment) van dat token door de opgehaalde bewijslast-cache vertegenwoordigt.
Kalibratie: Ruwe scores worden gekalibreerd met behulp van temperature scaling en Platt calibration om ervoor te zorgen dat de betrouwbaarheidsscores statistisch betrouwbaar zijn (bijv. een score van 0,8 impliceert een waarschijnlijkheid van 80% dat het gegrond is).
Selectieve Onthouding: Als de cumulatieve grounding-betrouwbaarheid onder een drempelwaarde valt, kan het systeem besluiten om niet verder te genereren in plaats van ongetrouwe output te produceren.
Decoding Bias: De module wijzigt de next-token distributie om de generatie te sturen naar goed ondersteunde tokens.

Trainingsprocedure

FORGE wordt getraind in drie stadia:

Pre-training: Gezamenlijke training van de retriever en EFN met contrastieve loss op passage-relevantie.
Fine-tuning: Generator fine-tuning met actieve EFN, waarbij geoptimaliseerd wordt voor taakprestaties en lage grounding scores worden bestraft.
Gezamenlijke Optimalisatie: Reinforcement learning (REINFORCE) om de retrieval-policy, fusie en verificatie modules gezamenlijk te optimaliseren, waarbij een balans wordt gezocht tussen taakbeloning en retrieval-kosten.

3. Belangrijkste Bijdragen

Het artikel claimt vier primaire bijdragen:

Verenigd Framework: Een enkele architectuur (FORGE) die adaptieve retrieval, evidence fusie en grounding verificatie gezamenlijk optimaliseert.
Strikte Theoretische Analyse:
- Retrieval Regret: Bewezen $O(\sqrt{T} \log K)$ regret bounds voor het adaptieve retrieval-beleid.
- Fusie Optimaliteit: Informatietheoretische optimaliteitsgaranties voor evidence fusie onder het rate-distortion framework.
- Generalisatie Bounds: PAC-Bayes bounds voor de grounding verificatie module.
- Reductie van Hallucinaties: End-to-end garanties op de reductie van het hallucinatiepercentage.
State-of-the-Art Prestaties: Empirische resultaten die significante verbeteringen laten zien ten opzichte van baselines over acht diverse benchmarks.
Uitgebreide Analyse: Ablatie-studies die de complementaire aard van elke module en de interpreteerbaarheid van de geleerde retrieval-policies aantonen.

4. Experimentele Resultaten

Het framework werd geëvalueerd op acht benchmarks: Natural Questions, TriviaQA, HotpotQA, FEVER, ASQA, ELI5, PopQA, en TruthfulQA.

Prestatiewinst: FORGE behaalde state-of-the-art resultaten, met een verbetering van 2,1–4,8 punten ten opzichte van de beste baselines (bijv. Self-RAG, CRAG) gemiddeld.
Reductie van Hallucinaties: Het systeem verminderde de hallucinatiepercentages met 38,7% ten opzichte van de sterkste baseline (CRAG), waarbij een definitief hallucinatiepercentage van 11,9% werd bereikt op TruthfulQA (vergeleken met 18,4% voor CRAG).
Efficiëntie: Door adaptief retrieval over te slaan voor queries die het model uit het geheugen kan beantwoorden, verminderde FORGE de retrieval-kosten met 42,3% vergeleken met "always-retrieve" baselines, terwijl de latentie tegelijkertijd werd verlaagd.
Ablatiebevindingen:
- Het verwijderen van ARC (het forceren van altijd-retrieve) degradeerde de efficiëntie maar behield een hoge nauwkeurigheid, wat de kostenbesparende aard van het beleid valideert.
- Het verwijderen van EFN (gebruik van eenvoudige concatenatie) veroorzaakte een significante daling in kwaliteit (+4,1 EM punten verlies), wat het belang van betrouwbaarheidsgewogen fusie benadrukt.
- Het verwijderen van GVM verhoogde de hallucinatiepercentages met 36,4%, wat de rol ervan in feitelijke consistentie bevestigt.

5. Betekenis en Claims

De auteurs positioneren FORGE als een fundamentele vooruitgang in RAG-systemen die verder gaat dan heuristische ontwerpen naar theoretisch onderbouwde mechanismen.

Betrouwbaarheid: Door gekalibreerde, token-niveau grounding scores en attributie te bieden, adresseert FORGE de "black box"-natuur van RAG, waardoor het geschikt is voor toepassingen met hoge inzet waar herkomst en nauwkeurigheid cruciaal zijn.
Efficiëntie-Effectiviteit Afweging: Het framework demonstreert dat adaptieve retrieval geen offer hoeft te brengen op nauwkeurigheid; in plaats daarvan verbetert het de nauwkeurigheid door ruis te verminderen en computationele middelen te concentreren op queries die daadwerkelijk externe kennis vereisen.
Beperkingen: De auteurs erkennen bescheiden beperkingen, waaronder de computationele overhead van multi-granulariteit fusie, afhankelijkheid van corpusdekking (moeilijkheden met zeer recente gebeurtenissen of niche-onderwerpen niet in de index), en kwetsbaarheid voor corpusvergiftiging als alle opgehaalde bewijslast uniform misleidend is. Ze suggereren toekomstig werk in multi-modale fusie, gepersonaliseerde beleidsregels en formele verificatie.

Concluderend biedt FORGE een systematische aanpak voor dynamische kennisgronding, waarbij onzekerheidskwantificatie, informatie-theoretische fusie en gekalibreerde verificatie worden gecombineerd om meer betrouwbare, efficiënte en waarheidsgetrouwe generatieve AI te produceren.