Technische Samenvatting: DynaKRAG

Probleemstelling

Multi-hop Retrieval-Augmented Generation (RAG) richt zich op vragen waarbij het antwoord afhankelijk is van bewijslast die verspreid is over meerdere documenten en redeneerstappen. In tegenstelling tot standaard RAG, dat doorgaans een vast "retrieve-then-generate"-paradigma volgt, vereisen multi-hop vragen een evoluerend proces van informatieverwerving. Een enkel opgehaald tekstfragment is zelden voldoende; het kan in plaats daarvan een "brug-entiteit" onthullen, een ontbrekende relatie blootleggen, een defect in de query aangeven of voldoende ondersteuning bieden om te stoppen.

Bestaande adaptieve RAG-methoden (bijv. IRCoT, Self-Ask, CRAG, S2G-RAG) introduceren nuttige gedragingen zoals iteratieve retrieval, query-herformulering, bewijs-kritiek en voldoendeheidsbeoordeling. Deze methoden organiseren deze operaties echter doorgaans binnen methoonspecifieke pipelines of voorgedefinieerde controletopologieën. Deze fragmentatie creëert twee primaire beperkingen:

1. Gebrek aan Uniforme Controle: Heterogene bewijsoperaties zijn moeilijk uit te drukken, te vergelijken en te leren binnen één enkel framework. Een systeem dat besluit om meer te ophalen, weet mogelijk niet wanneer herschrijven beter is, en een module voor voldoendeheid kan een ontbrekende feit identificeren zonder dit gezamenlijk af te stemmen tegen brug-expansie of stoppen.
2. Inefficiëntie: Adaptieve trajecten kunnen herhaaldelijk retrievers en taalmodellen aanroepen. Zonder een geleerd beleid om deze operaties te coördineren, kunnen systemen tokens verspillen aan redundante bewijslast of er niet in slagen te stoppen wanneer het bewijs voldoende is.

De kernuitdaging is het leren van een gedeelde staat-geconditioneerde policy die dynamisch kiest tussen momenteel geldige bewijsoperaties naarmate de bewijsstaat evolueert, waarbij een balans wordt gezocht tussen retrieval, diagnose en gat-gerichte acquisitie.

Methodologie: DynaKRAG

DynaKRAG (Dynamic Knowledge Retrieval-Augmented Generation) formuleert multi-hop bewijsverwerving als staat-geconditioneerde controle over atomaire bewijsoperaties. Het ontkoppelt de geldigheid van een actie van de bruikbaarheid ervan, waardoor regels de transitieconsistentie kunnen afdwingen terwijl het leren bepaalt welke operatie het meest nuttig is.

1. Unified Evidence-Action Framework

Het systeem modelleert het proces als een traject $\tau = (s_0, a_0, s_1, a_1, \dots, s_T)$.

• Staat ($s_t$): Codeert observeerbare informatie inclusief de vraag, opgehaalde documenten, statistieken van de retrieval-frontier, actiegeschiedenis, gedetecteerde brug-entiteiten en diagnostische feedback (bijv. beschrijvingen van ontbrekende informatie). Cruciaal is dat het tijdens de inferentie geen gouden antwoorden of ondersteunende annotaties bevat.
• Atomaire Operaties: Het framework definieert zeven atomaire acties:
  • Retrieval/Expansie: retrieve_more (breidt de frontier uit), gap_query (richt zich op ontbrekende feiten), bridge_entity_expand (haalt informatie op rond gedetecteerde entiteiten), rewrite_query (herschrijft de query op basis van bewijs).
  • Diagnose/Terminatie: sufficiency_check (vraagt de generator of het bewijs voldoende is; zo niet, registreert de ontbrekende informatie), stop_answer.
  • Post-verwerking: compress_answer_evidence (extraheert ondersteunende fragmenten voordat de definitieve generatie plaatsvindt).
• Geldigheidslaag (Validity Layer): Een harde, op regels gebaseerde laag construeert de uitvoerbare actieset $A(s_t)$ door ongedefinieerde, uitgeputte of voortijdige operaties te filteren (bijv. het voorkomen van een gap_query als er geen gat bekend is).

2. Learned State-Conditioned Control Policy

DynaKRAG maakt gebruik van een geleerde controller om acties te rangschikken:

• Action-Value Model: Een random forest regressor $\hat{v}_\theta(s, a)$ schat de verbetering in die een actie brengt aan de bewijsstaat.
  • Trainingsdoelen: Tijdens de training wordt de waarde $v(s, a)$ gedefinieerd door de verandering in Support Recall (SR) (het deel van de geannoteerde ondersteunende documenten dat aanwezig is). Voor acquisitie-acties is $v = SR(s') - SR(s)$. Voor de voldoendeheidscontrole voorspelt het of $SR(s)=1$. Voor stoppen wordt gescoord op basis van de huidige dekking.
  • Inference: De controller selecteert de actie $a^*$ die de waarde maximaliseert minus een kostencomponent: $a^* = \arg\max_{a \in A(s_t)} [\hat{v}_\theta(s_t, a) - \lambda c(s_t, a)]$.
• Continuatiemodel: Een apart model schat de bruikbaarheid van het voortzetten van het traject in, om voortijdige stopzetting te voorkomen wanneer aanvullend bewijs voorspeld wordt te helpen.
• Terminale Compressie: Bij terminatie extraheert een compressor wederzijds ondersteunende fragmenten uit de geaccumuleerde context om de belasting op de uiteindelijke antwoordgenerator te verminderen.

3. Inferentieprocedure

De inferentielus (Algoritme 1) verloopt als volgt:

1. Construeer de geldige actieset $A(s_t)$ op basis van de huidige staat-restricties.
2. Score geldige acties met behulp van het geleerde waardemodel.
3. Selecteer de hoogst gerangschikte actie.
4. Voer de actie uit (bijv. de dense index bevragen, de staat bijwerken).
5. Herhaal tot stop_answer wordt geselecteerd of een limiet voor retrieval/acties is bereikt.
6. Optioneel: comprimeer bewijs en genereer het definitieve antwoord.

Belangrijkste Bijdragen

1. Unified Framework: Het artikel stelt een verenigd bewijs-actie framework voor waarbij heterogene RAG-strategieën worden gerepresenteerd als atomaire operaties over een gedeelde staat, waarmee wordt afgeweken van geïsoleerde, methoonspecifieke pipelines.
2. Kosteneffectieve Geleerde Controller: Het ontwikkelt een controller die de harde actie-geldigheid scheidt van de staat-geconditioneerde actie-bruikbaarheid. Dit maakt de dynamische coördinatie van retrieval, diagnose, herformulering en terminatie mogelijk langs een evoluerend traject, zonder de onderliggende retriever of generator te vervangen.
3. Empirische Validatie: Door middel van gecontroleerde experimenten op drie benchmarks isoleert de auteur de effecten van geleerde actieranking, voldoendeheidsfeedback en terminale compressie, en toont aan dat dynamische controle consistente winst oplevert in kwaliteit en efficiëntie.

Experimentele Resultaten

De auteurs evalueerden DynaKRAG met behulp van Qwen2.5-7B-Instruct, GPT-4o-mini en Llama-3.1-8B-Instruct als backbone generators, getraind op HotpotQA, 2WikiMultiHopQA en MuSiQue.

• Prestaties: DynaKRAG behaalde de hoogste F1-scores op alle drie de benchmarks met Qwen2.5-7B (0.5998 op HotpotQA, 0.5340 op 2Wiki, 0.3061 op MuSiQue), waarmee het de sterkste gecontroleerde baselines (bijv. S2G-RAG, CoRAG) overtrof met 2.88 tot 7.19 punten.
• Generalisatie: De policy, getraind op Qwen-trajecten, vertaalde zich effectief naar GPT-4o-mini en Llama-3.1-8B zonder hertraining, waarbij state-of-the-art resultaten werden behaald op de meeste configuraties. Dit suggereert dat de geleerde policy algemeen generaliseerbare voorkeuren voor bewijsverwerving heeft vastgelegd in plaats van te overfitten op een specifieke generator.
• Efficiëntie: DynaKRAG verminderde het totale tokenverbruik met 13.1% tot 20.7% vergeleken met de sterkste F1-baseline (S2G-RAG), terwijl het een hogere nauwkeurigheid behaalde.
• Ablatie-studies:
  • Het vervangen van de geleerde controller door een uniforme-validiteits-policy verlaagde de F1 met 3.96–5.78 punten, wat bewijst dat het louter blootstellen van acties onvoldoende is; het rangschikken ervan is cruciaal.
  • Het verwijderen van de voldoendeheidsfeedback schaadde de prestaties in alle datasets, wat de waarde van expliciete beoordeling van de bewijs-gereedheid bevestigt.
  • Het verwijderen van de terminale compressie degradeerde de prestaties ook, wat het voordeel van contextverfijning benadrukt.
• Gevoeligheid voor Retrieval-budget: Gecontroleerde experimenten toonden aan dat "meer retrieval" niet uniform voordelig is. Bijvoorbeeld, op MuSiQue piekte de prestatie bij twee retrieval-oproepen en nam deze af bij drie, wat aangeeft dat dynamische controle noodzakelijk is om budgetten effectief toe te wijzen op basis van de specifieke bewijsstaat.

Betekenis en Claims

Het artikel claimt dat adaptieve multi-hop RAG afhangt van het selecteren van geschikte bewijsoperaties vanuit de huidige informatieve staat. Door bewijsverwerving te formuleren als een closed-loop controlproces, overwint DynaKRAG de fragmentatie van bestaande methoden.

De auteurs benadrukken dat hun aanpak het voordeel aantoont van het coördineren van retrieval, diagnose en gat-gerichte acquisitie onder een evoluerende bewijsstaat. De resultaten suggereren dat een verenigde, geleerde control policy beter kan presteren dan gespecialiseerde, pipeline-gebaseerde systemen in zowel antwoordkwaliteit als token-efficiëntie, en dat deze controle-strategieën kunnen generaliseren over verschillende taalmodel-backbones. Het werk vestigt de stelling dat de beslissing over wat de volgende stap is (retrieven, herschrijven, voldoendeheid controleren of stoppen) even cruciaal is als de retrieval zelf, en dat deze beslissing gedreven moet worden door een staat-geconditioneerde policy in plaats van vaste heuristieken.