Technische Samenvatting: Diagnostiek en Herstel van Feitelijke Fouten in RAG onder Budgetbeperkingen

Probleemstelling

Retrieval-Augmented Generation (RAG) beoogt de feitelijkheid van Large Language Models (LLMs) te verbeteren door responsen te funderen in externe bewijslast. De implementatie in de echte wereld blijft echter fragiel, waarbij systemen vaak falen door ontbrekende of zwak relevante bewijslast, of door generatie die de opgehaalde context niet getrouw weerspiegelt. Deze faalmodi zijn bijzonder problematisch in omgevingen met strikte latentie- en hardwarebudgetten (bijv. beperkt GPU-geheugen, rate-limited API's, of kostenbeperkte edge-implementaties), waar iteratieve retrieval of rekenintensieve reranking computationeel onhaalbaar is.

Bestaande oplossingen kampen met significante beperkingen:

• Modificaties tijdens de trainingstijd (bijv. Self-RAG) vereisen fine-tuning en architecturale koppeling, wat het gebruik in black-box of API-gebaseerde settings beperkt.
• Controle tijdens de inferentietijd (bijv. DRAGIN) vertrouwt vaak op interne modelsignalen zoals toegang tot logits, die niet beschikbaar zijn bij closed-source LLM API's.
• Leer-gebaseerde policies (bijv. MBA-RAG, QueryBandits) richten zich vaak op specifieke pijplijnfasen of vereisen aanvullend toezicht en modelleringscomponenten.

Er is behoefte aan een model-agnostisch, resource-bewust framework dat falen kan diagnosticeren met behulp van enkel observeerbare artefacten en de minst kostbare corrigerende actie kan selecteren onder expliciete latentie- en VRAM-beperkingen.

Methodologie: D2R-RAG

De auteurs stellen D2R-RAG (Diagnose-naar-Herstel RAG) voor, een framework dat een standaard RAG-pijplijn aanvult met twee primaire modules: Falen-Diagnose en Adaptief Herstel.

1. Falen-Diagnose

Deze fase bepaalt de betrouwbaarheid van de initiële RAG-output en identificeert het type falen met behulp van enkel observeerbare signalen: de query ($q$), de opgehaalde bewijslast ($E$), de gegenereerde respons ($r$) en een voorspelde label ($y$). Het systeem trianguleert verificatie via drie complementaire signalen:

• Query Entailment ($e_q$): Controleert of de bewijslast de query impliceert (entails).
• Response Entailment ($e_r$): Controleert of de bewijslast de respons impliceert.
• Knowledge Graph (KG) Alignment ($\kappa$): Extraheert relationele triples uit de respons en stemt deze af tegen een KG om entiteit/predicaat-mismatches te identificeren.

Op basis van deze signalen classificeert het systeem fouten in vier interpreteerbare signaturen:

• Wrong-Predicate (WP): KG-conflict.
• Insufficient-Evidence (IE): De opgehaalde bewijslast impliceert de query niet ($e_q = \text{neutral}$).
• Wrong-Response (WR): De respons wordt niet geïmpliceerd door de bewijslast ($e_r \in \{\text{neutral, contradict}\}$).
• Label–Evidence Mismatch (LEM): Specifiek voor FEVER, waarbij het voorspelde label conflicteert met de query-context entailment.

Voor FEVER-taken triggeren IE en LEM een "Unverified" onthoudingslabel om de focus op retrieval-georiënteerde reparaties te prioriteren.

2. Adaptief Herstel via Contextuele Bandieten

Zodra een faal-signatuur is geïdentificeerd, formuleert D2R-RAG de selectie van herstel als een Contextual Multi-Armed Bandit (CMAB) probleem.

• Actieruimte ($A$): Een kleine, black-box inzetbare set interventies:
  1. Prompt-niveau herschrijvingen: Het parafraseren of vereenvoudigen van de query om ambiguïteit te verminderen.
  2. Reranker activatie: Het gebruik van een cross-encoder om de precisie van de bewijslast te verbeteren.
  3. Retrieval-niveau interventies: Het aanpassen van de diepte ($k$), het wisselen tussen BM25 en dense retrieval, of het verversen van de index.
• Policy Learning: Het systeem gebruikt LinUCB om een beleid te leren dat het verwachte herstel van de feitelijkheid balanceert tegen de computationele kosten. De policy gaat uit van een lineair beloningsmodel $\hat{r}(a | x) = x^\top \theta_a$ en selecteert acties door de upper-confidence bound te maximaliseren.
• Resource-Bewuste Beloning: De beloningsfunctie ($r(a)$) scoort reparaties op basis van outputbetrouwbaarheid (NoFailure, KG-consistentie, NLI-entailment) en budgetnaleving. Deze bevat:
  • Hard gates: Het op nul zetten van beloningen als de latentie ($L_a$) of VRAM ($V_a$) de budgetten per actie ($B_L, B_V$) overschrijdt.
  • Multiplicatieve termen: Het stimuleren van goedkopere acties onder de beschikbare opties.

Belangrijkste Bijdragen

1. Model-Agnostisch Framework: D2R-RAG opereert zonder fine-tuning van de generator of toegang tot interne logits, wat implementatie met closed-source LLM API's mogelijk maakt.
2. Interpreteerbare Faal-Signaturen: Het systeem onderscheidt tussen retrieval-zijde tekortkomingen en generatie-zijde ongetrouwheid met behulp van enkel observeerbare artefacten.
3. Adaptief, Budget-Beperkt Herstel: Door herstel te formuleren als een contextueel banditprobleem met expliciete latentie- en VRAM-beperkingen, leert het systeem de "minst kostbare" corrigerende actie te selecteren voor specifieke faalmodi.
4. Empirische Validatie: Het framework wordt geëvalueerd op feitverificatie (FEVER) en multi-hop vraagbeantwoording (HotpotQA), waarbij het superieure betrouwbaarheids- en accuratesse-efficiëntie-afwegingen laat zien ten opzichte van recente baselines.

Experimentele Resultaten

De auteurs evalueerden D2R-RAG tegenover Naive-RAG, Query Paraphrase, Context Expansion en Thompson Sampling (een context-vrije policy baseline) met behulp van GPT-4o-mini.

• FEVER (Feitverificatie):
  • D2R-RAG (Thompson Sampling) behaalde 61,5% Accuratesse, waarmee het Naive-RAG (56,3%) en Context Expansion (61,8% met hogere latentie) versloeg.
  • Het behield een superieur kostenprofiel (1,14s latentie, 0,17 MB VRAM) vergeleken met de LinUCB-variant (1,47s, 0,36 MB).
• HotpotQA (Multi-hop QA):
  • D2R-RAG (Thompson Sampling) bereikte 40,4% Exact Match (EM) met 71,52% getrouwheid (faithfulness).
  • De LinUCB-variant behaalde 39,8% EM maar veroorzaakte hogere latentie (3,41s vs 2,37s) en overschreed incidenteel de VRAM-budgetten.
• Policy Adaptatie (RQ2): Analyse toonde aan dat de policy acties correct conditioneert op basis van faaltypen. Zoal "Insufficient-Evidence" gevallen op FEVER de voorkeur gaven aan retrieval-escalatie (diepere dense/BM25), terwijl "Wrong-Response" en "Wrong-Predicate" fouten op HotpotQA naar reranker-activatie leidden.
• Budget Sensitiviteit (RQ3): Ablatiestudies bevestigden dat de beloningsformulering effectief de kwaliteit-kosten-afweging beheerst. "Strikte" budgetinstellingen verminderden het VRAM-gebruik terwijl de prestaties behouden bleven, terwijl "Ruime" instellingen de latentie verlaagden en de getrouwheid verhoogden.

Betekenis en Beperkingen

Het artikel stelt dat betrouwbaar herstel in black-box RAG-omgevingen een dubbele capaciteit vereist: lichtgewicht diagnostische differentiatie van faaltypen en de selectie van de minst kostbare corrigerende actie onder resourcebeperkingen. D2R-RAG demonstreert dat betrouwbaarheid het meest verbetert wanneer herstel gericht is op specifieke faal-signaturen in plaats van een uniforme strategie te gebruiken.

De auteurs merken bescheiden twee beperkingen op:

1. Imperfecties in Diagnostische Signalen: KG-alignment en NLI-modellen kunnen moeite hebben met ruis in bewijslast en multi-hop redeneringen, wat potentieel kan leiden tot een cascade van fouten naar suboptimale reparaties.
2. Beperkingen in de Actieruimte: De policy is beperkt tot de blootgestelde herstelacties; als goedkopere alternatieven niet beschikbaar zijn, kan het systeem dure patches overmatig gebruiken of niet in staat zijn complexe fouten op te lossen.

Het werk concludeert dat D2R-RAG een praktisch, resource-bewust algoritme biedt voor het verbeteren van de RAG-betrouwbaarheid in beperkte omgevingen zonder dat toegang tot interne modelparameters vereist is.