Technische Samenvatting: Beyond Correctness: Rewarding Faithful Reasoning in Retrieval-Augmented Generation

Probleemstelling

Recente ontwikkelingen in Retrieval-Augmented Generation (RAG) zijn verschoven naar "agentic search", waarbij Large Language Models (LLM's) via Reinforcement Learning (RL) worden getraind om dynamisch te plannen, zoekmachines te bevragen en te redeneren over opgehaalde bewijslast. Hoewel bestaande methoden (bijv. Search-R1, ReSearch) sterke prestaties leveren op de correctheid van het uiteindelijke antwoord (Exact Match) met behulp van episode-niveau uitkomstgebaseerde beloningen, lijden ze aan een kritieke beperking: chain-of-thought ongetrouwheid (unfaithfulness).

Deze modellen optimaliseren vaak uitsluitend voor het uiteindelijke antwoord, waarbij de kwaliteit en integriteit van tussenliggende redeneerstappen over het hoofd worden gezien. Dit leidt tot scenario's waarin het uiteindelijke antwoord weliswaar correct is, maar de tussenliggende stappen (gedachten, zoekopdrachten en synthese van bewijs) logisch niet verbonden zijn, opgehaalde bewijs negeren of informatie hallucineren. Het artikel identificeert een gat in het vakgebied: een gebrek aan formele definities en evaluatiekaders voor redeneergetrouwheid (reasoning faithfulness) in de context van agentic search, en de afwezigheid van trainingsmechanismen die getrouwe tussenliggende sporen stimuleren zonder de taakprestaties op te offeren.

Methodologie

1. Evaluatiekader voor Getrouwheid

De auteurs stellen een uitgebreid evaluatiekader voor dat gecentreerd is rond drie onderscheidende, turn-niveau getrouwheidsmetrieken die de logische flow van het agentic search-traject beoordelen:

• Think-Search Faithfulness: Beoordeelt of een zoekopdracht een direct en noodzakelijk gevolg is van de voorafgaande redenering van de agent (d.w.z. "zoeken naar wat de agent denkt nodig te hebben").
• Information-Think Faithfulness: Evalueert of het redeneerblok van de agent volgend op een retrieval-stap de nieuw verworven bewijslast op de juiste wijze synthetiseert, samenvat of daaruit afleidt, om er zeker van te zijn dat het model de opgehaalde informatie niet negeert of tegenspreekt.
• Think-Answer Faithfulness: Meet of het uiteindelijke antwoord wordt gerechtvaardigd door de cumulatieve kennis en redenering in het voorafgaande gedachtenblok, om te voorkomen dat er bij de laatste stap ongeverifieerde informatie wordt geïntroduceerd.

Deze metrieken worden operationeel gemaakt met behulp van een combinatie van Natural Language Inference (NLI)-modellen en LLM-as-a-Judge (LLMaaJ)-benaderingen.

2. VERITAS Framework

Om de geïdentificeerde hiaten aan te pakken, introduceert het artikel VERITAS (Verifying Entailed Reasoning through Intermediate Traceability in Agentic Search). Dit is een trainingsframework dat fijnmazige, gestructureerde getrouwheidsbeloningen integreert in de RL-trainingslus (specifiek met behulp van PPO).

• Beloningsontwerp: De totale beloningsfunctie ($R$) is een gewogen som van de traditionele uitkomstgebaseerde beloning ($R_{EM}$) en gestructureerde getrouwheidsbeloningen ($R_{info-think}$, $R_{think-answer}$, $R_{think-search}$).
  $$R = w_{EM} \cdot R_{EM} + w_{info-think} \cdot R_{info-think} + w_{think-search} \cdot R_{think-search} + w_{think-answer} \cdot R_{think-answer}$$
  De auteurs ontdekten empirisch dat $R_{think-search}$ weggelaten kon worden ($w=0$), aangezien baseline-modellen al een hoge getrouwheid vertoonden in deze dimensie, wat een gestroomlijnd trainingsproces mogelijk maakt.
• Gedestilleerd Beloningsmodel: Om de latentie en kosten te overwinnen die gepaard gaan met het gebruik van LLMaaJ voor on-policy RL, hebben de auteurs een kleiner, gedestilleerd Beloningsmodel (RM) getraind met behulp van LoRA fine-tuning op een Qwen2.5-14B-Instruct model. Dit RM is getraind om de oordelen van een groter LLM-judge (Claude-3.7-Sonnet) na te bootsen met betrekking tot Information-Think getrouwheid.
• Curriculum Learning: Om "reward hacking" te voorkomen (waarbij het model te veel optimaliseert voor getrouwheid ten koste van exploratie en taakaccuratesse), passen de auteurs een curriculumstrategie toe. De getrouwheidsbeloningen worden aanvankelijk op nul gezet en nemen lineair toe (warm-up) over de eerste 1,5 epochs van de training, waardoor het model eerst de basis taakprestaties kan leren voordat de redeneervolledigheid wordt verfijnd.

Belangrijkste Bijdragen

1. Formele Definitie en Evaluatie: Het artikel stelt het eerste formele evaluatiekader vast voor getrouwheid in agentic search, waarbij drie specifieke dimensies worden gedefinieerd en gekwantificeerd: Think-Search, Information-Think en Think-Answer getrouwheid.
2. Empirische Analyse van Baselines: Door middel van uitgebreide evaluatie van vooraanstaande RL-gebaseerde search-agents (Search-R1, ReSearch, DeSA), onthullen de auteurs een kritieke disconnect: hoge taakaccuratesse garandeert geen hoge redeneergetrouwheid. Specifiek blijken modellen die getraind zijn met pure uitkomstbeloningen vaak niet in staat om opgehaalde bewijslast in hun redenering te integreren (lage Information-Think getrouwheid).
3. VERITAS Trainingsparadigma: De auteurs stellen VERITAS voor en valideren dit, een methode die gestructureerde, checklist-stijl getrouwheidsbeloningen in de RL-training incorporeert. Deze aanpak verbetert de redeneergetrouwheid succesvol terwijl de uiteindelijke taakprestaties gelijk blijven of verbeteren.

Experimentele Resultaten

De auteurs evalueerden VERITAS-R1 (Search-R1 getraind met het VERITAS-framework) tegenover baselines over zeven QA-benchmarks (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle).

• Verbeteringen in Getrouwheid: VERITAS-R1 verbeterde de getrouwheidsmetrieken aanzienlijk. Zo steeg de Information-Think getrouwheid op algemene QA-datasets van 0,734 (baseline) naar 0,853. Think-Answer getrouwheid zag ook opzame winsten op multi-hop datasets.
• Taakprestaties: In tegen tegenstelling tot de hypothese dat het afdwingen van getrouwheid de prestaties zou kunnen beperken, behaalde VERITAS-R1 hogere Exact Match (EM) scores dan de baseline Search-R1. Op multi-hop datasets verbeterde de gemiddelde EM van 0,361 naar 0,380.
• Ablatiestudies:
  • Beloningscomponenten: De Information-Think beloning werd gevonden als de meest stabiele drijfveer voor zowel verbeteringen in getrouwheid als accuratesse.
  • Curriculum Learning: Training zonder het curriculum (het direct toepassen van getrouwheidsbeloningen) leidde tot reward hacking en lagere uiteindelijke EM-scores, wat de noodzaak van de warm-up strategie bevestigt.
  • Beloningsmodel: Het gedestilleerde Qwen2.5-14B RM vertoonde een hoge consistentie (0,910) met menselijke annotaties en het grotere judge-model, wat het gebruik ervan als schaalbare proxy valideert.

Betekenis en Claims

Het artikel claimt dat het belonen van het redeneerproces niet ten koste gaat van de prestaties; in plaats daarvan creëert het een positieve synergie. Door over te stappen van puur uitkomstgebaseerde beloningen naar gestructureerde, fijnmazige getrouwheidsbeloningen, laten de auteurs zien dat het mogelijk is om agents te ontwikkelen die niet alleen nauwkeuriger zijn, maar ook transparanter en betrouwbaarder.

Het werk onderstreept de waarde van gestructureerd toezicht op tussenliggende redeneerstappen. Het suggereert dat naarmate uitkomstgebaseerde beloningen verzadigen, de volgende as van verbetering voor agentic systemen ligt in het investeren van rekenkracht in rijkere, fijnere evaluatiesignalen (rubrics/checklists) en het terugkoppelen van deze signalen in de trainingslus. De auteurs positioneren VERITAS als een stap naar het ontwikkelen van meer betrouwbare AI-agents die kunnen worden ingezet in scenario's die strikte synthese van bewijslast en logische consistentie vereisen.