Technische Samenvatting: StepGap

Probleemstelling

Multi-hop Vraag- en Antwoordsystemen (QA) vereisen dat modellen bewijsmateriaal ophalen, verbinden en verifiëren over meerdere tussenstappen heen. Echter, de huidige evaluatie- en versterkingsleer (RL) frameworks in systemen met doorzoekingsinterleaving blijven eindpunt-gericht, waarbij uitsluitend wordt vertrouwd op Exact Match (EM) van het uiteindelijke antwoord. Deze aanpak lijdt aan twee structurele gebreken:

1. Gebrek aan Differentiatie: EM kan geen onderscheid maken tussen een redeneringsketen die is gebaseerd op bewijsmateriaal en een schijnbaar correcte keten die is afgeleid van parametrisch geheugen of shortcuts.
2. Gebrek aan Lokalisatie: Wanneer een beleid faalt, levert EM een nul-beloningssignaal op zonder aan te geven welke stap de keten heeft verbroken, waardoor het model niet kan leren stap-specifieke herstelgedragingen.

Bestaande controles op stapniveau vatten alle subtaken ofwel samen in één enkele Large Language Model (LLM)-oproep, of vertrouwen op één enkele Natural Language Inference (NLI)-oproep. Geen van beide benaderingen geeft gelijktijdig getypeerde labels (die specifieke fouttypen onderscheiden) en verankert deze in deterministische beslissingen die geschikt zijn voor training. Bovendien werken post-hoc verifiers pas nadat een volledig antwoord is gegenereerd, waardoor de kans wordt gemist om de generator tijdens het redeneerproces om te leiden.

Methodologie: StepGap

De auteurs stellen StepGap voor, een hybride NLI-LLM beslissingsboom die is ontworpen om bewijsmateriaal-kloven op stapniveau te detecteren en één van drie getypeerde labels uit te zenden, waarbij elk label is gekoppeld aan een concreet herstelactie:

• CONTRADICTED CLAIM (CC): De stap stelt een bewering die in strijd is met het opgehaalde bewijsmateriaal. Herstel: Intrekken.
• IRRELEVANT EVIDENCE (IE): Het bewijsmateriaal adresseert niet de entiteit of relatie die door de stap nodig is. Herstel: Opnieuw zoeken.
• MISSING BRIDGE (MB): Het bewijsmateriaal is relevant, maar leidt nog niet tot de bewering. Herstel: Overbruggend zoeken.

Architectuur

StepGap functioneert als een hybride beslissingsboom met vijf fasen voor elke redeneerstap $s_i$ (gegeven het geaccumuleerde bewijsmateriaal $e_{\le i}$):

1. Fase A (LLM): Controleert Entiteit/Relatie-uitlijning. Bepaalt of de stap gericht is op de juiste entiteit/relation voordat er wordt gezocht. Een verkeerde targeting triggert een CC-label.
2. Fase B (LLM): Controleert Validiteit van Afzien. Verifieert of een bewering "kan niet worden bepaald" is onderbouwd door bewijsmateriaal. Ongegronde afzien triggert CC.
3. Fase C (LLM): Controleert Entiteitsconsistentie en Citatenextractie. Verifieert of het opgehaalde bewijsmateriaal over de juiste entiteit gaat en extrahert een letterlijk ondersteunend citaat. Een mismatch triggert IE.
4. Fase D (NLI): Voert Lokale Afleiding uit. Gebruikt een deterministisch NLI-model (DeBERTa-v3) om te controleren of het citaat uit Fase C de bewering afleidt.
   • Afleiding $\rightarrow$ geen-kloof.
   • Neutraal $\rightarrow$ MB.
   • Contradictie $\rightarrow$ CC.
5. Fase E (NLI): Voert Cross-stap Verificatie uit. Voor conclusiestappen zonder lokaal citaat, wordt gecontroleerd of de bewering wordt afgeleid van bewijsmateriaal uit eerdere redeneerstappen. Falen triggert IE.

Integratie van Procesbeloning

De getypeerde output $\tau_i$ wordt geïntegreerd in GRPO (Group Relative Policy Optimization) als een per-stap procesbeloning:

• Basisbeloning ($r_{base}$): Wijs scalair waarden toe op basis van het kloftype (bijv. +0,20 voor geen-kloof, -0,10 voor IE, +0,05 voor het detecteren van een CC).
• Vormgevende Beloning ($r_{shape}$): Is afhankelijk van de herstelactie die in de daaropvolgende stap wordt ondernomen. Het beloont het beleid voor het uitvoeren van de juiste herstelactie (bijv. opnieuw zoeken na IE, intrekken na CC) en straft het negeren van de kloof of het uitsturen van bijna-duplicate zoekopdrachten.

Belangrijkste Bijdragen

1. Getypeerde Koppeling van Kloof en Actie: Het artikel betoogt dat getypeerde labels op stapniveau alleen nuttig zijn wanneer ze zijn gekoppeld aan specifieke herstelacties. StepGap koppelt CC, IE en MB expliciet aan respectievelijk intrekken, opnieuw zoeken en overbruggend zoeken.
2. Hybride Decomposeerbaarheid versus LLM-Only Annulering:
   • Op een menselijk geannoteerde benchmark (181 stappen) bereikt StepGap een sF1 van 72,0, statistisch niet te onderscheiden van een LLM-only baseline (70,1).
   • Echter, ablatiestudies onthullen een kwalitatief verschil: het verwijderen van een component uit StepGap verlaagt de prestaties (gezonde decompositie), terwijl het verwijderen van drie van de vier componenten uit de LLM-only baseline de prestaties verbetert. Dit geeft aan dat het LLM-only systeem lijdt aan competerende-fout-annulering, waarbij interne fasen elkaars fouten maskeren, waardoor het ongeschikt is voor betrouwbare RL-signalen.
3. De Q-F1-valstrik: De auteurs bloot een meetfout waarbij Vraag-niveau F1 (Q-F1) mechanisch wordt opgeblazen door controles die elke stap markeren. Een controle die 95% van de stappen markeert, kan een Q-F1 bereiken die dicht bij het plafond ligt, terwijl het een slechte precisie op stapniveau heeft. StepGap vermijdt dit door stap-niveau F1 (sF1) en Balanced Accuracy (BA) in evenwicht te brengen.
4. Effectiviteit van Procesbeloning: Het gebruik van StepGap als een getypeerde GRPO-beloning verbetert de Exact Match van Qwen2.5-7B-Instruct van 32,1 naar 35,4 (over drie zaden) en verhoogt de ondersteuning van antwoord-beweringen naar 71,5%.

Resultaten

• Controleprestaties: StepGap bereikt sF1=72,0, Q-F1=81,2 en BA=60,6% op de menselijke benchmark van 181 stappen. Het handhaaft een gezonde verdeling van kloftypen (IE ~38%, CC ~15%, MB ~6%), terwijl degeneratieve varianten (zoals een enkele sterke LLM) instorten tot het markeren van bijna alles als IE (87,8%), waardoor ze geen onderscheid kunnen maken tussen fouttypen.
• RL-training:
  • Getypeerd+Vormgevend (StepGap met vormgevende beloningen) presteert beter dan de Search-R1 GRPO baseline met +5,6 gemiddelde EM (29,8 $\rightarrow$ 35,4).
  • Het presteert ook beter dan de Search-R1 baseline met +10,9 EM op de strikt out-of-domain MuSiQue dataset.
  • Het beloningssignaal moedigt het beleid aan om het aantal zoekopdrachten te verhogen (van 2,5 naar 2,8) en specifieke herstelacties uit te voeren in plaats van alleen fouten te vermijden.
• Distillatie: Een gedistilleerd Qwen2.5-7B studentmodel behoudt 87% van de F1-score van de leraar zonder API-oproepen tijdens inferentie, waardoor het systeem schaalbaar is voor lange RL-runs.

Betekenis en Claims

Het artikel stelt dat StepGap een kwalitatief verschillend proces-signaal biedt in vergelijking met bestaande controles. Hoewel twee systemen overlappende F1-betrouwbaarheidsintervallen kunnen hebben, is alleen degene met monotone componentbijdragen (StepGap) geschikt voor getypeerde RL-beloningen. De LLM-only aanpak, ondanks vergelijkbare aggregaatnauwkeurigheid, vertrouwt op fout-annulering die de specifieke aard van falen verbergt, waardoor het onbetrouwbaar is voor het trainen van beleidsregels om specifieke herstelacties uit te voeren.

De auteurs positioneren StepGap niet alleen als een betere detector, maar als een noodzakelijk component voor agentic RAG-training, waardoor modellen kunnen leren hoe ze redeneerketens moeten repareren (intrekken, opnieuw zoeken, overbruggen) in plaats van alleen te leren om uiteindelijke fouten te vermijden. Het werk benadrukt de noodzaak van diagnostiek op stapniveau boven vraag-niveau metrics om de "Q-F1-valstrik" te vermijden en ervoor te zorgen dat verbeteringen in RL-training worden gedreven door echte redeneercapaciteiten in plaats van schijnbare correlaties.

Beperkingen opgemerkt door de auteurs:

• De menselijke evaluatieset is klein (181 stappen), wat leidt tot overlappende betrouwbaarheidsintervallen met baselines; de bijdrage wordt gepresenteerd rond architecturale eigenschappen (decomposeerbaarheid) in plaats van een ruwe F1-winst.
• Beloningsgroottes zijn afgestemd op Qwen2.5-7B en transfereren niet zero-shot naar Llama-3.1-8B.
• Detectie van intrekkingen is gebaseerd op oppervlaktepatroonmatching, wat theoretisch kwetsbaar zou kunnen zijn voor reward hacking, hoewel dit niet werd waargenomen in runs van 200 iteraties.