Technische Samenvatting: EviBack

Probleemstelling

Reinforcement learning (RL) heeft Agentic Retrieval-Augmented Generation (RAG) systemen in staat gesteld om multi-turn zoekstrategieën te leren van verifieerbare uitkomstbeloningen. Echter, er bestaat een kritieke beperking in huidige trainingsparadigma's: wanneer een groep gesamplede trajecten (rollouts) geen correcte antwoorden oplevert (een "all-zero" groep), biedt de standaard RL-signaal geen vergelijkbare informatie. In deze scenario's is de genormaliseerde advantage nul, waardoor gede progressie of correcte tussenliggende zoekgedragingen ononderscheidbaar zijn van totaal falen. Bovendien schieten bestaande methoden die vertrouwen op handmatig promptontwerp voor procesevaluatie vaak tekort in het stabiel karakteriseren van dimensies zoals query-rationaliteit en bewijsvoering-voldoende, of lopen ze het risico dat referentieantwoorden oordelen over onvoldoende bewijs overschrijven.

Methodologie

Het artikel stelt EviBack voor, een framework dat is ontworpen om hulp-supervisie te leveren aan all-zero rollout groepen, terwijl de integriteit van verifieerbare Actor-beloningen behouden blijft. De methodologie bestaat uit drie kerncomponenten:

1. Evidence-Constrained Teacher Backoff

EviBack introduceert een "Teacher"-model dat fungeert als een fallback-mechanisme. Dit wordt geactiveerd wanneer een Actor-rollout groep geen trajecten bevat met een verifieerbare exacte match (all-zero groepen).

• Twee-fasen Architectuur: De Teacher scheidt bewijsbeoordeling van antwoordverfijning om te voorkomen dat referentieantwoorden de onvoldoendeheid van bewijs maskeren.
  • Fase A (Gold-Blind): Evalueert of het geaccumuleerde bewijs dat zichtbaar is voor de Actor voldoende is om de vraag te beantwoorden. Het geeft een status uit: Voldoende (S), Onvoldoende (I), of Ambigu (A). Deze fase werkt zonder toegang tot het grondwaarheid-antwoord.
  • Fase B (Gold-Aware): Wordt alleen uitgevoerd als Fase A bepaalt dat het bewijs niet onvoldoend is ($s_A \neq I$). Het verfijnt het antwoord voor afstemming met de referentie, maar behoudt strikt de door Fase A vastgestelde "Onvoldoende" grens.
• Beloningssignaal: Voor all-zero groepen levert de Teacher een hybride beloning op basis van de status en een referentie-afgestemde F1-score. Deze beloning wordt afgeschaald (met een factor $\lambda = 0.1$) om ervoor te zorgen dat het de leer-signalen van groepen met geverifieerde hits niet overschrijft.

2. E2E-APE (End-to-End Automatic Prompt Engineering)

Om het Teacher-beleid te construeren, stellen de auteurs E2E-APE voor, een constraint-gestuurde methode voor het genereren van judge-prompts.

• Proces: In tegenstelling tot traditionele promptoptimalisatie die de uiteindelijke taakscores maximaliseert, start E2E-APE vanuit expliciete constraints die vereist zijn voor tussenliggende procesevaluatie (bijv. query-rationaliteit, effectiviteit van bewijsvoering).
• Automatisering: Met behulp van een GPT-5.5 controller partitioneert de pipeline automatisch de rollout-data, genereert kandidaat-prompts/workflows, evalueert deze tegen specifieke metrieken (naleving van de bewijsgrens, stabiliteit, kosten) en selecteert een gated twee-fasen beleid.
• Resultaat: Dit proces transformeert een handmatig geschreven single-prompt Teacher naar een bevroren, versioneerd twee-fasen beleid zonder handmatige interventie na de initiële lancering.

3. Trainingsprotocol

Het systeem maakt gebruik van GRPO (Group Relative Policy Optimization).

• Actor-First Precedence: Als een traject in een groep een verifieerbare exacte match bereikt, wordt de Teacher gepasseerd en worden standaard Actor-beloningen gebruikt.
• Selectieve Fallback: De Teacher wordt alleen aangeroepen voor groepen waar alle trajecten falen. De resulterende beloningen worden binnen de groep genormaliseerd, en de fallback-advantage wordt afgeschaald om een lagere policy-gradient bijdrage te behouden dan groepen met geverifieerde hits.

Belangrijkste Bijdragen

1. E2E-APE: Een constraint-gebaseerde, end-to-end automatische prompt engineering methode voor het genereren van judge-prompts. Het verschuift de focus van het maximaliseren van de uiteindelijke taakprestaties naar het voldoen aan constraints voor tussenliggende procesevaluatie, wat de kosten voor handmatig ontwerp vermindert en de scoring-stabiliteit verbetert.
2. EviBack Framework: Een hybride beloningssysteem voor search-agent RAG dat verifieerbare finale-antwoordbeloningen combineert met Teacher-afgeleide procesbeloningen. Het breidt de RL-supervisie uit van finale uitkomsten naar de kwaliteit van de zoektrajecten, specifiek gericht op het "all-zero" groepsprobleem.
3. Evidence-Boundary Preservation: Een nieuw twee-fasen Teacher-ontwerp dat de beoordeling van bewijsvoldoendeheid ontkoppelt van antwoordverfijning, waardoor wordt gewaarborgd dat referentieantwoorden de oordelen over onvoldoende bewijs niet kunnen overschrijven.

Experimentele Resultaten

De auteurs evalueerden EviBack over zeven open-domain QA benchmarks (waaronder NQ, HotpotQA, MuSiQue, 2WikiMultiHopQA, etc.) en drie Qwen3 model-schalen (0.6B, 1.7B en 4B).

• Prestatiewinst: EviBack verbeterde de F1-scores consistent ten opzichte van de sterke Search-R1 baseline.
  • Op de 1.7B schaal behaalde EviBack een relatieve winst van 16% ten opzichte van de baseline.
  • Verbeteringen werden waargenomen in zowel single-hop als multi-hop macro F1-scores over alle schalen.
• Zoekefficiëntie: De methode verminderde het gemiddelde aantal zoekopdrachten, de rate van duplicate queries en de forced termination rates (max-turn). Zo nam bij de 1.7B schaal de valid-answer rate toe van 0.7317 naar 0.8611, terwijl het gemiddelde aantal zoekopdrachten daalde van 1.73 naar 1.59.
• Teacher Constructie: De door E2E-APE geconstrueerde Teacher presteerde beter dan een handmatig ontworpen single-prompt dual-task Teacher, waarbij de F1 met 0.0260 verbeterde en de valid-answer rate met 0.2197, terwijl de zoekoverhead aanzienlijk werd verminderd.
• Ablatie-studies: Experimenten bevestigden dat de twee-fasen bewijs-constraint en de specifieke fallback-schalingsfactor ($\lambda=0.1$) cruciaal waren voor het balanceren van prestatiewinst met zoekefficiëntie.

Betekenis en Claims

Het artikel claimt dat EviBack een fundamentele kloof in het trainen van zoekagents aanpakt: het gebrek aan vergelijkbare signalen in falende gevallen. Door een selectief, bewijs-beperkt backoff-mechanisme te introduceren, biedt het systeem fijnmazige feedback op tussenliggend redeneren zonder de verifieerbaarheid van de finale beloning in gevaar te brengen.

De auteurs benadrukken dat hun aanpak:

• Auxiliaire supervisie herstelt voor groepen die anders geen leer-signaal zouden bieden.
• Referentie-lekken voorkomt die de oordelen over bewijsvoldoendeheid zouden kunnen verstoren, een veelvoorkomend probleem bij process-reward modellen.
• De haalbaarheid van automatische prompt engineering (E2E-APE) aantoont voor het creëren van complexe, constraint-voldoende evaluatie-policies die handmatige ontwerpen overtreffen.

Het werk concludeert dat hoewel rijkere Teacher-afgeleide signalen (bijv. query-kwaliteit, redundantie) een richting blijven voor toekomstig onderzoek, het huidige bewijs-beperkte ontwerp een robuuste en effectieve methode biedt voor het verbeteren van Agentic RAG-prestaties. De code wordt beloofd op een later stadium publiekelijk beschikbaar te worden gesteld.