💬 NLP

EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents

EviSD is een op bewijs geconditioneerd zelf-distillatieframework dat zoekversterkte taalagenten optimaliseert door gebruik te maken van instantie-niveau bewijs en gouden antwoorden als geprivilegieerde informatie om actie-niveau credit assignment tijdens de training te verfijnen, waardoor superieure prestaties over meerdere benchmarks worden bereikt zonder het gedrag tijdens de inferentie te wijzigen.

Oorspronkelijke auteurs: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Shu Wu, Bowen Song, Liang Wang

Gepubliceerd 2026-08-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Shu Wu, Bowen Song, Liang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een detective te zijn. In de wereld van kunstmatige intelligentie wordt deze robot een "search-augmented agent" genoemd. Zijn taak is om lastige vragen op te lossen door na te denken, het internet af te zoeken naar aanwijzingen, opnieuw na te denken en weer te zoeken, totdat hij eindelijk het antwoord vindt. Om hier beter in te worden, gebruiken we een trainingsmethode die "reinforcement learning" wordt genoemd. Denk hierbij aan een videogame waarbij de robot pas aan het einde van het spel een "winst" of "verlies" signaal krijgt. Als hij het mysterie oplost, krijgt hij een hoge score; als hij faalt, krijgt hij een nul.

Het probleem met deze "winst-of-verlies" aanpak is dat het een beetje is als het beoordelen van een student enkel op basis van hun eindexamencijfer zonder naar hun huiswerk te kijken. Als de robot het juiste antwoord krijgt, weten we dat de hele reis goed was, maar we weten niet welke specifieke zoekopdracht briljant was en welke een verspilling van tijd. Vond de eerste zoekopdracht de gouden aanwijzing? Of had de robot gewoon geluk met de laatste gok? Omdat de robot het verschil niet kan zien, kan hij steeds slechte zoekopdrachten blijven uitvoeren in de hoop dat ze uiteindelijk tot een overwinning leiden. Dit artikel pakt het rommelige middendeel van de reis van de detective aan, en probeert de robot precies te leren welke zetten nuttig waren en welke afleidingen, zodat hij een slimmere, snellere onderzoeker kan worden.

Maak kennis met EviSD, een slimme nieuwe trainingsmethode die fungeert als een "geprivilegieerde coach" voor de robot. De onderzoekers realiseerden zich dat de robot, terwijl hij leert, toegang heeft tot een referentieblad waar hij geen toegang toe heeft wanneer hij daadwerkelijk in de echte wereld werkt. Dit referentieblad bevat het "gouden antwoord" (de juiste oplossing) en het "ondersteunende bewijs" (de specifieke paragrafen tekst die bewijzen dat het antwoord juist is).

Zo werkt EviSD, met behulp van een speelse analogie: Stel je voor dat de robot een student is die een toets maakt.

De Student (De Robot): De student maakt de toets met alleen de informatie die hij op dat moment tot zijn beschikking heeft. Hij schrijft zijn zoekopdrachten en zijn definitieve antwoord op.
De Coach (De Leraar): Nadat de student klaar is, zet hetzelfde robotmodel een "Coach-hoed" op. De Coach kijkt naar de antwoorden van de student, maar mag in het referentieblad spieken (het bewijs en het juiste antwoord).
De Feedbackloop: De Coach vergelijkt wat de student schreef met wat ze zouden moeten hebben geschreven, wetende wat de geheime aanwijzingen zijn.
- Als de student een geweldige zoekvraag stelde die het bewijs zou hebben gevonden, geeft de Coach een duim omhoog.
- Als de student een vage vraag stelde die niet zou helpen, geeft de Coach een zachte duw om het de volgende keer beter te doen.
- Cruciaal is dat de Coach niet alleen zegt "Je hebt het goed" of "Je hebt het fout". De Coach zegt: "Je zoekopdracht naar 'X' was geweldig omdat het overeenkomt met het bewijs, maar je zoekopdracht naar 'Y' was een doodlopende weg."

De magie van EviSD is dat het deze "feedback van de Coach" gebruikt om het brein van de robot te verfijnen, maar alleen voor de specifieke delen waar de robot een zet deed (de zoekopdrachten en het definitieve antwoord). Het probeert niet de hele persoonlijkheid van de robot te herschrijven of hem te dwingen het referentieblad uit het hoofd te leren. In plaats daarvan werkt het als een volumeknop. Als de oorspronkelijke training van de robot zei: "Deze zoekopdracht was goed," dan draait de Coach het volume nog hoger als het bewijs dit ondersteunt. Als de oorspronkelijke training onzeker was, helpt de Coach om zaken te verduidelijken. Maar als de robot het uiteindelijke antwoord fout had, zal de Coach niet beweren dat de zoekopdracht perfect was; de "winst-of-verlies" score blijft het belangrijkst.

De onderzoekers hebben deze methode getest op zeven verschillende vraagbeantwoordings-uitdagingen, variërend van eenvoudige trivia tot complexe meerstaps-puzzels. Ze ontdekten dat EviSD consequent beter presteerde dan andere topmethoden. Sterker nog, het verbeterde de nauwkeurigheid van de robot met ongeveer 1,3 tot 2,3 punten vergeleken met de beste bestaande technieken. Misschien nog indrukwekkender is dat de robot leerde om efficiënter te zijn, waardoor hij minder zoekopdrachten nodig had om het antwoord te vinden (een daling van gemiddeld 2,27 zoekopdrachten naar 1,87).

Het artikel suggereert dat deze aanpak een belangrijke stap voorwaarts is omdat het het "credit assignment"-probleem oplost — het uitzoeken welke specifieke acties tot succes leidden — zonder hoe de robot zich gedraagt wanneer hij daadwerkelijk in de echte wereld werkt te veranderen. Wanneer de robot uitgaat om echte problemen op te lossen, heeft hij het referentieblad niet, en dat is prima; hij gebruikt simpelweg de slimmere gewoonten die hij tijdens de training heeft geleerd. De studie laat zien dat door de robot een moment van reflectie te geven met een "geprivilegieerd zicht" op de waarheid, we hem kunnen leren een veel scherpere detective te zijn, die het onderscheid kan maken tussen een gelukkige gok en een goed geplande investigatie.

Technische Samenvatting: EviSD – Evidence-Conditioned Self-Distillation voor Search-Augmented Agents

Probleemstelling

Search-augmented taalagenten maken gebruik van externe retrieval om redeneren af te wisselen met informatieverzameling. Hoewel recente outcome-gebaseerde reinforcement learning (RL) methoden, zoals Group Relative Policy Optimization (GRPO), training mogelijk maken via verifieerbare uiteindelijke antwoorden, lijden ze aan een fundamentele beperking in credit assignment (toeschrijving van krediet). Outcome-niveau beloningen zenden hetzelfde traject-voordeel uit naar elke gegenereerde token. Hierdoor kan het systeem niet onderscheid maken tussen:

Effectieve zoekopdrachten die beslissend bewijs ophaalden.
Redundante of vage zoekopdrachten die geen waarde boden.
Intermediaire redeneer-tokens versus terminale antwoord-tokens.

Deze "alleen-outcome"-feedback faalt in het lokaliseren van instantie-specifieke beslissingen, wat het moeilijk maakt om de specifieke acties (zoeken of antwoorden) te optimaliseren die tot succes of falen leidden, met name in multi-turn scenario's waarbij vroege queries de kwaliteit van de daaropvolgende redenering dicteren.

Bestaande benaderingen proberen de granulariteit van het krediet te verfijnen via retrieval-specifieke beloningen of stap-niveau estimators, maar missen vaak een mechanisme om te bepalen welke instantie-specifieke informatie een gesamplede actie moet sturen. Daarentegen introduceren on-policy self-distillation (OPSD) methoden geprivilegieerde teacher-contexten, maar vertrouwen vaak op traject-afgeleide hindsight of taak-niveau vaardigheden, die niet direct de specifieke bewijslast kunnen identificeren die vereist is voor een gegeven query.

Methodologie: EviSD

De auteurs stellen EviSD (Evidence-Conditioned Self-Distillation) voor, een framework dat instance-niveau ondersteunend bewijs gebruikt als geprivilegieerde informatie om outcome-afgeleid krediet te verfijnen. De methode werkt onder twee kernontwerpbeslissingen:

1. Constructie van Instance-Level Privileged Context

EviSD behandelt ondersteunend bewijs (geannoteerd in de trainingsdata) als geprivilegieerde informatie voor zoekacties en gouden antwoorden voor antwoordacties.

Voor Zoekacties: Het teacher-model wordt geconditioneerd op het geannoteerde ondersteunende bewijs ( $E_q$ ) van de huidige QA-instantie. Dit biedt een perspectief op wat een nuttige query zou moeten ontsluiten zonder een specifieke query-string voor te schrijven.
Voor Antwoordacties: De teacher wordt geconditioneerd op het gouden antwoord ( $C_q$ ).
Actie-Alignment: De geprivilegieerde context wordt aan de oorspronkelijke context toegevoegd alleen wanneer de student een zoek- of antwoordactie genereert. Voor andere tokens (redenering, delimiters) blijft de context ongewijzigd.

2. Action-Localized, Outcome-Anchored Credit Modulation

In plaats van een aparte distillatie-loss te optimaliseren, vertaalt EviSD de gap tussen teacher en student naar een begrensde correctie van de GRPO-advantage.

Teacher-Student Contrast: Dezelfde policy fungeert zowel als student (sampling vanuit de originele context) als teacher (het opnieuw scoren van dezelfde actie onder de geprivilegieerde context). Het signaal is de losgekoppelde log-likelihood ratio ( $\delta$ ) tussen de twee views.
Lokalisatie: De modulatie is alleen van toepassing op de content-tokens van gegenereerde zoek- en antwoordacties ( $m^{act}$ ). Redeneer-tokens en retrieved passages behouden hun oorspronkelijke GRPO-krediet.
Modulatiefunctie: Het geprivilegieerde signaal moduleert de magnitude van de outcome-afgeleide advantage ( $A$ ) via een begrensde functie:
$\Delta A^{priv} = \lambda |A| \tanh(\tau \delta) m^{act}$
$\hat{A} = A + \Delta A^{priv}$
Hierbij controleert $\lambda$ de maximale relatieve correctie, en $\tau$ de gevoeligheid. Cruciaal is dat voor $\lambda < 1$ , de correctie het teken van de oorspronkelijke advantage niet kan omkeren. De outcome-beloning blijft de anker voor de update-richting; geprivilegieerde informatie verfijnt enkel de sterkte van het krediet voor specifieke actie-tokens.

Training en Inferentie

Training: Het model samplet trajecten, berekent outcome-beloningen, construeert geprivilegieerde contexten voor zoek- of antwoordbeurten, her-scoret acties om de teacher-student gap te genereren, en werkt de policy bij met de gemoduleerde advantage $\hat{A}$ binnen de standaard clipped GRPO-objective.
Inferentie: De uitgerolde agent werkt exact zoals voorheen. Geprivilegieerde contexten en de teacher-view worden verwijderd, wat geen wijzigingen vereist in de inferentie-pipeline of extra latentie.

Belangrijkste Bijdragen

Evidence-Conditioned Framework: EviSD introduceert een nieuw gebruik van instance-specifiek ondersteunend bewijs als geprivilegieerde teacher-context voor zoekacties, aangevuld met gouden antwoorden voor antwoordacties.
Action-Localized Modulation: Het paper stelt een credit-modulatie regel voor die de losgekoppelde teacher-student gap omzet in een begrensde correctie voor GRPO-advantages. Deze aanpak vereist geen hulp-distillatie loss en vermijdt wijzigingen tijdens de inferentie.
Prestaties en Robuustheid: De methode bereikt state-of-the-art resultaten over zeven QA-benchmarks en drie model-backbones (Qwen2.5-3B, 7B en Qwen3-1.7B), waarbij het de sterkste baselines overtreft met 1,3–2,3 macro-gemiddelde Exact Match (EM) punten.

Experimentele Resultaten

De auteurs evalueerden EviSD op zeven datasets (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMQA, MuSiQue, Bamboogle) die single-hop en multi-hop redeneren dekken.

Algemene Prestaties: EviSD behaalde de hoogste macro-gemiddelde EM in alle geëvalueerde settings. Op de Qwen2.5-7B backbone presteerde het beter dan de op één na beste methode (SDAR) met 1,3–2,3 punten.
Zoekefficiëntie: EviSD demonstreerde een hoger succespercentage met minder zoekopdrachten (1,87 zoekopdrachten per traject versus 2,16 voor SDAR), wat duidt op een preciezere sturing van zoekacties.
Ablatie-studies:
- Bron van Privilege: Het vervangen van instance-specifiek bewijs door een answer-only context verminderde de prestaties met 2,1 EM punten, wat de waarde van bewijs voor het superviseren van zoekacties bevestigt.
  {* } Lokalisatie: Het toepassen van modulatie op de volledige respons (in plaats van alleen de actie-spans) verminderde de prestaties met 7,1 punten, wat de noodzaak van het lokaliseren van sturing naar actie-tokens valideert.
- Trainingsdynamiek: EviSD behield een vloeiende on-policy success rate curve en een lagere KL-divergentie vergeleken met concurrenten, wat wijst op stabiele policy-verbetering zonder abrupte afwijkingen.
Gevoeligheid: De methode toonde beperkte gevoeligheid voor de kwaliteit van het geprivilegieerde bewijs; het vervangen van gold evidence door relevante retrieved documenten resulteerde in een verwaarloosbare afname in prestaties.

Betekenis en Claims

Het paper claimt dat EviSD de kritieke kloof in outcome-gebaseerde RL voor search-agenten aanpakt door credit assignment te lokaliseren zonder de schaalbaarheid van outcome-beloningen op te offeren. Door ondersteunend bewijs als geprivilegieerde informatie te behandelen, stuurt het framework de agent aan om te identificeren welke informatie nodig is voor een query zonder de query zelf voor te schrijven.

De auteurs benadrukken dat hun aanpak onderscheidt van eerdere self-distillation methoden omdat het:

Instance-specifiek bewijs gebruikt in plaats van traject-afgeleide hindsight of herbruikbare vaardigheden.
De outcome-credit moduleert in plaats van een aparte distillatie-objective te optimaliseren.
De update-richting bepaald door de outcome-beloning behoudt terwijl de magnitude van het krediet voor specifieke acties wordt verfijnd.

Uiteindelijk demonstreert EviSD dat het verfijnen van credit assignment via evidence-conditioned self-distillation de search-augmented redeneerkracht aanzienlijk kan verbeteren over verschillende model-schalen en generaties, terwijl een deployment-ready inferentie-architectuur behouden blijft.