💬 NLP

Search-E1: Self-Distillation Drives Self-Evolution in Search-Augmented Reasoning

Search-E1 is een zelf-evolutiemethode die zoekversterkte redeneringsagenten verbetert met uitsluitend standaard GRPO en offline zelfdistillatie om state-of-the-art prestaties op QA-benchmarks te bereiken zonder afhankelijkheid van complexe externe supervisie of hulpmodules.

Oorspronkelijke auteurs: Zihan Liang, Yufei Ma, Ben Chen, Zhipeng Qian, Xuxin Zhang, Huangyu Dai, Lingtao Mao

Gepubliceerd 2026-05-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zihan Liang, Yufei Ma, Ben Chen, Zhipeng Qian, Xuxin Zhang, Huangyu Dai, Lingtao Mao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slim maar iets onhandige student (de AI) hebt die probeert lastige trivia-vragen te beantwoorden. Om het juiste antwoord te krijgen, mag deze student een bibliotheek (een zoekmachine) gebruiken om feiten op te zoeken, maar ze moeten zelf beslissen wanneer ze kijken en wat ze vragen.

De meeste huidige methoden leren deze student door te wachten tot ze het hele essay heeft afgerond. Als het uiteindelijke antwoord goed is, geeft de leraar een gouden ster. Als het fout is, geeft de leraar een rode X. Het probleem? De student weet niet welke specifieke stap de fout was. Stelden ze de verkeerde vraag? Lees ze de verkeerde paragraaf? Waren ze afgeleid? Ze weten alleen dat de hele poging mislukt is.

Search-E1 is een nieuwe, eenvoudigere manier om deze student te leren. Het heeft geen super-slimme menselijke leraar, een chique extra robot of een speciaal beloningssysteem nodig. In plaats daarvan gebruikt het een techniek genaamd "Zelf-evolutie" via een twee-staps dans:

Stap 1: De "Probeer Alles"-fase (GRPO)

Eerst wordt de student vijf keer dezelfde vraag gesteld.

Bij één poging kunnen ze door de bibliotheek dwalen, domme vragen stellen en falen.
Bij een andere poging kunnen ze de perfecte vragen stellen, het juiste boek vinden en snel het juiste antwoord krijgen.

Het systeem bekijkt deze vijf pogingen en zegt: "Oké, degene die het juiste antwoord kreeg, is de 'Gouden Standaard' voor deze ronde." Maar, zoals eerder, vertelt dit de student alleen: "Goed gedaan met dat hele essay", niet "Goed gedaan met het stellen van die specifieke vraag".

Stap 2: De "Terugspoelen en Leren"-fase (Offline Zelf-distillatie)

Hier gebeurt de magie. Het systeem neemt de mislukte poging (de "Student") en de succesvolle poging (de "Leraar").

Hier is de slimme truc:

Het systeem geeft de Student de oorspronkelijke vraag.
Het systeem geeft de Leraar dezelfde vraag, maar geeft hen ook een spiekbriefje: het hele succesvolle pad dat de student in de andere poging heeft afgelegd.
De Leraar leest het spiekbriefje en zegt: "Als ik deze vraag nu zou beantwoorden, wetende het juiste pad, zou ik precies dit als volgende zeggen."
De Student wordt vervolgens gedwongen naar de Leraar te luisteren en stap voor stap te proberen hun woorden na te bootsen.

De Student krijgt niet alleen te horen "Je was goed/fout". Ze krijgen, token voor token (woord voor woord), precies getoond hoe ze beter moeten denken. "Oh, ik zie het! Toen ik vroeg 'Wie is de president?', vroeg de Leraar 'Wie was de president in 1990?' Dat is het verschil!"

Waarom is dit speciaal?

Geen Externe Leraren: Normaal gesproken heb je voor dit niveau van detail een super-intelligente AI (zoals een model met 72 miljard parameters) nodig om elke enkele stap te beoordelen. Search-E1 gebruikt de eigen succesvolle pogingen van de student als leraar. Het is alsof een student zijn eigen tentamenpapier bestudeert na het behalen van een A, in plaats van te wachten tot een professor het beoordeelt.
Geen Extra Machines: Andere methoden voegen complexe tools toe om uit te zoeken welke stappen goed waren. Search-E1 gebruikt gewoon de standaard "probeer en probeer opnieuw"-lus en voegt deze "bestudeer je eigen succes"-stap er tussen toe.
De Resultaten: Toen ze dit testten op zeven verschillende trivia-uitdagingen, behaalde de student die Search-E1 gebruikte aanzienlijk betere scores dan andere studenten die complexere methoden gebruikten. Het was vooral goed in "multi-hop"-vragen (waar je meerdere punten moet verbinden), omdat die vragen veel stappen hebben waar je fout kunt gaan, en deze methode de specifieke gebroken stappen repareert.

Kortom: Search-E1 leert een AI slimmer te worden door het te laten falen, en vervolgens zijn eigen succesvolle pogingen te laten bestuderen alsof het een perfect leerboek is, waarbij het precies leert wat het op elk enkel moment moet zeggen zonder enige buitenstaande hulp.

Technische Samenvatting: Search-E1

Probleemstelling

Hoewel grote taalmodellen (LLM's) sterke redeneervermogens hebben bereikt, blijven ze beperkt tot kennis uit het vooraf trainen en kunnen ze geen informatie verwerken die na de training is ontstaan. Zoekverrijkte redeneeragenten lossen dit op door interne redenering te verweven met externe ophaaloproepen. Echter, de huidige post-trainingpijplijnen voor deze agenten vertrouwen op outcome-level versterkingslering (RL), doorgaans met Group Relative Policy Optimization (GRPO) en een beloning die uitsluitend gebaseerd is op de juistheid van het eindantwoord.

Deze supervisie op trajectniveau creëert een kritieke beperking: elke token in een rollout ontvangt hetzelfde gradiëntsignaal, ongeacht of een specifieke zoekvraag goed geformuleerd of overbodig was. Om dit te overwinnen, hebben recente werken ingewikkelde mechanismen geïntroduceerd, waaronder:

Externe Supervisie: Het distilleren van deelvragen van sterkere leraren (bijv. 72B-modellen) of het afleiden van stapsgewijze beloningen uit annotaties door modellen zoals GPT-4o.
Auxiliaire Modules: Het koppelen van procesbeloningsmodellen, retrospectieve critici of intrinsieke schatters die aparte trainingsfasen of restrictieve aannames vereisen.
Structurele Wijzigingen: Het herstructureren van rollouts via boomzoekopdrachten of meerfasige curricula.
Handgemaakte Beloningen: Het afstemmen van bonussen en straffen voor specifieke ophaalstappen.

Hoewel deze methoden winst opleveren, blazen ze de trainingspijplijn op en koppelen ze het recept aan middelen of ontwerpen die niet universeel beschikbaar zijn. Het artikel vraagt zich af of dergelijke machinery noodzakelijk is en stelt een methode voor om per-stap supervisie te bereiken met uitsluitend de eigen data van het beleid.

Methodologie: Search-E1

Search-E1 is een zelf-evolutiepijplijn die alterneert tussen standaard GRPO en Offline Self-Distillation (OFSD). Het vereist geen externe leraar, geen auxiliaire modules en geen annotaties buiten standaard vraag-antwoordparen.

1. De GRPO Ronde (Verkenning)

De pijplijn begint met een standaard GRPO-ronde met een exact-match outcome-beloning.

Voor elke vraag $q$ wordt een groep van $G$ trajecten gesampled vanuit het huidige beleid $\pi_{\theta}$ .
Beloningen worden toegewezen op basis van de juistheid van het eindantwoord.
Het beleid wordt bijgewerkt met de standaard GRPO-verliesfunctie, waarbij het voordeel wordt gedeeld over alle tokens in een traject. Deze fase verkent de trajectruimte, maar mist dichte per-stap signalen.

2. De OFSD Ronde (Consolidatie)

Na het convergeren van een GRPO-ronde voert het beleid een offline zelf-distillatiestap uit om dichte, token-niveau signalen uit zijn eigen rollouts te halen.

Paar Mining: Uit de rolloutpool van het geconvergeerde beleid worden paren trajecten $(\tau_{ref}, \tau_{stu})$ $(τ_{r e f}, τ_{s t u})$ geconstrueerd voor elke vraag.
- Referentie ( $\tau_{ref}$ ): Het correcte traject ( $R=1$ ) met het minste aantal ophaaloproepen.
- Student ( $\tau_{stu}$ ): Een incorrect traject ( $R=0$ ) dat maximaal afwijkt van de referentie, of het meest onderscheidende correcte traject als er geen incorrect broer of zus bestaat.
Asymmetrische Conditionering: Dezelfde beleidsparameters $\theta$ $θ$ fungeren zowel als leraar als student, maar opereren onder verschillende prompts:
- Student: Gecombineerd met de standaard inferentie-prompt $P_S(q) = [\text{instructie}] \parallel q$ .
- Leraar: Gecombineerd met een bevoorrechte prompt $P_T(q, \tau_{ref}) = [\text{instructie}] \parallel q \parallel \tau_{ref}$ , die het efficiënte referentietraject blootlegt als een deskundige gids.
Token-niveau Forward KL-doelstelling: De student wordt getraind om zijn inferentie-tijdsverdeling af te stemmen op de verdeling van de leraar onder de bevoorrechte context.
- Het verlies wordt berekend over posities gegenereerd door het beleid (exclusief opgehaalde tekst).
- Een pointwise clipping-mechanisme ( $\tau_{clip}$ ) begrenst de bijdrage van tokens met hoge divergentie om gradiënt-dominantie door zeldzame uitbijters te voorkomen.
- De doelstelling is: $L_{OFSD} = \frac{1}{|R_\tau|} \sum_{p \in R_\tau} \sum_{v} \min(P^{tch}_p(v) \cdot \log \frac{P^{tch}_p(v)}{P^{stu}_p(v)}, \tau_{clip})$ .
Implementatie: OFSD wordt gerealiseerd via een LoRA-adapter die aan het GRPO-checkpoint is gekoppeld. De leraar-passage gebruikt de bevroren basiskleuren, terwijl de student-passage de actieve LoRA-kleuren gebruikt.

3. De Alternerende Lus

De pijplijn iteratieert:

GRPO Ronde: Update het beleid via outcome-level RL.
OFSD Ronde: Mineert paren uit de rollouts van het bijgewerkte beleid en traint een LoRA-adapter om de KL-divergentie te minimaliseren, waarna de adapter weer wordt samengevoegd met de basiskleuren.
Deze cyclus herhaalt zich, waarbij elke iteratie positieve winst oplevert totdat het model de capaciteitsplafond van de backbone benadert.

Belangrijkste Bijdragen

Search-E1 Pijplijn: Een zelf-evolutiekader dat vanille GRPO alterneert met offline zelf-distillatie, waardoor de behoefte aan externe leraren, auxiliaire modules of niet-standaard annotaties wordt geëlimineerd.
OFSD Doelstelling: Een gekoppeld offline zelf-distillatiemechanisme waarbij het beleid dient als zowel leraar als student onder verschillende conditioneringscontexten. Het maakt gebruik van een token-niveau forward KL met pointwise clipping om dichte per-stap supervisie te bieden die volledig is afgeleid van de eigen GRPO-rollouts van het beleid.
Empirische Prestaties: Aangetoond op zeven QA-benchmarks (zowel single-hop als multi-hop), bereikt Search-E1 state-of-the-art resultaten onder open-source methoden zonder externe supervisie.

Experimentele Resultaten

De methode werd geëvalueerd op zeven QA-benchmarks met behulp van Qwen2.5-3B-Instruct en Qwen2.5-7B-Instruct.

Algemene Prestaties: Search-E1 behaalde een gemiddelde Exact Match (EM) van 0,440 met het 3B-model, en overtrof alle open-source baselines op die schaal.
Vergelijking met Outcome-Reward Baselines: Het presteerde beter dan de sterkste outcome-reward baseline (AutoRefine-Base) met gemiddeld 3,5 punten. De winst was vooral uitgesproken op multi-hop datasets (bijv. +12,0 op Bamboogle, +6,6 op 2Wiki), wat suggereert dat per-stap uitlijning het meest gunstig is wanneer trajecten complexe, meerstaps zoekketens omvatten.
Vergelijking met Process-Supervision Baselines: Search-E1 presteerde beter dan methoden die vertrouwen op externe annotaties (StepSearch) en op staat gebaseerde groepering (GiGPO) op zes van de zeven benchmarks.
- Het overtrof StepSearch op alle vier de multi-hop benchmarks zonder gebruik te maken van GPT-4o annotaties.
- Het overtrof GiGPO op 2Wiki, MuSiQue en HotpotQA. De enige uitzondering was Bamboogle, wat de auteurs toeschrijven aan de kleine testsplit-grootte en de specifieke aard van bridge-entity queries die de anchor-state groepering van GiGPO begunstigen.
Ablatie: De resultaten bevestigen dat de alternerende lus van GRPO en OFSD consistente positieve winst oplevert, waarbij het signaal voldoende is om de prestatiekloof die typisch wordt gezien tussen "Base" en "Instruct" modelvarianten in RL-omgevingen te dichten en om te keren.

Betekenis en Claims

Het artikel stelt dat Search-E1 aantoont dat ingewikkelde externe machinery niet strikt noodzakelijk is voor het verbeteren van zoekverrijkt redeneren. Door te profiteren van het contrast tussen broer- en zustertrajecten die tijdens standaard GRPO-training worden gegenereerd, biedt de methode natuurlijk dichte per-stap supervisie.

Eenvoud: De aanpak vertrouwt op "vanille" GRPO en een zelf-distillatie-doelstelling, waardoor de complexiteit van het trainen van aparte beloningsmodellen, critici of het distilleren van grotere leraren wordt vermeden.
Ressource-efficiëntie: Het verwijdert de afhankelijkheid van externe systemen (zoals GPT-4o) of specifieke rolloutstructuren (zoals boomzoekopdrachten), waardoor het recept toegankelijker en robuuster wordt.
Generaliseerbaarheid: De winst is consistent over single-hop en multi-hop taken, met de meest significante verbeteringen in scenario's waar per-stap besluitvormingskwaliteit kritiek is (multi-hop redeneren).

De auteurs concluderen dat het alternerende recept van verkenning (GRPO) en consolidatie (OFSD) een levensvatbare weg is voor zelf-evolutie in zoekverrijkte agenten, en een eenvoudiger alternatief biedt voor de steeds complexere pijplijnen in het veld. Toekomstig werk wordt voorgesteld om rijkere bevoorrechte contexten (bijv. meerdere correcte broers en zussen) en langere zelf-evolutie-schema's te verkennen.