💬 NLP

SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning

SD-Search introduceert een on-policy hindsight zelfdistillatiekader dat zoekverrijkte redeneringsagenten in staat stelt om stap-niveau supervisiesignalen intern te genereren door een studentenmodel te trainen dat een hindsight-geconditioneerde leraar nabootst, waardoor de krediettoewijzingsbeperkingen van outcome-reward versterkt leren worden overwonnen zonder dat externe leraren of extra annotaties vereist zijn.

Oorspronkelijke auteurs: Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yufei Ma, Zihan Liang, Ben Chen, Zhipeng Qian, Huangyu Dai, Lingtao Mao, Xuxin Zhang, Chenyi Lei, Wenwu Ou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student leert hoe een complex mysterie op te lossen. De student heeft een bibliotheek (het internet) die ze kunnen doorzoeken, maar ze weten niet wat ze de bibliothecaris moeten vragen.

In de huidige staat van AI-onderzoek lijken de meeste trainingsmethoden op een leraar die de student alleen beoordeelt op het eindantwoord.

Het probleem: Als de student het juiste antwoord krijgt, zegt de leraar: "Groot werk!" Maar als de student geluk had met een slechte vraag en een gelukkig antwoord, zegt de leraar nog steeds "Groot werk!" De student leert nooit dat hun specifieke vraag eigenlijk vreselijk was. Ze weten alleen dat het resultaat goed was. Dit heet "Outcome Reward" (beloning op basis van uitkomst).
De oude oplossing: Sommige onderzoekers probeerden dit op te lossen door een super-intelligente, dure "Meester-Detective" (een enorme externe AI) in te huren om de student te observeren en te zeggen: "Dat was een goede vraag," of "Dat was een slechte." Dit werkt, maar het is ongelooflijk duur en traag, omdat je die gigantische Meester-Detective nodig hebt voor elke enkele trainingssessie.

SD-Search is een nieuwe, slimme manier om de student te onderwijzen zonder de dure Meester-Detective nodig te hebben. Zo werkt het, met een eenvoudige analogie:

De "Tijdsreizen"-klas

Stel je voor dat de student een toets maakt.

De Student (het "Nu"-zelf): De student zit aan hun bureau, kijkt naar de vraag. Ze moeten beslissen wat ze nu gaan zoeken, zonder enig idee of ze het goed of fout zullen krijgen. Ze gokken op basis van wat ze op dat moment weten.
De Leraar (het "Toekomst"-zelf): Stel je nu dezelfde student voor, maar dit keer hebben ze een magisch tijdsreizend notitieboek. Dit notitieboek bevat de resultaten van veel pogingen om dezelfde vraag te beantwoorden. Het zegt: "In Poging A vroegen we 'Wie is de vader?' en kregen het juiste antwoord. In Poging B vroegen we 'Wat is de kleur van de lucht?' en kregen het fout."

SD-Search gebruikt dit magische notitieboek om een "Leraar"-versie van de student te creëren.

De Leraar kijkt naar de vraag en leest het notitieboek. Omdat de Leraar weet welke vragen tot succes leidden en welke tot mislukking, kunnen ze zeggen: "Ah, ik zie dat vragen naar de vader de juiste zet was. Dat had ik ook gevraagd."
De Student (die het notitieboek nog niet heeft) wordt vervolgens gevraagd om de keuzes van de Leraar na te bootsen. Het doel is om de gokken van de Student te laten overeenkomen met de "achterafkennis" van de Leraar.

Hoe dit in de praktijk werkt

Het artikel noemt dit "On-Policy Hindsight Self-Distillation". Laten we dat ontleden:

Self-Distillation: De AI leert zichzelf. Het heeft geen externe expert nodig. Het genereert een reeks pogingen (rollouts), bekijkt de resultaten en gebruikt vervolgens de "succesvolle" patronen om de "student"-versie van zichzelf te onderwijzen.
Hindsight: Het kijkt terug op wat er gebeurde na de beslissing om te beoordelen of de beslissing goed was.
On-Policy: Het doet dit met behulp van zijn eigen huidige data, niet met data van een andere, grotere AI.

De focus op "Zoekopdrachten"

Het artikel richt zich specifiek op de zoekopdrachten (de vragen die de AI aan de zoekmachine stelt).

Bij oude methoden kreeg, als het eindantwoord goed was, elk woord dat de AI schreef (inclusief de zoekvragen) een "goed gedaan"-sticker, zelfs als de zoekvraag vaag of verkeerd was.
Bij SD-Search krijgt de AI een specifiek "goed gedaan"- of "slecht gedaan"-signaal voor elke specifieke zoekvraag. Als de zoekvraag leidde tot een doodlopende weg, laat de Leraar (met het tijdsreizende notitieboek) de Student een andere, betere vraag zien. De Student leert de betere vraag na te bootsen.

De resultaten (het "Scorebord")

De onderzoekers testten dit op zeven verschillende benchmarks voor vraag-antwoord (zoals een algemene kennisquiz).

Prestaties: Hun methode (SD-Search) presteerde net zo goed als de dure methoden die een enorme "Meester-Detective"-AI van 72 miljard parameters gebruiken, en beter dan methoden die alleen kijken naar het eindantwoord.
Efficiëntie: Ze deden dit zonder enige externe hulp, geen dure API's en geen extra trainingsfasen. Ze gebruikten gewoon de standaard trainingslus, met een kleine "tijdsreis"-stap toegevoegd waarbij de AI zijn eigen eerdere pogingen beoordeelt.
Schalen: Naarmate het AI-model groter werd (van 3 miljard naar 7 miljard parameters), bleef deze zelfonderwijzende methode beter worden, terwijl de methoden die afhankelijk waren van de "Meester-Detective" hun voorsprong begonnen te verliezen.

In het kort

SD-Search is als een student die, na het maken van een toets, het antwoordblad en de aantekeningen van vrienden mag bekijken die tegelijkertijd de toets maakten. Ze maken de toets dan opnieuw, en proberen precies dezelfde vragen te stellen als de "succesvolle" versies van zichzelf. Ze leren van hun eigen eerdere fouten en successen, en worden slimmer zonder ooit een menselijke leraar of een supercomputer nodig te hebben om hen te vertellen wat ze moeten doen.

Technische Samenvatting: SD-Search

Probleemstelling

Zoekverrijkte redeneringsagenten, die interne redenering afwisselen met externe ophaaloproepen, zijn sterk afhankelijk van de kwaliteit van individuele zoekopdrachten. Echter, standaard versterkingsleer (RL) benaderingen voor deze agenten, zoals Group Relative Policy Optimization (GRPO), maken doorgaans gebruik van beloningen op uitkomstniveau (bijvoorbeeld de juistheid van het uiteindelijke antwoord). Deze formulering kent elke token in een rollout dezelfde beloning op trajectniveau toe, waardoor er geen stapspecifieke krediettoekenning wordt gegeven voor individuele zoekbeslissingen. Bijgevolg ontvangt het model geen signaal dat een goed geformuleerde, waardevolle zoekopdracht onderscheidt van een redundante of slechte.

Recente pogingen om dit aan te pakken via procesbewaking (bijvoorbeeld Thinker, StepSearch) injecteren signalen op stapsniveau door te vertrouwen op externe bronnen: ofwel een aanzienlijk groter leraarmodel (bijvoorbeeld 72B parameters) om problemen te ontleden, of annotaties van sterkere externe systemen (bijvoorbeeld GPT-4o). Deze methoden verbeteren de prestaties, maar brengen aanzienlijke kosten met zich mee, afhankelijkheid van externe API's of modellen, en beperken de toepasbaarheid tot omgevingen waar dergelijke bronnen beschikbaar zijn.

Methodologie: SD-Search

De auteurs stellen SD-Search (On-Policy Hindsight Self-Distillation) voor, een raamwerk dat stapsniveau-supervisie volledig afleidt uit het beleid zelf, waardoor de behoefte aan externe leraren of aanvullende annotaties wordt geëlimineerd. De kerninnovatie is on-policy hindsight zelfdistillatie, waarbij één enkel model twee rollen vervult die uitsluitend worden onderscheiden door hun conditionering context:

Student View: Het beleid opereert onder standaard inferentie-tijdcondities, waarbij het alleen het trajectprefix ziet dat op het moment van beslissing beschikbaar is.
Leraar View: Dezelfde beleidsparameters worden geconditioneerd op een hindsight-blok ( $h(G)$ ). Dit blok aggregeert de zoektrajecten en uitkomstlabels (CORRECT/INCORRECT) van een groep zuster-rollouts die zijn bemonsterd vanuit dezelfde vraag. Cruciaal is dat de leraar een "gemaskerd" zicht heeft op deze rollouts, waarbij alleen zoekspans en uitkomstlabels worden behouden en downstream redenering, opgehaalde documenten en uiteindelijke antwoorden worden verwijderd om te voorkomen dat het antwoord direct kan worden geëxtraheerd.

Het Trainingsdoel

De methode aligneert de queryverdeling van de student met de verdeling van de leraar op posities van zoekopdrachten ( $Q_\tau$ ) met behulp van een token-level Jensen-Shannon Divergentie (JSD)-verlies.

Leraarverdeling: Omdat de leraar de uitkomsten van de hele groep rollouts kent, codeert zijn voorspellende verdeling over zoektokens impliciet welke zoekopdrachten tot succes leidden en welke niet.
Student-Alignering: De student minimaliseert de JSD tussen zijn eigen verdeling en de verdeling van de leraar op queryposities. Dit levert een dicht, stapsniveau-signaal op dat de ruwe voordelen op trajectniveau van GRPO aanvult.
Integratie: Het totale verlies is $L_{total} = L_{GRPO} + \alpha_{SD} L_{SD}$ . De JSD-term wordt toegevoegd als een aanvullend verlies zonder het voordeel-schatter of het GRPO-rollout-bemonsteringsproces te wijzigen.

Belangrijke Ontwerpkiezen

Toekomstmaskering: Het hindsight-blok maskeert niet-zoektokens (THINK, DOCUMENTS, ANSWER) om te voorkomen dat de leraar "valt" door het antwoord in de opgehaalde context te zien, wat de zoekverdeling zou doen instorten.
Uitkomstcontrast: De leraar conditioneert op de binaire uitkomstlabels van zuster-rollouts. Dit contrast stelt de leraar in staat om succesvolle querypatronen te versterken en waarschijnlijkheidsmassa weg te redistribueren van gefaalde patronen, zelfs als de specifieke rollout die wordt begeleid in een mislukking eindigt.
Warmup: Er wordt een warmup-periode gebruikt waarbij de distillatiecoëfficiënt nul is, zodat het beleid het gestructureerde trajectformaat kan leren voordat het zelfdistillatie-signaal wordt geïntroduceerd.

Belangrijkste Bijdragen

Raamwerk: SD-Search is het eerste raamwerk dat stapsniveau-supervisie voor zoekverrijkte redenering levert via on-policy hindsight zelfdistillatie, zonder behoefte aan externe leraar of annotaties buiten de standaard vraag-antwoordparen die worden gebruikt voor beloningstraining op uitkomstniveau.
Doel: Een nieuw token-level JSD-doel dat de queryverdeling van het beleid aligneert met een op hindsight geconditioneerde verdeling. Dit integreert naadloos in bestaande GRPO-pipelines met slechts één aanvullende forward-pass en één verliesterm.
Empirische Validatie: Uitgebreide experimenten op zeven single-hop en multi-hop QA-benchmarks tonen aan dat SD-Search procesbewakingsbaselines die vertrouwen op externe bronnen, evenaart of overtreft, terwijl het pure uitkomstbeloningsbaselines overtreft.

Experimentele Resultaten

De auteurs evalueerden SD-Search met Qwen2.5-3B en Qwen2.5-7B backbones over zeven benchmarks (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle).

3B Schaal: SD-Search behaalde een gemiddelde Exact Match (EM) van 0,428, wat de sterkste uitkomstbeloningsbaselines (AutoRefine: 0,405, MR-Search: 0,414) overtreft en statistisch overeenkomt met de leidende procesbewakingsbaseline Thinker (0,430), ondanks dat Thinker vertrouwen op een 72B leraar.
7B Schaal: SD-Search bereikte een gemiddelde EM van 0,476, wat alle baselines overtreft, inclusief Thinker (0,452) en AutoRefine (0,455).
Schaalgedrag: In tegenstelling tot Thinker, waarvan de prestatiewinst ten opzichte van uitkomstbeloningsbaselines afneemt en uiteindelijk negatief wordt naarmate de modelgrootte toeneemt (door de vaste externe leraar die een bottleneck wordt), blijven de winsten van SD-Search positief over alle schalen (1,5B tot 14B). Dit suggereert dat de methode schaalt met het eigen in-context leesvermogen van de student.
Efficiëntie: De methode veroorzaakt een 15,5% end-to-end trainings overhead (gemeten op 8×H800 GPU's) ten opzichte van uitkomstbeloningsbaselines. Deze overhead is volledig beperkt tot de standaard RL-lus, waardoor de enorme inferentiekosten van 72B leraarmodellen of GPT-4o annotatiepipelines die door concurrerende methoden worden vereist, worden vermeden.

Betekenis en Claims

Het artikel beweert dat het stapsniveau-signaal dat traditioneel uit externe bronnen wordt verkregen, kan worden teruggevonden uit het beleid zelf door middel van hindsight-conditionering. Door het contrast tussen succesvolle en mislukte rollouts binnen een enkele trainingsgroep te benutten, leert het beleid om hoogwaardige zoekbeslissingen te identificeren zonder externe supervisie.

De auteurs positioneren SD-Search als een toegankelijkere en schaalbaardere alternatief voor procesbewaking. Het verwijdert de afhankelijkheid van dure externe modellen of API's, waardoor hoogwaardige stapsniveau-supervisie haalbaar wordt voor praktici met beperkte middelen. Bovendien suggereren de resultaten dat de "leraar" in zelfdistillatie geen apart, groter model hoeft te zijn; eerder beschikt hetzelfde beleid, wanneer het toegang heeft tot de uitkomsten van zijn eigen exploraties, over voldoende informatie om zijn eigen zoekstrategie effectief te sturen.

Beperkingen: De auteurs merken op dat de methode momenteel afhankelijk is van binaire uitkomstlabels die zijn afgeleid van gouden antwoorden, waardoor deze beperkt blijft tot taken met scoorbare referenties. Bovendien kan de effectiviteit van het hindsight-contrast verslechteren in scenario's waarbij de hele groep rollouts dezelfde uitkomst deelt (allemaal succes of allemaal mislukking), hoewel dit op kleinere schalen minder frequent voorkomt.