Technisch Overzicht: Group-Reflective Self-Distillation voor Agentic Reinforcement Learning

Probleemstelling

Reinforcement learning met verifieerbare beloningen (RLVR) is een natuurlijk paradigma geworden voor het trainen van Large Language Model (LLM) agents, met name door middel van outcome-gebaseerde methoden zoals Group Relative Policy Optimization (GRPO). Deze methoden optimaliseren policies direct vanuit signalen van taaksucces of -falen zonder dat een geleerde critic vereist is. Echter, een fundamentele beperking blijft bestaan: terminale beloningen bieden slechts grove supervisie op trajectniveau. Dit signaal verweeft succesvolle gedragingen, terugkerende fouten en incidentele trajectkeuzes in één enkele outcome-label. Bijgevolg hebben agents moeite met het identificeren van welke specifieke tussenliggende beslissingen versterkt of gecorrigeerd moeten worden.

Bestaande benaderingen om deze schaarse supervisie te verrijken via on-policy self-distillation vertrouwen vaak op natuurlijke taalvaardigheden. Deze methoden kampen echter met significante alignment-problemen:

1. Externe Retrieval: Vaardigheden die worden opgehaald uit externe repositories kunnen niet overeenkomen met de huidige prompt, de interactiegeschiedenis of de staat van de omgeving.
2. Externe Extractie: Vaardigheden die uit trajecten worden geëxtraheerd door sterkere externe modellen kunnen de capaciteitsgrens van de huidige policy overschrijden, waardoor ze niet de eigen bekwaamheid van de agent weerspiegelen om herbruikbare patronen te abstraheren.
3. Single-Trajectory Bias: Vaardigheden die uit individuele trajecten worden geëxtraheerd, leggen vaak pad-specifieke details vast in plaats van de gedragspatronen die succes werkelijk van falen onderscheiden, aangezien een succesvol traject onnodige omwegen kan bevatten en een gefaald traject nog steeds nuttige gedragingen kan bevatten.

Methodologie: Group-Reflective Self-Distillation (GRSD)

De auteurs stellen Group-Reflective Self-Distillation (GRSD) voor, een framework dat capaciteits-gealigneerde en outcome-discriminatieve begeleiding afleidt uit de eigen geverifieerde rollouts van de policy. De methode werkt in twee afzonderlijke stadia om "privileged guidance" te construeren zonder externe modellen voor skill-generatie.

Fase A: Policy-Native Self-Reflection

Voor elk geverifieerd traject $\tau_i$ in een rollout-groep genereert de policy (als reflector) een gestructureerde reflectie $s_i$, geconditioneerd op de taakprompt, het traject en de binaire outcome-label (succes/falen).

• Mechanisme: De policy identificeert outcome-kritieke beurten, legt hun bijdrage aan de uiteindelijke outcome uit, en vat concrete gedragingen samen om te versterken of te vermijden.
• Training: Een vaste externe judge wijst een scalaire score toe aan elke reflectie op basis van causale correctheid, outcome-consistentie en actiegerichtheid. Deze score wordt genormaliseerd om een reflection advantage te vormen, waarmee de policy wordt geoptimaliseerd in haar vermogen om actiegerichte skills uit haar eigen ervaring te extraheren.

Fase B: Group-Level Guidance Constructie

Om pad-specificiteit aan te pakken, contrasteert de methode reflecties van succesvolle en gefaalde rollouts binnen dezelfde prompt-groep.

• Contrastive Synthesis: Een stop-gradient snapshot van de policy ($\pi_{\bar{\theta}}$) neemt de set succesvolle reflecties ($S^+_x$) en gefaalde reflecties ($S^-_x$) als input. Het synthetiseert een compacte, prompt-specifieke guidance $z_x$ in de vorm van een "DO/AVOID"-lijst.
• Privileged Context: Deze guidance $z_x$ dient als privileged informatie. Omdat deze is gegenereerd door een gedetacheerde snapshot, fungeert het als een vaste context voor de daaropvolgende optimalisatiestap, wat ervoor zorgt dat de guidance wordt behandeld als een signaal in plaats van een generatie-target.
• Activatie: Deze fase is alleen actief voor prompt-groepen die zowel succesvolle als gefaalde rollouts bevatten, waardoor de guidance wordt afgeleid uit outcome-discriminatieve contrasten.

Turn-Level Credit Assignment

De kerninnovatie ligt in de manier waarop deze guidance de leer-signalen verfijnt. In plaats van hetzelfde traject-niveau advantage toe te wijzen aan alle tokens (zoals in vanilla GRPO), gebruikt GRSD de privileged guidance om advantages op turn-niveau te moduleren.

• Self-Teacher Evaluatie: De gedetacheerde policy evalueert de gesamplede actie-tokens onder twee contexten: een plain student-context (zonder guidance) en een guidance-augmented teacher-context (met $z_x$).
• Modulatie: Het verschil in log-likelihoods tussen deze contexten kwantificeert hoe de guidance de support van de policy voor een specifieke turn verandert. Dit verschil wordt uitgelijnd met de outcome-afgeleide update-richting (positief voor successen, negatief voor failures) om een modulatiescore te produceren.
• Bounded Adjustment: Het traject-niveau advantage wordt geschaald door deze score om een turn-specifiek advantage te produceren. Cruciaal is dat de modulatie begrensd is om te garanderen dat deze nooit de teken van de oorspronkelijke verifier-bepaalde advantage omkeert. Dit behoudt de fundamentele leerrichting terwijl de granulariteit van de credit assignment wordt verfijnd.

Optimalisatie-objectief

Het totale verlies combineert het taakuitvoerings-objectief (met de gemoduleerde turn-level advantages) en een reflection learning-objectief (het optimaliseren van de kwaliteit van de reflecties gegenereerd in Fase A).

Belangrijkste Bijdragen

1. Policy-Native Reflection: GRSD leert reflecties direct af te leiden uit de eigen geverifieerde trajecten van de policy, waardoor de noodzaak voor externe modellen of skill-repositories die mogelijk niet matchen met de huidige capaciteiten van de agent, wordt geëlimineerd.
2. Group-Reflective Guidance: Door succesvolle en gefaalde rollouts binnen een groep te contrasteren, synthetiseert de methode guidance die zowel capaciteits-gealigneerd als outcome-discriminatief is, waardoor pad-specifieke ruis wordt gefilterd.
3. Turn-Level Credit Refinement: Het framework introduceert een self-distillation mechanisme dat traject-niveau advantages verfijnt naar turn-specifieke credits zonder de verifier-bepaalde leerrichting te veranderen, wat leidt tot preciezere policy-updates.

Experimentele Resultaten

De auteurs evalueerden GRSD in drie diverse agentische omgevingen: ALFWorld (embodied reasoning), Search-based QA (search-augmented question answering) en WebShop (web navigation). Experimenten werden uitgevoerd op drie model-schalen (Qwen3-1.7B, Qwen2.5-3B, en Qwen2.5-7B).

• Geaggregeerde Prestaties: GRSD presteerde consequent beter dan competitieve baselines, inclus_of vanilla GRPO, on-policy distillation (OPSD), en skill-based self-distillation methoden (Skill-SD, SDAR). Zo verbeterde GRSD op ALFWorld het gemiddelde succespercentage met 5,5% ten opzichte van GRPO over verschillende backbones.
• Generalisatie: GRSD vertoonde superieure generalisatie naar onbekende taken, met name in de ALFWorld "Unseen" split, waar het een succespercentage van 83,6% behaalde, wat 8,2% hoger is dan GRPO.
• Trainingsdynamiek: Trainingscurves gaven aan dat GRSD bleef verbeteren nadat de baselines een plateau hadden bereikt, wat suggereert dat de experience-driven loop een duurzame late-stage leerfase faciliteert.
• Ablatie-studies: Het verwijderen van group-reflective guidance of het niet contrasteren van gefaalde reflecties resulteerde in significante prestatieverliezen, wat de noodzaak bevestigt van zowel de groep-niveau synthese als de inclusie van failure modes.

Betekenis en Claims

Het papier claimt dat GRSD een experience-driven loop voor agentic self-evolutie vestigt. Door de policy in staat te stellen om bruikbare, capaciteits-gealigneerde guidance af te leiden uit haar eigen geverifieerde ervaring en dit tijdens optimalisatie te internaliseren, lost GRSD het probleem van de grove supervisie die inherent is aan RLVR op.

De auteurs benadrukken dat hun aanpak:

• Externe Afhankelijkheden Vermijdt: Het vertrouwt niet op externe skill-libraries of sterkere modellen voor skill-generatie, waardoor de guidance binnen de capaciteitsgrens van de policy blijft.
• De Leerrichting Behoudt: De begrensde modulatie zorgt ervoor dat de bepaling van de verifier over succes of falen de primaire drijfveer van het leren blijft, waarbij het self-distillation component alleen de magnitude van de update op turn-niveau verfijnt.
• Gunstige Trade-offs Biedt: Hoewel GRSD een bescheiden overhead tijdens de training introduceert (ongeveer 17% toename ten opzichte van GRPO door online guidance constructie), brengt het nul overhead tijdens de inferentie met zich mee, aangezien de privileged guidance alleen tijdens de training wordt gebruikt.

Het werk suggereert dat het contrasteren van policy-native reflecties van succes en falen een robuust mechanisme biedt voor agents om kritieke gedragingen voor succes en terugkerende foutmodi te identificeren, wat leidt tot meer overdraagbare beslissingsprincipes en sterkere prestaties op onbekende taken.