Technische Samenvatting: Zelfgedistilleerde Agente Versterkende Leer (SDAR)

Probleemstelling

Versterkende Leer (RL) is een centraal paradigma geworden voor het post-trainen van Agenten voor Groot Taalmodellen (LLM), met name voor interacties met een lange horizon en meerdere beurten. Standaard RL vertrouwt echter op beloningssignalen op trajectniveau, die slechts grove supervisie bieden voor complexe, meerstaps taken. Om dit aan te pakken, is On-Policy Self-Distillation (OPSD) voorgesteld om dichte, token-level begeleiding in te voeren vanuit een 'leraar'-tak die is verrijkt met bevoorrechte context (bijvoorbeeld opgehaalde vaardigheden).

Ondanks de theoretische aantrekkingskracht, vormt het overdragen van OPSD naar agenten met meerdere beurten twee kritieke uitdagingen die in dit werk zijn geïdentificeerd:

1. Instabiliteit bij meerdere beurten: Naarmate de student-agent afwijkt van het door de leraar ondersteunde traject, wordt token-level supervisie steeds onbetrouwbaarder. Dit leidt tot cumulerende fouten, een schokkende KL-divergentie per beurt en catastrofale degradatie van de taakprestaties.
2. Asymmetrisch vertrouwen in bevoorrechte begeleiding: In vaardigheidsgeconditioneerde OPSD is de leraar hetzelfde beleid, verrijkt met bevoorrechte context (zoals opgehaalde vaardigheden), en geen inherent sterker model. Bijgevolg impliceert een 'negatieve kloof' (waarbij de leraar een lagere waarschijnlijkheid toekent aan een token dan de student) niet altijd dat het token onderdrukt moet worden. Het kan juist het gevolg zijn van imperfecte vaardigheidsophaling, irrelevante vaardigheden, of het falen van de leraar om vaardigheden te verankeren in betrouwbare voorkeuren. Het gelijk behandelen van alle leraarsignalen leidt tot instabiliteit, vooral wanneer tokens met een negatieve kloof een significant deel van de trainingsdata uitmaken (waargenomen als >50% in voorlopige studies).

Bestaande hybride benaderingen (bijvoorbeeld het simpelweg toevoegen van OPSD-verlies aan RL) of rigide curriculummethoden falen om deze problemen op te lossen; ze lijden vaak aan onbegrensde distillatiegradiënten die het RL-signaal overweldigen, of vertrouwen op handgemaakte schema's die niet adaptief zijn voor token-level dynamiek.

Methodologie: SDAR

De auteurs stellen Self-Distilled Agentic Reinforcement Learning (SDAR) voor, een kader dat OPSD behandelt als een zorgvuldig gecontroleerd hulpobjectief, terwijl RL als primaire optimalisatiebackbone behouden blijft. De kerninnovatie is een token-level adaptieve gatingsmechanisme dat het distillatiesignaal moduleert op basis van de betrouwbaarheid van de begeleiding van de leraar.

1. Optimalisatiekader

Het totale trainingsdoel combineert het standaard Group Relative Policy Optimization (GRPO)-verlies met een gegateerde zelfdistillatieverlies:
$$\mathcal{L}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda_{SDAR} \cdot \mathcal{L}_{SDAR}(\theta)$$

• $\mathcal{L}_{GRPO}$: Het primaire RL-verlies, aangedreven door omgevingsbeloningen en feedback van verifiers, blijft onaangeroerd om onbevooroordeelde beleidsoptimalisatie te behouden.
• $\mathcal{L}_{SDAR}$: Het hulpdistillatieverlies, dat selectief wordt toegepast.

2. Token-level Gating Mechanisme

In plaats van distillatie uniform toe te passen, berekent SDAR een gate $g_t \in [0, 1]$ voor elk token $t$ om de intensiteit van de invloed van de leraar te controleren.

• Kloof tussen leraar en student ($\Delta_t$): Gedefinieerd als het verschil in log-waarschijnlijkheid tussen de bevoorrechte leraar en de student: $\Delta_t = \log \pi_T(y_t | s^+_t) - \log \pi_\theta(y_t | s_t)$.
• Sigmoid Gating: De kloof wordt door een sigmoidfunctie geleid met een scherpteparameter $\beta$:
  $$g_t = \sigma(\beta \cdot \Delta_t)$$
  Dit creëert een gladde, differentieerbare gewicht die:
  • Distillatie versterkt voor tokens met een positieve kloof (waarbij de leraar de keuze van de student onderschrijft), en ze behandelt als begeleiding met hoge zekerheid.
  • Distillatie verzwakt voor tokens met een negatieve kloof (waarbij de leraar het oneens is), waardoor wordt voorkomen dat het model blindelings volgt naar mogelijk ruisachtige of irrelevante op vaardigheden gebaseerde afwijzingen.
• Stop-Gradient: De gate $g_t$ wordt losgekoppeld van de gradiëntberekening. Dit zorgt ervoor dat de gate puur optreedt als een zekerheidsgewicht, waardoor zelfreferentiële optimalisatielussen worden voorkomen en stabiele, eerste-orde updates worden gewaarborgd.

3. Vaardigheidsophaling en Context

SDAR maakt gebruik van een 'Self-Teacher'-tak die conditioneert op bevoorrechte context $c^+$ (bijvoorbeeld opgehaalde vaardigheden uit een SkillBank). Het kader evalueert robuustheid over vier ophaalstrategieën: UCB (Upper Confidence Bound), Sleutelwoordmatching, Volledige Ophaling en Willekeurige Ophaling. Het gatingsmechanisme is ontworpen om ruis te filteren van slechte kwaliteit of irrelevante opgehaalde vaardigheden.

Belangrijkste Bijdragen

1. Identificatie van Asymmetrisch Vertrouwen: Het artikel stelt vast dat bij het trainen van agenten met meerdere beurten bevoorrechte begeleiding inherent asymmetrisch is. Positieve onderschrijvingen van een leraar met bevoorrechte context zijn betrouwbaar, maar negatieve afwijzingen kunnen voortkomen uit contextinstabiliteit in plaats van tokenkwaliteit.
2. Adaptieve Token-level Gating: SDAR introduceert een nieuwe gatingstrategie die toelaat dat elk token zijn eigen distillatie-intensiteit autonoom reguleert. Dit vervangt rigide, handgemaakte schema's door een dynamisch, zelfgestuurd curriculum dat werkt op de fijnste granulariteit.
3. Stabiliteit en Robuustheid: Door het distillatiesignaal te ontkoppelen van het primaire RL-doel en zachte verzwakking toe te passen op negatieve signalen, vermijdt SDAR de catastrofale instabiliteit die wordt waargenomen bij naïeve GRPO+OPSD-combinaties.
4. Internalisatie van Kennis: In tegenstelling tot methoden die bij inferentie vertrouwen op externe vaardigheden, slaagt SDAR erin bevoorrechte kennis te internaliseren in de beleidsparameters, waardoor sterke prestaties mogelijk zijn zelfs zonder opgehaalde vaardigheden tijdens het testen.

Experimentele Resultaten

De auteurs hebben SDAR geëvalueerd op drie diverse benchmarks: ALFWorld (embodied AI), Search-QA (zoekversterkt redeneren) en WebShop (e-commerce interactie). Experimenten zijn uitgevoerd over de Qwen2.5 (3B, 7B) en Qwen3 (1.7B) modelfamilies.

• Prestatiewinst: SDAR presteert aanzienlijk beter dan de baselines GRPO.
  • ALFWorld: +9,4% verbetering op Qwen2.5-3B.
  • Search-QA: +7,0% verbetering.
  • WebShop: +10,2% verbetering in Nauwkeurigheid (Qwen2.5-7B).
• Vergelijking met Hybriden: SDAR presteert consistent beter dan hybride baselines zoals Skill-SD en RLSD over alle modelgroottes. Opmerkelijk is dat het de prestatiecrash vermijdt die wordt gezien bij naïeve GRPO+OPSD (wat aanzienlijk degradeert op kleinere modellen zoals Qwen3-1.7B).
• Robuustheid tegen Ophaalkwaliteit: Een cruciale bevinding is dat SDAR op een gecontroleerde manier degradeert met de ophaalkwaliteit. Zelfs met Willekeurige Ophaling (nul taakbewustzijn) presteert SDAR beter dan de pure GRPO-baseline. Dit bevestigt dat het gatingsmechanisme effectief ruis filtert van vaardigheden van lage kwaliteit, en alleen gunstige signalen extraheren.
• Onafhankelijkheid van Inferentie: SDAR bereikt state-of-the-art resultaten zonder dat vaardigheidsophaling nodig is bij inferentie, wat ware internalisatie van kennis demonstreert. Bijvoorbeeld, op ALFWorld met Qwen2.5-3B, presteert SDAR (84,4%) beter dan Skill-GRPO* (80,5%), die vertrouwen heeft op vaardigheden tijdens het testen.

Betekenis en Claims

Het artikel claimt dat SDAR een principieel oplossing biedt voor de instabiliteit van het toepassen van zelfdistillatie in versterkende leer voor agenten met meerdere beurten. Door distillatie te behandelen als een gegateerd hulpobjectief in plaats van een primaire drijver of een rigide beperking, verzoent SDAR de grove, omgevingsgedreven optimalisatie van RL met de dichte, token-level begeleiding van bevoorrechte context.

De auteurs benadrukken dat hun aanpak geen apart, sterker leraarmodel vereist; in plaats daarvan maakt het gebruik van hetzelfde beleid, verrijkt met bevoorrechte context, waardoor het schaalbaar en praktisch is. Het vermogen van het gatingsmechanisme om asymmetrische begeleiding te hanteren – vertrouwen op positieve signalen terwijl het conservatief negatieve signalen verzwakt – wordt gepresenteerd als de sleutel tot het stabiliseren van training met meerdere beurten en het mogelijk maken van robuuste generalisatie over verschillende modelgroottes en taakdomeinen. Het werk suggereert dat voor agenten met meerdere beurten RL de primaire backbone moet blijven, waarbij distillatie dient als een dynamische, token-level regelaar in plaats van een statische supervisor.