🤖 machine learning

Agentic Reinforcement Learning with Self-Distilled Reward Shaping

Dit artikel introduceert Agentic Reinforcement Learning met Self-Distilled Reward Shaping (ADRS), een framework dat de prestaties van taalagenten over lange perioden verbetert door return-geassocieerde token-niveau credits te genereren via zelf-gedistilleerde, geprivilegieerde vaardigheidssignalen die gezamenlijk worden gekalibreerd en afgeschermd door docentvertrouwen en gerealiseerde returns.

Oorspronkelijke auteurs: Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

Gepubliceerd 2026-08-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ranxu Zhang, Guinan Chen, Chenshaodong, Jinghao Lin, Xiaozhou Xu, Sunzhe, Yanyong Zhang, Chao Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert te navigeren door een enorm, rommelig huis om een specifiek voorwerp te vinden, zoals een warme kop thee. Je kunt de robot niet simpelweg vertellen: "Goed gedaan!" pas nadat hij de thee eindelijk heeft gevonden. Als je daar te lang op wacht, weet de robot namelijk niet welke specifieke stappen nuttig waren — heeft hij de juiste deur geopend? Heeft hij de juiste mok opgepakt? Of is hij gewoon tien minuten rondgedwaald voordat hij geluk had? Dit is de kern van het puzzelstukje van Reinforcement Learning: hoe geef je krediet aan de kleine, tussenliggende beslissingen die leiden tot een groot succes, vooral wanneer de uiteindelijke beloning zeldzaam en ver weg is?

Om dit op te lossen, gebruiken wetenschappers vaak een truc genaamd Self-Distillation. Denk aan een student die een toets maakt, en direct daarna dezelfde student die als een strenge docent optreedt om de eigen antwoorden te beoordelen. De "docent"-versie heeft een speciale referentiekaart (genaamd "privileged information") die de "student" niet had terwijl hij de toets maakte. Door te kijken naar wat de student deed versus wat de docent zou hebben gedaan met de referentiekaart, kunnen we ontdekken welke zetten slim waren en welke puur geluk. Er zit echter een addertje onder het gras: alleen omdat de docent vindt dat een antwoord "goed" is, betekent dit niet dat het daadwerkelijk tot het juiste resultaat heeft geleid. De docent kan heel zelfverzekerd zijn, maar het bij het verkeerde eind hebben, of zelfverzekerd zijn over het verkeerde ding.

Dit brengt ons bij een nieuwe studie door onderzoekers van de University of Science and Technology of China en Alibaba Group. Zij pakten het probleem aan van hoe je die "vertrouwen van de docent" kunt omzetten in een betrouwbare gids voor de volgende zet van de robot, zonder dat de robot de referentiekaart tijdens het eigenlijke spel gebruikt. Ze noemen hun nieuwe methode ADRS (Agentic Reinforcement Learning with Self-Distilled Reward Shaping).

De onderzoekers ontdekten dat het simpelweg kopiëren van de score van de docent niet werkt, omdat het vertrouwen van de docent misleidend kan zijn. Soms is de docent zeer zeker van een zet die tot een mislukking leidt, of juist onzeker over een zet die tot succes leidt. Om dit op te lossen, fungeert ADRS als een slim filter. Eerst normaliseert het de scores van de docent zodat ze eerlijk te vergelijken zijn over verschillende delen van de taak. Vervolgens controleert het of het vertrouwen van de docent daadwerkelijk overeenkomt met het uiteindelijke resultaat (leidde de zelfverzekerde zet tot een overwinning?). Als het vertrouwen en het resultaat overeenstemmen, versterkt de filter de score van die zet; als ze niet overeenstemmen, wordt het signaal afgezwakt. Ten slotte injecteert het dit verfijnde signaal direct in het leerproces van de robot voordat de robot zijn volgende beslissing neemt.

De resultaten suggereren dat deze methode zeer effectief is. Wanneer getest op drie verschillende uitdagende taken — het navigeren door een virtueel huis, winkelen op een gesimuleerde website en het zoeken naar antwoorden online — hielp ADRS de AI-agenten consequent beter presteren, vooral bij lange, ingewikkelde taken. Bijvoorbeeld, bij de taak van het navigeren door het huis, hielp de methode een specifiek AI-model een succespercentage van 94,5% te bereiken, waarmee het eerdere beste pogingen met een aanzienlijke marge versloeg. De studie toonde ook aan dat de AI deze vaardigheden leerde met minder trainingsdata dan gebruikelijk en nog steeds goed kon presteren wanneer de taken iets anders of moeilijker werden. Cruciaal was dat de onderzoekers aantoonden dat de AI de "referentiekaart" tijdens het eigenlijke spel niet nodig had; het had deze alleen nodig tijdens de trainingsfase om te leren hoe het zelfstandig betere beslissingen kan nemen. Dit suggereert dat door het kalibreren van hoeveel vertrouwen we schenken aan de mening van een "docent" op basis van de resultaten in de echte wereld, we AI-agenten veel betrouwbaarder en efficiënter kunnen leren om complexe, meerstaps-problemen op te lossen.

Technische Samenvatting: Agentic Reinforcement Learning met Self-Distilled Reward Shaping (ADRS)

Probleemstelling

Agentic Reinforcement Learning (RL) stelt LLM-agenten in staat om te leren door interactie met omgevingen. De standaard agentic RL vertrouwt echter meestal op ijle (sparse), op trajectniveau gebaseerde terminale beloningen. Hoewel deze beloningen aangeven of een traject succesvol was, identificeren ze niet welke tussenliggende beslissingen (queries of acties) krediet verdienen. Deze ijle aard maakt de temporele credit assignment op token-niveau moeilijk, zelfs voor critic-vrije groep-relatieve methoden zoals GRPO en GiGPO.

Hoewel natuurlijke taalvaardigheden (bijv. subdoelen, actieregels) voor dichtere begeleiding kunnen zorgen, worstelen bestaande methoden ermee om deze informatie effectief te integreren. Specifiek worden huidige benaderingen geconfronteerd met drie technische uitdagingen wanneer zij gebruikmaken van "geprivilegieerde" informatie (vaardigheden die alleen tijdens de training beschikbaar zijn):

Score Kalibratie: Ruwe log-waarschijnlijkheden van de teacher variëren in offset en schaal over interactiestappen heen door contextlengte en responscompositie, waardoor ze niet vergelijkbaar zijn.
Betrouwbaarheidsschatting: Hoge vertrouwen van de teacher correleert niet noodzakelijkerwijs met hogere gerealiseerde returns; een teacher kan linguïstisch canonieke beslissingen verkiezen die er echter niet toe leiden dat de taak succesvol wordt afgerond.
Credit Integratie: Bestaande methoden behandelen geprivilegieerde supervisie vaak als een apart hulp-doel (auxiliary objective), wat kan leiden tot een mismatch tussen token-niveau updates en de native reward-to-advantage constructie van de RL-backbone.

Methodologie: ADRS-framework

De auteurs stellen Agentic Reinforcement Learning met Self-Distilled Reward Shaping (ADRS) voor, een framework dat procedurele vaardigheden die passen bij de taak omzet in return-geassocieerde token-niveau beloningen, zonder dat deze vaardigheden nodig zijn tijdens de rollout of inferentie. ADRS fungeert als een credit-constructielaag tussen trajectcollectie en actor-optimalisatie, waarbij het de drie uitdagingen aanpakt via drie gekoppelde modules:

1. Binnen-stap Relatieve Geprivilegieerde Scoring (Score Kalibratie)

Om de onvergelijkbaarheid van ruwe scores over stappen heen aan te pakken, herwaardeert ADRS door de student gegenereerde tokens met behulp van een bevroren policy-snapshot onder een geprivilegieerde context (taak-gematchte vaardigheden). Het past vervolgens binnen-stap centrering en schaalnormalisatie toe:

Het berekent de gemiddelde log-waarschijnlijkheid ( $b_s$ ) van de geprivilegieerde scores binnen een specifieke interactiestap.
Het berekent de gesigneerde afwijking ( $q_{s,j}$ ) van elk token ten opzichte van dit gemiddelde.
Het normaliseert door de standaarddeviatie ( $\sigma_q$ ) van de afwijkingen binnen de stap.
Dit levert een gecentreerde, schaalgecontroleerde score ( $\hat{q}_{s,j}$ ) op die de relatieve token-voorkeur binnen een beslissingsstap vertegenwoordigt, waarbij stap-afhankelijke drift wordt onderdrukt terwijl de ruwe scores behouden blijven voor de daaropvolgende betrouwbaarheidsschatting.

2. Return-Geassocieerde TVA Betrouwbaarheidsgating (Betrouwbaarheidsschatting)

Om te waarborgen dat het geprivilegieerde signaal overeenkomt met daadwerkelijk taaksucces, introduceert ADRS een Teacher Value Advantage (TVA) gate. Deze gate moduleert het genormaliseerde signaal op basis van de associatie tussen geprivilegieerd vertrouwen en gerealiseerde returns binnen een vergelijkingsgroep (bijv. trajecten voor dezelfde prompt in GRPO, of ankerstaten in GiGPO).

De methode berekent een zachte high-confidence weight ( $\alpha_u$ ) voor elke eenheid (traject of stap) op basis van de gemiddelde geprivilegieerde log-waarschijnlijkheid.
Het contrasteert de returns van high-confidence eenheden ( $\mu^+_g$ ) met die van low-confidence eenheden ( $\mu^-_g$ ).
Het verschil ( $d_g$ ) dient als een scalaire gate ( $m_u$ ). Als een hoger vertrouwen correleert met hogere returns, versterkt de gate het signaal; als dat niet het geval is, onderdrukt het het signaal.
Propositie 1 stelt vast dat het teken van de TVA-gate overeenkomt met de empirische covariantie tussen geprivilegieerd vertrouwen en de return binnen de groep.

3. Teacher-Gestuurde Per-Token Advantage Modulatie (Credit Integratie)

In plaats van een apart hulp-doel te gebruiken, integreert ADRS het gated signaal in de native reward-to-advantage pad vóór de advantage constructie.

Teacher Reward: De gated, genormaliseerde score wordt omgezet in een token-niveau beloning ( $r^T_{s,j} = \eta m_{s,j} \hat{q}_{s,j}$ ).
Shaped Reward: Deze wordt toegevoegd aan de basisomgevingsbeloning ( $\tilde{r}_{s,j} = r^{base}_{s,j} + r^T_{s,j}$ ).
Advantage Constructie: De shaped reward wordt door de standaard advantage operator geleid (bijv. GRPO of GiGPO).
Dual Path: Omdat de stap-gecentreerde teacher reward optelt tot nul (Propositie 2), blijft de som van het trajectniveau ongewijzigd, waardoor de door de omgeving gedefinieerde uitkomstrichting behouden blijft. Echter, de token-niveau advantage wordt herverdeeld ( $A^{ADRS} = A^{traj} + \eta Z^T$ ), waardoor de policy kan leren welke specifieke tokens binnen een succesvol traject het meest cruciaal waren.

Belangrijkste Bijdragen

ADRS Framework: Een self-distilled reward-shaping methode die training-alleen procedurele vaardigheden transformeert naar return-geassocieerde token-beloningen. Het combineert uniek binnen-stap score kalibratie en TVA gating, terwijl rollouts en inferentie vrij blijven van vaardigheden.
Native Integratie: De auteurs formuleren het gated signaal als pre-advantage reward shaping, waarbij het geprivilegieerde sturing direct wordt geïntegreerd in de native RL credit constructie in plaats van als een apart hulp-doel. Ze karakteriseren de compatibiliteit ervan met GRPO/GiGPO en de lokale first-order equivalentie aan gesamplede-token hulp-updates.
Empirische Validatie: Uitgebreide experimenten over drie interactieve benchmarks (ALFWorld, Search-based QA, WebShop) tonen consistente prestatieverbeteringen aan.

Experimentele Resultaten

Het paper evalueert ADRS op Qwen2.5 (3B, 7B) en Qwen3 (1.7B) modellen over drie benchmarks:

State-of-the-Art Prestaties: ADRS bereikt nieuwe state-of-the-art resultaten op alle drie de benchmarks. Bijvoorbeeld, met Qwen2.5-3B bereikt het 94,5% succes op ALFWorld (een verbetering van 10,1 procentpunt ten opzichte van de sterkste baseline) en 45,0% macro-average op Search-based QA.
Long-Horizon Taken: ADRS toont bijzondere kracht in long-horizon procedurele taken (ALFWorld), waarbij het prestatiewinst behoudt over een uitgebreide training (300 stappen) en over verschillende RL-backbones (GRPO en GiGPO).
Data Efficiëntie: ADRS overtreft volledige GRPO-baselines met slechts 60% van de beschikbare trainingsdata.
Generalisatie: De methode transfeert effectief naar onbekende taaksplits in ALFWorld, waarbij het succespercentage in de meeste categorieën wordt verbeterd.
Mechanisme Analyse: Diagnostische analyse onthult dat ADRS de update-contrast concentreert op taak-dragende actie- en object-tokens, waardoor ze worden gescheiden van generieke stijl-tokens, wat de effectiviteit in long-horizon interacties verklaart.

Betekenis en Claims

Het paper claimt dat ADRS succesvol het fundamentele probleem aanpakt van het toekennen van krediet aan tussenliggende beslissingen in agentic RL. Door training-alleen geprivilegieerde kennis om te zetten in een signaal dat gekalibreerd (vergelijkbaar over stappen), betrouwbaar (geassocieerd met returns) en geïntegreerd (native aan het RL-doel) is, stelt ADRS agenten in staat om effectiever te leren van ijle feedback.

De auteurs benadrukken dat ADRS geen geprivilegieerde informatie vereist tijdens de inferentie, wat het een praktisch framework maakt voor het inzetten van skill-vrije agenten die hebben geleerd van skill-gestuurde training. De resultaten suggereren dat training-alleen procedurele kennis effectief kan worden omgezet in token-niveau credit en direct kan worden opgenomen in de native reward-to-advantage constructie, wat een robuust pad biedt voor het verbeteren van multi-turn taalagenten.