💬 NLP

Agent Learning via Early Experience

Dit artikel introduceert "vroege ervaring", een paradigma waarbij taalagenten leren uit hun eigen interactiegegevens zonder expliciete beloningssignalen via impliciete wereldmodelleren en zelfreflectie, wat verbeterde effectiviteit en generalisatie aantoont terwijl het de kloof tussen supervised fine-tuning en versterkingsleer overbrugt.

Oorspronkelijke auteurs: Kai Zhang, Xiangchao Chen, Bo Liu, Tianci Xue, Zeyi Liao, Zhihan Liu, Xiyao Wang, Yuting Ning, Zhaorun Chen, Xiaohan Fu, Jian Xie, Yuxuan Sun, Boyu Gou, Qi Qi, Zihang Meng, Jianwei Yang, Ning Zhang, X

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kai Zhang, Xiangchao Chen, Bo Liu, Tianci Xue, Zeyi Liao, Zhihan Liu, Xiyao Wang, Yuting Ning, Zhaorun Chen, Xiaohan Fu, Jian Xie, Yuxuan Sun, Boyu Gou, Qi Qi, Zihang Meng, Jianwei Yang, Ning Zhang, Xian Li, Ashish Shah, Dat Huynh, Hengduo Li, Zi Yang, Sara Cao, Lawrence Jang, Shuyan Zhou, Jiacheng Zhu, Huan Sun, Jason Weston, Yu Su, Yifan Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert navigeren door een gigantisch, complex doolhof. In het verleden waren er twee hoofdmanieren om deze robot te leren:

De "Shadowing"-methode (Imitatieleer): Je huurt een menselijke expert in die het doolhof al perfect heeft opgelost. Je laat de robot de expert keer op keer het pad zien bewandelen. De robot onthoudt de stappen: "Sla bij de rode deur linksaf, ga dan rechtdoor."
- Het probleem: De robot kent alleen het ene pad dat de expert heeft bewandeld. Als de expert een kleine fout maakte, of als de robot iets van het pad afwijkt, raakt hij in paniek omdat hij geen idee heeft wat er gebeurt als hij rechts draait in plaats van links. Het is als een student die de antwoorden van een oefentoets heeft uit het hoofd geleerd, maar faalt bij het echte examen omdat de vragen iets anders zijn.
De "Trial and Error"-methode (Versterkleer): Je laat de robot het doolhof zelf afleggen. Elke keer als hij tegen een muur loopt, krijgt hij een "schok" (een negatieve beloning). Elke keer als hij de uitgang vindt, krijgt hij een "koekje" (een positieve beloning).
- Het probleem: In de echte wereld (zoals het browsen op een website of het gebruik van een tool) wachten er geen "schokken" of "koekjes" bij elke stap. Je klikt misschien op een knop en er gebeurt niets, of je vult een formulier in en weet pas dagen later of je het goed hebt gedaan. Zonder duidelijke feedback draait de robot op zijn plaats, probeert hij miljoenen willekeurige dingen, wat ontzettend traag en inefficiënt is.

Het nieuwe idee: "Vroege Ervaring"

Dit artikel stelt een slimme middenweg voor die Vroege Ervaring heet.

Stel je het zo voor: in plaats van alleen naar de expert te kijken, mag de robot een paar "oefenslagen" doen op eigen houtje voordat het echte training begint.

Zo werkt het, met twee specifieke strategieën die de auteurs hebben ontwikkeld:

1. De "Wat-als"-simulator (Impliciete wereldmodelling)

Stel je voor dat de robot staat bij een kruispunt.

De Expert zegt: "Ga links."
De Robot vraagt: "Wat gebeurt er als ik rechts ga?" of "Wat gebeurt er als ik spring?"

In de Vroege Ervaring-methode probeert de robot deze "wat-als"-bewegingen daadwerkelijk uit in een veilige simulatie. Hij ziet het resultaat: "Oh, als ik rechts ga, val ik in een kuil," of "Als ik spring, raak ik het plafond."

De robot heeft geen "koekje" of "schok" nodig om dit te leren. Hij leert gewoon de regels van de wereld. Hij bouwt een interne kaart van oorzaak en gevolg: Actie A leidt tot Resultaat X. Door te voorspellen wat er als volgende gebeurt, begrijpt de robot de omgeving veel beter dan een robot die alleen het pad van de expert heeft uit het hoofd geleerd.

2. Het "Zelfreflectie"-dagboek (Zelfreflectie)

Stel je voor dat de robot een speech oefent.

De Expert zegt: "Zeg 'Hallo'."
De Robot probeert: "Zeg 'Vaarwel'."
Het resultaat: Het publiek kijkt verward.

In deze strategie kijkt de robot naar zijn eigen "fouten" en de "correcte" keuze van de expert naast elkaar. Vervolgens gebruikt hij zijn eigen brein (een groot taalmodel) om een klein notitieje voor zichzelf te schrijven: "Ik zei 'Vaarwel', maar de expert zei 'Hallo'. Het publiek keek verward toen ik 'Vaarwel' zei, maar ze glimlachten toen de expert 'Hallo' zei. Daarom is 'Hallo' beter omdat het bij de situatie past."

De robot onthoudt niet alleen het woord "Hallo"; hij leert het redeneren achter waarom die keuze beter was. Hij maakt van zijn eigen mislukkingen een lesplan.

Waarom dit belangrijk is (De resultaten)

De onderzoekers hebben dit idee getest op acht verschillende "doolhoven", waaronder:

Navigeren op websites (zoals het kopen van een specifiek overhemd).
Oplossen van wetenschappelijke experimenten.
Plannen van complexe reisroutes.
Het gebruik van computertools.

De bevindingen waren duidelijk:

Beter dan alleen kijken: Robots die met "Vroege Ervaring" werden getraind, waren veel beter in het oplossen van problemen dan robots die alleen naar experts keken.
Beter in het hanteren van verrassingen: Toen de robots geconfronteerd werden met nieuwe situaties die ze nog niet eerder hadden gezien (buiten het domein), crashten ze minder vaak. Ze begrepen de regels van het spel, niet alleen de zetten.
Minder data nodig: Ze bereikten hoge prestaties met slechts een fractie van de expert-data die normaal gesproken vereist is.
Een brug naar de toekomst: Zelfs wanneer later duidelijke beloningen beschikbaar zijn (zoals in videospellen), maakte het beginnen met "Vroege Ervaring" dat de robots nog sneller leerden.

Het grote plaatje

Het artikel betoogt dat we niet hoeven te wachten tot perfecte "beloningssystemen" (zoals koekjes en schokken) voor elke taak in de echte wereld worden uitgevonden. We kunnen agenten nu al leren van hun eigen "wat-als"-scenario's en hun eigen reflecties op fouten. Het is een manier om een robot te veranderen van een passieve student die antwoorden uit het hoofd leert, in een actieve leerder die begrijpt hoe de wereld werkt.

Technische Samenvatting: Agentleren via Vroege Ervaring

1. Probleemstelling

Het langetermijndoel van taalagenten is leren en verbeteren door hun eigen ervaring in complexe, real-world taken. Echter, huidige trainingsparadigma's staan voor aanzienlijke beperkingen:

Versterkend Leren (RL): Hoewel succesvol in domeinen met verifieerbare beloningen (bijv. games), is het toepassen van RL op real-world taalagenten moeilijk. Veel omgevingen (bijv. websites, multi-turn toolgebruik) missen verifieerbare of dichte beloningssignalen, of vereisen inefficiënte rollouts met een lange horizon die credit assignment instabiel maken.
Supervised Fine-Tuning (SFT/Imitatieleer): De meeste huidige agenten vertrouwen op SFT met door experts samengestelde data. Hoewel efficiënt, heeft deze aanpak inherente beperkingen:
- Distributieverandering: Agenten interageren niet met de omgeving tijdens training, waardoor ze nooit de gevolgen van niet-expert acties observeren. Dit leidt tot cumulerende fouten wanneer de agent afwijkt van de trainingsdistributie.
- Beperkte Generalisatie: Expertdemonstraties vangen slechts een smal scala aan scenario's, wat de capaciteit van de agent beperkt om te generaliseren naar ongezichten situaties of te herstellen van fouten.
- Schaalbaarheid: Hoogwaardige expertdemonstraties zijn kostbaar om te schalen.

De kernuitdaging is hoe agenten te trainen om te groeien vanuit hun eigen ervaring zonder te vertrouwen op externe beloningssignalen of strikt gebonden te zijn aan de dekking van menselijke demonstraties.

2. Methodologie: Het Vroege Ervaringsparadigma

De auteurs stellen Vroege Ervaring voor, een middenweg tussen imitatieleer en versterkend leren. In deze setting leren agenten niet alleen van door mensen samengestelde data, maar ook van toekomstige toestanden die worden aangedreven door hun eigen voorgestelde acties in de omgeving. Deze toekomstige toestanden dienen als supervisiessignalen zonder dat externe beloningen nodig zijn.

Het paradigma maakt gebruik van een dataset van experttrajecten $D_{expert} = \{(s_i, a_i)\}$ en breidt deze uit met een rollout-dataset $D_{rollout} = \{(s_i, a^j_i, s^j_i)\}$ , waarbij $a^j_i$ alternatieve acties zijn die worden bemonsterd uit het beleid van de agent, en $s^j_i$ de resulterende volgende toestanden zijn die in de omgeving worden waargenomen.

Twee specifieke trainingsstrategieën worden onder dit paradigma bestudeerd:

A. Impliciete Wereldmodellering (IWM)

Concept: De agent behandelt de verzameling waargenomen toekomstige toestanden als een aanvullende voorspellingstaak om omgevingsdynamiek te internaliseren.
Mechanisme: Voor elk staat-actiepaar $(s_i, a^j_i)$ in de rollout-dataset wordt het model getraind om de resulterende volgende staat $s^j_i$ te voorspellen.
Doel: Het trainingsdoel is een next-token voorspellingsverlies: $L_{IWM} = -\sum \log p_\theta(s^j_i | s_i, a^j_i)$ .
Voordeel: Dit stelt het beleid in staat om regelmatigheden in omgevingsgedrag (overgangen, neveneffecten, ongeldige uitkomsten) direct te leren, waardoor de agent wordt verankerd in zijn operationele context zonder een apart simulatormodule.

B. Zelfreflectie (SR)

Concept: De agent leert van zijn suboptimale acties door deze te vergelijken met expertacties en natuurlijke taalverklaringen te genereren waarom de expertkeuze superieur is.
Mechanisme: Voor elke expertstaat $s_i` voert de agent de expertactie$ a_i$ uit om $s_{i+1}$ te krijgen en alternatieve acties $a^j_i$ om $s^j_i$ te krijgen. Het model wordt vervolgens geprompt om een chain-of-thought-verklaring $c^j_i$ te genereren die rechtvaardigt waarom $a_i$ verkiezenswaardig is boven $a^j_i$ op basis van de verschillen in uitkomsten.
Doel: Het model wordt getraind om gezamenlijk de redenering $c^j_i$ en de expertactie $a_i$ te voorspellen gegeven de staat $s_i$ : $L_{SR} = -\sum \log p_\theta(c^j_i, a_i | s_i)$ .
Voordeel: Dit haalt fijnkorrelige, overdraagbare beslissingsprincipes (bijv. constraint satisfaction) uit de eigen exploratieve fouten van de agent, en gaat voorbij aan rote imitatie.

3. Belangrijkste Bijdragen

Formalisatie van Vroege Ervaring: Het artikel pleit voor en formaliseert vroege ervaring als een schaalbare, beloningsvrije brug tussen imitatieleer en RL. Het stelt agenten in staat om hun eigen interacties om te zetten in leersignalen zonder externe beloningen.
Twee Trainingsstrategieën: De auteurs stellen Impliciete Wereldmodellering (internaliseren van dynamiek via staatvoorspelling) en Zelfreflectie (distilleren van beslissingsprincipes via redeneren over suboptimale acties) voor en bestuderen deze systematisch.
Uitgebreide Evaluatie: De methoden worden geëvalueerd in acht verschillende omgevingen (geïncorporeerde navigatie, webnavigatie, multi-turn toolgebruik, wetenschappelijke simulatie en planning) en meerdere model-families (Llama-3.2-3B, Qwen-2.5-7B, Llama-3.1-8B).

4. Experimentele Resultaten

De evaluatie toont consistente verbeteringen ten opzichte van pure imitatieleer-baselines:

Effectiviteit: In alle acht benchmarks en modelgroottes presteren zowel IWM als SR beter dan standaard SFT.
- IWM toont gestage winst in gestructureerde omgevingen met voorspelbare dynamiek (bijv. ALFWorld, ScienceWorld, WebShop).
- SR levert aanzienlijke verbeteringen op in taken die multi-stap redeneren en constraint satisfaction vereisen (bijv. TravelPlanner, BFCLv3).
- Opmerkelijk is dat op WebShop IWM de success rates met tot 18,4% verbeterde ten opzichte van imitatieleer.
Out-of-Domain (OOD) Generalisatie: Methoden voor vroege ervaring herstellen consistent een substantieel deel van het prestatiegat in OOD-splits. In sommige gevallen (bijv. SearchQA) overtreffen de relatieve winsten in OOD-settingen die in in-domain settingen, wat aangeeft dat leren uit eigen rollouts agenten voorbereidt op toestanden die niet worden gedekt door demonstraties.
Data-efficiëntie: Vroege ervaring behoudt een voorsprong op imitatieleer, zelfs bij gebruik van aanzienlijk minder expertdemonstraties (bijv. 1/8 van de data op WebShop).
Modelscaling: De voordelen blijven bestaan naarmate de modelgrootte oploopt tot 70B parameters (Llama-3.3-70B), waarbij checkpoints met vroege ervaring consistent de top-prestatiecurve bezetten.
Fundering voor RL: Wanneer daaropvolgende RL (met GRPO) wordt toegepast op checkpoints getraind met vroege ervaring, zijn de uiteindelijke prestatieplafonds aanzienlijk hoger dan die die starten vanuit pure imitatieleer-checkpoints. Dit suggereert dat vroege ervaring een robuuste initialisatie biedt voor het "tijdperk van ervaring".

5. Betekenis en Claims

Het artikel positioneert Vroege Ervaring als een noodzakelijke tussenstap voor de ontwikkeling van autonome taalagenten. De betekenis hiervan ligt in:

De Kloof Overbruggen: Het biedt een praktische oplossing voor omgevingen waar beloningen niet beschikbaar of onbetrouwbaar zijn, waardoor agenten kunnen leren van gevolgen in plaats van alleen van statische demonstraties.
Schaalbaarheid: Door het gebruik van de eigen acties van de agent om supervisie te genereren, wordt de afhankelijkheid van kostbare, hoogwaardige menselijke demonstraties verminderd.
Toekomstbestendigheid: Het fungeert als een "mid-training" brug die agenten voorbereidt op volledig ervaringsgestuurd leren (RL) zodra verifieerbare beloningen beschikbaar komen in nieuwe omgevingen, waardoor verdere winsten worden vrijgemaakt zonder opnieuw vanaf nul te hoeven trainen.

De auteurs concluderen dat vroege ervaring agenten in staat stelt om nu te groeien vanuit hun eigen interacties, de beperkingen van huidige op imitatie gebaseerde aanpakken aanpakt en de grondslag legt voor het toekomstige tijdperk van ervaringsgestuurde agenten.