💬 NLP

Why Do LLM Agents Fail in Exploring New Environments? A World-Modeling Perspective

Dit artikel identificeert "exploration collapse" als een cruciale foutmodus waarbij LLM-agenten het vermogen verliezen om nieuwe oplossingen te ontdekken in onbekende omgevingen tijdens reinforcement learning, en stelt SPA voor, een methode die de prestaties verbetert door de agent eerst te verankeren in staat- en transitievoorspelling via self-experience supervised finetuning voordat er wordt geoptimaliseerd voor beloning.

Oorspronkelijke auteurs: Shiqi Chen, Tongyao Zhu, Zian Wang, Jinghan Zhang, Kangrui Wang, Ruochen Zhou, Siyang Gao, Teng Xiao, Yee Whye Teh, Junxian He, Manling Li

Gepubliceerd 2026-09-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shiqi Chen, Tongyao Zhu, Zian Wang, Jinghan Zhang, Kangrui Wang, Ruochen Zhou, Siyang Gao, Teng Xiao, Yee Whye Teh, Junxian He, Manling Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een computerprogramma voor dat is ontworpen om te denken en te handelen als een mens, in staat om puzzels op te lossen, virtuele werelden te navigeren of zelfs een webbrowser te gebruiken om informatie te vinden. Deze programma's, bekend als grote taalmodellen, worden getraind op enorme hoeveelheden tekst van het internet, waarbij ze leren voorspellen welk woord volgt in een zin. Wanneer onderzoekers deze modellen vragen om als agenten op te treden—stappen ondernemen om een doel te bereiken—gebruiken ze vaak een methode genaamd reinforcement learning (versterkend leren). Dit is een proces waarbij het model verschillende acties probeert, feedback ontvangt over of het geslaagd of gefaald heeft, en geleidelijk leert om de acties te herhalen die tot succes leiden. Het is een krachtige manier om een machine te leren dingen te doen die niet expliciet zijn geprogrammeerd. Echter, er ontstaat een kritiek probleem wanneer deze agenten in nieuwe, onbekende situaties worden geplaatst. Hoewel ze misschien leren om een specifieke puzzel die ze eerder hebben gezien op te lossen, hebben ze vaak moeite met het uitzoeken hoe ze een compleet nieuwe omgeving moeten verkennen, waarbij ze vast komen te zitten in een nauwe manier van denken die hen verhindert de beste oplossing te vinden.

Een team van onderzoekers zette zich in om te begrijpen waarom deze intelligente agenten falen wanneer ze een het onbekende tegenkomen. Ze ontdekten een specifiek fenomeen dat ze "exploration collapse" (exploratie-instorting) noemen. In eenvoudige termen: wanneer een agent wordt getraind op een nieuwe taak, leert hij vaak slechts één specifiek pad naar succes te vinden en negeert hij vervolgens alle andere mogelijkheden. Hij wordt zo gefocust op dat enkele traject dat hij het vermogen verliest om verschillende benaderingen te proberen. De onderzoekers maten dit door naar twee verschillende scores te kijken: één die bijhoudt of de allerbeste gok van de agent werkt, en een andere die bijhoudt of een van zijn vele verschillende gommen werkt. In vertrouwde taken verbeteren beide scores naarmate de agent leert. Maar in nieuwe, moeilijke omgevingen, zoals een rastergebaseerde puzzel waarbij dozen naar specifieke doelen moeten worden geduwd, stijgt de score voor de enkele beste gok slechts licht, terwijl de score voor het proberen van vele verschillende paden daadwerkelijk daalt. De agent leert meer zelfverzekerd te zijn in een slechte gewoonte in plaats van te leren om flexibeler te zijn. Dit gebeurt omdat de agent de regels van de nieuwe wereld waarin hij zich bevindt niet echt begrijpt; hij gokt zonder een solide fundament.

Om dit op te lossen, ontwikkelden de onderzoekers een nieuwe trainingsmethode genaamd SPA, wat staat voor Self-Experience Agent. In plaats van de agent onmiddellijk te leren hoe hij beloningen kan krijgen, leerden ze hem eerst hoe hij de wereld om zich heen moet begrijpen. Ze gaven de agent de kans om de omgeving op eigen houtje te verkennen, zonder de druk om punten te scoren. Tijdens deze fase werd de agent gevraagd te beschrijven wat hij zag en te voorspellen wat er zou gebeuren als hij een bepaalde actie ondernam. Bijvoorbeeld, als de agent een doos op een specifieke plek zag staan en besloot deze te duwen, moest hij eerst aangeven waar de doos stond en vervolgens voorspellen waar deze terecht zou komen. De onderzoekers gebruikten vervolgens de werkelijke, correcte uitkomsten uit de omgeving om de voorspellingen van de agent te corrigeren, wat de agent effectief leerde wat de natuurwetten waren voor dat specifieke spel. Dit proces creëerde een soort intern kaart of "wereldmodel" in de geest van de agent, waardoor zijn begrip werd verankerd in de realiteit in plaats van in vage gokken.

Zodra de agent dit interne begrip had opgebouwd van hoe de wereld werkt, begonnen de onderzoekers met het standaard trainingsproces om de agent te leren hoe hij moet winnen. De resultaten waren opmerkelijk. In tests op een puzzelspel genaamd Sokoban, waarbij de agent dozen naar doelpunten moest duwen, slaagde de agent met de standaard trainingsmethode slechts ongeveer 25 procent van de tijd. Met de nieuwe methode sprong het succespercentage naar bijna 60 procent. In een andere puzzel die te maken had met een bevroren meer, verbeterde het succespercentage van ongeveer 22 procent naar meer dan 70 procent. Misschien wel het meest verrassend was dat een zeer klein computermodel dat met deze methode was getraind, in staat was om een veel groter, krachtiger model te overtreffen dat met de oude, standaardmethoden was getraind. Het kleine model, dat eerst de regels van het spel had geleerd, was in staat om de complexe puzzels effectiever te navigeren dan het gigantische model dat er alleen maar op heeft geprobeerd te gokken naar een beloning.

De onderzoekers testten ook of deze aanpak werkte op andere soorten taken, zoals een logische puzzel genaamd Sudoku en een gesimuleerde omgeving voor huishoudelijke taken. In elk geval leidde de methode die de agent leerde de staat van de wereld te begrijpen voordat hij probeerde te winnen, tot betere resultaten. Ze ontdekten dat de sleutel tot succes niet alleen het hebben van meer data of een grotere computer was, maar eerder de volgorde waarin het leren plaatsvond. Door de agent te dwingen eerst de structuur van de omgeving te leren, voorkwam hij de valstrik van het instorten in een enkele, breekbare strategie. De agent leerde zijn opties open te houden en meerdere paden te verkennen, omdat hij de gevolgen van zijn acties begreep. Deze aanpak suggereert dat voor kunstmatige intelligentie om echt aan te kunnen passen aan nieuwe en complexe situaties, het eerst een betrouwbaar begrip van de realiteit moet opbouwen voordat het probeert te optimaliseren voor succes. De studie laat zien dat wanneer een agent verankerd is in de werkelijke mechanica van zijn omgeving, hij effectiever kan verkennen en problemen kan oplossen die voorheen buiten bereik lagen.

Technische Samenvatting: Waarom falen LLM-agenten bij het verkennen van nieuwe omgevingen? Een wereldmodel-perspectief

1. Probleemstelling: Exploratie-instorting in onbekende omgevingen

Het paper identificeert een kritieke foutmodus in Agentic Reinforcement Learning (RL) voor Large Language Models (LLMs) wanneer deze worden ingezet in omgevingen die onbekend zijn aan de pre-training distributie van het model. Terwijl standaard RL de succesratio's van enkelvoudige trajecten (Pass@1) verbetert in vertrouwde settings (bijv. ALFWorld, WebShop), induceert het een fenomeen dat de auteurs exploration collapse (exploratie-instorting) noemen in onbekende omgevingen (bijv. Sokoban, FrozenLake, Sudoku).

In deze onbekende domeinen, die worden gekenmerkt door een hoge staat-perplexiteit ten opzichte van de voorkennis van het model, zorgt standaard RL ervoor dat de Pass@k (de kans dat ten minste één van $k$ gesamplede trajecten slaagt) merkbaar daalt naarmate de training vordert, zelfs terwijl de Pass@1 licht stijgt. Deze divergentie geeft aan dat het beleid (policy) steeds brozer wordt; het convergeert naar smalle, exploitatieve oplossingspaden terwijl het het vermogen verliest om pogingen te diversifiëren of robuust te generaliseren. De auteurs schrijven deze instorting toe aan een gebrek aan grounding (verankering) in de staten en dynamiek van de omgeving; de agent slaagt er niet in een "wereldmodel" van de onderliggende regels te internaliseren, wat leidt tot slechte staat-parsing en ineffectieve credit assignment.

2. Methodologie: SPA (Self-Experience Agent)

Om exploratie-instorting tegen te gaan, stellen de auteurs SPA voor, een "explore-then-exploit" raamwerk dat de agent grondig voorbereidt voordat er wordt geoptimaliseerd voor beloningen. In tegenstelling tot klassieke model-gebaseerde RL die tijdens de planning een expliciet wereldmodel bevraagt, internaliseert SPA wereldmodellering in het beleid zelf als een cold-start initialisatie.

Het raamwerk bestaat uit twee primaire stadia:

A. Staatsschatting (Grounding)

Om de distributieverschuiving aan te pakken waarbij ruwe symbolische staat-strings (bijv. grid-kaarten) een hoge perplexiteit hebben, vergroot SPA de ruwe staat $s'_t$ uit met een abstracte, gestructureerde representatie $b_t$ .

Mechanisme: Het model wordt geprompt om een gestructureerde natuurlijke taalbeschrijving van de huidige staat (bijv. coördinaten van de speler, dozen en doelen) te generen naast de ruwe observatie.
Doel: Dit vermindert de staat-perplexiteit en transformeert onbekende symbolische inputs in vertrouwde, interpreteerbare representaties, wat beter redeneren faciliteert.

B. Self-Experience Supervised Fine-Tuning (SFT)

Voordat de RL-fase begint, ondergaat de agent een fase van supervised fine-tuning met behulp van zijn eigen interactie-trajecten om de transitiedynamiek te leren.

Dataverzameling: Het basismodel verkent de omgeving vrij om trajecten $\tau = (s_0, o_0, a_0, \dots)$ te verzamelen.
Wereldmodelleringsobjectief: Tijdens het redeneren (tussen de <thought> en </thought> tags) wordt het model geprompt om expliciet de huidige staat (<observation>) te beschrijven en de volgende staat (<prediction>) te voorspellen.
Ground Truth Supervisie: Cruciaal is dat de door het model zelf gegenereerde overtuigingen over de huidige en volgende staten worden vervangen door ground-truth staten ( $s_t, s_{t+1}$ ) die door de omgeving-simulator worden geleverd. Het model wordt vervolgens via SFT getraind om deze gegronde staten en de daaropvolgende actie te voorspellen.
Loss Functie: De training minimaliseert een gemaskeerde token-level cross-entropy loss over de redeneer-spans die staatbeschrijvingen en voorspellingen bevatten, wat de agent effectief leert de transitie-kernel $p(s_{t+1} | s_t, a_t)$ van de omgeving te begrijpen.

C. RL Training

Het via SFT getrainde model, dat nu over een gegronde interne wereldmodel beschikt, dient als de initialisatie voor standaard Proximal Policy Optimization (PPO). De RL-fase optimaliseert voor taakbeloningen met behulp van de gegronde staat-representaties, zonder extra hulp-wereldmodellering-beloningen toe te voegen die de primaire doelstelling zouden kunnen verstoren.

3. Belangrijkste Bijdragen

Diagnose van Exploratie-instorting: Het paper karakteriseert empirisch de divergentie tussen Pass@1 en Pass@k in onbekende omgevingen, en identificeert dit als een grounding-fout in plaats van een algemene RL-inefficiëntie.
SPA Raamwerk: Het introduceert een eenvoudig, schaalbaar recept dat wereldmodellering (SFT) ontkoppelt van beloningsoptimalisatie (RL), door zelf-ervaringsdata te gebruiken om het beleid te initialiseren.
Ablatie en Mechanisme-analyse: Door middel van gecontroleerde studies isoleren de auteurs vier cruciale factoren die het succes van SPA drijven:
- Gronde Staat-representaties: Het abstraheren van ruwe staten naar gestructureerde coördinaten.
- Expliciete Transitie Modellering: Het leren voorspellen van de volgende staat, niet alleen acties.
- Self-Experience Trajecten: Het verzamelen van data van een voldoende sterke exploratie-policy (willekeurige acties leveren geen winst op).
- Adequate Data Dekking: Het waarborgen van voldoende transitie-data en naleving van het formaat.
Prestaties op Sub-3B Modellen: De methode stelt kleine modellen (bijv. Qwen2.5-1.5B) in staat om veel grotere baselines (bijv. GPT-OSS-20B) aanzienlijk te overtreffen op complexe ruimtelijke redeneertaken.

4. Experimentele Resultaten

De auteurs evalueerden SPA over meerdere modelfamilies (Qwen2.5, LLaMA-3.2, GPT-OSS) en omgevingen (Sokoban, FrozenLake, Sudoku).

Prestatiewinst: Op het Qwen2.5-1.5B-Instruct model verhoogde SPA de Sokoban succesratio (Pass@1) van 25,6% (Vanilla RL) naar 59,8%, en FrozenLake van 22,1% naar 70,9%.
Herstel van Exploratie: In tegen tegenstelling tot Vanilla RL, waarbij de Pass@k degradeert, verbetert SPA consistent zowel de Pass@1 als de Pass@k (bijv. Sokoban Pass@8 steeg van 34,0% naar 69,5%).
Vergelijking met Baselines: SPA presteerde beter dan "State Estimation RL" (die geen transitie-modellering heeft) en VAGEN (een reward-shaping wereldmodel-baseline). De auteurs merken op dat de online reward shaping van VAGEN de RL-doelstelling verstoort, terwijl de offline SFT-aanpak van SPA een schonere initialisatie biedt.
Generalisatie: SPA getraind op eenvoudige varianten (bijv. 4x4 FrozenLake) slaagde er succesvol in te transfereren naar moeilijkere varianten (6x6), wat "easy-to-hard" transfer demonstreert. Echter, cross-game generalisatie (Sokoban naar FrozenLake) bleef moeilijk, wat suggereert dat het wereldmodel specifiek is voor de omgeving-familie.

5. Betekenis en Claims

Het paper beweert dat de primaire barrière voor het schalen van agentic RL in onbekende omgevingen niet het gebrek aan beloningssignalen is, maar het gebrek aan een gegronde staat- en transitie-begrip. Door de agent expliciet te leren de dynamiek van de omgeving te modelleren voordat er voor beloningen wordt geoptimaliseerd, herstelt SPA het vermogen van de agent om diverse oplossingspaden te verkennen.

De auteurs benadrukken dat SPA een policy-centrische aanpak is waarbij het wereldmodel wordt geïnternaliseerd als een prior, in plaats van een externe simulator die tijdens de inferentie wordt gebruikt. Ze concluderen dat het grondig maken van de policy via self-experience SFT een noodzakelijke voorwaarde is voor effectieve RL in out-of-distribution settings, en bieden een reproduceerbaar startpunt voor het bouwen van robuuste agenten in onbekende omgevingen.

Erkende Beperkingen:
De auteurs merken op dat hun resultaten momenteel beperkt zijn tot grid-stijl interactieve benchmarks en klein- tot middelgrote open-weight modellen. Ze erkennen dat SPA toegang vereist tot ground-truth staten (geprivilegieerde informatie) tijdens de SFT-fase, wat zonder een aanvullende perceptiemodule mogelijk niet beschikbaar is in alle real-world implementaties. Bovendien blijft cross-game generalisatie een uitdaging.