💬 NLP

ProPlay: Procedural World Models for Self-Evolving LLM Agents

ProPlay introduceert een procedureel wereldmodel dat zelfevoluerende LLM-agenten in staat stelt om te verbeteren in gedeeltelijk observeerbare omgevingen door succesvolle trajecten te abstraheren naar een causale procedurele graaf voor pre-episode simulatie en post-episode verfijning, waardoor het begrip van de omgeving en autonoom leren wordt verbeterd zonder externe supervisie.

Oorspronkelijke auteurs: Yijun Ma, Zehong Wang, Yiyang Li, Ziming Li, Xiaoguang Guo, Weixiang Sun, Chuxu Zhang, Yanfang Ye

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yijun Ma, Zehong Wang, Yiyang Li, Ziming Li, Xiaoguang Guo, Weixiang Sun, Chuxu Zhang, Yanfang Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Mentale Repetitie"-agent

Stel je voor dat je probeert te leren hoe je een complex nieuw gerecht bereidt in een keuken die je nog nooit eerder hebt gezien. Je kunt niet de hele kamer in één keer overzien (het is "gedeeltelijk observeerbaar"), en je krijgt pas feedback wanneer je het eten proeft of wanneer er iets aanbrandt.

De meeste huidige AI-agents zijn als chefs die ofwel:

Recepten memoriseren (Geheugen): Ze onthouden elke stap die ze eerder hebben gedaan, maar ze begrijpen niet echt waarom de stappen samenwerken.
Gokken en controleren (Plannen): Ze proberen elke mogelijke zet te bedenken voordat ze een actie ondernemen, maar ze raken vaak gestrand omdat ze geen goede kaart van de keuken hebben.

ProPlay is een nieuw soort AI-agent die probeert te doen wat mensen doen: Mentale Repetitie (Preplay).

Voordat de agent zelfs maar een gereedschap aanraakt, sluit hij (metaforisch) zijn ogen en stelt hij het hele proces voor. Hij vraat: "Als ik X doe, dan gebeurt meestal Y, en dan kan ik Z doen." Hij bouwt een mentale kaart van hoe taken verlopen, in plaats van alleen een lijst met regels.

Hoe ProPlay werkt: De Drie-Stappenlus

Het paper beschrijft een cyclus die elke keer plaatsvindt wanneer de agent een nieuwe taak probeert. Denk hierbij aan een student die studeert voor een toets, de toets maakt en daarna zijn aantekeningen doorneemt.

1. De "Mentale Kaart" (Het Procedurele Wereldmodel)

In plaats van elke kleine handeling te onthouden (zoals "pak de lepel op", "beweeg de lepel 2 inch"), groepeert ProPlay acties in Procedures.

Analogie: Zie een procedure als een "hoofdstuk" in een boek. In plaats van elk woord op pagina 10 te onthouden, onthoud je de titel van het hoofdstuk: "De held vindt het zwaard."
De Graaf: ProPlay verbindt deze hoofdstukken tot een kaart (een graaf). Het tekent pijlen die laten zien dat "Het vinden van het zwaard" meestal leidt tot "Het vechten tegen de draak".
De Betrouwbaarheidsscore: Cruciaal is dat ProPlay een "vertrouwensscore" geeft aan elke pijl. Als de stap "De held vindt het zwaard" in 9 van de 10 gevallen tot een overwinning leidde, krijgt die pijl een hoge score. Als het tot een valstrik leidde, daalt de score. Dit helpt de agent te weten welke paden veilig zijn om te vertrouwen.

2. De "Preplay" (Repetitie)

Voordat de agent aan de eigenlijke taak begint, bekijkt hij zijn kaart en voert hij een simulatie uit in zijn hoofd.

Zachte Begeleiding: Het dwingt de agent niet om de kaart als een robot te volgen. In plaats daarvan zegt het: "Hé, op basis van wat ik heb geleerd, werkt dit pad meestal goed. Probeer het, maar als je iets vreemds ziet, voel je vrij om van koers te veranderen."
Waarom dit belangrijk is: Het geeft de agent een voorsprong (exploitatie), maar laat hem nog steeds nieuwe dingen ontdekken (exploratie) als de kaart niet klopt.

3. De "Review" (Verfijning)

Nadat de agent de taak heeft voltooid, kijkt hij naar wat er daadwerkelijk is gebeurd.

De Kaart bijwerken: Als de agent succesvol was, versterkt ProPlay de "vertrouwensscores" op het pad dat hij heeft genomen. Als hij faalde, markeert hij dat pad als riskant.
Nieuwe Hoofdstukken Leren: Als de agent iets nieuws deed dat werkte, maakt ProPlay een gloednieuw "hoofdstuk" (procedure) aan en voegt dit toe aan de kaart voor de volgende keer.

Waarom is dit beter? (De Resultaten)

De onderzoekers hebben ProPlay getest op drie verschillende "games" (benchmarks):

ScienceWorld: Een tekstgebaseerd spel waarbij je wetenschappelijke problemen moet oplossen.
τ-Bench: Een simulatie van het helpen van een klant met een probleem bij een winkel of luchtvaartmaatschappij.
PlanCraft: Een Minecraft-achtige game waarbij je items moet maken met behulp van recepten.

De Bevindingen:

Beter in Complexe Taken: ProPlay versloeg andere top AI-agents, vooral in taken die lange ketens van stappen vereisten (zoals het mengen van chemicaliën of het maken van complexe voorwerpen).
Sneller Leren: In het begin (de "cold start") leerde ProPlay sneller omdat het zijn mentale kaart kon gebruiken om goede strategieën te raden, zelfs zonder veel ervaring.
Het "Sweet Spot": Het paper vond dat ProPlay erg goed is in taken met duidelijke stappen (zoals een recept), maar het heeft moeite met taken die zeer precieze wiskunde vereisen of het vanaf nul bouwen van gereedschappen die niet in een patroon passen.

De Beperkingen (Wat het Paper zegt)

De auteurs zijn eerlijk over waar ProPlay mogelijk struikelt:

Te Abstract: Als een taak zeer specifieke getallen vereist (zoals "meet exact 3,4 gram"), kunnen de hoog-niveau "hoofdstukken" van ProPlay te vaag zijn. Het is beter in "voeg zout toe" dan in "voeg 3,4 g zout toe".
Eénmalige Repetitie: De agent doet de "mentale repetitie" slechts één keer aan het begin. Als de situatie halverwege verandert, kan de agent niet stoppen en opnieuw repeteren; hij moet vertrouwen op zijn eigen vindingrijkheid om het plan aan te passen.
Nieuwe Omgevingen: Het paper heeft dit nog niet getest op open-ended zaken zoals het browsen over het hele internet, waar de regels constant veranderen en mogelijk geen duidelijke "kaart" vormen.

Samenvatting

ProPlay is een AI die leert door een mentale kaart te bouwen van "hoe dingen meestal verlopen." Het repeteert deze paden voordat het handelt, vertrouwt op de paden die eerder hebben gewerkt, en werkt zijn kaart bij na elke poging. Het is als een chef die niet alleen een recept uit het hoofd leert, maar de flow van het koken begrijpt, waardoor hij kan aanpassen wanneer de keuken rommelig is of de ingrediënten net even anders zijn.

Technische Samenvatting: ProPlay: Procedurele Wereldmodellen voor Zelf-Evoluerende LLM-Agenten

Probleemstelling

Het artikel adresseert de uitdaging van het bouwen van zelf-evoluerende LLM-agenten die kunnen verbeteren door interactie zonder externe supervisie of grootschalige hertraining. Dit is bijzonder moeilijk in gedeeltelijk observeerbare omgevingen, waar agenten actief moeten exploreren, moeten leren van schaarse en vertraagde feedback, en moeten beslissen wanneer ze eerdere ervaringen moeten vertrouwen.

Bestaande benaderingen behandelen geheugen (het opslaan van reflecties of regels) en planning (het zoeken naar toekomstige acties) doorgaans als afzonderlijke modules, waardoor ze er niet in slagen de lus tussen beide te sluiten om het interne begrip van omgevingsdynamiek continu te verfijnen. Bovlu de huidige methoden voor wereldmodellen vaak afhankelijk van actieniveau-beperkingen of laag-niveau regels, wat de hogere causale structuur van taken kan missen en moeite heeft met het balanceren van exploitatie versus exploratie. Het kernprobleem is hoe de omgevingsdynamiek te representeren op een abstractieniveau dat herbruikbare, hiërarchische taakprogressies vastlegt, terwijl flexibele keuzes op laag niveau mogelijk blijven.

Methodologie: ProPlay

De auteurs introduceren ProPlay, een framework gebouwd op een evoluerend procedureel wereldmodel. Het systeem werkt via een episodische driefasige lus: Preplay, Execution (Uitvoering) en Refinement (Verfijning).

1. Procedureel Wereldmodel

In plaats van de omgeving te representeren via individuele acties of entiteiten, modelleert ProPlay dynamiek met behulp van procedures als de fundamentele eenheid.

Procedures: Hoog-niveau abstracties van taalfasen (bijv. "water koken", "een eigenschap meten") die zijn afgeleid van succesvolle interactietrajecten. Ze beschrijven het doel en de uitvoeringstemplates van een fase.
Procedure Graph ( $G$ ): Een attribuut-gedreven gerichte graaf waarbij knopen procedures ( $P$ ) zijn en gerichte randen ( $E$ ) causale transities tussen taalfasen coderen.
Reliability Record Embeddings ( $C$ ): Elke transitie $(p_i, p_j)$ is geassocieerd met een embedding die kwantificeert hoe consistent die transitie bijdroeg aan succesvolle taken met vergelijkbare beschrijvingen. Dit wordt berekend als een gewogen sommatie van taambeschrijving-embeddings uit eerdere succesvolle episodes waar de transitie voorkwam. Dit mechanisme helpt om generaliseerbare kennis te onderscheiden van ruis of overfitte ervaring.

2. Procedure-Level Preplay

Voordat elke nieuwe episode begint, voert ProPlay een procedure-level preplay uit om gestructureerde zachte sturing te genereren:

Trajectconstructie: De agent bevraagt de huidige proceduregraaf ( $G_{k-1}$ ) en haalt relevante mislukte ervaringen op. Het wijst taakspecifieke betrouwbaarheidsscores toe aan bestaande transities op basis van semantische gelijkenis met de huidige taambeschrijving.
Soft Guidance (Zachte Sturing): De agent construeert een procedure-traject ( $W^*$ ) door te redeneren over de taambeschrijving, de graaf en de betrouwbaarheidsscores. Dit traject wordt in de context van de agent geïnjecteerd als soft guidance (een hoog-niveau prior), niet als een harde beperking. Dit stelt de agent in staat om geaccumuleerde kennis te exploiteren terwijl de vrijheid behouden blijft om af te wijken en ongeziene transities te verkennen als de observaties daarom vragen.

3. Episodische Wereldmodel Verfijning

Na afloop van de episode verfijnt ProPlay het wereldmodel op basis van feedback uit de omgeving:

Procedure Inductie: Succesvolle trajectsegmenten worden opgedeeld en naar de LLM gestuurd om nieuwe procedures te induceren of samen te voegen met bestaande procedures op basis van semantische gelijkenis, wat zorgt voor een niet-redundante procedurele vocabulaire.
Graaf Update: Nieuwe procedurepaden worden gemapt naar de bijgewerkte set procedures, en nieuwe transities worden aan de graaf toegevoegd.
Betrouwbaarheid Update: De reliability record embeddings voor geobserveerde transities worden bijgewerkt om hun bijdrage aan de huidige episode aan de hand van de beloning te reflecteren, waardoor generaliseerbare kennis wordt geconsolideerd en misleidende transities worden onderdrukt.

Belangrijkste Bijdragen

Procedure-Centrisch Perspectief: Het artikel stelt voor om omgevingsdynamiek te modelleren als procedurele paden in plaats van laag-niveau actiebeperkingen, waardoor de hiërarchische en causale structuur van taakprogressies wordt gevangen.
ProPlay Framework: Een preplay-mechanisme dat een procedureel wereldmodel construeert en onderhoudt, waarbij relevante trajecten worden opgehaald als soft guidance om exploratie en exploitatie te balanceren.
Empirische Evaluatie: Uitgebreide experimenten op drie publieke benchmarks die consistente verbeteringen laten zien in omgevingsbegrip en zelf-evoluerende capaciteiten.

Experimentele Resultaten

De auteurs hebben ProPlay geëvalueerd op ScienceWorld (wetenschappelijk redeneren), $\tau$ -Bench (conversationele tool-gebruik) en PlanCraft (multi-step crafting).

Prestaties: ProPlay behaalde de beste Average Ranking (A.R.) over alle benchmarks en presteerde beter dan sterke baselines inclusief ReAct, Reflexion, ExpeL, LATS, Wall-E en WorldCoder.
ScienceWorld: ProPlay presteerde aanzienlijk beter dan planning-gebaseerde en actieniveau-wereldmodel baselines, met name in complexe multi-step taken.
Zelf-evolutie Analyse:
- Cold-Start: ProPlay toonde voordelen in vroege episodes door het vermogen om voorkennis te gebruiken voor exploratie.
- Groeipatroon: De procedurele graaf vertoonde een tweefasige groei: een snelle accumulatie van conceptknopen in het begin, gevolgd door een proliferatie van relationele randen, wat suggereert dat het verdiepen van de relationele structuur de prestaties in de latere stadia drijft.
- Generalisatie: Het systeem generaliseerde goed over heterogene taken, waarbij het significante voordelen toonde in taken waarin het uitblonk zonder achter te blijven in andere.
Ablatie-studies:
- Preplay: Het vervangen van soft guidance door harde beperkingen of willekeurige sampling verminderde de prestaties, wat de noodzaak van flexibele, gegronde redenering bevestigt.
- Wereldmodel Componenten: Het verwijderen van procedure-transities of reliability records verslechterde de prestaties aanzienlijk, wat benadrukt dat transities de meest waardevolle kennis zijn en reliability records cruciaal zijn voor effectieve exploitatie.
- Granulariteit: Het vervangen van het procedurele model door een actieniveau-model resulteerde in lagere prestaties, wat aangeeft dat actieniveau-beperkingen de redeneervrijheid beperken.

Limieten en Discussie

Het artikel erkent specifieke beperkingen:

Abstractiebereik: Procedurele abstractie is het meest effectief voor taken met duidelijke, herbruikbare causale structuren. Taken die precieze kwantitatieve redenering vereisen (bijv. het meten van een smeltpunt) of niet-decomposeerbare tool-assemblage kunnen beter worden bediend door fijnmazige regelgebaseerde methoden.
Single-Shot Preplay: Het preplay-plan wordt één keer aan het begin van een episode gegenereerd. Als vroege observaties uitwijzen dat het plan onjuist is, kan de agent het plan niet halverwege de episode herzien en moet de agent vertrouwen op eigen redenering om te herstellen.
Benchmark Omvang: Het blijft een open vraag of deze voordelen generaliseren naar zeer open-ended omgevingen (bijv. webnavigatie, GUI-interactie) waar procedurele structuren mogelijk niet natuurlijk ontstaan.

Betekenis

Het artikel beweert dat procedure-niveau abstractie een principieel en effectief fundament biedt voor zelf-evoluerende agenten in gedeeltelijk observeerbare omgevingen. Door de loop tussen geheugen en planning te sluiten via een procedureel wereldmodel, stelt ProPlay agenten in staat om omgevingsdynamiek te internaliseren, waarbij ze onderscheid maken tussen generaliseerbare kennis en contingente ervaring. Deze aanpak gaat verder dan geïsoleerde regelextractie of statische planning, en biedt een dynamisch framework waar agenten actief toekomstige paden kunnen repeteren en hun interne begrip van de wereld kunnen verfijnen door interactie.