Technische Samenvatting: PatchWorld: Gradiëntvrije Optimalisatie van Uitvoerbare Wereldmodellen

1. Probleemstelling

Text-agent omgevingen worden doorgaans gemodelleerd als Partially Observable Markov Decision Processes (POMDPs), waarbij de agent alleen gerenderde tekstobservaties ontvangt terwijl de latente staat en de transitiedynamiek van de simulator verborgen blijven. Hoewel recent werk heeft verkend hoe Large Language Models (LLMs) toekomstige observaties kunnen voorspellen of planningskennis kunnen distilleren, schieten deze benaderingen vaak tekort in het handhaven van een persistente, inspecteerbare belief-state die noodzakelijk is voor meerstapsimulatie en planning.

Een centrale uitdaging in dit domein is onbepaaldheid onder partiële observeerbaarheid: eindige trajectlogs kunnen worden gereproduceerd door vele uitvoerbare programma's, variërend van eenvoudige lookup-tabellen (memoriseren) tot compacte stateful programma's die latente variabelen afleiden (generalisatie). Bestaande code-gebaseerde wereldmodellen omzeilen dit vaak door direct de volgende observatie te voorspellen of door te vertrouwen op online interactie, waarbij ze een offline mechanisme missen om een symbolische belief-state program te induceren dat zowel exact als generaliseerbaar is. Bovendien bestaat er een spanning tussen observatiegetrouwheid (het getrouw reconstrueren van oppervlakkige tekst) en beslissingsnut (het bieden van actie-onderscheidende signalen voor planning), wat eerdere werken niet expliciet als een Pareto-front heeft geadresseerd.

2. Methodologie: PatchWorld

PatchWorld is een gradiëntvrij framework dat offline agent-trajecten transformeert naar uitvoerbare Python-wereldmodellen via counterexample-guided code repair. Het behandelt wereldmodel-inductie als een generatief optimalisatieprobleem, analoog aan Counterexample-Guided Inductive Synthesis (CEGIS).

Kernworkflow

1. Evidence Selection: Het systeem selecteert een contrastieve set transities uit offline trajecten. Deze transities worden gegroepeerd op basis van actie-signatures (geabstraheerde actietypes) en outcome-signatures (bijv. succes, falen, terminaal) om ervoor te zorgen dat het gesynthetiseerde programma diverse gedragingen dekt in plaats van enkel frequente patronen te memoriseren.
2. Initial Synthesis: Een LLM synthetiseert een initieel uitvoerbaar Python-programma (BaseWorldModel) dat een symbolische belief state, transitieregels, correctielogica en renderinglogica implementeert. Het programma houdt zich aan een vaste interface: init_belief, correct_belief (update staat vanuit observatie), predict_belief (update staat vanuit actie), en readout_observation (genereert tekst vanuit staat).
3. Counterexample-Guided Repair: Het gesynthetiseerde programma wordt opnieuw afgespeeld tegen de trainings-/validatietrajecten. Voorspellingsfouten worden omgezet in concrete tegenvoorbeelden (input, verwachte output, werkelijke output).
4. Iteratieve Optimalisatie: Een LLM wordt geprompt met het huidige programma, diagnostische samenvattingen van foutpatronen en de top-16 geprioriteerde tegenvoorbeelden om kandidaat-patches voor te stellen. Een patch wordt alleen geaccepteerd als het de formele replay-getrouwheid (lexicografische ordening van fouternst en aantal) op de volledige validatieset verbetert. Deze "hill-climbing" poort voorkomt regressie op onziene fouten.

Varianten: Simple vs. Residual

Het paper introduceert twee varianten om de afweging tussen getrouwheid en nut te verkennen:

• PatchWorld-Simple: Vertrouwt puur op het geïnduceerde symbolische programma. Het richt zich op het leren van compacte, actie-contrastieve dynamiek.
• PatchWorld-Residual: Augmenteert het symbolische programma met een door mensen gespecificeerde residual-memory bias. Deze component houdt terugkerende, ondubbelzinnige tekstuele staat-signatures bij (bijv. specifieke object-ID's of template-strings) via een train-only cache. Het fungeert als een inductieve bias (vergelijkbaar met weight decay) om de oppervlaktereconstructie te verbeteren zonder de voor planning gebruikte symbolische dynamiek te vervangen.

3. Belangrijkste Bijdragen

1. Identificatie van Onbepaaldheid: Het paper benadrukt dat onder partiële observeerbaarheid, eindige logs exact replay mogelijk maken zonder de compacte latente-staat regels te onthullen die nodig zijn voor generalisatie.
2. Gradiëntvrij Inductie-framework: PatchWorld introduceert een methode om LLMs te gebruiken als symbolische optimizers die offline uitvoerbare belief-state programma's synthetiseren en repareren, wat resulteert in modellen die inspecteerbaar en lokaal herstelbaar zijn.
3. De Fidelity-Utility Frontier: De auteurs demonstreren een Pareto-front tussen observatie-reconstructie en planningsnut. Ze tonen aan dat het verbeteren van de oppervlakkige tekstgetrouwheid (via residual memory) soms de actie-onderscheidende dynamiek kan verzwakken, en vice versa.
4. Empirische Validatie: Over zeven AgentGym-omgevingen (Maze, BabyAI, TextCraft, Wordle, WebShop, AlfWorld, SciWorld) bereikt het framework state-of-the-art prestaties in zowel code-gebaseerde voorspelling als planning zonder dat er tijdens de inferentie LLM-calls nodig zijn.

4. Experimentele Resultaten

De evaluatie vergelijkt PatchWorld met neurale baselines (Word2World, LLM-Direct) en andere code-gebaseerde baselines (WorldCoder, PoE-World).

• Observatiegetrouwheid: PatchWorld-Residual bereikt de hoogste code-gebaseerde getrouwheid, met een macro Token F1 van 0.69–0.70 en een BLEU-4 van 0.49–0.50, waarmee het WorldCoder en PoE-World met ongeveer 6 punten verslaat. Het handelt effectief ge-templateerde omgevingen af (bijv. AlfWorld, TextCraft) waar exacte string-matching cruciaal is.
• Planningsnut: PatchWorld-Simple bereikt de hoogste code-gebaseerde planningsscore, met een 76.4% macro episode succesratio in live one-step lookahead planning. Dit presteert beter dan PoE-World (69.3%) en WorldCoder (64.4%), en is competitief met LLM-gebaseerde planners (ReAct bij 74.4%, LLM-Direct bij 75.8%). Cruciaal is dat PatchWorld-Simple dit bereikt met nul LLM-calls tijdens de lookahead-voorspellingsfase.
• De Afweging: De resultaten bevestigen het bestaan van een frontier. PatchWorld-Residual heeft een hogere getrouwheid maar een lager planningssucces (72.9%) vergeleken met PatchWorld-Simple. De analyse suggereert dat hoge oppervlaktegetrouwheid niet garandeert dat de specifieke actie-contrastieve signalen die nodig zijn voor planning aanwezig zijn; in sommige gevallen kan de focus van de residual memory op exacte tekst de structurele verschillen tussen kandidaat-acties vertroebelen.
• Efficiëntie: PatchWorld verplaatst de computationele kosten naar offline inductie (gemiddeld 17–28 LLM-calls per omgeving voor reparatie), maar elimineert de noodzaak voor LLM-calls tijdens de inferentie, wat het tokenverbruik aanzienlijk vermindert vergeleken met directe LLM-prompting.

5. Betekenis en Claims

Het paper claimt dat LLMs kunnen dienen als symbolische optimizers, in staat om uitvoerbare symbolische systemen te zoeken, te patchen en te verbeteren die competitief zijn met impliciete neurale modellen.

• Interpreteerbaarheid en Herstelbaarheid: In tegenstelling tot black-box neurale wereldmodellen produceert PatchWorld programma's waarbij belief-updates en transitie-regels kunnen worden geïnspecteerd, getest en lokaal worden gerepareerd.
• Waarde-equivalentie: Het werk demonstreert dat een model voor agenten niet de "beste" voorspeller van de volgende observatie hoeft te zijn om de "beste" planner te zijn. Modellen kunnen planning-equivalent (waarde-equivalent) zijn terwijl ze significant divergeren op observatie-waarschijnlijkheid.
• Offline Inductie: Het framework bewijst dat hoogwaardige wereldmodellen voor text-agents volledig kunnen worden geïnduceerd vanuit offline data, waardoor de noodzaak voor online interactie of supervised fine-tuning van het wereldmodel tijdens de implementatie wordt vermeden.

De auteurs blijven bescheiden en merken op dat de geïnduceerde modellen beperkt zijn tot taalgebaseerde omgevingen en dat de claims over interpreteerbaarheid rusten op programmainspectie in plaats van gebruikersstudies. Ze erkennen dat hoewel de modellen inspecteerbaar zijn, ze nog steeds incorrecte regels kunnen coderen als de trainingsdata onvoldoende of vertekend is, wat sandboxing en review in situaties met een hoog risico noodzakelijk maakt.