Technische Samenvatting: Textuele Geloofstoestanden voor Wereldmodellen

Probleemstelling

In omgevingen met gedeeltelijke observatie moeten wereldmodellen een latente representatie onderhouden die de interactiegeschiedenis samenvat om voorspelling, planning en redeneren mogelijk te maken. Een kritieke uitdaging in moderne op Large Language Model (LLM)-architecturen gebaseerde ontwerpen is het identificeerbaarheidsprobleem. In veel bestaande ontwerpen coëxisteert de latente toestand met andere informatiebronnen (zoals de volledige observatiegeschiedenis) die deze kan vervangen. Bijgevolg kan een model een hoge voorspellende nauwkeurigheid bereiken door de latente toestand te "omzeilen" en direct op de geschiedenis te vertrouwen. Dit maakt de latente toestand onidentificeerbaar; voorspellende prestaties zijn niet langer een beperking van of een reflectie van de kwaliteit van de geleerde representatie.

Hoewel klassieke wereldmodellen strikte latente toestand-bemiddeling afdwingen—waarbij alle voorspellingen uitsluitend moeten afhangen van de latente toestand en de huidige actie—is het toepassen van dit principe op tekstgebaseerde settings moeilijk. Textuele latente toestanden zijn discreet en niet-differentieerbaar, wat standaard variationele training (bijv. ELBO) verhindert. Bovendien negeren expressieve LLM-decoders die met dergelijke doelstellingen zijn getraind vaak de bottleneck, wat leidt tot posterior collapse. Het artikel behandelt de uitdaging om strikte bemiddeling in het tekstdomein af te dwingen om ervoor te zorgen dat de kwaliteit van de representatie empirisch testbaar is en dat de latente toestand fungeert als een voldoende statistiek voor de geschiedenis.

Methodologie

1. Textuele Latente Toestanden

De auteurs stellen voor om latente toestanden te representeren als discrete, interpreteerbare, variabel lengte tekststrings (specifiek JSON-predicaat-argumentlijsten) in plaats van continue vectoren. Deze aanpak biedt vier voordelen:

• Alignment: Het sluit aan bij de LLM-backbone, waardoor verlieslatende modaliteitconversies worden vermeden.
• Adaptieve Bottleneck: De capaciteit schaalt met de inhoud in plaats van met vaste dimensies.
• Interpreteerbaarheid: Toestanden zijn direct inspecteerbaar en kunnen worden geëvalueerd tegen grondwaarheid-feiten.
• Modality Match: Observaties zijn semantische tekst, dus tekstuele toestanden behouden de structurele integriteit.

2. Modelarchitectuur

Het systeem maakt gebruik van een enkele vooraf getrainde autoregressieve taalmodel met gedeelde parameters $\theta$ die opereert in drie afzonderlijke, door prompts gedefinieerde stadia:

1. Encoding: $\hat{s}_t \sim p_\theta(\cdot | h_t)$, genereert een latente toestand vanuit de geschiedenis $h_t$.
2. Transition (Dynamiek): $\hat{s}_{t+1} \sim p_\theta(\cdot | \hat{s}_t, a_t)$, voorspelt de volgende toestand op basis alleen van de huidige latente toestand en actie.
3. Decoding: $\hat{o}_{t+1} \sim p_\theta(\cdot | \hat{s}_{t+1}, a_t)$, genereert de volgende observatie vanuit de nieuwe latente toestand.

Cruciaal is dat zodra $\hat{s}_t$ is gegenereerd, de transitie- en decoderingsstadia geen toegang meer hebben tot de oorspronkelijke geschiedenis $h_t$. Dit dwingt strikte bemiddeling af.

3. Training via Factorized GRPO (fGRPO)

Omdat tekstuele toestanden niet-differentieerbaar zijn, is gradiëntgebaseerde optimalisatie door de latente ruimte onmogelijk. De auteurs behandelen elk generatiestadium als een stochastische policy en optimaliseren met behulp van Reinforcement Learning (RL).

• Beperking van Standaard GRPO: Standaard Group Relative Policy Optimization (GRPO) werkt op een enkele autoregressieve voortzetting, wat de mogelijkheid zou bieden aan het model om toegang te krijgen tot de geschiedenis via de gedeelde prompt-context, wat de strikte bemiddeling schendt.
• fGRPO Oplossing: De auteurs introduceren Factorized GRPO, een boomstructuur-extensie. Voor een gegeven geschiedenis samplet het model $A$ kandidaat latente toestanden, vervolgens $B$ kandidaat volgende toestanden per encoding, en $C$ kandidaat observaties per transitie. Dit vormt een boom waarbij beloningen worden berekend bij de bladeren (het vergelijken van voorspelde versus grondwaarheid-observaties) en omhoog worden gepropageerd. Deze structuur zorgt ervoor dat de transitie- en decoderingsstappen strikt geconditioneerd zijn op de gesamplede latente toestanden, en niet op de oorspronkelijke geschiedenis.

4. Beloningsontwerp (Reward Design)

Het beloningssignaal combineert voorspellende nauwkeurigheid met structurele regularisatie om compacte, voldoende toestanden te stimuleren:

• Observatie-nauwkeurigheid ($R_{obs}$): Fact-niveau F1-score tussen de geëxtraheerde feiten uit de voorspelde en de grondwaarheid-observaties.
• Formaat Geldigheid ($R_{fmt}$): Een binaire controle die garandeert dat de latente toestand een geldige JSON-structuur is.
• Auxiliaire Beloningen:
  • Support ($R_{sup}$): Moedigt consistentie aan tussen de voorspelde observatie en de onderliggende toestand-feiten.
  • Deduplicatie ($R_{dedup}$): Bestraft semantisch redundante feiten.
  • Ablatie ($R_{abl}$): Meet het fractie van de feiten waarvan de verwijdering de voorspelling verslechtert, wat het behoud van enkel noodzakelijke informatie stimuleert.

Belangrijkste Bijdragen

1. Formalisering van Strikte Bemiddeling: Het artikel bewijst dat onder strikte bemiddeling, optimale voorspellende nauwkeurigheid impliceert dat de latente toestand een voldoende statistiek is van de geschiedenis (Propositie 1). Omgekeerd kan in "lekkende" architecturen waar geschiedenis-bypass is toegestaan, optimale nauwkeurigheid worden bereikt met een oninformatieve latente toestand (Propositie 2).
2. Theoretische Garanties op Rollout: Strikte bemiddeling brengt de trainings- en inferentiecondities structureel in lijn. De auteurs tonen aan dat dit de geometrische foutgroei voorkomt die wordt gezien bij geschiedenis-gebaseerde of lekkende rollouts, wat een gebonden foutpropagatie mogelijk maakt onder contractie-aannames (Propositie 3).
3. fGRPO Algoritme: De introductie van factorized GRPO, die het mogelijk maakt om discrete, niet-differentieerbare tekstuele latente toestanden te trainen onder strikte bemiddelingsrestricties zonder variatieve doelstellingen.
4. Empirische Validatie: Experimenten op TextWorld en ScienceWorld laten zien dat strikte bemiddeling representaties oplevert die zowel voorspellend als identificeerbaar zijn.

Experimentele Resultaten

De auteurs evalueerden hun aanpak tegen drie baselines:

• Stateless: Voorspelt direct vanuit de geschiedenis (bovengrens op nauwkeurigheid, geen expliciete representatie).
• LeakyState: Gebruikt een tekstuele latente toestand maar staat geschiedenis-bypass toe tijdens voorspelling.
• StrictState-Emb: Gebruikt strikte bemiddeling maar met continue embeddings (variatieve training).

Belangrijkste Bevindingen:

• Voorspellende Nauwkeurigheid: StrictState-Text evenaart de één-stap voorspellende nauwkeurigheid (obs.F1) van de LeakyState en Stateless baselines, wat bevestigt dat strikte bemiddeling de prestaties niet schaadt.
• Representatiekwaliteit: Bij een gematchte voorspellende nauwkeurigheid bereikt StrictState-Text aanzienlijk hogere toestand-niveau F1 (tot 57% winst in ScienceWorld en 30% in TextWorld voor complexe taken) vergeleken met LeakyState. Dit bevestigt dat lekkende modellen oninformatieve toestanden leren die vertrouwen op geschiedenis-bypass.
• Rollout Stabiliteit: Strikte bemiddeling verbetert de multi-step rollout prestaties aanzienlijk. Winsten in toestand-niveau F1 nemen toe met de voorspellingshorizon, reikend tot 98% verbetering bij horizon 9 op TextWorld. Dit valideert de theoretische claim dat strikte bemiddeling de cumulatieve foutpropagatie mitigeert.
• Ablatie: Het verwijderen van hulp-beloningen (deduplicatie, ablatie, support) verslechtert de langetermijn-rollout prestaties, wat aangeeft dat deze componenten cruiter zijn voor het leren van compacte, voldoende toestanden.

Betekenis en Claims

Het artikel claimt dat strikte latente toestand-bemiddeling een noodzakelijke voorwaarde is om de kwaliteit van representaties empirisch testbaar te maken in wereldmodellen. Zonder dit kan voorspellende nauwkeurigheid een slechte proxy zijn voor de kwaliteit van de representatie omdat het model kan "valsspelen" door direct toegang te krijgen tot de geschiedenis.

Door strikte bemiddeling succesvol af te dwingen in het tekstdomein met fGRPO, demonstreren de auteurs dat:

1. Identificeerbaarheid is haalbaar: Het is mogelijk om discrete, interpreteerbare latente toestanden te leren waarbij de kwaliteit van de representatie direct diagnoseerbaar is vanuit voorspellende prestaties.
2. Textuele toestanden zijn effectief: Variabele lengte tekstuele toestanden bieden een flexibelere en interpreteerbaarder bottleneck dan vaste-dimensie embeddings voor discrete, compositionele feiten.
3. Stabiliteit is verbeterd: Strikte bemiddeling brengt training en inferentie in lijn, waardoor de foutaccumulatie die de loop van langdurige rollouts in lekkende of stateless architecturen teistert, wordt voorkomen.

De auteurs merken op dat hun evaluatie zich richt op representatiekwaliteit in plaats van downstream controle of planning, en dat de experimenten beperkt zijn tot gesynthetiseerde, geïnstrumenteerde omgevingen (TextWorld en ScienceWorld). Ze erkennen structurele beperkingen, zoals de last van compressie die volledig op een single-shot encoder rust en de afhankelijkheid van gestructureerde fact-extractie voor hulp-beloningen. Echter, het werk legt een methodologisch fundament voor het bouwen van betrouwbare, interpreteerbare wereldmodellen in tekstgebaseerde settings.