Technische Samenvatting: Het Leren van POMDP-Wereldmodellen uit Observaties met Taalmodel-Priors

Probleemstelling

Effectieve agenten in deels waarneembare omgevingen moeten een intern model leren van hoe de wereld reageert op hun acties. Hoewel Partially Observable Markov Decision Processes (POMDP's) een flexibel formalisme bieden voor dergelijke wereldmodellen, is het leren ervan uitsluitend uit trajecten van observatie en actie berucht moeilijk. Klassieke benaderingen (tabulaire schatters, spectrale methoden, diepe latente modellen) vereisen doorgaans uitgebreide interactie met de omgeving, sterke structurele aannames, of toegang tot grondwahrheid verborgen toestanden.

Bestaande methoden die Large Language Models (LLM's) benutten om wereldmodellen te induceren, vertrouwen vaak op een kritieke vereenvoudigende aanname: toegang tot bevoorrechte verborgen toestanden tijdens het trainen. Zelfs de dichtstbijzijnde voorganger, POMDP Coder, veronderstelt post-hoc toegang tot grondwahrheid toestanden na elke episode. Deze beperking maakt dergelijke methoden onbruikbaar voor real-world scenario's waar toestands-supervisie ontbreekt, zoals robots die opereren in rommelige ruimtes of agenten in spelletjes met imperfecte informatie. De centrale vraag die dit werk adresseert, is of LLM-priors krachtig genoeg zijn om uitvoerbare POMDP-modellen te induceren met uitsluitend trajecten van observatie-actie-beloning, zonder enige toegang tot labels van verborgen toestanden.

Methodologie: Pinductor

De auteurs introduceren Pinductor (POMDP-inductor), een raamwerk dat uitvoerbare POMDP-wereldmodellen induceert uitsluitend uit trajecten van observatie-actie-beloning. De methode werkt volgens een lus van genereren-evalueren-verfijnen-plannen, waarbij directe vergelijking tussen voorspelde toestanden en grondwahrheid verborgen toestanden wordt vermeden.

1. Modelvoorstel

Een LLM wordt geprompt met een beschrijving van de omgeving in natuurlijke taal, een klein offline dataset van trajecten, en een code-API die de toestands-, actie- en observatieruimtes definieert. De LLM genereert een kandidaat uitvoerbaar model $m = (\rho_0^m, T^m, O^m, R^m)$, dat de initiële toestandverdeling, overgangsdynamiek, observatiemodel en beloningsfunctie definieert.

2. Op Overtuiging Gebaseerde Modelbeoordeling

Omdat verborgen toestanden niet worden waargenomen, evalueert Pinductor kandidaten met behulp van een op overtuiging gebaseerde waarschijnlijkheidsscore.

• Deeltjefiltratie: Voor een kandidaatmodel wordt een set deeltjes gesampled uit de voorgestelde initiële toestandverdeling en voortgeplant door het overgangsmodel $T^m$ met behulp van de waargenomen acties.
• Zachte Observatie-Waarschijnlijkheid: Het door de LLM gegenereerde observatiemodel $O_{LLM}^m$ is vaak deterministisch. Om mismatches te hanteren en een signaal vergelijkbaar met een gradiënt te bieden, maakt de methode gebruik van een afstandskern. De afstand $d_{obs}$ tussen een voorspelde observatie en de gerealiseerde observatie wordt omgezet in een zachte waarschijnlijkheid:
  $$O^m(o_{t+1} | s_{t+1}, a_t) \propto \exp(-d_{obs}(o_{t+1}^{pred}, o_{t+1}^{real}) / \kappa)$$
• Scoren: Het model wordt gescoord op basis van de verwachte log-waarschijnlijkheid van het waargenomen traject onder de overtuigingsverdeling die door de deeltjefilter wordt geïnduceerd:
  $$L(P^m; \mathcal{D}) = \sum_{\tau \in \mathcal{D}} \sum_{t=0}^{H-1} \mathbb{E}_{s_{t+1} \sim Q_{t+1}^m} [\log O^m(o_{t+1} | s_{t+1}, a_t)]$$
  Deze score evalueert hoe goed de eigen filterdynamiek van het model de stroom van observaties kan verklaren, zonder bevoorrechte toegang tot toestanden.

3. Feedback en Verfijning

De methode verfijnt modellen iteratief met behulp van gestructureerde debug-feedback:

• Globale Score: De scalare waarschijnlijkheidsscore geeft de algehele fit aan.
• Lokale Diagnostiek: Het systeem identificeert specifieke faalmodi, zoals uitvoeringsfouten, trajectsegmenten met een hoge observatie-afstand, of beloningsmismatches.
• Discordantie-Signalen: Een "comité" van eerder gegenereerde overgangsmodellen wordt gebruikt om stem-entropie te berekenen. Contexten met hoge entropie (waar kandidaatmodellen het oneens zijn over de volgende toestand) worden gemarkeerd voor de LLM, waardoor deze wordt geleid om ambiguïteiten in de dynamiek op te lossen.
• Verfijningstrategie: Pinductor maakt gebruik van een boomgestructureerd verfijningsproces (UCB1-selectie) in plaats van een enkele keten van bewerkingen, waarbij meerdere kandidaatsfamilies worden verkend voordat een bijna-optimale model wordt geselecteerd.

4. Plannen

Het geselecteerde model wordt gebruikt voor plannen in de overtuigingsruimte (bijvoorbeeld via A*-achtige planners) tijdens online interactie. Nieuwe trajecten worden toegevoegd aan het dataset, wat verdere rondes van verfijning triggert.

Belangrijkste Bijdragen

1. Observatie-Only POMDP-Inductie: Het artikel demonstreert dat LLM-priors voldoende zijn om uitvoerbare POMDP-wereldmodellen te induceren uitsluitend uit trajecten van observatie-actie-beloning, waardoor de noodzaak voor grondwahrheid latente toestands-supervisie tijdens training of inferentie wordt geëlimineerd.
2. Op Overtuiging Gebaseerde Modelbeoordeling: De auteurs introduceren een op kern gebaseerde waarschijnlijkheidsdoelstelling die kandidaatprogramma's scoort onder hun gefilterde overtuigingsverdelingen. Dit biedt een per-stap reparatiesignaal dat uitsluitend berekenbaar is uit gedeeltelijke observaties.
3. End-to-End Validatie: De methode wordt gevalideerd over vijf deels waarneembare MiniGrid-taken. Pinductor komt overeen met de prestaties en steekproeffefficiëntie van een bevoorrechte-toestand LLM-baseline (POMDP Coder), terwijl het significant beter presteert dan niet-LLM baselines (inclusief tabulaire POMDP's met bevoorrechte toestands-toegang).

Resultaten

• Prestaties: In MiniGrid-omgevingen (Empty, Corners, Lava, Unlock, Four Rooms) bereikt Pinductor gemiddelde episode-beloningen en winpercentages die vergelijkbaar zijn met de bevoorrechte-toestand baseline, ondanks het gebruik van strikt minder informatie.
• Steekproeffefficiëntie: Pinductor bereikt sterke prestaties met zeer weinig offline trajecten (zo weinig als 2–10), wat overeenkomt met de steekproeffefficiëntie van methoden met toestands-toegang.
• Kwaliteit van Overtuiging: Tijdens het plannen worden de overtuigingsstaten van Pinductor steeds geconcentreerder op de ware verborgen toestand naarmate observaties accumuleren, wat aantoont dat de geleerde modellen informatieve posterior-updates ondersteunen.
• Ablaties:
  • LLM-Capaciteit: De prestaties schalen met de LLM-capaciteit; zwakkere modellen falen bij het synthetiseren van bruikbare wereldmodellen, terwijl sterkere modellen (Qwen 3.6 Plus, Claude Opus 4.7) hoge prestaties behalen.
  • Semantische Informatie: Het achterhouden van semantische beschrijvingen van de omgeving verslechtert de prestaties, wat aangeeft dat de methode afhankelijk is van LLM-priors die zijn verankerd in tekstuele informatie.
  • Stochasticiteit: De methode blijft effectief in stochastische varianten van de omgevingen, hoewel de prestaties dalen ten opzichte van deterministische instellingen.

Betekenis en Beperkingen

Het artikel positioneert taalmodel-priors als een praktisch hulpmiddel voor steekproeffefficiënt wereldmodel-leren onder deels waarneembaarheid. Door de vereiste voor bevoorrechte toestands-toegang te verwijderen, breidt Pinductor het toepassingsgebied van door LLM geleide model-inductie uit naar situaties die kenmerkend zijn voor real-world implementaties (bijvoorbeeld robotica, spelletjes met imperfecte informatie).

De auteurs merken bescheiden enkele beperkingen op:

• Scope: Evaluatie is beperkt tot MiniGrid-omgevingen; overdracht naar andere domeinen of complexe real-world situaties blijft ongetest.
• Vaste Componenten: De afstandsfunctie voor observaties, de planner en de demonstratiebuffer zijn momenteel vast en worden niet geoptimaliseerd door de LLM.
• Variantie: De afhankelijkheid van LLM-API-aanroepen introduceert een hoge variantie in uitvoeringstijd en resultaten.
• Datacollectie: Offline datasets zijn handmatig verzameld; de impact van geautomatiseerde datacollectiestrategieën wordt niet onderzocht.

Het werk vormt een stap in de richting van generalistische agenten die in staat zijn om interne wereldmodellen te leren uit eerste-persoon ervaring in deels waarneembare omgevingen.