🤖 AI

OPINE-World: Programmatic World Modeling with Ontology-error-Prioritized Interactive Exploration

OPINE-World is een op LLM gebaseerde agent die efficiënt, herbruikbare, objectgerichte programmatische wereldmodellen online leert van pixelgebaseerde interacties door hypothesegeneratie te koppelen aan ontologie-foutgeprioriteerde exploratie, waarmee het een sterke prestatie bereikt op de uitdagende ARC-AGI-3 benchmark zonder per spel training.

Oorspronkelijke auteurs: David Courtis, Wenhao Li, Scott Sanner

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: David Courtis, Wenhao Li, Scott Sanner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een gloednieuwe videogame wordt gedropt. Je kent de regels niet, je weet niet wat de personages heten, en je weet zelfs niet wat het "doel" is. Je moet gewoon op knoppen drukken en kijken wat er gebeurt. De meeste computerprogramma's zouden vastlopen, terwijl ze proberen elke pixel die ze zien te onthouden, of ze zouden de game duizenden keren moeten spelen om erachter te komen dat op "Omhoog" drukken ervoor zorgt dat het personage springt.

Het artikel introduceert OPINE-World, een nieuw soort AI-agent dat leert hoe het deze spellen speelt zoals een mens dat doet: door een mentaal model van de wereld op te bouwen, dit te testen en het te corrigeren wanneer het fout is.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Systeem met Twee Breinen

In plaats van één gigantisch brein dat alles probeert te doen, gebruikt OPINE-World twee samenwerkende agenten (denk aan twee specialisten die samenwerken):

De Verkenner (Action Agent): Dit zijn de "handen". Het speelt de game in realtime. Het probeert acties uit, kijkt wat er gebeurt en houdt een dagboek bij van elke beweging en elk resultaat. Het probeert nog niet het regelboek te schrijven; het verzamelt alleen bewijsmateriaal.
De Architect (World-Model Agent): Dit is het "brein". Het leest het dagboek van de Verkenner en probeert een set regels (een computerprogramma) te schrijven die verklaart waarom dingen gebeurden. Het vraagt zich af: "Als ik op 'Omhoog' druk terwijl het personage op de grond staat, springt het. Als het in de lucht is, valt het. Laat me die regel opschrijven."

2. De "Hypothese en Test"-lus

Het systeem voert niet simpelweg één keer een gok uit en hoopt dan op het beste. Het voert een continue lus uit van Hypothese en Test:

De Architect schrijft een concept-regelboek (een programma).
De Verkender blijft spelen.
De Verifieerder controleert het regelboek van de Architect tegenover het dagboek van de Verkenner. Het vraagt: "Voorspelt jouw regelboek exact wat er in het dagboek is gebeurd?"
- Als het regelboek de toekomst perfect voorspelt, wordt het geaccepteerd.
- Als het regelboek zegt "Het personage zou moeten springen", maar het personage viel eigenlijk, dan is dat een Tegenvoorbeeld (Counterexample). De Architect krijgt een "rood vlaggetje", herschrijft het regelboek om die specifieke fout te herstellen, en probeert het opnieuw.

3. Het Leren van de "Ontologie" (De Object-vocabulaire)

Dit is waar OPINE-World bijzonder is. In veel games wordt de computer verteld: "Dit is een speler, dit is een muur." OPINE-World wordt dit niet verteld. Het moet het zelf van scratch uitzoeken.

Het Probleem: Stel je voor dat je naar een foto van een brug kijkt. Is het één groot object, of bestaat het uit veel kleine planken? Als de AI de objecten verkeerd groepeert, zullen de regels rommelig zijn.
De Oplossing: Het systeem gebruikt een slimme meetlat genaamd Ontologie Fout (Ontology Error). Denk aan dit als een "Verwarringsmeter".
- Als de AI in de war is over wat voor type object iets is (bijv. "Is dit een sleutel of een deur?"), gaat de meter omhoog.
- Als de AI in de war is over hoe een object zich gedraagt (bijv. "Soms opent deze knop de deur, soms niet"), gaat de meter omhoog.
- Het systeem gebruikt deze meter om de Verkenner naar de meest verwarrende delen van het spel te sturen om meer data te verzamelen, wat de Architect helpt om de juiste "vocabulaire" van objecten te begrijpen.

4. De "Exacte Replay"-regel

De meeste AI-systemen zijn tevreden als ze "bijna goed" zijn. OPINE-World is een perfectionist. Het gebruikt een methode genaamd Counterexample-Guided Inductive Synthesis (CEGIS).

Het programma van de Architect mag alleen worden gebruikt als het elke enkele eerdere beweging perfect kan herafspelen, tot aan de laatste pixel.
Als het programma ook maar één keer faalt, wordt het afgewezen. Dit zorgt ervoor dat zodra de AI denkt de regels te kennen, hij ze ook echt kent, in plaats van alleen maar patronen te raden op basis van waarschijnlijkheid.

5. De Resultaten: De Benchmark Verslaan

De onderzoekers testten dit op ARC-AGI-3, een zeer moeilijke benchmark die is ontworpen om te testen hoe snel een AI nieuwe vaardigheden kan leren zonder daarvoor vooraf getraind te zijn.

De Uitdaging: De AI moest 25 verschillende games spelen. Het kende de doelen, de namen van de objecten of de regels niet.
Het Resultaat: OPINE-World heeft succesvol 20 van de 25 games opgelost.
Efficiëntie: Het loste ze niet alleen op, maar deed dat ook efficiënt. Bij veel games voerde het minder acties uit dan een mens zou doen.
Vergelijking: Andere AI-methoden (zoals diepe neurale netwerken die proberen pixels te onthouden, of andere methoden voor programmasynthese) slaagden er niet in om onder dezelfde strikte omstandigheden ook maar één van de games op te lossen.

Samenvattende Analogie

Stel je voor dat je in een vreemd land wordt gedropt waar niemand jouw taal spreekt.

Oude AI: Probeert elk gezicht en elk verkeersbord dat het ziet te onthouden, in de hoop later patronen te herkennen. Het raakt overweldigd en in de war.
OPINE-World:
1. De Verkenner loopt rond, wijst naar dingen en noteert: "Wanneer ik hierop druk, gaat de deur open."
2. De Architect schrijft een woordenboek en een grammaticaboek op basis van die aantekeningen.
3. De Verwarringsmeter vertelt hen: "We weten nog niet wat dat rode object is; laten we daar nog eens naar kijken."
4. Ze blijven het woordenboek verfijnen totdat ze perfect kunnen voorspellen wat er hierna zal gebeuren.
5. Zodra ze het perfecte woordenboek hebben, kunnen ze hun route naar de bestemming plannen zonder te hoeven gokken.

Het artikel beweert dat door het "doen" te scheiden van het "denken" en te eisen dat de interne regelset perfect accuraat is, dit systeem complexe, onbekende omgevingen veel sneller en efficiënter kan leren dan eerdere methoden.

Technische Samenvatting: OPINE-World

Probleemstelling

Het bouwen van agenten die zich aanpassen aan onbekende taken vereist het leren hoe een omgeving zich gedraagt door middel van interactie. Hoewel deep network-gebaseerde wereldmodellen flexibiliteit bieden, zijn ze data-hongerig en vertalen ze slecht buiten hun trainingsdistributie. Daarentegen zijn door programma's gesynthetiseerde wereldmodellen data-efficiënt en herbruikbaar, maar historisch gezien beperkt tot omgevingen met een gestructureerde staat en een vooraf gedefinieerde object-vocabulaire. Een enkele programmazoektocht schaalt niet naar pixel-gerenderde omgevingen waar de objectstructuur zelf flexibel moet worden gehypothetiseerd vanuit ruwe observaties.

De kernuitdaging die dit werk aanpakt, is het online leren van een object-centrisch programmatisch wereldmodel via interactie in een omgeving waar:

De object-vocabulaire en de partitie in mechanische typen onbekend zijn.
De doelstelling en de actie-semantiek niet beschikbaar zijn.
De agent de objectstructuur, dynamica en doelrelevantie uitsluitend moet afleiden uit ruwe pixelframes en ijle (sparse) beloningen.

Methodologie: OPINE-World

OPINE-World is een LLM-agent die een object-centrisch programmatisch wereldmodel leert via een lus van hypothese en test. Het koppelt twee samenwerkende agenten en een periodieke criticus, opererend over een gedeelde replay-buffer van interacties.

1. Object-Centrisch Programmatisch Model

Het wereldmodel wordt gerepresenteerd als een Python-programma dat gefactoreerd is per objecttype. In plaats van een monolithische transitiefunctie, bevat het model een responsregel $f_\tau$ voor elk mechanisch type $\tau$ . Deze regel voorspelt de bijgewerkte staat van een object op basis van de huidige attributen, de uitgevoerde actie en een read-only lokale context. Deze factorisatie zorgt ervoor dat een regel die geleerd is van één object, kan worden overgedragen naar alle objecten van hetzelfde type, mits de type-partitie ongeveer correct is.

2. Twee Samenwerkende Agenten

Het systeem ontkoppelt actie van modellering in twee gespecialiseerde LLM-agenten:

De Actie-Agent (Doelgericht): Interageert met de live omgeving, stelt hypothesen voor over dynamica en doelen, en test deze. Het onderhoudt een natuurlijke-taal wereldmodel en selecteert acties op basis van het huidige gesynthetiseerde model of de behoefte aan exploratie.
De Synthesizer-Agent: Leest de gedeelde interactiebuffer en de hypothesen van de actie-agent. Het synthetiseert code (het wereldmodel) die geobserveerde transities generaliseert naar regels. Het dient kandidaat-programma's in bij een verifieerder.

3. Verificatie en Counterexample-Guided Synthesis (CEGIS)

Een kandidaat-programma wordt alleen toegelaten als het elke opgenomen transitie in de buffer exact reproduceert (exacte replay-test).

Acceptatie: Het programma moet de volgende staat attribuut-voor-attribuut en object-voor-object voorspellen. Het wordt ook tweemaal uitgevoerd om determinisme te waarborgen (het verwerpen van modellen die afhankelijk zijn van een verborgen staat).
Reparatie: Synthese wordt getriggerd door tegenvoorbeelden (counterexamples)—transities waarbij het live model de geobserveerde uitkomst foutief voorspelt. Een uitstelvenster (deferral window) laat tegenvoorbeelden accumuleren voordat een herschrijving plaatsvindt, en een stall-guard voorkomt oneindige loops bij onoplosbare fouten.
Doelherkenning: Zodra een niveau is voltooid, wordt een Booleaanse doel-predicaat gesynthetiseerd en geverifieerd tegen dezelfde exacte replay-standaard.

4. Ontologie-fout en Exploratie-sturing

Omdat de object-partitie onbekend is, gebruikt OPINE-World een Bayesiaanse diagnose genaamd ontologie-fout ( $\eta_t$ ) om exploratie te sturen.

Effect-signaturen: In plaats van exacte waarde-delta's bij te houden, houdt het systeem grove categorische signaturen van veranderde attributen bij (bijv. "x veranderde", "pixels veranderden", "verdwenen").
Lokale Effect-tabellen: Deze tabellen tellen signaturen per rij (gedefinieerd door type, actie en lokale context).
Onzekerheidsmaten: Het systeem berekent twee genormaliseerde entropieën:
1. Type-onzekerheid ( $U_{type}$ ): Hoe onzeker het systeem is over het mechanische type van een object.
2. Rij-onzekerheid ( $U_{row}$ ): Hoe gemengd de effect-distributie is voor een specifieke type-actie-context combinatie.
Ontologie-fout: De noisy-OR van deze onzekerheden ( $\eta_i = 1 - (1-U_{type})(1-U_{row})$ ) identificeert objecten en contexten die de huidige typen nog niet kunnen verklaren. De actie-agent wordt gestuurd naar regio's met een hoge fout, wat de synthesizer aanzet tot het verfijnen van typen of het toevoegen van context-features.

5. Planning

Zodra een model is toegelaten en ten minste één niveau is voltooid, zoekt een planner in het geverifieerde model naar een pad naar het doel. Het plan wordt stap-voor-stap uitgevoerd in de live game. Elke discrepantie tussen de voorspelde en geobserveerde staat breekt het plan, registreert een tegenvoorbeeld en geeft de controle terug aan de actie-agent.

Belangrijkste Bijdragen

OPINE-World Agent: Een LLM-agent die object-centrische programmatische wereldmodellen online leert via een hypothese-en-test loop bestaande uit twee samenwerkende agenten, counterexample-guided synthesis, en model-gebaseerde planning.
Ontologie-ontdekking: Een methode voor het ontdekken van de object-ontologie (het partitioneren van objecten in mechanische typen) direct vanuit interactie, waardoor programmatisch gesynthetiseerde wereldmodellen worden uitgebreid van gestructureerde input naar pixel-gerenderde omgevingen met onbekende objectstructuren.
Evaluatie op ARC-AGI-3: Een demonstratie op de ARC-AGI-3 benchmark (waar de object-vocabulaire, doelen en actie-semantiek onbekend zijn) waarbij OPINE-World 20 van de 25 games oplost zonder per-game training.

Experimentele Resultaten

Het systeem werd geëvalueerd op de ARC-AGI-3 publieke evaluatieset (25 games, 183 levels).

Prestaties: OPINE-World loste 20 van de 25 games op en voltooide 160 van de 183 levels zonder per-game training.
Actie-efficiëntie: Het behaalde een actie-efficiëntie score van 78.4 (relatief aan de menselijke baseline), vergeleken met 63.8 voor een sterke single-agent coding baseline (baseline1) en 63.2 voor een vision agent die vooraf is getraind op de evaluatieset.
Vergelijking met Baselines:
- Single-Agent Coding (baseline1): Loste 14 games op. OPINE-World loste alle 14 van deze games op, plus 6 extra games die de baseline versloegen. In de 6 games die de baseline niet kon voltooien, gebruikte OPINE-World ongeveer 25% van de acties die de baseline verbruikte voordat deze faalde.
- Program Synthesis (WorldCoder) & Neural Latent Models: Deze benaderingen losten 0 games op binnen de actie-budget van de benchmark.
- Menselijke Baseline: Op de 20 games die OPINE-World won, gebruikte het in 16 gevallen minder acties dan de menselijke referentie.

Betekenis en Claims

Het artikel claimt dat OPINE-World aantoont dat programmatische wereldmodellen online geleerd kunnen worden van ruwe pixels zonder vooraf gedefinieerde object-vocabulaire of doelen. Door actie te scheiden van modellering en een rigoureuze exact-replay verificatie-loop te gebruiken die wordt gestuurd door een Bayesiaanse ontologie-fout, bereikt het systeem een hoge sample-efficiëntie en transfereerbaarheid.

De auteurs benadrukken dat het systeem niet vertrouwt op optimisme-constraints of gesynthetiseerde beloningsfuncties (in tegen tegenstelling tot eerder werk zoals WorldCoder), maar in plaats daarvan vertrouwt op exacte replay-consistentie en doel-predicaten afgeleid van geobserveerde beloningen. De resultaten suggereren dat het factoren van modellen per objecttype en het dynamisch ontdekken van de ontologie de agent in staat stelt om over lay-outs te generaliseren en complexe vaardigheidsverwervings-taken op te lossen met aanzienlijk minder interacties dan neurale latente modellen of single-agent coding benaderingen.

Limieten

De auteurs noemen enkele beperkingen:

Observable-Markov Scope: De exact-replay test gaat uit van een deterministische transitiefunctie onder een correcte representatie. Verborgen staat (hidden state) kan het timing-signaal verslechteren.
Geïnfereerde Perceptie: Object-pairing en type-partitionering worden afgeleid van ruwe frames, wat moeilijker is dan het gebruik van engine-geleverde object-identiteiten.
Planner Schaal: De planner maakt gebruik van bounded forward search, wat kan falen in games met een hoge branching factor.
Enkele Run: De resultaten zijn gebaseerd op een enkele run per game, waardoor variantie-inschattingen ontbreken.