🤖 machine learning

Learning to Theorize the World from Observation

Geïnspireerd door ontwikkelingscognitiewetenschap introduceert dit artikel "Learning-to-Theorize", een paradigma dat wordt geïmplementeerd door het Neural Theorizer (NEO)-model, dat expliciete, uitvoerbare latente programma's afleidt uit ruwe niet-tekstuele waarnemingen om generalisatie gestuurd door verklaringen mogelijk te maken.

Oorspronkelijke auteurs: Doojin Baek, Gyubin Lee, Junyeob Baek, Hosung Lee, Sungjin Ahn

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Doojin Baek, Gyubin Lee, Junyeob Baek, Hosung Lee, Sungjin Ahn

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Van "Gissen" naar "Begrijpen"

Stel je voor dat je een goochelaar ziet die een konijn uit een hoed tovert.

Huidige AI (De Voorspeller): De meeste moderne AI-systemen zijn als een super-attent publiekslid. Ze kijken duizend keer naar de truc en worden heel goed in het raden: "Oké, de volgende keer dat de goochelaar met zijn hand zwaait, verschijnt er een konijn." Ze zijn uitstekend in het voorspellen van de toekomst, maar ze weten niet echt hoe de truc werkt. Als de goochelaar de hoed of het konijn verandert, raakt de AI in de war.
De Aanpak van dit Paper (De Theoreticus): Dit paper vraagt zich af: Wat als de AI niet alleen het konijn zou raden, maar het mechanisme zou doorgronden? Wat als het zou beseffen: "Ah, de goochelaar heeft een verborgen vakje in de hoed"? Dit is Leren Theoretiseren. In plaats van alleen het resultaat te onthouden, bouwt de AI een interne "theorie" (een reeks regels) die uitlegt waarom dingen gebeuren.

Het Probleem: De "Black Box" versus de "Lego-set"

De auteurs stellen dat huidige AI-modellen lijken op black boxes. Ze nemen een invoer (een foto van een kat) en geven een uitvoer (een foto van een hond), maar de transformatie erin is een rommelig, verward knoop van wiskunde.

De Verwarde Knoop: Als je de AI een nieuwe truc laat zien (bijvoorbeeld een hond die verandert in een kat), faalt het omdat het nooit de individuele stappen heeft geleerd; het heeft alleen de specifieke "kat-naar-hond"-knoop onthouden.
De Lego-set: De auteurs willen dat de AI leert zoals een kind dat speelt met Lego-blokjes. In plaats van een heel kasteel te onthouden, leert het kind de individuele blokjes (muren, ramen, daken) en hoe ze aan elkaar te klikken. Als het kind een nieuw kasteel ziet, kan het dat bouwen omdat het de blokjes begrijpt, niet omdat het dat specifieke kasteel heeft onthouden.

De Oplossing: De "Neural Theorizer" (NEO)

Om dit mogelijk te maken, bouwden de onderzoekers een nieuw AI-model genaamd NEO (Neural Theorizer). Hier is hoe het werkt, met een kook-analogie:

De Ingrediënten (Primitieven): Stel je voor dat je een video krijgt van een cake die wordt gebakken, maar je krijgt het recept niet. Je ziet alleen dat het rauwe deeg verandert in een cake. De taak van NEO is om de basis "ingrediënten" of "bewegingen" te achterhalen (bijvoorbeeld "mengen", "verwarmen", "suiker toevoegen"). Het kent deze woorden van tevoren niet; het ontdekt ze zelf.
Het Recept (Het Programma): Zodra NEO de basisbewegingen heeft gevonden, probeert het ze in een volgorde (een programma) te rangschikken die het deeg in de cake verandert.
De "Kortste Weg"-regel (MDL): NEO volgt een regel genaamd de Minimum Description Length. Denk hierbij aan een strenge redacteur. Als NEO de cake met drie stappen kan uitleggen, gebruikt het er geen tien. Het probeert het eenvoudigste, meest efficiënte recept te vinden. Dit dwingt het om de echte fundamentele bewegingen te vinden, in plaats van ingewikkelde, onnodige stappen te verzinnen.

Hoe Ze Het Testten: De "OTIB"-benchmark

Om te bewijzen dat dit werkt, creëerden ze een test genaamd OTIB (Observation-to-Theory Induction Benchmark). Ze gaven de AI geen instructies, labels of "juiste antwoorden". Ze gaven haar alleen paren van "Voor" en "Na"-afbeeldingen (zoals een grid-wereld waar een blok beweegt, of getallen die worden vermenigvuldigd).

Ze testten de AI op drie manieren:

Het Bekende Spul: Kan het een truc uitleggen die het tijdens het trainen heeft gezien? (Makkelijk)
De Nieuwe Mix: Kan het een truc uitleggen die het nooit heeft gezien, maar die is opgebouwd uit dezelfde basisbewegingen? (Bijvoorbeeld: Als het "Beweeg Omhoog" en "Beweeg Rechts" heeft geleerd, kan het dan "Beweeg Omhoog-Rechts" achterhalen?)
De Lange Weg: Kan het een truc uitleggen die veel langer is dan iets dat het eerder heeft gezien? (Bijvoorbeeld: Als het 3-staps-trucs heeft geleerd, kan het dan een 10-staps-truc achterhalen?)

De Resultaten: Waarom Het Belangrijk Is

De resultaten waren duidelijk:

Oude AI-modellen: Ze waren uitstekend in het "Bekende Spul", maar faalden volledig bij de nieuwe mixes en lange trucs. Ze onthouden alleen patronen, niet de regels.
NEO (De Theoreticus): Het excelleerde in de nieuwe mixes en lange trucs. Omdat het de "Lego-blokjes" (de primitieven) had ontdekt en had geleerd hoe ze aan elkaar te klikken, kon het uitleggen voor dingen die het nooit eerder had gezien.

Het "Aha!"-moment:
Het paper laat zien dat NEO niet alleen het antwoord heeft onthouden; het vond daadwerkelijk de verborgen "grammatica" van de wereld. Bijvoorbeeld, in een wiskundetaak, begreep het dat de wereld was opgebouwd uit "vermenigvuldig met 2", "vermenigvuldig met 3", enz., zelfs al kreeg het die woorden nooit te horen. Het gebruikte die bouwstenen vervolgens om complexe wiskundeproblemen op te lossen die het nooit eerder had tegengekomen.

Samenvatting

Dit paper introduceert een nieuwe manier voor AI om te leren. In plaats van alleen een waarzegger te zijn die raadt wat er als volgt gebeurt, wordt de AI een wetenschapper. Het kijkt naar de wereld, breekt complexe gebeurtenissen af in simpele, herbruikbare bouwstenen en schrijft zijn eigen "theorie" (een programma) om uit te leggen hoe de wereld werkt. Hierdoor kan het nieuwe, vreemde situaties begrijpen door de simpele regels die het al kent opnieuw te combineren, net zoals een menselijk kind leert denken.

Technische Samenvatting: Leren om de Wereld te Theoretiseren op Basis van Waarneming

1. Probleemstelling

Moderne AI-wereldmodellen operationaliseren "begrip" voornamelijk als het vermogen om toekomstige toestanden nauwkeurig te voorspellen in latente of waarnemingsruimtes. Ontwikkelingscognitiewetenschap suggereert echter dat menselijk begrip niet enkel voortkomt uit voorspelling, maar uit het construeren van interne, herbruikbare theorieën over hoe de wereld werkt, vaak nog vóór de verwerving van taal. Deze "theorie-theorie" stelt dat cognitie het ontdekken van gestructureerde, compositieve verklaringen voor waargenomen fenomenen omvat.

Er bestaat een kritieke kloof in huidige AI-systemen: ze zijn geoptimaliseerd voor voorspelling of reconstructie, waarbij ze vaak verstrengelde compositieve transformaties leren die correlaties vastleggen maar de compositieve structuur missen die noodzakelijk is voor systematische generalisatie. Deze modellen falen in het ontdekken van expliciete, herbruikbare mechanismen die verklaren hoe en waarom waarnemingen worden gegenereerd, waardoor ze breekbaar worden onder distributieveranderingen of wanneer ze geconfronteerd worden met nieuwe composities van bekende factoren.

Het centrale probleem dat wordt aangepakt is: Kan een kunstmatig systeem leren om expliciete verklarende theorieën van de wereld te construeren uitsluitend door het observeren van ruwe, niet-tekstuele zintuiglijke inputs, zonder te vertrouwen op taal, taaklabels of supervisie via grondwaarheid-programma's?

2. Methodologie: Leren-om-te-Theoretiseren (L2T) en NEO

De auteurs stellen Learning-to-Theorize (L2T) voor, een leerparadigma waarbij modellen uitvoerbare, compositieve programma's (theorieën) afleiden uit ruwe waarnemingsparen $(x, y)$ . Een theorie wordt gedefinieerd als een reeks herbruikbare primitieve operaties die een bronwaarneming $x$ transformeren in een doel $y$ .

Om L2T te concretiseren, introduceert het artikel de Neural Theorizer (NEO), een probabilistisch neurale model met de volgende kerncomponenten:

2.1. Probabilistisch Kader

NEO modelleert de conditionele waarschijnlijkheid $p_\theta(y | x)$ door latente variabelen in te voeren: een discreet programma $\tau$ (een reeks primitieven) en een uitvoeringstrace $s$ . Het model neemt een generatief proces aan waarbij een encoder $x$ afbeeldt op een initiële latente toestand, een "Theory Programmer" sequentieel primitieven selecteert, en een gedeelde overgangsmodeel deze primitieven uitvoert om een finale toestand te genereren, die wordt gedecodeerd om $y$ te reconstrueren.

2.2. Geraalde Taal van het Denken

In plaats van een vooraf gedefinieerde symbolische taal te gebruiken, leert NEO een Taal van het Denken direct uit data.

Primitieven: Het model induceert een discreet vocabulaire van operaties via een Vector-Quantized VQ-VAE codeboek. Deze primitieven hebben geen vooraf gedefinieerde semantiek; hun betekenis wordt afgeleid uit hoe ze latente toestanden transformeren.
Compositie: De theorie-programmeur $q_\phi(z_{ik} | s_k, y)$ fungeert als een doel-geconditioneerd beleid dat de volgende primitief selecteert om de latente toestand te sturen naar het doel $y$ . Dit stelt het model in staat om primitieven te combineren tot gestructureerde programma's zonder expliciete supervisie.

2.3. Principe van Minimale Beschrijvingslengte (MDL)

Om over-decompositie (het creëren van onnodig lange programma's) te voorkomen en de ontdekking van de meest herbruikbare set primitieven te stimuleren, hanteert NEO het MDL-principe. Het model selecteert een optimale programmalengte $k^*$ die reconstructienauwkeurigheid afweegt tegen programmakortte:
$k^* = \arg \min_{k} \lambda_{MDL}^k \cdot \ell(y, \hat{y}_k)$
Dit mechanisme prikkelt het model om de kortste accurate verklaring te vinden, wat van nature de ontdekking van fundamentele primitieven bevoordeelt boven het memoriseren van verstrengelde reeksen.

2.4. State Grounding (Verankering van Toestanden)

Een belangrijke innovatie is State Grounding. Om ervoor te zorgen dat intermediaire latente toestanden overeenkomen met geldige waarnemingen (en te voorkomen dat het model "shortcut"-overgangen leert die afwijken van de datamanifold), dwingt NEO een decode-encode consistentieverlies af op intermediaire toestanden. Dit waarborgt dat elke stap in het afgeleide programma een betekenisvolle transformatie is binnen de geleerde latente ruimte.

2.5. Inferentie en Schaling tijdens Testtijd

Tijdens de testtijd infereert NEO een theorie door iteratief primitieven te selecteren totdat de reconstructiefout onder een drempelwaarde zakt. Omdat het model een compositieve structuur leert, ondersteunt het lengtegeneralisatie (het verwerken van programma's die langer zijn dan die tijdens het training werden gezien). Bovendien maakt de probabilistische aard van de theorie-programmeur zoektocht tijdens testtijd (NEO-S) mogelijk, waarbij meerdere kandidaat-theorieën worden bemonsterd en geselecteerd via meerderheidsstemming om de nauwkeurigheid te verbeteren op complexe, ongezette composities.

3. Evaluatie: Observation-to-Theory Induction Benchmark (OTIB)

De auteurs introduceren OTIB, een benchmark ontworpen om te evalueren of modellen herbruikbare theorieën kunnen afleiden uit ruwe waarnemingen zonder programma-supervisie.

Opzet: Trainingsdata bestaat uit waarnemingsparen gegenereerd door latente programma's. De trainingsset bevat een fractie $\alpha$ van mogelijke programmacomposities, terwijl de rest wordt aangehouden als Compositie Out-of-Distribution (OOD).
Metingen: Prestaties worden gemeten door Zelf-Verklaring (het reconstrueren van het doel uit het support-paar) en Overdraagbaarheid (het toepassen van de afgeleide theorie op een nieuw query-input $x'$ om $y'$ te voorspellen). Overdraagbaarheid is de kritieke meting om te bepalen of een herbruikbare theorie is geleerd versus een instance-specifieke mapping.
Domeinen: De benchmark wordt geïmplementeerd in drie domeinen:
1. GridWorld: Een 10x10 rooster met bewegingsprimitieven.
2. Aritmetische Factorisatie: Hele-getaltransformaties via vermenigvuldiging met priemgetallen.
3. Afbeeldingsbewerking: CIFAR-10-afbeeldingen getransformeerd door operaties zoals rotatie, helderheid en masking.

4. Belangrijkste Resultaten

Experimenten tonen aan dat NEO significant beter presteert dan monolithische baselines (Discrete/Continue VQ-VAE's en $\beta$ -VAE's) in alle settings:

Compositieve Generalisatie: Waar baselines hoge prestaties binnen de distributie behalen, zakken ze naar bijna nul overdraagbaarheid op Compositie OOD-taken. NEO behoudt hoge overdraagbaarheid (bijvoorbeeld ~0,93 op GridWorld OOD), wat bewijst dat het herbruikbare primitieven leert in plaats van input-output-mappingen te memoriseren.
Lengtegeneralisatie: NEO generaliseert succesvol naar programma's die langer zijn dan die tijdens de training werden waargenomen (bijvoorbeeld lengte 8 in GridWorld, lengte 6 in Aritmetiek), een capaciteit waarbij baselines volledig falen.
Ontdekking van Primitieven: Analyse toont aan dat NEO de grondwaarheid-primitiefset terugwint, zelfs wanneer primitieven nooit geïsoleerd worden waargenomen tijdens de training (lage $\alpha$ ). Het model slaagt erin verstrengelde trainingsvoorbeelden te decomponeren in atomaire, herbruikbare eenheden.
Schaling tijdens Testtijd: De NEO-S-variant, die bemonsteringsgebaseerde zoektocht tijdens inferentie gebruikt, verhoogt de prestaties verder, met name op taken met een lange horizon, wat bevestigt dat de compositieve structuur effectieve exploratie van de programmaruimte mogelijk maakt.

5. Betekenis en Claims

Het artikel positioneert zichzelf als een proof of concept voor een verschuiving in AI-leerdoelen: van voorspelling-gerichte wereldmodellen naar verklaring-gedreven, compositief begrip.

Theoretische Bijdrage: Het valideert de hypothese dat gestructureerde, compositieve theorieën kunnen worden geïnduceerd uit ruwe, niet-tekstuele waarnemingen zonder symbolische supervisie, en brengt AI-leerdoelen in overeenstemming met het perspectief "baby als wetenschapper" uit de ontwikkelingscognitiewetenschap.
Methodologische Bijdrage: Het demonstreert dat het representeren van theorieën als uitvoerbare programma's met geleerde primitieven en het verankeren van intermediaire toestanden systematische generalisatie mogelijk maakt die monolithische latente representaties niet kunnen bereiken.
Bescheiden Omvang: De auteurs erkennen expliciet beperkingen. De huidige formulering gaat uit van kleine, discrete primitiefsets en korte programmalengtes, wat de schaalbaarheid beperkt tot uiterst complexe, continue of stochastische real-world dynamieken. De experimenten zijn beperkt tot gecontroleerde synthetische benchmarks. Het werk wordt gepresenteerd als een fundamentele studie van leermechanismen in plaats van een inzetklaar systeem.

Concluderend betoogt het artikel dat door leren te kaderen als "Leren-om-te-Theoretiseren", AI-systemen interne verklarende structuren kunnen verwerven die herbruikbaar, compositief en in staat zijn om te generaliseren naar nieuwe fenomenen, waardoor ze dichter bij een rijker begrip van machinebegrip komen.