🤖 machine learning

Emergent Models: Intelligence from Tiny Substrates

Dit artikel introduceert Emergent Models, een machine learning-paradigma waarbij eenvoudige, open-eind dynamische substraten zoals cellulaire automaten worden geëvolueerd om taken op te lossen door middel van emergente computationele gedragingen, wat aantoont dat dergelijke minimale systemen latente universaliteit en globale generalisatie kunnen bereiken die verder gaan dan traditionele differentiabele architecturen.

Oorspronkelijke auteurs: Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

Gepubliceerd 2026-08-17

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van kunstmatige intelligentie voor als een gigantische bibliotheek. Decennialang hebben de bibliothecarissen geprobeerd om de perfecte boekenkast te bouwen. Ze hebben miljoenen boeken (datapunten) op planken (neurale netwerken) gestapeld en de plank geleerd om te raden welk boek er volgt op basis van de boeken die eraan voorafgingen. Dit werkt geweldig als je vraagt naar boeken die ze al hebben gezien, maar als je vraagt naar een verhaal dat nog niet geschreven is, raadt de plank vaak willekeurig of verzint hij onzin. Dit komt omdat de plank heel goed is in het onthouden van patronen, maar slecht in het begrijpen van de regels die het verhaal in de eerste plaats laten werken.

Maak kennis met een ander idee: wat als we, in plaats van een gigantische boekenkast te bouwen, een piepkleine, zelfrijdende robot bouwen die leert problemen op te lossen door rond te bewegen? Dit is de wereld van "Emergent Models" (Emergente Modellen). Denk aan het als een spelletje "Life" gespeeld op een computerscherm. Je hebt een raster van cellen die aan of uit kunnen staan. Je geeft ze een eenvoudige regel, zoals "als twee buren aan staan, zet dan ook deze aan." En dan kijk je wat er gebeurt. Soms ontstaan er ongelooflijk complexe patronen — zoals ruimteschepen of glijders — uit die eenvoudige regels. De grote vraag die wetenschappers stellen is: kunnen we deze kleine, regelgebaseerde robots gebruiken om wiskunde en logica beter te leren begrijpen dan onze gigantische boekenkasten? Kan een systeem met slechts een paar honderd "onderdelen" het geheime recept voor een taart ontdekken, in plaats van alleen maar een lijst met ingrediënten te onthouden? Dit artikel duikt in die vraag en onderzoekt of eenvoudige, evoluerende systemen de sleutel kunnen zijn tot intelligentere, aanpasbaardere AI.

De Kleine Substraten die Denken

De auteurs van dit artikel introduceren een nieuwe manier van denken over machine learning, genaamd Emergent Models (EM's). Stel je voor dat je een leeg canvas hebt (het "substraat") en een enkele, kleine penseel die één eenvoudige regel volgt, zoals "één stap naar rechts bewegen en van kleur veranderen." In traditionele AI proberen we een perfect plaatje te schilderen door miljoenen penseelstreken tegelijkertijd aan te passen. In deze nieuwe aanpak stellen we het canvas en de penseel in, en laten we ze dan een tijdje draaien. We vertellen de penseel niet wat hij moet schilderen; we kijken alleen maar of er na verloop van tijd een patroon ontstaat dat toevallig een probleem oplost, zoals het optellen van twee getallen.

De kern van het idee is dat intelligentie misschien geen massief, complex brein nodig heeft. In plaats daarvan zou het kunnen voortkomen uit een eenvoudig, herhalend proces, net zoals de formatie van een zwerm vogels beweegt zonder dat één vogel bevelen geeft. Het "brein" hier is slechts een kleine set regels die steeds opnieuw wordt uitgevoerd op een raster van data.

De Magie van "Latente Universaliteit"

Het artikel stelt een fascinerend concept voor genaamd Latente Universaliteit. Stel je voor dat je een universele afstandsbediening (het "programma") en een tv (het "substraat") hebt. Bij de meeste AI moet je voor elke andere show die je wilt kijken een nieuwe tv kopen. Maar bij Latente Universaliteit is de tv vast. Je verandert alleen de afstandsbediening (de beginstand van het raster). De auteurs suggereren dat als je het juiste soort tv hebt (een specifiek type wiskundig rooster), je deze theoretisch elk type berekening kunt laten uitvoeren door alleen het beginpatroon op het scherm te veranderen, zonder ooit de interne bedrading van de tv aan te passen.

Ze bewijzen wiskundig dat dit in theorie mogelijk is. Als je een raster hebt dat oneindig doorgaat en een eenvoudige regel, kun je het beginpatroon zo instellen dat het fungeert als een rekenmachine, een schaker of een vertaler. Het "programma" is simpelweg het beginplaatje dat je op het raster tekent.

De Experimenten: Kleine Robots in Actie

Omdat het bouwen van een perfect, oneindig raster moeilijk is, testten de onderzoekers dit idee met een "dierentuin" van kleine, eenvoudige modellen. Ze probeerden geen superintelligente AI te bouwen; ze wilden alleen zien of deze kleine systemen basisregels konden leren en deze vervolgens konden toepassen op grotere getallen.

1. De Wiskundewizzes (EM43)
Ze creëerden een eendimensionale strook cellen (zoals een lange rij dominosteentjes) met een eenvoudige regel. Ze leerden het systeem wiskunde te doen zoals $x + 1$ of $x \times 2$ .

Het resultaat: Het werkte perfect! Het model leerde de regel op kleine getallen (zoals 1 tot 30) en paste deze vervolgens foutloos toe op enorme getallen (tot 1.000) die het nog nooit had gezien.
Het "Aha!"-moment: Wanneer ze keken naar hoe het model het probleem oploste, zagen ze prachtige, herhalende geometrische patronen die over het rooster bewogen. Ze noemen dit "geometrische grokking". Het is alsover het model niet alleen het antwoord heeft onthouden, maar een visuele dans heeft ontdekt die werkt voor elk getal. Dit is iets waar traditionele AI moeite mee heeft, vooral met herhalende patronen zoals "wat is de restwaarde bij deling door 4?".

2. Het Spel van het Leven (GoL-EM)
Vervolgens gebruikten ze Conway's Game of Life, een beroemde cellulaire automaat waarbij cellen leven of sterven op basis van hun buren. Ze probeerden dit systeem wiskunde te leren en een staaf te laten balanceren (CartPole).

Het resultaat: Het kon eenvoudige wiskunde zoals $x + 1$ leren, maar het was erg wispelturig. Kleine veranderingen in het beginpatroon zorgden ervoor dat het hele systeem instortte. Het was alsof je een kaartenhuis probeerde te balanceren in een storm. Hoewel het een staaf een tijdje kon balanceren, was het niet erg stabiel. De onderzoekers ontdekten dat het zoeken naar het juiste beginpatroon bijna hetzelfde was als willekeurig gokken; het systeem was zo gevoelig dat het moeilijk te "trainen" was op de gebruikelijke manier.

3. De Continue Leerders (CEM1D & CEM2D)
Ten slotte probeerden ze modellen die gebruikmaken van vloeiende, continue getallen (zoals de echte wereld van de fysica) in plaats van alleen maar "aan/uit"-schakelaars.

Het resultaat: Deze waren veel beter in het aansturen van zaken. De 1D-versie kon een staaf heel goed balanceren, en de 2D-versie kon leren navigeren in een wereld waar voedsel soms in gif verandert.
De adder onder het gras: Zelfs deze slimme modellen hadden problemen. Soms bleven ze in cirkels draaien of bevroren ze volledig. Ze leerden zich aan te passen aan de veranderende omgeving, maar ze waren niet perfect. De onderzoekers merkten op dat deze modellen nog erg nieuw zijn en veel minder betrouwbaar zijn dan de grote AI-modellen die we vandaag de dag gebruiken.

Wat dit betekent (en wat het niet betekent)

Het artikel is zeer duidelijk over wat het wel en niet heeft bereikt. Het beweert niet een betere AI te hebben gebouwd dan de AI's die je in films of op je telefoon ziet. Sterker nog, het geeft toe dat deze kleine modellen momenteel veel moeilijker te trainen zijn en minder krachtig zijn dan de grote, complexe modellen.

Het suggereert echter iets spannends: dat de sleutel tot echte intelligentie misschien iteratie is (het herhaaldelijk uitvoeren van een eenvoudige stap) in plaats van omvang (het hebben van miljoenen parameters). De auteurs ontdekten dat wanneer deze kleine modellen wel leerden, ze de regel leerden, en niet alleen het antwoord. Dit stelde hen in staat om correct te voorspellen bij getallen die ze nog nooit hadden gezien, een vaardigheid die extrapolatie wordt genoemd.

Ze introduceren ook een nieuwe manier van denken over AI-efficiëntie. Ze suggereren dat de beste modellen diegenen kunnen zijn die heel weinig "harde" onderdelen (de regels) gebruiken, maar deze gedurende een lange tijd laten draaien (veel stappen). Dit is het tegenovergestelde van de huidige grote AI, die een enorme hoeveelheid "harde" onderdelen gebruikt, maar deze slechts één keer uitvoert.

De Conclusie

Dit artikel is een fundamentele stap, zoals de eerste keer dat iemand een werkende stoommachine bouwde. Het is nog geen auto en het is zeker geen ruimteschip. Maar het bewijst dat een eenvoudig, herhalend systeem regels kan leren en deze kan toepassen op nieuwe situaties. De onderzoekers laten zien dat met slechts een paar honderd parameters een systeem regels kan leren en eenvoudige robots kan besturen.

De belangrijkste les is dat we AI misschien te ingewikkeld maken. In plaats van steeds grotere en grotere hersenen te bouwen, moeten we misschien kleinere, eenvoudigere systemen bouwen die de ruimte krijgen om langer na te denken. Het artikel suggereert dat het pad naar intelligentere AI kan liggen in deze "emergente" gedragingen, waarbij intelligentie voortkomt uit eenvoudige regels, net zoals leven voortkomt uit eenvoudige chemie. Het is een hoopvolle, speelse en enigszins wilde gedachte dat de toekomst van intelligentie te vinden kan zijn in de kleinste, eenvoudigste dingen.

Technisch Overzicht: Emergente Modellen: Intelligentie uit Minieme Substraten

Probleemstelling

Traditioneel deep learning, met name feed-forward neurale netwerken (FFNN's), heeft vaak moeite met globale generalisatie en extrapolatie. Hoewel universele benaderingstheorema's garanderen dat FFNN's functies willekeurig goed kunnen benaderen op compacte domeinen, falen ze doorgaans in het vastleggen van de onderliggende generatieve regels van data over open domeinen. Gevolgelijk kunnen modellen die getraind zijn op begrensde bereiken vaak niet extrapoleren buiten hun trainingsdistributie (bijv. ReLU-netwerken worden asymptotisch lineair, en sigmoïdale netwerken convergeren naar constanten).

Bovendien suggereert recent werk in redenerende LLM's en recurrente architecturen dat iteratieve computation de generalisatie verbetert, maar deze modellen blijven gebonden aan massale parameteraantallen en vertonen vaak broosheid bij extrapolatie in lange sequenties. Het artikel stelt dat de "Bitter Lesson" van AI — het benutten van rekenkracht via algemene methoden in plaats van top-down engineering — gecombineerd met inzichten uit het kunstmatige leven, suggereert dat er behoefte is aan substraten die worden beheerst door eenvoudige, lokale regels waarbij complexe gedragingen emergeren door iteratie. De kernvraag is of minimale, lokaal-recursieve computationele substraten een hoge globale expressiviteit en extrapolatie kunnen bereiken met aanzienlijk minder parameters dan huidige neurale architecturen.

Methodologie

Het Emergent Model (EM) Raamwerk

De auteurs formaliseren Emergente Modellen (EM's) als een machine learning-paradigma waarbij modellering niet wordt behandeld als het leren van een gesloten vorm input-output kaart, maar als de emergentie van computationele gedragingen binnen eenvoudige dynamische systemen. Een EM wordt gedefinieerd als een tupel $M = (S, f, H, E, D, \oplus)$ :

Latente Toestand ( $S$ ): Een configuratieruimte (discreet of continu) die fungeert als geheugen.
Update Regel ( $f$ ): Een lokale transitiefunctie (bijv. een cellulaire automaat-regel) die geïtegreerd wordt over de latente toestand.
Halting Conditie ( $H$ ): Een predicaat dat bepaalt wanneer de iteratie stopt.
Interface ( $E, D, \oplus$ ): Een encoder, decoder en combinerende operator die externe inputs/outputs koppelen aan de latente toestand.
Programma ( $p$ ): Een niet-geperturbueerde initiële toestand. Voor een gegeven input $x$ wordt de initiële toestand gevormd als $s_0 = p \oplus E(x)$ .

Trainingsaanpak:
In tegenstelling tot gradiëntgebaseerde backpropagation, worden EM's getraind via evolutionaire zoektocht (Genetische Algoritmen). De zoekruimte omvat:

Zachte Parameters: De programma-toestand $p$ (de initiële configuratie). In sommige settings kan dit worden bijgewerkt via state retention (Lamarckiaanse overerving) over macrostappen.
Harde Parameters: De update regel $f$ , de halting conditie $H$ en de interface-parameters. Deze zijn vast tijdens de inferentie maar geoptimaliseerd tijdens de training.
Het doel is om een configuratie te vinden waarbij het geëvolueerde traject, gedecodeerd bij halting, de doeltaak oplost.

Theoretische Fundering: Latente Universaliteit

Het artikel introduceert het concept van Latente Universaliteit, een regime waarin het substraat ( $S, f, H$ ) en de interface ( $E, D, \oplus$ ) vaststaan, en alleen het programma $p$ varieert om elke partiële berekenbare functie te realiseren.

Stelling 1: De auteurs bewijzen dat er voor binaire string inputs/outputs een Emergent Model bestaat waarbij een vast substraat en interface volstaan om elke partiële berekenbare functie te berekenen door enkel de eindige-ondersteuning programma-toestand te variëren. Dit sluit aan bij het concept van een Universele Turingmachine waarbij het programma en de input in de initiële tape-configuratie zijn gecodeerd.

Experimentele Substraten

De auteurs evalueren een "zoo" van minimale EM-instantiaties om de levensvatbaarheid van het raamwerk te testen zonder een enkele concurrerende architectuur te ontwerpen:

EM43: Een 1D discrete cellulaire automaat met 4 toestanden per cel en een lookup-table regel.
GoL-EM: Conway's Game of Life (vaste regel) waarbij alleen de initiële glider-configuratie (programma) wordt geoptimaliseerd.
CEM1D: Een continu-waardige 1D rooster met een lokale differentiaalvergelijking update regel.
CEM2D: Een continu 2D rooster met snelle activatie en trage geheveldvelden, met trainbare poortlocaties.

Belangrijkste Resultaten

1. Rekenkundige Extrapolatie (EM43)

Taak: Leren van eenvoudige integer functies ( $x+1, 2x, x \mod 4, \text{round}(x/3)$ ) getraind op $[0, 30]$ en getest op $[30, 1000]$ .
Prestaties: EM43 bereikte 100% exact-match nauwkeurigheid op alle single-input taken, inclus overlapping periodieke functies zoals $x \mod 4$ en oscillerende functies zoals $x \cdot (1 + x \mod 2)$ .
Observatie: De modellen vertoonden "geometric grokking", waarbij generalisatie werd gerealiseerd door stabiele, interpreteerbare ruimte-tijd patronen (bijv. verschuivende markers) die geldig bleven naarmate de input schaalde.
Beperking: De twee-input vermenigvuldigingstaak ( $a \cdot b$ ) slaagde er niet in om binnen het compute budget te convergeren, wat wijst op huidige zoekbeperkingen of expressiviteitsbeperkingen.
Efficiëntie: De succesvolle modellen gebruikten slechts 70–110 parameters (140–220 bits aan informatie), getraind op slechts 30 voorbeelden.

2. Controle Taken (GoL-EM & CEM1D)

CartPole:
- GoL-EM: Bereikte returns aanzienlijk boven de random baselines (gemiddeld ~171, best ~417) maar worstelde met robuustheid (54,5% non-halting rate) en state retention veroorzaakt door instabiliteit door puinaccumulatie.
- CEM1D: Een continu 1D model met state retention bereikte returns nabij het maximum (734,93), waarmee het GoL-EM versloeg. Het leunde echter zwaar op hoeksnelheid en faalde in het effectief integreren van de positie van de kar, waardoor het uiteindelijk buiten de grenzen driftte.
Meta-Life (Adaptatie):
- Taak: Agenten moeten voedsel zoeken of gif vermijden in een veranderende omgeving zonder voorafgaande kennis van de fase.
- Resultaten: Zowel CEM2D als een dichte geheugen-geaugmenteerde mRNN baseline bereikten hoge meta-scores, wat duidt op succesvolle online adaptatie.
- Vergelijking: De mRNN convergeerde sneller en behaalde iets hogere scores (0,82 vs 0,71). CEM2D vereiste langere training maar toonde aan dat lokale continue dynamiek geheugen en adaptatie kan ondersteunen.
- Foutmodi: Beide modellen vertoonden "roterende attractoren" (ronddraaien op één plek) wanneer de middelen schaars waren, een falen toegeschreven aan de afnemende meeropbrengsten van de trainingsdoelstelling en de moeilijkheid om te herstellen van een vastgelopen staat.

Belangrijkste Bijdragen

Formalisering van Emergente Modellen: Een rigoureus raamwerk dat dynamische systemen behandelt als ML-modellen waarbij het "programma" een initiële toestand is in een latente ruimte, losgekoppeld van de vaste update regel en interface.
Bewijs van Latente Universaliteit: Een theoretisch bewijs dat een vast substraat en interface elke berekenbare functie kan berekenen door enkel de initiële programma-toestand te variëren, wat een noodzakelijke voorwaarde vestigt voor globale expressiviteit.
Empirische Validatie van Minimale Substraten: Demonstratie dat lokale-recursieve computation op de schaal van tientallen tot honderden parameters exacte extrapolatie op rekenkundige taken kan bereiken en controle- en adaptatiegedrag kan ondersteunen, wat de opvatting uitdaagt dat massale parameteraantallen nodig zijn voor generalisatie.
Geometric Grokking: Identificatie van een fenomeen waarbij generalisatie zich manifesteert als stabiele, interpreteerbare geometrische patronen in de ruimte-tijd evolutie van het substraat, in plaats van opengewerkte gewichtsaanpassingen.
De $q$ -Ratio Conjectuur: Een hypothese dat de ratio tussen parameters en temporele diepte ( $q = N_{params} / \bar{T}$ ) de afweging tussen generalisatie en trainbaarheid bepaalt. Lage $q$ (eenvoudige regels, diepe iteratie) bevordert algoritmische compressie en extrapolatie maar creëert onregelmatige zoeklandschappen. Hoge $q$ (grote netwerken, ondiepe iteratie) bevordert memorisatie.

Betekenis en Claims

Het artikel positioneert zichzelf als fundamenteel werk in plaats van een voorstel voor een concurrerende architectuur. De primaire betekenis ligt in:

Het Verbreden van de Ontwerpplek: Verder gaan dan differentieerbare feed-forward kaarten om eenvoudige, fysiek-achtige substraten te verkennen.
Herformulering van Intelligentie: Suggereren dat intelligentie kan emergeren uit de interactie van eenvoudige lokale regels en initiële condities (een "artificiële fysica") in plaats van de expliciete engineering van neurale architecturen.
Bescheiden Claims: De auteurs stellen expliciet dat hun modellen nog niet concurrerend zijn met volwassen taakspecifieke methoden. Ze erkennen beperkingen in trainingsefficiëntie, schaalbaarheid van zoektochten (vooral voor complexe taken zoals vermenigvuldiging) en robuustheid in controle-settings.
Toekomstige Richtingen: Het werk roept op tot de realisatie van het latente-universele regime in de praktijk en de ontwikkeling van optimalisatiemethoden speciferlijk gericht op de niet-convexe, niet-lokale landschappen van lage- $q$ recursieve modellen.

Het artikel concludeert dat hoewel de huidige staat van lokale-recursieve modellering vergelijkbaar is met deep learning van twee decennia geleden, het vermogen van minieme substraten om te extrapoleren en te adapteren een veelbelovend, onderbelicht pad naar efficiëntere en generaliseerbare machine learning suggereert.