Neural Fields as World Models

Dit artikel introduceert isomorphe wereldmodellen op basis van neurale velden die de ruimtelijke structuur van sensorische input behouden, waardoor fysische voorspellingen plaatsvinden via geometrische propagatie en resulteren in een snellere overdracht van inbeeldingstraining naar realiteit en een spontane ontwikkeling van lichaamsselectieve codering.

De kern

Hoe ons brein de wereld voorspelt: Een reis door de "Neurale Velden"

Stel je voor dat je een bal probeert te vangen. Je brein moet twee dingen tegelijk doen: voorspellen waar de bal zal landen en berekenen waar je hand zal zijn op dat moment. Hoe doet een klein stukje biologisch weefsel dit zo snel en nauwkeurig?

Volgens een nieuw onderzoek van Joshua Nunley (van de Indiana Universiteit) is het antwoord misschien wel verrassend simpel: ons brein gebruikt geen abstracte "rekenmachine", maar werkt meer als een dynamisch landschap.

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen.

1. Het probleem: De "Teleportatie"-fout van computers

De meeste moderne kunstmatige intelligentie (AI) werkt als een samenvattingsmachine.

• Hoe het werkt: Een camera kijkt naar een bal. De AI pakt het beeld, knijpt het samen tot een klein, abstract lijstje met cijfers (een "latente vector"), en probeert dan te raden wat er met die cijfers gebeurt.
• Het probleem: Omdat de ruimtelijke structuur (waar de bal precies zat) is weggeknepen, kan de AI soms gek doen. In de volgende seconde kan de bal in de voorspelling plotseling van de ene kant van het scherm naar de andere springen, alsof hij teleporteert. In de echte wereld gebeurt dat niet; ballen bewegen zich door de ruimte, ze "springen" niet.

2. De oplossing: Een "Neuraal Veld" (Het zandkasteel)

Nunley stelt voor dat het brein werkt met Neurale Velden.

• De analogie: Denk niet aan een lijstje met cijfers, maar aan een zandkasteel of een wateroppervlak.
• Als je een steen in het water gooit, ontstaan er golven. Die golven bewegen zich niet van de ene kant naar de andere in een flits; ze bewegen zich door het water, van de ene plek naar de aangrenzende plek.
• In dit model blijft de ruimtelijke indeling behouden. Als de bal beweegt, "glijdt" de activiteit in het netwerk over de buren. Er is geen teleportatie mogelijk, omdat informatie alleen naar de directe buren kan stromen. Dit maakt de voorspelling veel natuurlijker en soepeler, net als in de echte fysica.

3. De motor: De "Dimmer-schakelaar"

Het brein moet niet alleen kijken, het moet ook doen. Als je je arm beweegt, verandert dat wat je ziet.

• De analogie: Stel je voor dat je een kamer hebt met lampen (de neurale velden). Normaal gesproken branden ze op een bepaalde manier. Maar als je een motorcommando geeft (bijv. "arm omhoog"), werkt dit als een dimmer-schakelaar op specifieke lampen.
• De schakelaar verandert niet welke lamp er brandt, maar hoe fel ze branden. Dit heet "gain modulation".
• In het model van Nunley gebruiken ze dit principe: motorcommando's (zoals "beweeg de schouder") dimmen bepaalde delen van het zandkasteel. Hierdoor kan het systeem voorspellen: "Als ik mijn arm beweeg, zal het beeld op deze specifieke plek veranderen."

4. De drie grote ontdekkingen

Het team heeft dit model getest in drie experimenten, en de resultaten waren opvallend:

• Test 1: De vallende bal (Fysica zonder regels)
  Ze lieten het model een vallende bal voorspellen zonder de bal te zien (alleen de eerste paar frames).

  • Resultaat: Het model zag de bal in zijn "droom" soepel langs een parabool bewegen. De traditionele AI (de samenvattingsmachine) liet de bal soms wild trillen of teleporteren. Het neurale veld hield de fysica "in het zand" vast.

• Test 2: Oefenen in de droom (Transfer naar de realiteit)
  Ze lieten een robotarm oefenen om een bal te vangen, maar alleen in de simulatie (in de "droom" van het model). Daarna lieten ze de robot in de echte wereld werken.

  • Resultaat: De robot die in het neurale veld had geoefend, was twee keer zo goed in het vangen van de echte bal dan de robot die met de traditionele AI had geoefend. Omdat het model de ruimtelijke structuur behield, was de "droom" bijna identiek aan de realiteit.

• Test 3: Het ontstaan van een "Lichaamsbeeld"
  Dit is misschien wel het coolste deel. Het model kreeg niet verteld wat zijn "lichaam" was. Het kreeg alleen de taak: "Voorspel wat je ziet als je beweegt."

  • Resultaat: De delen van het model die gekoppeld waren aan de motorcommando's, begonnen vanzelf te reageren op de arm en niet op de bal. Het systeem "ontdekte" zijn eigen lichaam door te zien wat er gebeurde als hij bewoog. Het leerde het verschil tussen "ik" (wat beweegt als ik commando's geef) en "de wereld" (wat beweegt door zwaartekracht). Dit is een computervorm van wat we een lichaamsschema noemen.

Waarom is dit belangrijk?

Deze studie suggereert dat intuïtieve fysica (weten hoe dingen vallen) en ons gevoel voor ons eigen lichaam niet twee aparte dingen zijn. Ze komen voort uit één en hetzelfde proces: het voorspellen van wat er gebeurt als je beweegt, binnen een ruimtelijk netwerk.

Het brein is geen abstracte computer die cijfers rekent; het is meer zoals een landschap waar golven van activiteit over stromen. Als je beweegt, verandert dat landschap op een voorspelbare manier. En omdat dat landschap de ruimte behoudt, voelt de wereld voor ons logisch en samenhangend, zonder dat we hoeven te rekenen.

Kortom: Om de wereld te begrijpen, hoef je hem niet te comprimeren tot een lijstje cijfers. Je moet hem laten "stromen" zoals hij in de natuur stroomt.

Technische samenvatting

Probleemstelling

Hoe voorspelt het brein fysieke uitkomsten terwijl het handelt in de wereld? Bestaande machine learning "wereldmodellen" (zoals VAE-LSTMs of Transformers) comprimeren visuele input vaak naar een latente ruimte zonder ruimtelijke structuur. In deze modellen wordt de fysica voorspeld als een abstracte overgang van staten, waarbij informatie discontinu kan "springen" (teleporteren) tussen tijdstappen. Dit staat haaks op biologische realiteit:

1. Ruimtelijke continuïteit: In de fysieke wereld bewegen objecten continu door de ruimte; krachten werken op aangrenzende objecten.
2. Biologische beperkingen: Het visuele cortex behoudt een retinotopische organisatie (ruimtelijke structuur) en neurale activiteit verspreidt zich lokaal via laterale connectiviteit.
3. Actie-integratie: Bestaande modellen integreren motorische commando's vaak niet op een biologisch plausible manier, terwijl het brein interne emulators gebruikt die de sensorische gevolgen van beweging voorspellen.

Er bestaat een gat in de huidige modellen: er ontbreekt een wereldmodel dat zowel de ruimtelijke structuur van de zintuiglijke input respecteert als motorische actie integreert.

Methodologie

De auteur stelt isomorphe wereldmodellen voor: architecturen die de ruimtelijke topologie van de sensorische input behouden, zodat fysieke voorspelling wordt omgezet in geometrische propagatie in plaats van abstracte statetransities.

De Architectuur: Neurale Velden met Motor-Gated Kanalen
Het model is gebaseerd op Neurale Velden (geïntroduceerd door Amari, 1977), waarbij activiteit evolueert via lokale laterale interacties.

• Dynamica: De toestand $h$ van het veld wordt bijgewerkt via een convolutie met een geleerde kernel $K$ (7x7). Dit zorgt ervoor dat voorspelde beweging tussen opeenvolgende tijdstappen alleen aangrenzende posities kan bereiken, net als in de fysieke wereld.
  $$h_{t+1} = h_t + \frac{\Delta t}{\tau}(-h_t + K * \text{ReLU}(h_t) + W_{in} * I_t)$$
• Motor-Gating: Om actie te integreren, worden de eerste $M$ kanalen "motor-gated". Deze kanalen worden multiplicatief gemoduleerd door motorische signalen ($m$):
  $$h^{(i)}_{t+1} = m_i \cdot \tilde{h}^{(i)}_{t+1}$$
  Dit implementeert gain modulation, een principe dat voorkomt in de pariëtale cortex, waarbij motorische signalen de responsiviteit van sensorische neuronen schalen.
• Training: Het model wordt getraind met een gemiddelde kwadratische fout (MSE) om de volgende frame te voorspellen. Voor Experiment 2 wordt een beleid (policy) getraind via "droomtraining" (dream training): het beleid leert uitsluitend binnen het bevroren wereldmodel om de visuele gevolgen van acties te voorspellen, zonder interactie met de echte omgeving.

Experimentele Opzet

1. Ballistische Trajecten: Een bal valt onder zwaartekracht in een 32x32 veld. Het model moet na 3 frames de rest voorspellen zonder visuele input.
2. Musculoskeletaal Arm: Een dubbele pendulum-arm moet een vallende bal vangen. Het model ontvangt motorische commando's (co-contractie en reciproke beweging) en moet de visuele gevolgen voorspellen.
3. Vergelijking: De prestaties worden vergeleken met een standaard VAE-LSTM architectuur (latent space model).

Belangrijkste Bijdragen en Resultaten

1. Fysica uit Laterale Dynamiek (Experiment 1)

• Resultaat: Het neurale veld leert ballistische fysica uitsluitend door lokale connectiviteit. Voorspellingen volgen soepele parabolen.
• Vergelijking: Het VAE-LSTM model vertoont "teleportatie" (sprongen >3 pixels) in 15,4% van de sequenties, terwijl het neurale veld dit volledig vermijdt (0%).
• Conclusie: Lokale connectiviteit dwingt het model om fysieke continuïteit te respecteren, wat leidt tot stabielere en nauwkeurigere voorspellingen (midden fout: $9.33 \times 10^{-4}$ vs $3.94 \times 10^{-3}$ voor VAE-LSTM).

2. Transfer van Droomtraining naar Realiteit (Experiment 2)

• Resultaat: Beleid dat volledig getraind is in de "droom" (het geïsoleerde wereldmodel) wordt succesvol toegepast op de echte fysieke omgeving.
• Prestatie: Het neurale veld bereikt een vangpercentage van 81,5% in de echte wereld, wat dicht in de buurt komt van beleid dat direct op echte fysica is getraind (89,0%). Het VAE-LSTM beleid presteert slechts 46,0%.
• Betekenis: Ruimtelijke structuur biedt een natuurlijk coördinatenstelsel voor fysica, waardoor het beleid ruimtelijke kenmerken direct kan benutten zonder ze eerst te decoderen uit een abstracte latente ruimte.

3. Emergente Lichaamsschema (Experiment 3)

• Resultaat: De motor-gated kanalen ontwikkelen spontaan lichaamsselectieve codering. Kanalen die reciproke beweging controleren, worden significant actiever over het gebied van de arm dan over de bal, zonder expliciete training om lichaam van wereld te onderscheiden.
• Mechanisme: Omdat de arm de enige entiteit is die contingente beweging vertoont op basis van motorische commando's, leert het model deze relatie.
• Conclusie: Een computationeel voorloper van het "lichaamsschema" (body schema) ontstaat als bijproduct van visuo-motorische voorspelling. Dit ondersteunt theorieën dat zuigelingen hun eigen lichaam ontdekken via sensorimotorische contingenties.

Significantie en Implicaties

• Biologische Plausibiliteit: Het model biedt een mechanistische basis voor de "intuïtieve fysica-engine" en sluit aan bij neurobiologische bevindingen (zoals activiteit in gebied MT tijdens voorspelling en gain modulation in de pariëtale cortex).
• Isomorfisme als Principe: Het artikel pleit voor wereldmodellen die isomorf zijn met de wereld: representatie en werkelijkheid delen dezelfde geometrische vorm. Fysiek redeneren wordt hierdoor een proces van activiteitpropagatie in plaats van symbolische deductie.
• Oorsprong van Zelfbewustzijn: De spontane emergentie van lichaamsselectiviteit suggereert dat het onderscheid tussen "zelf" en "wereld" niet aangeboren of expliciet geleerd hoeft te worden, maar computationeel onvermijdelijk is in systemen die de sensorische gevolgen van eigen actie voorspellen.
• Efficiëntie: Het neurale veldmodel gebruikt 17 tot 67 keer minder parameters dan de VAE-LSTM-baselines, terwijl het betere prestaties levert en stabielere trainingsdynamiek vertoont.

Conclusie
De studie toont aan dat het behoud van ruimtelijke structuur in wereldmodellen essentieel is voor het leren van fysica en het ontwikkelen van een lichaamsschema. Door neurale velden te gebruiken, kan het brein fysieke voorspellingen maken op dezelfde manier als het waarneming doet: via ruimtelijk georganiseerde activiteit die zich voortplant volgens geleerde dynamica.