💻 computer science

A New Kind of Network? Review and Reference Implementation of Neural Cellular Automata

Dit artikel bespreekt bestaand werk over Neuronale Cellulaire Automaten (NCA), die Cellulaire Automaten combineren met leerbare neurale netwerken om complexe generatieve systemen te modelleren, en biedt een unificerend modulair raamwerk, notatie en een referentie-implementatie in de open-source bibliotheek NCAtorch.

Oorspronkelijke auteurs: Martin Spitznagel, Janis Keuper

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Martin Spitznagel, Janis Keuper

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantisch, levend raster voor dat bestaat uit miljoenen kleine tegels. Elke tegel is een "cel" die een eenvoudig stukje informatie bevat, zoals een kleur of een getal. In de oude dagen programmeerden wetenschappers deze tegels met een vast stel regels: "Als je buren rood zijn, word dan blauw." Dit heet een Cellulair Automaton (CA). Het is als een digitaal mierenhoopje waar de mieren een strikt, vooraf geschreven instructiehandleiding volgen.

Maar wat als de mieren hun eigen regels konden leren? Wat als, in plaats van dat een mens de handleiding schrijft, de mieren een video bekijken van hoe ze zich zouden moeten gedragen en de instructies zelf uitvinden?

Dit is de kernidee van Neurale Cellulaire Automata (NCA), het onderwerp van dit paper. De auteurs, Martin Spitznagel en Janis Keuper, hebben een nieuwe toolkit genaamd NCAtorch gecreëerd om onderzoekers te helpen deze "lerende" roosters te bouwen, te testen en te begrijpen.

Hier is een uitleg van hun werk met behulp van eenvoudige analogieën:

1. Het Probleem: Te Veel Regels om te Tellen

In traditionele Cellulaire Automata zijn de regels vast. Als je wilt dat een raster een specifieke vorm laat groeien (zoals een smiley), moet je handmatig de regels voor elke enkele tegel ontwerpen. Het probleem is dat het aantal mogelijke regels zo enorm is dat het onmogelijk is om de juiste eruit te raden. Het is als proberen het perfecte cake-recept te vinden door willekeurig ingrediënten te mengen zonder het resultaat ooit te proeven.

2. De Oplossing: Het "Lerende" Raster

De auteurs introduceerden NCAs, waarbij de "regels" eigenlijk een klein Neuraal Netwerk zijn (een soort AI-brein). In plaats van de regels hard te coderen, laten ze de AI ze leren uit voorbeelden.

Hoe het werkt: Je toont het raster een "zaadje" (een klein stipje) en een "doel" (het uiteindelijke plaatje dat je wilt). Het raster probeert vanuit het zaadje te groeien om het doel te matchen. Als het faalt, past het AI-brein zijn interne regels aan en probeert het opnieuw. Na verloop van tijd leert het de perfecte instructies om die specifieke vorm te laten groeien.

3. De Toolkit: NCAtorch

Het paper gaat niet alleen over één experiment; het is een "Zweits Mess" voor onderzoekers. De auteurs bouwden NCAtorch, een open-source bibliotheek die fungeert als een modulaire constructieset.

De "Perceptie"-module: Dit zijn de "ogen" van het raster. Het bepaalt hoeveel van de omgeving een cel kan zien. Kijkt het alleen naar de 3 tegels ernaast? Of kijkt het naar een breder gebied? De toolkit laat onderzoekers verschillende "ogen" (zoals standaardcamera's, zoomlenzen of zelfs flexibele lenzen) verwisselen om te zien welke het raster het beste helpt leren.
De "Update"-module: Dit is het "brein" van het raster. Het neemt wat de ogen zien en bepaalt hoe de cel moet veranderen.
De "Sample Pool": Dit is een slimme truc om het raster te helpen stabiliteit te leren. Stel je voor dat het raster een perfecte bloem laat groeien, maar dat iemand vervolgens de helft ervan kapotmaakt. De "Sample Pool" slaat de "beschadigde" bloem op en plaatst deze terug in de trainingsmix. Dit dwingt het raster om te leren hoe het de ontbrekende delen moet hergroeien, waardoor het systeem robuust en zelfherstellend wordt.

4. Wat Ze Testten (De Experimenten)

De auteurs gebruikten hun toolkit om verschillende tests uit te voeren om te zien hoe goed deze lerende roosters presteren:

Het Groeien van Afbeeldingen (Emoji's & Handtassen): Ze leerden het raster om emoji's te laten groeien vanuit een enkele pixel. Ze ontdekten dat roosters met " bredere ogen" (grotere perceptie) complexere vormen konden laten groeien en zich beter konden herstellen als delen beschadigd waren.
Textuurcreatie: Ze probeerden stoffen-achtige patronen te maken. Ook hier creëerden roosters die een breder gebied konden zien realistischere en consistentere texturen.
Zelf-classificatie (Herkenning van Cijfers): Ze gaven het raster een afbeelding van een getal (zoals "7") en vroegen het om na te denken tot het hele raster het antwoord bevestigde. Het raster leerde succesvol om getallen te identificeren door informatie tussen zijn cellen door te geven, zelfs als de invoer halverwege het proces werd gewijzigd.
Videopredictie: Ze toonden het raster een paar frames van een bewegend cijfer en vroegen het om de volgende frames te voorspellen. Het raster leerde de "fysica" van de beweging en kon voorspellen waar het cijfer als volgende naartoe zou gaan.

5. De Grote Ontdekking: De "Latente Ruimte"-Shortcut

Een van de belangrijkste bevindingen in het paper gaat over schaal.

Het Probleem: Als je probeert een hoge-resolutie afbeelding (zoals een 1024x1024 foto) te laten groeien met deze methode, raakt de computer zijn geheugen kwijt. Het is als proberen elk zandkorreltje op een strand te simuleren; het kost te veel ruimte.
De Oplossing: Ze vonden een manier om het probleem te verkleinen. In plaats van de volledige afbeelding te laten groeien, laat het raster een "gecomprimeerd schets" (een latente ruimte) groeien en breidt deze vervolgens uit tot een volledige afbeelding aan het einde.
Het Resultaat: Hierdoor konden ze hoge-resolutie afbeeldingen genereren op standaard computerhardware, wat anders onmogelijk zou zijn geweest. Het is als eerst een klein blauwdruk te tekenen en dan het volledige huis te bouwen, in plaats van te proberen elke baksteen tegelijkertijd te bouwen.

Samenvatting

Kortom, dit paper zegt: "We hebben een flexibele, open-source toolbox gebouwd die ons toelaat kunstmatige 'levende roosters' te trainen om complexe gedragingen te leren, zoals het laten groeien van afbeeldingen, patronen herkennen en beweging voorspellen. We ontdekten dat het geven van deze roosters een breder zicht op hun omgeving en het gebruik van een 'gecomprimeerd schets'-methode hen in staat stelt veel grotere en complexere taken te hanteren dan voorheen."

De auteurs benadrukken dat dit momenteel een onderzoekstool is om wetenschappers te helpen begrijpen hoe deze systemen werken, en niet een kant-en-klaar product dat klaar is voor commercieel gebruik. Ze hopen dat deze toolkit anderen zal helpen te verkennen hoe eenvoudige, lokale interacties complexe, zelforganiserende systemen kunnen creëren.

1. Probleemstelling

Cellulaire Automata (CA) zijn discrete computationele modellen waarbij celtoestanden evolueren op basis van lokale buurregels. Hoewel ze historisch significant zijn (bijv. Conways Game of Life) en theoretisch krachtig (Turing-compleet), vertrouwen traditionele CA's op handmatig ontworpen, vaste regels. Dit beperkt hun vermogen om complexe, zelforganiserende systemen die in de natuur of in data voorkomen, te modelleren.

Neurale Cellulaire Automata (NCA) lossen dit op door vaste regels te vervangen door leerbare Kunstmatige Neurale Netwerken (ANN). Echter, voorafgaand aan dit werk was NCA-onderzoek gefragmenteerd:

Implementaties waren vaak geïsoleerde notebooks zonder gestandaardiseerde configuraties.
Er was geen unified framework om verschillende architecturale keuzes te vergelijken (bijv. perceptiemechanismen, update-regels).
Trainingsstabiliteit en schaalbaarheid (vooral voor hoog-resolutie afbeeldingen) waren aanzienlijke uitdagingen.

Het artikel beoogt NCA-onderzoek te systematiseren, een unified modulair framework te bieden, en rigoureus te evalueren hoe architecturale keuzes de prestaties beïnvloeden over diverse taken.

2. Methodologie: Het NCAtorch Framework

De auteurs introduceren NCAtorch, een open-source framework op basis van PyTorch, ontworpen voor reproduceerbaar en modulair NCA-onderzoek.

Kernarchitectuur

Het framework formaliseert de NCA-updateregel als:
$s_{t+1} = s_t + U_\phi[P_\phi(s_t)]$
Waarbij:

$s_t$ (Celtoestand): Een tensor die het rooster voorstelt, met zichtbare kanalen (bijv. RGB), verborgen kanalen (interne berekening), conditiekanalen (globale signalen) en optionele classificatiekanalen.
$P_\phi$ (Perceptiemodule): Extrahert lokale ruimtelijke kenmerken uit de buurt. Het framework ondersteunt uitwisselbare modules:
- Standaard Convolutie (3x3, 5x5)
- Deformable Convolutie
- Self-Attention
- Sobel (Gradiënt) filters
- Residual Convolutions
$U_\phi$ (Updatemodule): Berekent de toestandsincrement ( $\Delta s$ ) op basis van waargenomen kenmerken, typisch gebruikmakend van depthwise convoluties en niet-lineaire activeringen.

Trainingsstrategie

Unrolled Optimalisatie: In tegenstelling tot standaard supervised learning, rollen NCAs de updateregel voor $T$ sequentiële stappen uit voordat de loss wordt berekend. Gradienten worden door alle $T$ stappen teruggepropageerd.
Sample Pooling: Om stabiliteit en regeneratie te verbeteren, onderhoudt het framework een "Sample Pool" van eerder ontwikkelde toestanden. Deze worden opnieuw geïntroduceerd in trainingsbatches (vaak met verstoringen zoals "schade" of conditiemutatie) om het model zelfreparatie en langetermijnstabiliteit aan te leren.
Living Masks: Een optioneel mechanisme waarbij cellen met lage "alpha"-waarden als "dood" worden beschouwd en worden verhinderd te updaten, waardoor levensvatbaarheidsbeperkingen worden afgedwongen.
Latente Ruimte Evolutie: Voor hoog-resolutie taken ondersteunt het framework het laten evolueren van de NCA in een gecomprimeerde latente ruimte (met behulp van een vooraf getrainde VQVAE) in plaats van pixelruimte, wat de geheugenvereisten drastisch reduceert.

3. Belangrijkste Bijdragen

Systematisch Overzicht & Evaluatie: De eerste uitgebreide experimentele evaluatie van NCA-architecturen over diverse taken (generatie, classificatie, videopredictie).
Unified Modulair Framework (NCAtorch): Een enkele, configureerbare codebase die onderzoekers toelaat perceptiemodules, trainingsstrategieën en datasets te verwisselen via YAML-configuratie, waardoor gecontroleerde ablatiestudies mogelijk zijn.
Referentie-implementatie: Release van NCAtorch met gestandaardiseerde logging (Weights & Biases), visualisatietools en ondersteuning voor geavanceerde trainingsfuncties (mixed precision, gradient clipping).
Schaalbaarheidsanalyse: Demonstratie dat Latent Space NCAs noodzakelijk zijn voor hoog-resolutie generatie, waardoor de kwadratische geheugenschaalbaarheid van pixel-space NCAs wordt overwonnen.

4. Experimentele Resultaten

De auteurs evalueerden NCAs op vier distincte domeinen:

A. Afbeeldingsgeneratie (Emoji, Edge-to-Handbag)

Taak: Doelafbeeldingen laten groeien vanuit een zaadtoestand.
Vondsten: Perceptiemodules met grotere receptieve velden (bijv. 5x5 convoluties, gedilateerde convoluties, of attention) presteerden significant beter dan standaard 3x3 convoluties.
Regeneratie: Modellen met "Combined" perceptie (3x3 + 5x5 Dilated) bereikten een bijna perfecte regeneratie (98-99%) nadat 50% van de afbeelding was beschadigd. Standaard 3x3 convoluties hadden moeite (ongeveer 58-85% herstel).
Adversarial Training: Het gebruik van WGAN-GP voor Edge-to-Handbag vertaling bevestigde dat bredere receptieve velden leiden tot hogere perceptuele kwaliteit (lagere LPIPS).

B. Textuurgeneratie

Taak: Synthese van complexe texturen (DTD dataset) met behulp van op stijl gebaseerde losses.
Vondsten: Verbeterde perceptiestrategieën (Combined) produceerden hogere kwaliteit texturen en toonden superieure zelfreparatiecapaciteiten (99,88% herstel) in vergelijking met standaard convoluties (96,38%).

C. Classificatie (MNIST & CIFAR-10)

Taak: Zelf-classificerende NCAs waarbij classificatiekanalen evolueren om de invoerklasse te voorspellen.
Vondsten:
- MNIST: Bereikte ~95% nauwkeurigheid. Het model toonde het vermogen aan om zich aan te passen aan invoermutaties (het cijfer wijzigen halverwege de evolutie) met >98% herstel.
- CIFAR-10: Standaard 3x3 convoluties faalden in langetermijnstabiliteit (nauwkeurigheid daalde naar 8% bij stap 300). Sample Pooling en Residual/Dilated Perceptie waren cruciaal, waardoor de nauwkeurigheid steeg naar ~73% (trainingsvenster) en ~54% stabiliteit werd behouden.

D. Videopredictie (MovingMNIST)

Taak: Toekomstige frames voorspellen op basis van een reeks van eerdere frames.
Vondsten: NCAs leerden succesvol temporele dynamiek, convergerend naar doelframes met een lage MSE. Dit breidt de bruikbaarheid van NCA uit van statische patronen naar temporele sequentiemodellering.

E. Schaalbaarheid (Latent vs. Pixel Space)

Kritieke Vondst: Pixel-space NCAs worden onuitvoerbaar boven 256x256 resolutie op consumentenhardware (24GB VRAM) vanwege kwadratische geheugengroei.
Oplossing: Latent-space NCAs (werkend op 32x32 gecomprimeerde roosters voor 256x256 afbeeldingen) bereikten een 38x reductie in trainingsgeheugen, waardoor generatie mogelijk werd bij 1024x1024 resoluties.

5. Betekenis en Toekomstige Richtingen

Theoretische Unificatie: Het artikel overbrugt de kloof tussen Stephen Wolfram's "New Kind of Science" (simpele programma's die complexiteit modelleren) en modern Deep Learning, en laat zien dat leerbare lokale regels complexe globale gedragingen kunnen modelleren.
Efficiëntie & Interpretabiliteit: NCAs bieden een gedecentraliseerde, lokale-interactie aanpak die potentieel meer interpreteerbaar en computationeel efficiënt is voor specifieke taken (bijv. patroonvorming, zelfreparatie) dan globale attention-mechanismen.
Toekomstige Roadmap: De auteurs identificeren drie belangrijke richtingen:
1. Benutten van de theoretische eigenschappen van CA (bijv. Turing-compleetheid) voor nieuwe leerparadigma's.
2. Schalen van NCAs naar state-of-the-art visieproblemen via latente ruimtes en grootschalige compute.
3. Onderzoeken van de theoretische links tussen NCAs en andere architecturen (RNN's, GNN's, Diffusion Models) om een unified general architectuur te formuleren.

Concluderend, dit artikel vestigt NCAtorch als de standaardreferentie voor NCA-onderzoek, en bewijst dat perceptiescope (receptief veld) en trainingsstabiliteitsmechanismen (sample pooling, latente ruimtes) de kritieke factoren zijn die het succes van Neural Cellular Automata bepalen.