Evolving Many Worlds: Towards Open-Ended Discovery in Petri Dish NCA via Population-Based Training

Dit paper introduceert PBT-NCA, een meta-evolutionair algoritme dat populaties van Petrischaal-neurale cellulair automaten traint om via een compositief doelwit voor zowel historische behaviorale nieuwigheid als visuele diversiteit een staat van effectieve complexiteit aan de rand van chaos te bereiken, waarbij autonome, levensachtige verschijnselen zoals gecoördineerde golven en migrerende macro-structuren ontstaan.

De kern

Stel je voor dat je een grote, levende petrischaal hebt. In deze schaal leven duizenden microscopische wezens. Ze hebben geen hersenen, geen leider en geen plan. Ze weten alleen hoe ze moeten groeien, verdedigen en aanvallen op basis van wat hun directe buren doen.

Dit is wat de onderzoekers in dit paper hebben gedaan, maar dan met een slimme twist. Ze hebben een manier bedacht om deze digitale wezens te laten evolueren tot iets dat lijkt op echt leven: complex, veranderlijk en nooit saai.

Hier is het verhaal van PBT-NCA, vertaald in simpele taal:

1. Het Probleem: De "Dode" Schaal

Normaal gesproken, als je zo'n digitale schaal laat groeien, gebeurt er vaak één van twee dingen:

• Alles bevriest: De wezens stoppen met bewegen en worden een statisch, saai patroon (zoals een bevroren meer).
• Alles wordt ruis: Alles wordt een wazig, chaotisch geknoei zonder enige structuur (zoals statisch op een oude TV).
• Of er is één winnaar: Eén soort wezen wint alles en vreet de rest op, waardoor de schaal een eentonige "monocultuur" wordt.

Het is alsof je een tuin plant, maar de bloemen ofwel doodgaan, ofwel alles verwoesten tot het eruitziet als een kale vlakte.

2. De Oplossing: Een Evolutie-Game Show

De onderzoekers hebben een nieuw systeem bedacht, PBT-NCA, dat werkt als een oneindige evolutie-game show.

In plaats van één schaal te laten groeien, laten ze 30 schalen tegelijk groeien. Elke schaal is een eigen wereld met zijn eigen regels en wezens.

• De Jury: Er is een slimme jury die elke wereld beoordeelt. Maar deze jury wil geen "perfecte" wereld. Ze willen nieuwigheid.
• De Beloning: Een wereld krijgt punten als het gedrag van de wezens anders is dan wat ze eerder hebben gezien (historisch) en anders is dan wat de andere 29 schalen op dat moment doen (huidig).
• De Strijd: Als een wereld saai wordt (bijvoorbeeld omdat alles bevriest), krijgt hij weinig punten en wordt hij "uitgeschakeld". Zijn plek wordt ingenomen door een kopie van een succesvolle, spannende wereld, maar dan met een paar kleine veranderingen (mutaties).

3. De Creatieve Analogie: De "Rode Koningin"

Stel je voor dat de wezens in de schaal rennen in een wedstrijd, maar het doel is niet om te winnen, maar om niet te worden ingehaald.

• Als je stilstaat, word je uitgeschakeld.
• Als je te veel op je buurman lijkt, word je uitgeschakeld.
• Je moet constant je strategie aanpassen, nieuwe vormen aannemen en nieuwe manieren van bewegen bedenken om te overleven.

Dit noemen ze de "Rand van het Chaos" (Edge of Chaos). Het is een heel delicate balans.

• Te veel orde = een bevroren ijsbaan (saai).
• Te veel chaos = een storm die alles kapotmaakt (geen structuur).
• De Rand van het Chaos = Een levendige stad waar mensen bewegen, gebouwen veranderen, maar waar het systeem als geheel stabiel blijft. Hier gebeurt de magie.

4. Wat Zagen Ze? (De Magie)

Door deze constante druk om "anders" te zijn, ontdekten de digitale wezens vanzelf wonderlijke dingen, zonder dat de onderzoekers hen iets leerden:

• Zelfreplicatie: Grote wezens spuwen kleine clusters uit om nieuwe gebieden te veroveren (alsof ze zaden zaaien).
• Zwermen: Groepen wezens bewegen samen als een vloeiende vloeistof, veranderen van vorm en migreren over de schaal.
• Sporen: Ze maken paden aan waar andere wezens overheen lopen, net als een spoor van een slak.
• Schepen en Gliders: Ze ontwikkelden vormen die lijken op ruimteschepen of vliegende objecten die constant bewegen, net als in oude computerspellen.

5. Waarom is dit belangrijk?

Dit is meer dan alleen een mooi plaatje. Het is een stap in de richting van Open-Ended Discovery (oneindige ontdekking).

• Normale AI wordt getraind om één specifiek doel te bereiken (bijvoorbeeld een spel winnen). Zodra dat doel bereikt is, stopt de ontwikkeling.
• Dit systeem heeft geen einddoel. Het doel is gewoon: blijf interessant, blijf groeien, blijf veranderen.

Het bewijst dat als je lokale interacties (wat je buren doen) combineert met een druk om te variëren, je complexe, levensechte systemen kunt creëren die zichzelf organiseren. Het is alsof je een ecosysteem creëert dat zichzelf blijft uitvinden, net als de natuur dat duizenden jaren heeft gedaan.

Kortom: De onderzoekers hebben een digitale petrischaal gebouwd die weigert saai te worden. Door constant te vragen "Is dit nog wel nieuw?", hebben ze een wereld gecreëerd waar levende, veranderende structuren ontstaan die lijken op echt leven, allemaal zonder dat iemand ze heeft ontworpen.

Technische samenvatting

Probleemstelling

De creatie van aanhoudende, open-ended complexiteit die voortkomt uit lokale interacties, blijft een fundamentele uitdaging op het gebied van kunstmatig leven. Bestaande differentieerbare multi-agent systemen, zoals Petri Dish Neural Cellular Automata (PD-NCA), vertonen weliswaar rijke zelforganisatie gedreven door ruimtelijke competitie, maar zijn uiterst gevoelig voor hyperparameters. Zonder zorgvuldig ontworpen verliesfuncties of goed afgestelde parameters, kollaberen deze systemen vaak naar oninteressante patronen en dynamieken, zoals:

• Bevroren evenwichten (Frozen equilibria): Het systeem stopt met veranderen.
• Structuurloos ruis (Structureless noise): Het systeem vertoont hoge entropie zonder vorm.
• Monoculturen: Een enkele agent domineert het volledige substraat, wat leidt tot een gebrek aan diversiteit.

Het doel is om een systeem te creëren dat niet convergeert naar één optimaal punt, maar continu nieuwe, niet-triviale structuren en gedragingen genereert (open-endedness), opererend aan de "rand van het chaos" (edge of chaos).

Methodologie: PBT-NCA

De auteurs introduceren PBT-NCA (Population-Based Training of Petri Dish Neural Cellular Automata), een meta-evolutionair algoritme dat een populatie van PD-NCA-werelden evolueert onder een selectiedruk die gericht is op innovatie.

1. Het PD-NCA Substraat:

• Een differentieerbare multi-agent cellulaire systeem waar $N$ neurale netwerken (agenten) concurreren om territorium op een gedeeld raster.
• Elke cel bevat attack-, defense- en hidden-state kanalen.
• Agenten observeren hun lokale Moore-omgeving en passen hun interne parameters aan via gradient descent om hun "levendigheid" (aliveness) te maximaliseren.
• Een omgevingsagent (k=0) introduceert constant ruis, wat agenten dwingt actief te blijven en evolueert stagnatie voorkomt.

2. Populatie-Based Training (PBT) Loop:
In plaats van één wereld te trainen, onderhoudt het systeem een populatie van $P$ werelden. Elke meta-iteratie bestaat uit drie fasen (zie Figuur 1):

• Rollout & Score: Alle werelden worden een bepaalde tijd (horizon $T_{world}$) doorgelopen. De agents passen zich binnen deze rollout aan.
• Archief Update: De top-$m$ werelden (op basis van hun score) worden toegevoegd aan een FIFO-archief van gedragsbeschrijvers.
• Exploit-Explore: De laagst scorende werelden worden vervangen door nakomelingen van de elite-ouders. Dit gebeurt via:
  • Kopieer: Lamarckiaanse overerving van parameters, optimizer-staten en wereldtoestand.
  • Crossover: Hyperparameters worden gemengd.
  • Mutatie: Hyperparameters worden verstoord (vermenigvuldigd met 0.8 of 1.2).
  • Gewichtsperturbatie: Gaussisch ruis wordt toegevoegd aan de neurale netwerk-weights.

3. Composite Score Functie:
Het kerninnovatiepunt is de beoordeling van werelden op basis van noviteit en diversiteit, in plaats van het bereiken van een vast doel. De score $F_i$ is de som van twee componenten:

• $N_i$ (Archief-gedreven Noviteit): Gebaseerd op handgemaakte gedragsbeschrijvers (zoals gemiddelde bezetting, temporele standaardafwijking, en entropie van winnaars). De score meet de Euclidische afstand tot de $k$-naaste buren in het archief van eerdere gedragingen. Dit straalt werelden af die lijken op wat al ontdekt is.
• $D_i$ (Populatie-gedreven Visuele Diversiteit): Gebaseerd op een bevroren DINOv2-vision encoder. Frames van alle werelden worden ingesloten tot embeddings. De score is de mediaan cosine-afstand van een wereld tot alle andere werelden in de huidige populatie. Dit straalt werelden af die visueel lijken op hun concurrenten.

Door deze combinatie te gebruiken, wordt het systeem gedwongen om zowel historisch uniek te zijn als visueel verschillend van de huidige populatie, waardoor "monoculturen" en statische oplossingen actief worden bestraft.

Kernbijdragen

1. PBT-NCA Framework: Een nieuwe methode die populatie-based training toepast op PD-NCA om open-ended discovery te faciliteren.
2. Composite Novelty Objective: Een innovatieve scoring die handgemaakte ecologische statistieken combineert met foundation model-gebaseerde visuele diversiteit (DINOv2) om een continue evolutie van complexiteit te garanderen.
3. Autonome Ontdekking van Symbiose: Het systeem toont aan dat complexe, levensachtige fenomenen kunnen ontstaan zonder expliciete doelstellingen voor samenwerking of structuur, puur als bijproduct van competitie en adaptatie.
4. Bevestiging van de "Edge of Chaos": Het paper levert kwantitatief bewijs dat het systeem opereert in het delicate regime tussen orde en chaos, waar complexe dynamiek optreedt.

Resultaten

De experimenten (met een populatie van 30 werelden en tot 500 meta-iteraties) tonen aan dat PBT-NCA een breed scala aan emergente fenomenen genereert die niet handmatig zijn ontworpen:

• Gecoördineerde Golfbewegingen: Regelmatige, periodieke golven die zich over het substraat verplaatsen.
• Sporen en Kolonisatie: Homogene groepen die cel-achtige clusters uitspuwen om verre gebieden te koloniseren (vergelijkbaar met sporen).
• Vloeibare Macro-structuren: Vormveranderende structuren die migreren met stabiele buitenranden en zeer actieve binnenkernen.
• Decentraliseerde Locomotie: Agents die sporen volgen en coördineren zonder centrale controle.
• Scalabiliteit: Het systeem presteert beter en behoudt meer noviteit naarmate het aantal agents (3, 5, 7) toeneemt.

Vergelijking met Baselines:

• Vaste Hyperparameters: Leidt tot ruis of monoculturen.
• Random Search: Ontdekt soms cyclische patronen, maar faalt in het behouden van complexe, open-ended dynamiek over de lange termijn.
• PBT-NCA: Toont een stijgende trend in de composite score en noviteit, wat aangeeft dat het systeem continu nieuwe ecologische regimes ontdekt.

Edge-of-Chaos Analyse:
De auteurs meten "Ecological Persistence" (EP) en "Effective Complexity" ($C_{eff}$).

• EP blijft hoog ($\approx 1.0$), wat betekent dat er altijd meerdere soorten co-existeren (geen uitsterven of monocultuur).
• $C_{eff}$ is significant hoger dan nul, wat bevestigt dat het systeem zich bevindt in het gebied van complexe, niet-triviale dynamiek.

Betekenis en Conclusie

Dit werk is een belangrijke stap in de richting van kunstmatig supermenselijk intelligentie (ASI) en open-ended artificial life. Het demonstreert dat door ruimtelijke competitie te herformuleren als een noviteit-gedreven meta-leerproces, men een systeem kan bouwen dat autonoom een diversiteit aan levensachtig gedrag ontwikkelt.

Het systeem slaagt erin om de "rand van het chaos" te bereiken en daar te blijven, wat essentieel is voor de accumulatie van structurele en gedragsmatige diversiteit. Dit suggereert dat PBT-NCA potentieel computationele primitieven kan implementeren en een platform biedt voor het bestuderen van co-evolutie, ecologische dynamiek en de oorsprong van complexiteit zonder menselijke bias in de doelstellingen. Toekomstig werk richt zich op het uitbreiden naar 3D, grotere rastermaten en het co-evolueren van architecturen en omgevingen.