Evolving Many Worlds: Towards Open-Ended Discovery in Petri Dish NCA via Population-Based Training

Diese Arbeit stellt PBT-NCA vor, einen populationsbasierten Meta-Evolutionsalgorithmus, der durch die Kombination von Belohnung für Verhaltensnovität und visuelle Diversität sowie Bestrafung von Monokulturen Petri Dish Neural Cellular Automata erfolgreich zu einer offenen, selbstorganisierten Komplexität am „Rand des Chaos" mit vielfältigen lebensähnlichen Phänomenen führt.

Das Wesentliche

Stell dir vor, du hast eine riesige Petrischale voller mikroskopischer, digitaler Lebewesen. Diese Lebewesen sind keine echten Bakterien, sondern kleine Computer-Programme (Neuronale Netze), die auf einem Gitter tanzen, kämpfen und versuchen, sich auszubreiten.

Das Ziel des Autors war es, eine Welt zu erschaffen, in der diese digitalen Lebewesen niemals aufhören, etwas Neues zu erfinden. Das Problem ist: Normalerweise langweilen sich diese Systeme schnell. Entweder frieren sie ein (alles wird statisch und tot) oder sie zerfallen in chaotisches Rauschen (wie statisches Funkeln auf einem alten Fernseher).

Hier ist die einfache Erklärung der Lösung, die in diesem Papier vorgestellt wird, genannt PBT-NCA:

1. Das Problem: Der langweilige Tod

Stell dir vor, du züchtest eine Kultur von Bakterien. Wenn du sie nicht ständig fütterst oder veränderst, passiert eines von zwei Dingen:

• Der Friedhof: Alle sterben oder werden zu einer einzigen, langweiligen Art, die alles bedeckt (Monokultur).
• Das Chaos: Alles wackelt wild hin und her, ohne Struktur.

In der digitalen Welt passiert genau das. Die "Lebewesen" finden einen stabilen Zustand und hören auf, sich weiterzuentwickeln.

2. Die Lösung: Ein evolutionärer "Survival of the Fittest"-Wettbewerb

Die Forscher haben eine Methode entwickelt, die wie ein unendlicher Talentwettbewerb funktioniert. Sie nennen es "Population-Based Training" (PBT).

Stell dir vor, du hast 30 verschiedene Petrischalen (eine Population). In jeder Schale spielen die digitalen Lebewesen ihr eigenes Spiel.

• Der Trick: Es gibt keinen festen "Sieg". Es gibt nur eine Regel: "Sei anders als die anderen und anders als du selbst warst."

Das System belohnt nicht Stärke oder Schnelligkeit, sondern Neuheit.

3. Wie funktioniert der "Schiedsrichter"?

Das System hat zwei Augen, die über die Schalen wachen:

• Das Gedächtnis (Der Historiker): Der Schiedsrichter schaut in ein Archiv zurück. Wenn eine Schale ein Verhalten zeigt, das er schon 100-mal gesehen hat, wird sie bestraft. Er will sehen, was noch nie dagewesen ist.
• Der Blick in die Runde (Der Beobachter): Der Schiedsrichter vergleicht alle 30 Schalen gleichzeitig. Wenn Schale A und Schale B fast identisch aussehen, werden beide bestraft. Nur wer sich von der Masse abhebt, bekommt Punkte.

4. Der Kreislauf des Lebens (Exploit & Explore)

Alle paar Runden passiert Folgendes:

1. Die Besten bleiben: Die Schalen mit den kreativsten, neusten Mustern werden "Eltern".
2. Die Schwächsten gehen: Die langweiligen Schalen werden gelöscht.
3. Die Nachkommen: Die Eltern werden kopiert, aber mit einem kleinen Twist (Mutation). Vielleicht lernen ihre digitalen Lebewesen etwas schneller, oder sie haben eine andere "Strategie".
4. Das Ergebnis: Die neue Generation erbt die erfolgreichen Strategien der Eltern, ist aber leicht verändert. So entstehen immer komplexere Dinge.

5. Was ist passiert? (Die magischen Entdeckungen)

Durch diesen ständigen Druck, neu und anders zu sein, haben die digitalen Lebewesen Dinge entwickelt, die wie echtes Leben aussehen:

• Die "Sporen": Gruppen von Lebewesen schießen kleine Cluster wie Samen in die Ferne, um neue Gebiete zu erobern (wie Pilze oder Bakterien in der Natur).
• Die "Wanderer": Riesige, fließende Formen, die über das Gitter wandern und dabei ihre innere Struktur behalten, während sie sich bewegen.
• Die "Schiffe": Starre, geometrische Formen, die sich wie Raumschiffe durch das Chaos schieben (ähnlich wie die berühmten "Glider" in Conway's Game of Life).
• Die "Wellen": Koordinierte Wellen, die sich synchron durch die Population bewegen.

6. Der "Rand des Chaos"

Das Wichtigste ist, dass diese Systeme nie ganz ordentlich (langweilig) und nie ganz chaotisch (zerstört) werden. Sie leben genau in der Mitte, dem sogenannten "Rand des Chaos".

• Vergleich: Stell dir einen Fluss vor. Wenn er zu ruhig ist, stagniert das Wasser (Fäulnis). Wenn er zu wild ist, ist alles nur Schaum und Trümmer. Aber wenn er genau richtig fließt, kann er Boote tragen, Fische ernähren und Energie erzeugen. Genau dort leben diese digitalen Lebewesen.

Zusammenfassung

Die Forscher haben einen digitalen "Evolutionsturbine" gebaut. Anstatt zu sagen: "Baue eine perfekte Form", sagen sie: "Sei immer überraschend."

Das Ergebnis ist eine Welt, die sich selbst organisiert, komplexe Ökosysteme entwickelt und ständig neue, lebendige Muster erschafft – ohne dass ein Mensch ihnen jemals gesagt hat, wie sie das tun sollen. Es ist ein Schritt in Richtung künstlichen Lebens, das sich selbst weiterentwickelt, genau wie die Natur es seit Milliarden Jahren tut.

Technische Zusammenfassung

1. Problemstellung

Das zentrale Ziel der künstlichen Lebensforschung ist es, zu verstehen, wie aus einfachen lokalen Interaktionen nachhaltige, offen-endliche Komplexität entstehen kann. Ein spezifisches System, das dies untersucht, sind Petri Dish Neural Cellular Automata (PD-NCA). Dabei handelt es sich um differenzierbare Multi-Agenten-Systeme, in denen mehrere neuronale Zellen (Agenten) um Territorien auf einem gemeinsamen Gitter konkurrieren.

Das Hauptproblem besteht darin, dass PD-NCA-Systeme extrem empfindlich auf Hyperparameter reagieren und ohne sorgfältig gestaltete Verlustfunktionen oder feine Abstimmung häufig in uninteressante Zustände kollabieren:

• Eingefrorene Gleichgewichte: Das System stoppt jede Dynamik.
• Strukturloses Rauschen: Hohe Entropie ohne erkennbare Muster.
• Monokulturen: Ein einzelner Agent dominiert das gesamte Gitter, was zu einem Verlust an Vielfalt führt.

Herkömmliche Optimierungsansätze streben oft einen festen Zielzustand an, was der Natur offener Endlichkeit (Open-Endedness) widerspricht, die durch die kontinuierliche Produktion neuer Strukturen und Verhaltensweisen gekennzeichnet ist.

2. Methodik: PBT-NCA

Die Autoren stellen PBT-NCA (Population-Based Training of Petri Dish Neural Cellular Automata) vor, einen meta-evolutionären Algorithmus, der eine Population von PD-NCA-Welten unter einem neuartigen Selektionsdruck evolviert.

A. Das PD-NCA-Substrat

• Multi-Agenten-Konkurrenz: In jeder Welt konkurrieren $N$ neuronale Agenten (Arten) um Zellen auf einem 2D-Gitter.
• Lokale Interaktion: Jeder Agent beobachtet seine Moore-Nachbarschaft und aktualisiert seinen Zustand basierend auf einem neuronalen Netzwerk.
• Wettbewerbsmechanismus: Die Stärke eines Agenten an einer Zelle wird durch paarweise Kosinus-Similaritäten zwischen Angriffs- und Verteidigungskanälen berechnet. Die neuen Zustände sind gewichtete Mischungen der Vorschläge aller Agenten (Softmax-normalisiert).
• Umweltfaktor: Ein Hintergrund-„Umwelt"-Agent (k=0) führt ständig zufällige Updates durch, um Agenten zu zwingen, sich aktiv zu verteidigen und Stagnation zu verhindern.
• Lernen: Agenten optimieren ihre Parameter durch Gradientenabstieg, um ihre „Lebendigkeit" (Aliveness) über das gesamte Gitter zu maximieren.

B. Population-Based Training (PBT) Loop

Anstatt eine einzelne Welt zu optimieren, verwaltet PBT-NCA eine Population von Welten ($P=30$) und führt in regelmäßigen Abständen (Meta-Iterationen) einen Exploit-Explore-Zyklus durch:

1. Rollout & Scoring: Jede Welt wird für eine feste Anzahl von Schritten simuliert.
2. Archiv-Update: Die besten $m$ Welten (basierend auf einem Neuheits-Score) werden in ein FIFO-Archiv aufgenommen.
3. Ersetzung: Die am schlechtesten bewerteten Welten werden durch Nachkommen der besten Eltern ersetzt.
   • Kopie (Lamarckisch): Parameter, Optimierer-Zustände und Hyperparameter werden übernommen.
   • Crossover: Hyperparameter werden mit einer Wahrscheinlichkeit getauscht.
   • Mutation: Hyperparameter werden skaliert (Faktor 0.8 oder 1.2).
   • Gewichts-Perturbation: Gaußsches Rauschen wird zu den Gewichten hinzugefügt.

C. Der zusammengesetzte Bewertungsmechanismus (Composite Objective)

Der Kern der Innovation ist die Bewertungsfunktion $F_i = N_i + D_i$, die Welten nicht nach einem festen Ziel, sondern nach Neuheit und Vielfalt bewertet:

1. Archiv-basierte Neuheit ($N_i$):
   • Basierend auf handgefertigten deskriptiven Merkmalen der Ökologie (z. B. mittlere Besetzung, zeitliche Standardabweichung, Entropie der Gewinner-Verteilung).
   • Misst den euklidischen Abstand des aktuellen Deskriptors zu den $k$-nächsten Nachbarn im Archiv vergangener Verhaltensweisen.
2. Visuelle Diversität ($D_i$):
   • Nutzt einen eingefrorenen DINOv2-Encoder, um Bildframes der Simulation zu Embeddings zu verarbeiten.
   • Misst die mediane Kosinus-Distanz der Embeddings einer Welt zu allen anderen Welten in der aktuellen Population.
   • Belohnt morphologische und texturale Unterschiede, die über reine Statistiken hinausgehen.

3. Wichtige Beiträge

• Einführung von PBT-NCA: Ein Framework, das Population-Based Training auf differenzierbare zelluläre Automaten anwendet, um offen-endliche Komplexität zu erzeugen.
• Dualer Bewertungsansatz: Kombination von handgefertigten ökologischen Deskriptoren (für Stabilität und Interpretierbarkeit) und visuellen Embeddings (für morphologische Vielfalt), um Monokulturen und statische Gleichgewichte aktiv zu bestrafen.
• Autonome Entdeckung: Das System entwickelt komplexe Strategien ohne explizite Ziele für Kooperation oder Strukturierung; diese entstehen als Nebenprodukt des Drucks nach Neuheit.
• Skalierbarkeit: Der Ansatz funktioniert effektiv mit unterschiedlichen Anzahlen von Agenten (3, 5, 7) und erweitertem Hyperparameter-Suchraum.

4. Ergebnisse

Die Experimente zeigen, dass PBT-NCA eine Population von Welten erzeugt, die sich über lange Zeiträume hinweg weiterentwickeln und komplexe Phänomene hervorbringen:

• Emergente Phänomene:
  • Koordinierte Wellen: Hochregulierte, periodische Wellenbewegungen.
  • Sporen-artige Streuung: Homogene Gruppen schleudern Zell-Cluster aus, um neue Territorien zu besiedeln (ähnlich biologischer Migration).
  • Fluide Makro-Strukturen: Formverändernde, wandernde Entitäten mit stabilen äußeren Grenzen und aktiven Innenräumen.
  • Dezentrale Fortbewegung: Spur-artige Bewegungsmuster ohne zentrale Steuerung.
  • Selbstreplikation: Entitäten, die kleine Zellcluster zur Kolonisierung erzeugen.
• Edge of Chaos: Die Systeme operieren persistent am „Rand des Chaos".
  • Ökologische Persistenz (EP): Der Wert bleibt nahe 1,0, was bedeutet, dass mehrere Arten gleichzeitig koexistieren (keine Monokulturen oder Aussterben).
  • Effektive Komplexität ($C_{eff}$): Der Wert liegt signifikant über Null, was zeigt, dass die Muster weder rein geordnet noch rein zufällig sind, sondern strukturell komprimierbar und variabel.
• Vergleich mit Baselines: Im Gegensatz zu festgelegten Hyperparametern (die oft zu Rauschen führen) oder reinem Random Search (der nur einfache Zyklen findet), generiert PBT-NCA kontinuierlich neue und diverse Dynamiken.

5. Bedeutung und Fazit

Das Paper demonstriert einen bedeutenden Schritt hin zu offen-endlicher künstlicher Intelligenz.

• Paradigmenwechsel: Statt statischer Optimierung wird ein Prozess der perpetuellen morphologischen und funktionalen Innovation etabliert.
• Biologische Realität: Die beobachteten Phänomene (Selbstreplikation, Migration, Spezialisierung) ähneln stark biologischen Prozessen und deuten darauf hin, dass das System Berechnungsprimitive implementieren könnte.
• Red Queen Hypothese: Die Autoren argumentieren, dass die dynamische Anpassung an eine sich ständig verändernde Umgebung (durch die Konkurrenz innerhalb der Population) den Motor für die anhaltende Komplexität darstellt.

Zusammenfassend zeigt PBT-NCA, dass durch die Kombination von populationsbasiertem Training und einem neuheitsgetriebenen Selektionsdruck in einem kompetitiven Multi-Agenten-Substrat Systeme entstehen können, die sich autonom, stabil und komplex am „Rand des Chaos" entwickeln.