🤖 machine learning

Emergent Models: Intelligence from Tiny Substrates

Dieses Paper führt Emergent Models ein, ein Paradigma des maschinellen Lernens, bei dem einfache, offen endliche dynamische Substrate wie zelluläre Automaten entwickelt werden, um Aufgaben durch emergente computergestützte Verhaltensweisen zu lösen, was demonstriert, dass solche minimalen Systeme eine latente Universalität und globale Generalisierung jenseits traditioneller differenzierbarer Architekturen erreichen können.

Ursprüngliche Autoren: Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

Veröffentlicht 2026-08-17

📖 8 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich die Welt der künstlichen Intelligenz als eine riesige Bibliothek vor. Seit Jahrzehnten versuchen die Bibliothekare, das perfekte Bücherregal zu bauen. Sie haben Millionen von Büchern (Datenpunkten) auf Regale (neuronale Netze) gestapelt und dem Regal beigebracht, zu erraten, welches Buch als Nächstes kommt, basierend auf den Büchern, die zuvor kamen. Das funktioniert großartig, wenn man nach Büchern fragt, die es bereits gesehen hat, aber wenn man nach einer Geschichte fragt, die noch nicht geschrieben wurde, rät das Regal oft nur zufällig oder erfindet Unsinn. Das liegt daran, dass das Regal sehr gut darin ist, Muster auswendig zu lernen, aber schlecht darin, die Regeln zu verstehen, die die Geschichte überhaupt erst ausmachen.

Hier kommt eine andere Idee ins Spiel: Was wäre, wenn wir statt eines riesigen Bücherregals einen winzigen, selbstfahrenden Roboter bauen würden, der lernt, Probleme zu lösen, indem er sich im Raum bewegt? Dies ist die Welt der „Emergenten Modelle“. Denken Sie an ein Spiel wie „Life“ auf einem Computerbildschirm. Sie haben ein Gitter von Zellen, die entweder an oder aus sein können. Sie geben ihnen eine einfache Regel, wie zum Beispiel: „Wenn zwei Nachbarn an sind, schalte dich ein.“ Dann beobachten Sie, was passiert. Manchmal entstehen aus diesen einfachen Regeln unglaublich komplexe Muster – wie Raumschiffe oder Gleiter. Die große Frage, die sich Wissenschaftler stellen, lautet: Können wir diese winzigen, regelbasierten Roboter nutzen, um Mathematik und Logik besser zu lernen als unsere riesigen Bücherregale? Kann ein System mit nur ein paar hundert „Teilen“ das Geheimrezept für einen Kuchen herausfinden, anstatt nur eine Liste von Zutaten auswendig zu lernen? Dieses Paper taucht in genau diese Frage ein und untersucht, ob einfache, evolvierende Systeme der Schlüssel zu intelligenterer, anpassungsfähigerer KI sein können.

Die winzigen Substrate, die denken

Die Autoren dieses Papers führen eine neue Denkweise über maschinelles Lernen ein, die sie Emergente Modelle (EMs) nennen. Stellen Sie sich vor, Sie haben eine leere Leinwand (das „Substrat“) und einen einzigen, winzigen Pinsel, der einer einfachen Regel folgt, wie etwa „einen Schritt nach rechts bewegen und die Farbe ändern“. In der traditionellen KI versuchen wir, ein perfektes Bild zu malen, indem wir Millionen von Pinselstrichen gleichzeitig anpassen. In diesem neuen Ansatz bereiten wir die Leinwand und den Pinsel vor und lassen sie dann eine Weile laufen. Wir sagen dem Pinsel nicht, was er malen soll; wir schauen einfach nur zu, ob das entstehende Muster nach einer gewile Zeit zufällig ein Problem löst, wie zum Beispiel das Addieren zweier Zahlen.

Der Kern der Idee ist, dass Intelligenz vielleicht kein massives, komplexes Gehirn benötigt. Stattdessen könnte sie aus einem einfachen, sich wiederholenden Prozess entstehen, ganz ähnlich wie die Formation eines Vogelschwarms, der sich perfekt bewegt, ohne dass ein einzelner Vogel Befehle gibt. Das „Gehirn“ ist hier nur ein winziger Satz von Regeln, die immer wieder auf einem Datengitter ablaufen.

Die Magie der „Latenten Universalität“

Das Paper schlägt ein faszinierendes Konzept namens Latente Universalität vor. Stellen Sie sich vor, Sie haben eine Universalfernbedienung (das „Programm“) und einen Fernseher (das „Substrat“). In der meisten KI müssen Sie für jede Sendung, die Sie sehen wollen, einen neuen Fernseher kaufen. Aber bei der Latenten Universalität ist der Fernseher fest vorgegeben. Sie ändern nur die Fernbedienung (den Anfangszustand des Gitters). Die Autoren legen nahe, dass man mit der richtigen Art von Fernseher (einer spezifischen Art von mathematischem Gitter) theoretisch in der Lage wäre, ihn für jede beliebige Berechnung zu programmieren, indem man lediglich das Startmuster auf dem Bildschirm ändert, ohne die interne Verdrahtung des Fernsehers jemals zu verändern.

Sie beweisen mathematisch, dass dies theoretisch möglich ist. Wenn man ein unendlich fortlaufendes Gitter und eine einfache Regel hat, kann man das Startmuster so setzen, dass es wie ein Taschenrechner, ein Schachspieler oder ein Übersetzer fungiert. Das „Programm“ ist lediglich das Startbild, das man auf das Gitter zeichnet.

Die Experimente: Winzige Roboter in Aktion

Da der Bau eines perfekten, unendlichen Gitters schwierig ist, testeten die Forscher diese Idee mit einem „Zoo“ aus winzigen, einfachen Modellen. Sie versuchten nicht, eine superintelligente KI zu bauen; sie wollten lediglich sehen, ob diese winzigen Systeme grundlegende Regeln lernen und diese dann auf größere Zahlen anwenden können.

1. Die Mathe-Magier (EM43)
Sie erstellten einen eindimensionalen Streifen von Zellen (wie eine lange Reihe von Dominosteinen) mit einer einfachen Regel. Sie brachten das Modell bei, Mathematik wie $x + 1$ oder $x \times 2$ zu betreiben.

Das Ergebnis: Es funktionierte perfekt! Das Modell lernte die Regel bei kleinen Zahlen (wie 1 bis 30) und wandte sie dann fehlerfrei auf riesige Zahlen (bis zu 1.000) an, die es zuvor noch nie gesehen hatte.
Der „Aha!“-Moment: Als sie untersuchten, wie das Modell das Problem löste, sahen sie wunderschöne, sich wiederholende geometrische Muster, die über das Gitter wanderten. Sie nennen dies „geometrisches Grokking“. Es ist, als hätte das Modell nicht nur die Antwort auswendig gelernt, sondern einen visuellen Tanz entdeckt, der für jede Zahl funktioniert. Dies ist etwas, womit traditionelle KI Schwierigkeiten hat, insbesondere bei sich wiederholenden Mustern wie „Was ist der Rest bei der Division durch 4?“.

2. Das Spiel des Lebens (GoL-EM)
Als Nächstes verwendeten sie Conways „Game of Life“, einen berühmten zellulären Automaten, bei dem Zellen basierend auf ihren Nachbarn leben oder sterben. Sie versuchten, dieses System dazu zu bringen, Mathematik zu betreiben und einen Stab zu balancieren (CartPole).

Das Ergebnis: Es konnte einfache Mathematik wie $x + 1$ lernen, war aber sehr launisch. Kleine Änderungen am Startmuster führten zum völligen Zusammenbruch des Systems. Es war, als würde man versuchen, ein Kartenhaus in einem Sturm zu balancieren. Es konnte zwar eine Zeit lang einen Stab balancieren, war aber nicht sehr stabil. Die Forscher fanden heraus, dass die Suche nach dem richtigen Startmuster fast wie blindes Raten war; das System war so sensibel, dass es schwierig war, es auf die übliche Weise zu „trainieren“.

3. Die kontinuierlichen Lerner (CEM1D & CEM2D)
Schließlich testeten sie Modelle, die glatte, kontinuierliche Zahlen verwenden (ähnlich der realen Physik) anstatt nur „An/Aus“-Schaltern.

Das Ergebnis: Diese waren viel besser darin, Dinge zu steuern. Die 1D-Version konnte einen Stab sehr gut balancieren, und die 2D-Version konnte lernen, in einer Welt zu navigieren, in der Nahrung manchmal zu Gift wird.
Der Haken: Selbst diese intelligenten Modelle hatten Schwierigkeiten. Manchmal gerieten sie in Endlosschleifen oder froren ein. Sie lernten zwar, sich an die wechselnde Umgebung anzupassen, aber sie waren nicht perfekt. Die Forscher merkten an, dass diese Modelle noch sehr neu sind und weitaus weniger zuverlässig als die großen KI-Modelle, die wir heute nutzen.

Was dies bedeutet (und was es nicht bedeutet)

Das Paper ist sich sehr darüber im Klaren, was es erreicht hat und was nicht. Es behauptet nicht, eine bessere KI gebaut zu haben, als man sie in Filmen oder auf dem Smartphone sieht. Tatsächlich gibt es zu, dass diese winzigen Modelle derzeit viel schwieriger zu trainieren und weniger leistungsfähig sind als die großen, komplexen Modelle.

Es legt jedoch etwas Aufregendes nahe: dass das Geheimnis wahrer Intelligenz in der Iteration (der ständigen Wiederholung eines einfachen Schritts) liegen könnte, anstatt in der Größe (dem Besitz von Millionen von Parametern). Die Autoren fanden heraus, dass, wenn diese winzigen Modelle tatsächlich lernten, sie die Regel lernten und nicht nur die Antwort. Dies ermöglichte es ihnen, auch bei Zahlen, die sie noch nie gesehen hatten, korrekt zu raten – eine Fähigkeit, die man Extrapolation nennt.

Sie führen zudem eine neue Art des Denkens über die Effizienz von KI ein. Sie schlagen vor, dass die besten Modelle jene sein könnten, die sehr wenige „harte“ Teile (die Regeln) nutzen, diese aber über eine lange Zeit laufen lassen (viele Schritte). Dies ist das Gegenteil der heutigen großen KI, die eine massive Menge an „harten“ Teilen nutzt, diese aber nur einmal ausführt.

Das Fazzeit

Dieses Paper ist ein grundlegender Schritt, vergleichbar mit der ersten Erfindung einer funktionierenden Dampfmaschine. Es ist noch kein Auto und definitiv auch kein Raumschiff. Aber es beweist, dass ein einfaches, sich wiederholendes System Regeln lernen und auf neue Situationen anwenden kann. Die Forscher zeigen, dass mit nur wenigen hundert Parametern ein System lernen kann, Mathematik zu betreiben und einfache Roboter zu steuern.

Die wichtigste Erkenntnis ist, dass wir die KI vielleicht zu kompliziert gestalten. Anstatt immer größere Gehirne zu bauen, sollten wir vielleicht kleinere, einfachere Systeme bauen, die erlaubt sind, länger nachzudenken. Das Paper legt nahe, dass der Weg zu intelligenterer KI in diesen „emergenten“ Verhaltensweisen liegen könnte, bei denen Intelligenz aus einfachen Regeln erwächst, genau wie das Leben aus einfacher Chemie entsteht. Es ist eine hoffnungsvolle, spielerische und etwas wilde Idee, dass die Zukunft der Intelligenz in den kleinsten, einfachsten Dingen zu finden sein könnte.

Technisches Resümee: Emergente Modelle: Intelligenz aus winzigen Substraten

Problemstellung

Das traditionelle Deep Learning, insbesondere Feed-Forward-Neuronale Netze (FFNNs), kämpft häufig mit globaler Generalisierung und Extrapolation. Während der universelle Approximationstheoreme garantieren, dass FFNNs Funktionen auf kompakten Domänen beliebig gut approximieren können, scheitern sie typischerweise daran, die zugrunde liegenden generativen Regeln von Daten über offene Domänen hinweg zu erfassen. Folglich können Modelle, die auf begrenzten Bereichen trainiert wurden, oft nicht über ihre Trainingsverteilung hinaus extrapolieren (so werden ReLU-Netzwerke asymptotisch linear und sigmoidale Netzwerke konvergieren gegen Konstanten).

Darüber hinaus deutet die jüngste Arbeit an denkenden LLMs und rekurrenten Architekturen darauf hin, dass iterative Berechnung die Generalisierung verbessert; diese Modelle bleiben jedoch an massive Parameterzahlen gebunden und weisen oft eine Sprödigkeit bei der Extrapolation langer Sequenzen auf. Das Paper postuliert, dass die „Bitter Lesson“ der KI – die Nutzung von Rechenleistung durch allgemeine Methoden statt durch Top-Down-Engineering – kombiniert mit Erkenntnissen aus dem künstlichen Leben, nach Substraten verlangt, die durch einfache, lokale Regeln gesteuert werden, wobei komplexe Verhaltensweisen durch Iteration entstehen. Die Kernfrage ist, ob minimale, lokal-rekursive computationale Substrate eine hohe globale Expressivität und Extrapolation mit signifikant weniger Parametern als aktuelle neuronale Architekturen erreichen können.

Methodik

Das Framework der Emergenten Modelle (EM)

Die Autoren formalisieren Emergente Modelle (EMs) als ein Machine-Learning-Paradigma, bei dem Modellierung nicht als das Lernen einer geschlossenen Input-Output-Abbildung betrachtet wird, sondern als das Entstehen von computationalen Verhaltensweisen innerhalb einfacher dynamischer Systeme. Ein EM ist definiert als ein Tupel $M = (S, f, H, E, D, \oplus)$ :

Latenter Zustand ( $S$ ): Ein Konfigurationsraum (diskret oder kontinuierlich), der als Gedächtnis fungiert.
Update-Regel ( $f$ ): Eine lokale Übergangsfunktion (z. B. eine zelluläre Automatenregel), die über den latenten Zustand iteriert wird.
Haltebedingung ( $H$ ): Ein Prädikat, das bestimmt, wann die Iteration stoppt.
Interface ( $E, D, \oplus$ ): Ein Encoder, Decoder und ein Kombinationsoperator, die externe Inputs/Outputs mit dem latenten Zustand verknüpfen.
Programm ( $p$ ): Ein nicht gestörter Initialzustand. Für einen gegebenen Input $x$ wird der Initialzustand als $s_0 = p \oplus E(x)$ gebildet.

Trainingsansatz:
Im Gegensatz zum gradientenbasierten Backpropagation werden EMs mittels evolutionärer Suche (Genetische Algorithmen) trainiert. Der Suchraum umfasst:

Weiche Parameter: Der Programmzustand $p$ (die initiale Konfiguration). In einigen Settings kann dieser über Zustandsretention (Lamarcksche Vererbung) über Makroschritte hinweg aktualisiert werden.
Harte Parameter: Die Update-Regel $f$ , die Haltebedingung $H$ und die Interface-Parameter. Diese sind während der Inferenz fixiert, werden aber während des Trainings optimiert.
Das Ziel ist es, eine Konfiguration zu finden, bei der die evolvierte Trajektorie bei Erreichen des Haltezustands die Zielaufgabe löst.

Theoretische Grundlage: Latente Universalität

Das Paper führt das Konzept der Latenten Universalität ein, ein Regime, in dem das Substrat ( $S, f, H$ ) und das Interface ( $E, D, \oplus$ ) fixiert sind und nur das Programm $p$ variiert wird, um jede partiell berechenbare Funktion zu realisieren.

Theorem 1: Die Autoren beweisen, dass es für binäre String-Inputs/Outputs ein Emergentes Modell gibt, bei dem ein fixer Substrat- und Interface-Satz ausreicht, um jede partiell berechenbare Funktion zu berechnen, indem lediglich der endliche Programmzustand variiert wird. Dies steht im Einklang mit dem Konzept einer Universellen Turingmaschine, bei der das Programm und der Input in die initiale Bandkonfiguration kodiert werden.

Experimentelle Substrate

Die Autoren evaluieren ein „Zoo“ minimaler EM-Instanziierungen, um die Lebensfähigkeit des Frameworks ohne das Engineering einer einzelnen kompetitiven Architektur zu testen:

EM43: Ein 1D diskreter zellulärer Automat mit 4 Zuständen pro Zelle und einer Lookup-Table-Regel.
GoL-EM: Conways Game of Life (fixe Regel), wobei nur die initiale Glider-Konfiguration (Programm) optimiert wird.
CEM1D: Ein kontinuierlich wertiger 1D-Gitter mit einer lokalen Differentialgleichungs-Update-Regel.
CEM2D: Ein kontinuierliches 2D-Gitter mit schnellen Aktivierungs- und langsamen Speicherfeldern, featuring trainierbare Port-Positionen.

Zentrale Ergebnisse

1. Arithmetische Extrapolation (EM43)

Aufgabe: Lernen einfacher ganzzahliger Funktionen ( $x+1, 2x, x \mod 4, \text{round}(x/3)$ ), trainiert auf $[0, 30]$ und getestet auf $[30, 1000]$ .
Leistung: EM43 erreichte eine 100%ige Exact-Match-Genauigkeit bei allen Single-Input-Aufgaben, einschließlich periodischer Funktionen wie $x \mod 4$ und oszillierender Funktionen wie $x \cdot (1 + x \mod 2)$ .
Beobachtung: Die Modelle zeigten „geometrisches Grokking“, wobei die Generalisierung durch stabile, interpretierbare Raum-Zeit-Muster (z. B. verschiebende Marker) realisiert wurde, die auch bei steigenden Input-Skalen gültig blieben.
Limitierung: Die Zwei-Input-Multiplikationsaufgabe ( $a \cdot b$ ) konnte innerhalb des Rechenbudgets nicht konvergieren, was auf aktuelle Suchbeschränkungen oder Ausdrucksstärke-Constraints hindeutet.
Effizienz: Die erfolgreichen Modelle verwendeten nur 70–110 Parameter (140–220 Bits an Information), trainiert an lediglich 30 Beispielen.

2. Kontrollaufgaben (GoL-EM & CEM1D)

CartPole:
- GoL-EM: Erzielte Returns deutlich über Random-Baselines (Mittelwert ~171, Bestwert ~417), kämpfte aber mit Robustheit (54,5 % Non-Halting-Rate) und Zustandsretention aufgrund von Trümmerakkumulation.
- CEM1D: Ein kontinuierliches 1D-Modell mit Zustandsretention erreichte Returns nahe dem Maximum (734.93) und übertraf GoL-EM. Es verließ sich jedoch stark auf die Winkelgeschwindigkeit und versäumte es, die Wagenposition effektiv zu integrieren, wodurch es schließlich aus den Grenzen driftete.
Meta-Life (Adaption):
- Aufgabe: Agenten müssen Nahrung suchen oder Gift vermeiden in einer sich ändernden Umgebung ohne Vorwissen über die Phase.
- Ergebnisse: Sowohl das CEM2D als auch eine dichte speicheraugmentierte RNN-Baseline (mRNN) erreichten hohe Meta-Scores, was auf erfolgreiche Online-Adaption hindeutet.
- Vergleich: Das mRNN konvergierte schneller und erzielte leicht höhere Scores (0,82 vs. 0,71). CEM2D benötigte längeres Training, zeigte aber, dass lokale kontinuierliche Dynamiken Speicher und Adaption unterstützen können.
- Fehlermodi: Beide Modelle zeigten „rotierende Attraktoren“ (Drehen auf der Stelle), wenn Ressourcen knapp waren – ein Versagen, das auf die abnehmenden Grenzerträge des Trainingsziels und die Schwierigkeit zurückgeführt wurde, aus einem festgefahrenen Zustand zu entkommen.

Zentrale Beiträge

Formalisierung von Emergenten Modellen: Ein rigoroses Framework, das dynamische Systeme als ML-Modelle behandelt, bei denen das „Programm“ ein Initialzustand in einem latenten Raum ist, entkoppelt von der fixen Update-Regel und dem Interface.
Beweis der Latenten Universalität: Ein theoretischer Beweis, dass ein fixes Substrat und Interface jede berechenbare Funktion allein durch Variation des initialen Programmzustands berechnen können, was eine notwendige Bedingung für globale Expressivität etabliert.
Empirische Validierung minimaler Substrate: Demonstration, dass lokale-rekursive Berechnung im Maßstab von zehn bis hunderten von Parametern exakte Extrapolation auf arithmetischen Aufgaben erreichen und Kontroll- sowie Adaptionsverhalten unterstützen kann, was die Annahme in Frage stellt, dass massive Parameterzahlen für Generalisierung erforderlich sind.
Geometrisches Grokking: Identifizierung eines Phänomens, bei dem Generalisierung als stabile, interpretierbare geometrische Muster in der Raum-Zeit-Evolution des Substrats manifestiert wird, statt als opake Gewichtsanpassungen.
Die $q$ -Ratio-Konjektur: Eine Hypothese, dass das Verhältnis von Parametern zur zeitlichen Tiefe ( $q = N_{params} / \bar{T}$ ) den Trade-off zwischen Generalisierung und Trainierbarkeit bestimmt. Niedriges $q$ (einfache Regeln, tiefe Iteration) begünstigt algorithmische Kompression und Extrapolation, erzeugt aber irreguläre Suchlandschaften; hohes $q$ (große Netzwerke, flache Iteration) begünstigt Memorierung.

Bedeutung und Ansprüche

Das Paper positioniert sich als fundamentale Arbeit und nicht als Vorschlag für eine kompetitive Architektur. Seine primäre Bedeutung liegt in:

Erweiterung des Designraums: Über differentiable Feed-Forward-Maps hinausgehen, um einfache, offen endende, physikähnliche Substrate zu explorieren.
Neudefinition von Intelligenz: Den Vorschlag, dass Intelligenz aus der Interaktion einfacher lokaler Regeln und Initialbedingungen (einer „künstlichen Physik“) entstehen kann, statt aus dem expliziten Engineering neuronaler Architekturen.
Bescheidene Ansprüche: Die Autoren betonen explizit, dass ihre Modelle noch nicht mit ausgereiften aufgabenspezifischen Methoden konkurrieren können. Sie räumen Einschränkungen in der Trainingseffizienz, der Skalierbarkeit der Suche (insbesondere für komplexe Aufgaben wie Multiplikation) und der Robustheit in Kontrollsettings ein.
Zukünftige Richtungen: Die Arbeit ruft nach der Realisierung des latent-universellen Regimes in der Praxis und der Entwicklung von Optimierungsmethoden, die speziell auf die nicht-konvexen, nicht-lokalen Landschaften von Low- $q$ -rekursiven Modellen zugeschnitten sind.

Das Paper schließt mit der Feststellung, dass die aktuelle Leistungsfähigkeit lokaler-rekursiver Modellierung mit dem Deep Learning vor zwei Jahrzehnten vergleichbar ist, die Fähigkeit winziger Substrate zu extrapolieren und zu adaptieren jedoch einen vielversprechenden, unterexplorierten Pfad zu effizienter und generalisierbarer maschineller Intelligenz darstellt.