🧬 biology

Emergent Generalization by Representation Learning in Artificial Neural Networks

Diese Arbeit zeigt, dass das Erzwingen niedrigdimensionaler Repräsentationen in künstlichen neuronalen Netzen mittels eines Information Bottlenecks essenziell für das Erreichen von Generalisierung ist, ein Prozess, der durch nicht-monotone kausale Emergente-Dynamiken charakterisiert wird, welche jene in der hippocampalen Aktivität von Mäusen beim Erlernen komplexer Aufgaben widerspiegeln, wodurch die funktionale und kausale Rolle emergenter Repräsentationen in der Kognition gestützt wird.

Ursprüngliche Autoren: Hardik Rajpal, Dan Goodman

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hardik Rajpal, Dan Goodman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Zukunft vorherzusagen. Aber hier ist der Clou: Der Roboter ertrinkt in einem Meer aus Rauschen. Jede Sekunde erhält er eine massive, chaotische Flut von Daten – wie der Versuch, das Wetter vorherzusagen, während man direkt in ein Schneegestöber aus statischem Rauschen auf einem Fernseher starrt. Dies ist das Problem, mit dem Wissenschaftler bei hochdimensionalen Daten konfrontiert sind, sei es von einem Computer oder einem Gehirn.

Die große Frage ist: Wie lernt ein System, das reale Muster unter all diesem Rauschen zu erkennen? Lernt es einfach nur das Rauschen auswendig, oder findet es eine verborgene, einfachere Landkarte?

Der magische Engpass

In dieser Studie bauten die Forscher eine spezielle Art von Robotergehirn (ein neuronales Netz), um ein Zeitreihen-Vorhersagespiel zu lösen. Sie fütterten es mit Daten, die von komplexen, wirbelnden mathematischen Formen namens „Attraktoren“ generiert wurden (denken Sie an unsichtbare, rotierende Tanzflächen, auf denen sich Punkte in spezifischen Mustern bewegen).

Der Roboter musste den nächsten Schritt der Tanzfläche erraten. Aber es gab einen Haken: Die Daten waren verzerrt. Der Roboter sah die Tanzfläche durch eine zufällige, sich ständig verändernde Linse (eine „zufällige orthogonale Projektion“), was den Tanz jedes Mal völlig anders aussehen ließ, obwohl die zugrunde liegenden Bewegungen dieselben waren.

Die Forscher entdeckten, dass der Roboter, um den Tanz tatsächlich zu lernen und ihn korrekt vorherzusagen – selbst wenn sich die Tanzfläche änderte oder die Linse verschob –, einen „Engpass“ (Bottleneck) benötigte.

Stellen Sie sich diesen Engpass wie einen schmalen Flur auf einer überfüllten Party vor. Wenn alle gleichzeitig durch den Flur stürmen wollen, herrscht Chaos. Aber wenn der Flur schmal ist, werden die Menschen gezwungen, sich zusammenzudrängen, ihre schweren Mäntel (das irrelevante Rauschen) abzustreifen und in einer engen, organisierten Gruppe hindurchzugehen. Der Roboter zwang seine Daten durch diesen engen Flur und lernte so einen kompakten, niedrigdimensionalen „Geheimcode“ des Tanzes. Ohne diesen Engpass hätte der Roboter lediglich das spezifische Rauschen der Trainingsdaten auswendig gelernt und wäre bei einer Änderung des Spiels komplett gescheitert. Mit dem Engpass lernte er das Wesen des Tanzes, was es ihm ermöglichte, Bewegungen vorherzusagen, die er noch nie zuvor gesehen hatte.

Die „Grokking“-Achterbahnfahrt

Hier wird es wirklich seltsam und cool. Man könnte denken, dass der Roboter, während er besser darin wird, vorherzusagen, einfach immer klüger wird, in einer geraden Linie. Aber die Forscher fanden etwas Überraschendes heraus: Der interne „Geheimcode“ des Roboters durchlief eine Achterbahnfahrt.

Sie maßen etwas, das man „kausale Emergenz“ nennt. Stellen Sie sich einen Vogelschwarm vor. Wenn man einen einzelnen Vogel betrachtet, kann man nicht vorhersagen, wohin der Schwarm als Nächstes fliegt. Aber wenn man die Mitte des Schwarms betrachtet (die „Makro-Perspektive“), kann man den zukünftigen Pfad viel besser vorhersagen als durch die Summe aller einzelnen Vögel. Das ist Emergenz: Das Ganze ist mächtiger als die Summe seiner Teile.

Während der Roboter trainierte, wurde sein interner Code nicht einfach nur besser; er durchlief drei deutliche Phasen:

Die Memorierungsphase: Zu Beginn wurde der interne Code des Roboters tatsächlich schlechter darin, ein einheitliches, prädiktives Ganzes zu sein. Er war damit beschäftigt, die spezifischen Details der Trainingsdaten auswendig zu lernen.
Der Tiefpunkt: Er erreichte einen Tiefpunkt, an dem die „Emergenz“ ihr Minimum hatte.
Der Aufstieg: Plötzlich, nach einem gewissen Punkt, nahm der Code eine neue Form an. Er wurde hochgradig organisiert und prädiktiv. Dies geschah, obwohl die Fehlerrate des Roboters die ganze Zeit über stetig sank.

Dieses „Tief und Steigen“-Muster ist das, was die Autoren eine nicht-monotone Trajektorie nennen. Es deutet darauf hin, dass ein System, um wirklich zu generalisieren (also die Regel statt nur das Beispiel zu lernen), eine Phase des „Entlernens“ des Rauschens durchlaufen muss, bevor es eine kraftvolle, emergente Struktur aufbauen kann. Die Arbeit legt nahe, dass dies mit einem Phänomen namens „Grokking“ zusammenhängt, bei dem ein Modell nach einer Phase scheinbarer Verwirrung plötzlich „es versteht“.

Die Maus-Verbindung

Der spannendste Teil? Die Forscher hörten nicht beim Roboter auf. Sie untersuchten echte Mäuse.

Sie beobachteten Mäuse, die durch ein W-förmiges Labyrinth liefen und lernten, Nahrung zu finden, indem sie ihren Pfad abwechselnd anpassten. Sie zeichneten die elektrische Aktivität von Neuronen in zwei Hirnarealen auf: CA1 (Teil des Hippocampus, dem GPS des Gehirns) und dem medialen PFC (beteiligt an der Entscheidungsfindung).

Als sie die Gehirnaktivität der Mäuse mit derselben „Emergenz“-Mathematik analysierten, sahen sie exakt dieselbe Achterbahnfahrt. Während die Mäuse das Labyrinth über 8 Trainingseinheiten hinweg lernten, sank die „Emergenz“ in ihrer Gehirnaktivität zuerst und stieg dann signifikant an. Dieser Anstieg geschah bevor die Mäuse ihren endgültigen Leistungssprung vollzogen.

Dies deutet darauf hin, dass das Gehirn, genau wie der Roboter, diese kompakten, emergenten „neuronalen Mannigfaltigkeiten“ (die verborgenen Karten) aufbauen muss, um komplexe Aufgaben zu bewältigen. Es ist nicht nur ein Nebenprodukt; es sieht wie ein notwendiger Schritt im Lernprozess aus.

Was dies bedeutet (und was es nicht bedeutet)

Die Arbeit liefert ein starkes Argument dafür, dass das Erlernen einer kompakten, niedrigdimensionalen Repräsentation eine funktionale Superkraft für die Generalisierung ist. Sie zeigt, dass ein System ohne diese Kompression beim Auswendiglernen von Rauschen stecken bleibt.

Die Autoren sind jedoch vorsichtig, nicht zu übertreiben. Sie stellen explizit fest, dass sie nicht beweisen, dass Kompression immer notwendig für die Generalisierung ist (andere Studien haben gezeigt, dass Netzwerke auch ohne sie generalisieren können). Sie merken auch an, dass ihr Robotermodell zwar perfekt funktionierte, es sich aber um eine Simulation handelt, und wir noch nicht genau wissen, welche biologischen „Plastizitätsmechanismen“ (die physischen Änderungen der Verschaltung) es realen Gehirnen ermöglichen, dies zu tun.

Darüber hinaus kann das Robotermodell zwar den nächsten Schritt vorhersagen, ist aber noch nicht in der Lage, als vollwertiges generatives Modell zu fungieren, das neue Szenarien eigenständig erschafft.

Das Faz-it

Die Studie legt nahe, dass wahre Intelligenz – ob in Silizium oder in Biologie – eine spezifische Art von „Aha!“-Moment erfordert. Es geht nicht nur darum, die richtige Antwort zu finden; es geht darum, seine innere Welt in eine einfachere, mächtigere Karte umzuorganisieren, die auch dann funktioniert, wenn sich die Regeln des Spiels ändern. Das Gehirn (und kluge Roboter) müssen vielleicht eine Phase der Verwirrung und Reorganisation durchlaufen, um diese „neuronalen Mannigfaltigkeiten“ aufzubauen, die als das Geheimrezept für das Verständnis der Welt dienen.

Technisches Resümee: Emergente Generalisierung durch Repräsentationslernen in künstlichen neuronalen Netzen

Problemstellung
Die Arbeit adressiert eine langjährige Debatte in den Neurowissenschaften hinsichtlich der funktionalen Relevanz von „neuronalen Manifolds“ – jenen niedrigdimensionalen Strukturen, die der hochdimensionalen neuronalen Aktivität zugrunde liegen. Während Techniken zur Dimensionsreduktion erfolgreich solche Manifolds in verschiedenen Hirnregionen und Spezies identifiziert haben, bleibt umstritten, ob diese Strukturen lediglich deskriptive Epiphänomene der Neuronenaktivität sind oder ob sie einen kausalen, funktionalen Vorteil für das Lernen und die Generalisierung bieten. Konkret untersuchen die Autoren, ob die Fähigkeit eines Lernsystems, niedrigdimensionale Repräsentationen aus hochdimensionalen Eingaben zu extrahieren, einen funktionalen Nutzen für die Generalisierung auf Out-of-Distribution (OOD)-Daten bietet und ob solche Repräsentationen eine „kausale Emergenz“ aufweisen.

Methodik
Die Autoren verwenden einen hybriden Ansatz, der Simulationen mit künstlichen neuronalen Netzen (ANN) mit der Analyse biologischer neuronaler Daten kombiniert.

Synthetische Aufgabe und Architektur:
- Aufgabe: Eine Zeitreihen-Vorhersageaufgabe, bei der das Netzwerk den nächsten Zeitschritt eines hochdimensionalen Inputs $X_t$ vorhersagen muss. Dieser Input wird generiert, indem ein niedrigdimensionales latentes dynamisches System $x_t$ (z. B. Lorenz-, Rössler- oder Sprott-Attraktoren) mittels einer zufälligen orthogonalen Projektion $R$ in einen hochdimensionalen Raum projiziert wird, wobei zusätzlich Rauschen hinzugefügt wurde.
- Architektur: Eine modifizierte Reservoir-Computing-Architektur (RC). Sie besteht aus einer fixierten rekurrenten Reservoir-Schicht, einer trainierbaren Bottleneck-Schicht (der Fokus des Repräsentationslernens) und einer linearen Ridge-Regression-Readout-Schicht. Die Bottleneck-Schicht wird mittels Backpropagation trainiert, um eine niedrigdimensionale, prädiktive latente Repräsentation zu lernen, während die Readout-Schicht darauf trainiert wird, den mittleren quadratischen Fehler (MSE) zu minimieren.
- Generalisierungstests: Das Modell wird auf einem Teilbereich der dynamischen Systeme trainiert und getestet auf: (a) zufälligen orthogonalen Rotationen der Trainingsattraktoren sowie (b) gehaltenen (held-out) dynamischen Systemen, die im Vergleich zu den Trainingsdaten OOD sind.
- Komplexitätskontrolle: Die Komplexität der Aufgabe wird durch Subsampling der Zeitreihen moduliert, um $N_{\tau}$ Zeitschritte beizubehalten, bevor die Autokorrelation unter $1/e$ fällt.
Informationstheoretische Maße:
- Kausale Emergenz ( $\Psi$ ): Die Autoren nutzen das $\Psi$ -Maß (Rosas et al., 2020), um die kausale Emergenz zu quantifizieren. Es ist definiert als die Differenz zwischen der makroskopischen Prädiktivität (gegenseitige Information zwischen dem grobkörnigen Zustand $V_t$ und seinem zukünftigen Zustand $V_{t+1}$ ) und der Summe der mikroskopischen Prädiktivitäten (Summe der gegenseitigen Information zwischen einzelnen Reservoir-Neuronen $Y^i_t$ und deren Zukunft). Ein positives $\Psi$ zeigt an, dass der Makrozustand prädiktiver ist als die Summe seiner Teile.
- Information Bottleneck (IB): Der IB-Loss ( $I(Y_t; V_t) - \beta I(V_t; X_{t+1})$ ) wird verwendet, um den Trade-off zwischen der Kompression von Input-Informationen und dem Erhalt von prädiktiven Informationen zu verfolgen.
Biologische Datenanalyse:
- Datensatz: Neuronale Spiking-Aktivität, die im dorsalen CA1 und im medialen Präfrontalkortex (PFC) von Mäusen während einer räumlichen Alternation-Aufgabe im W-Maze aufgezeichnet wurde (8 Mäuse, 8+ Trainingssitzungen).
- Analyse: Vorverarbeitete Feuerraten wurden in einen einfachen linearen Bottleneck-Encoder mit einem Ridge-Decoder eingespeist, um den nächsten Zeitschritt von Verhaltensvariablen (Position und Geschwindigkeit) vorherzusagen. Das $\Psi$ -Maß wurde für die Bottleneck-Zustände über die Trainingssitzungen hinweg geschätzt, um dessen Entwicklung relativ zur Verhaltensleistung und zum Vorhersagefehler zu verfolgen.

Kernergebnisse

Notwendigkeit von Bottlenecks für die Generalisierung:
- Netzwerke ohne eine Bottleneck-Schicht konnten die Trainingsdaten zwar lernen, scheiterten jedoch bei der Generalisierung auf zufällige Rotationen der Trainingsattraktoren oder auf gehaltene OOD-dynamische Systeme.
- Das Vorhandensein einer Bottleneck-Schicht ermöglichte es dem Netzwerk, eine rotationsinvariante Repräsentation der latenten Zustände zu lernen, was eine erfolgreiche Generalisierung sowohl auf rotierte Trainingsdaten als auch auf völlig neue dynamische Systeme erlaubte.
- Die Generalisierungsleistung war robust gegenüber verschiedenen dynamischen Systemen und hing primär von der Aufgabenkomplexität (gesteuert durch $N_{\tau}$ ) ab, nicht vom spezifischen gelernten Attraktor.
Nicht-monotoner Verlauf der kausalen Emergenz:
- Während der Vorhersageverlust (MSE) während des Trainings monoton sank, zeigte das Maß der kausalen Emergenz ( $\Psi$ ) einen nicht-monotonen Verlauf.
- Phase 1 (Memorierung): $\Psi$ sank zu Beginn des Trainings zunächst ab.
- Phase 2 (Transition): $\Psi$ erreichte ein Minimum.
- Phase 3 (Generalisierung): $\Psi$ stieg anschließend während der Generalisierungsphase auf ein Maximum an.
- Dieser Verlauf spiegelt das „Grokking“-Phänomen wider, das in anderen Kontexten beobachtet wurde, bei dem ein Übergang von der Memorierung zur Generalisierung durch eine strukturelle Änderung der Repräsentation gekennzeichnet ist. Das Ausmaß der emergenten Struktur sagte die Generalisierungsleistung zuverlässig voraus.
Korrelation mit der Generalisierung:
- Der Grad der kausalen Emergenz korrelierte positiv mit der Fähigkeit des Netzwerks, auf OOD-Daten zu generalisieren.
- Eine Dekomposition des $\Psi$ -Maßes zeigte, dass Generalisierung mit hoher makroskopischer Prädiktivität (Stabilität der Repräsentation) und niedriger mikroskopischer Prädikativität (hochgradig verteilte Repräsentationen, bei denen keine einzelne Komponente den Makrozustand vorhersagt) assoziiert ist.
- Der Übergang zu hoher Emergenz ging der Minimierung des Information-Bottleneck-Losses voraus, was darauf hindeutet, dass die Entstehung von Struktur ein Vorläufer optimaler Kompression und Generalisierung ist.
Biologische Validierung:
- Die Analyse der CA1- und medialen PFC-Daten von Mäusen offenbarte ein ähnliches nicht-monotones Verhalten des Maßes der kausalen Emergenz während des räumlichen Lernens.
- Das Maß der Emergenz sank zunächst und stieg in späteren Trainingssitzungen wieder an. Entscheidend war, dass das Minimum der Emergenz dem Minimum des Vorhersagefehlers (MSE) und dem Peak in der Verhaltensleistung signifikant vorausging, was die Dynamik im künstlichen Netzwerk widerspiegelt.

Bedeutung und Behauptungen
Die Arbeit argumentiert, dass die Fähigkeit, kompakte, verteilte und emergente Repräsentationen zu lernen, einen funktionalen Vorteil für die Generalisierung in Lernsystemen bietet. Durch den Nachweis, dass kausale Emergenz in einem kontrollierten synthetischen Setting eine notwendige Bedingung für die OOD-Generalisierung ist, und durch die Beobachtung analoger nicht-monotoner Emergenz-Dynamiken in biologischen neuronalen Netzen während des Lernens, stützen die Autoren eine kausale Rolle gelernter Repräsentationen für die Kognition.

Die Ergebnisse legen nahe, dass neuronale Manifolds nicht bloß deskriptive Zusammenfassungen sind, sondern kausal emergente Strukturen darstellen können, die die prädiktive Kraft erhöhen. Die Studie postuliert, dass das Lernen dieser emergenten Manifolds ein Schlüsselmerkmal des Lernens in biologischen neuronalen Netzen ist und eine funktionale Erklärung dafür liefert, warum Gehirne dazu tendieren, hochdimensionale Aktivität in niedrigdimensionale, emergente Strukturen zu organisieren. Die Autoren bleiben hinsichtlich mechanistischer Erklärungen bescheiden und merken an, dass sie zwar den funktionalen Vorteil identifiziert haben, die spezifischen Plastizitätsmechanismen, die dies in biologischen Gehirnen ermöglichen, jedoch eine offene Frage für zukünftige Arbeiten bleiben.