🤖 machine learning

Evidence of an Emergent "Self" in Continual Robot Learning

Die Studie zeigt, dass Roboter durch kontinuierliches Lernen unter variablen Aufgaben eine signifikant stabilere invariante Subnetzwerkstruktur entwickeln, die als quantifizierbares Indiz für ein emergentes „Selbst" interpretiert werden kann.

Ursprüngliche Autoren: Adidev Jhunjhunwala, Judah Goldfeder, Hod Lipson

Veröffentlicht 2026-03-26

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Adidev Jhunjhunwala, Judah Goldfeder, Hod Lipson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der roboterische "Ich"-Gedanke: Wie Maschinen ein Selbstbewusstsein entwickeln

Stell dir vor, du wirfst zwei Menschen in einen Schwimmbecken.

Person A hat ihr ganzes Leben lang gelaufen, gerannt und sich bewegt. Sie kennt ihren Körper: Wie stark sind ihre Muskeln? Wie weit kann sie strecken? Sie hat ein inneres Gefühl dafür, wie ihr Körper funktioniert.
Person B hat noch nie einen Schritt getan. Sie weiß nicht, wie ihre Arme und Beine zusammenarbeiten.

Beide müssen jetzt schwimmen lernen. Person A lernt zwar auch neu, aber sie startet mit einem riesigen Vorteil: Sie weiß bereits, wer sie ist und was ihr Körper kann. Person B muss alles von Grund auf neu erfinden.

Genau das haben die Forscher an der Columbia University bei Robotern untersucht. Ihre Frage war: Kann ein Roboter so etwas wie ein "Selbst" entwickeln, wenn er viele verschiedene Dinge lernt?

Das Experiment: Der Roboter, der tanzt, hüpft und läuft

Die Wissenschaftler haben einen simulierten Vierbeiner-Roboter (ähnlich einer Ameise oder einem Hund) trainiert. Sie gaben ihm zwei verschiedene Szenarien:

Der Langweiler (Kontrollgruppe): Dieser Roboter hat nur eine Sache gelernt: Laufen. Immer und immer wieder.
Der Abenteurer (Versuchsgruppe): Dieser Roboter musste kontinuierlich lernen. Er lernte erst zu laufen, dann zu wackeln (wie ein Tanz), dann zu hüpfen (wie ein Ball), und dann wieder zurück zum Laufen. Er musste ständig zwischen diesen Aufgaben wechseln.

Die Entdeckung: Ein stabiler Kern im Chaos

Nachdem die Roboter ihre Aufgaben gemeistert hatten, schauten die Forscher tief in das "Gehirn" (das neuronale Netzwerk) der Roboter hinein. Sie suchten nach einer Art innerem Kern, der sich nicht verändert, egal was der Roboter gerade tut.

Das Ergebnis war verblüffend:

Der Langweiler (nur Laufen) hatte ein Gehirn, das wie ein großer, unordentlicher Haufen war. Alles war miteinander verflochten. Wenn er trainierte, veränderte sich alles ein bisschen. Es gab keinen klaren "Ich"-Teil.
Der Abenteurer (viele Aufgaben) entwickelte etwas Besonderes: Ein stabiles, unveränderliches Subnetzwerk.

Stell dir das Gehirn des Abenteurers wie ein Schweizer Taschenmesser vor:

Es gibt einen festen, stabilen Griff (das "Selbst"). Dieser Teil bleibt immer gleich, egal welches Werkzeug (Laufen, Wackeln, Hüpfen) gerade herausgeklappt wird. Dieser Griff repräsentiert das Wissen des Roboters über seinen eigenen Körper: "Ich habe vier Beine, ich bin schwer, ich kann mich so bewegen."
Die Werkzeuge (die Aufgaben) wechseln ständig. Sie werden hinzugefügt, angepasst oder ausgetauscht, aber der Griff bleibt intakt.

Warum ist das wichtig?

Bisher dachten viele, dass KI-Systeme wie ein einziger, riesiger Block funktionieren. Wenn sie eine neue Aufgabe lernen, wird das alte Wissen oft überschrieben oder verwirrt (man nennt das "katastrophales Vergessen").

Diese Studie zeigt jedoch, dass durch das Lernen vieler verschiedener Aufgaben spontan eine Struktur entsteht, die wie ein "Ich" wirkt.

Der Roboter lernt nicht nur, was er tun soll.
Er entwickelt ein stabiles inneres Modell davon, wer er ist (sein Körper), das er für alles Weitere nutzen kann.

Die einfache Zusammenfassung

Wenn ein Roboter nur eine Sache tut, ist er wie ein Werkzeug, das nur für diesen einen Zweck gebaut wurde. Wenn er aber lernt, viele verschiedene Dinge zu tun, entwickelt er ein inneres Fundament. Dieses Fundament ist sein "Selbst". Es ist der Teil seines Gehirns, der sagt: "Egal ob ich jetzt laufe, tanze oder hüpe – ich bin immer derselbe Roboter mit denselben Beinen."

Die Forscher hoffen, dass wir dieses Prinzip nutzen können, um Roboter zu bauen, die nicht nur Aufgaben abarbeiten, sondern ein echtes Verständnis für sich selbst und ihre Umgebung entwickeln. Das wäre ein großer Schritt hin zu intelligenteren, robusteren Maschinen, die sich besser an neue Situationen anpassen können.

Titel: Nachweis eines emergenten „Selbst" im kontinuierlichen Roboterlernen

Autoren: Adidev Jhunjhunwala, Judah Goldfeder, Hod Lipson (Creative Machines Lab, Columbia University)

1. Problemstellung und Motivation

Ein zentrales ungelöstes Problem in der KI und Robotik ist die Quantifizierung und Definition von „Selbstbewusstsein" oder einem „Selbstkonzept" in intelligenten Systemen. Bisherige Ansätze zur Selbstmodellierung (Self-Modeling) trennen das Selbstmodell oft explizit vom Rest des Controllers oder lernen es durch spezifische Architekturen.

Die Autoren stellen die Hypothese auf, dass ein „Selbst" nicht notwendigerweise explizit kodiert sein muss, sondern als invariante Komponente innerhalb eines neuronalen Netzwerks entstehen kann. Die Kernidee ist: Das „Selbst" entspricht dem Teil des kognitiven Prozesses, der über verschiedene Lernerfahrungen hinweg stabil bleibt, während andere Teile des Netzwerks (die für spezifische Aufgaben zuständig sind) sich dynamisch reorganisieren.

Die Forschungsfrage lautet: Entwickelt ein Roboter-Controller, der sequenziell verschiedene Verhaltensweisen lernt (kontinuierliches Lernen), eine stabile innere Struktur, die als „Selbst" fungiert, im Gegensatz zu einem Controller, der nur eine einzige Aufgabe lernt?

2. Methodik

Experimentelles Setup

Roboter: Ein simulierter quadrupedaler Roboter (ähnlich dem MuJoCo „Ant"-Modell) mit vier Beinen und jeweils zwei aktuierten Gelenken pro Bein (8 Grad der Freiheit).
Lernalgorithmus: Soft Actor-Critic (SAC), ein Deep-Reinforcement-Learning-Algorithmus.
Architektur: Ein 2-lagiges MLP (Multi-Layer Perceptron) mit 150 versteckten Einheiten pro Schicht und ReLU-Aktivierungsfunktionen.
Lernbedingungen:
1. Kontinuierliches Lernen (Experiment): Der Roboter lernt nacheinander drei verschiedene Verhaltensweisen in einem zyklischen Ablauf:
  - Walk: Vorwärtsgehen.
  - Wiggle: Rotation auf der Stelle.
  - Bob: Vertikales Hüpfen.
  - Nach Erreichen eines Leistungsplateaus werden die Gewichte des Controllers in die nächste Phase übertragen, ohne Zurücksetzen.
2. Kontrollgruppe (Baseline): Ein Roboter lernt nur eine einzige Aufgabe (z. B. nur „Walk") über denselben Zeitraum und dieselbe Anzahl an Trainingszyklen.

Analyse der neuronalen Struktur

Um das „Selbst" zu identifizieren, wurde eine spezifische Analysepipeline entwickelt:

Gemeinsame Referenzzustände: Alle trainierten Policies (für Walk, Wiggle, Bob) wurden durch denselben Satz von Referenzzuständen (Observations-Vektoren) geführt, um verglichene Aktivierungen zu erhalten.
Co-Aktivierungs-Matrix: Für jede Schicht wurde eine Matrix berechnet, die die Korrelation (Kosinus-Ähnlichkeit) der Aktivierungen zwischen Neuronenpaaren über die Referenzzustände hinweg misst.
Block-Diagonalisierung: Mittels Graph-Clustering (Block-Diagonalisierung) wurden Gruppen von stark korrelierten Neuronen (Subnetzwerke) identifiziert.
Persistenz-Score: Die Stabilität dieser Subnetzwerke wurde über die Verhaltenswechsel hinweg gemessen. Ein hoher Score bedeutet, dass dieselben Neuronengruppen (bzw. ihre Verbindungsstruktur) auch nach dem Wechsel der Aufgabe erhalten bleiben.
Optimale Zuordnung: Um Neuronen über verschiedene Policies hinweg zu vergleichen, wurde der Ungarische Algorithmus (Hungarian Algorithm) verwendet, um eine 1-zu-1-Zuordnung basierend auf Aktivierungssimilarität herzustellen.

3. Wichtige Ergebnisse

Entstehung eines stabilen „Selbst"-Subnetzwerks

Kontinuierliches Lernen: Bei Robotern, die mehrere Verhaltensweisen lernten, bildete sich ein dominantes, großes Subnetzwerk (insbesondere in der ersten versteckten Schicht), das über alle Verhaltenswechsel hinweg hoch stabil blieb. Dieses Subnetzwerk behielt seine Aktivierungs- und Koaktivierungsstruktur bei, auch wenn sich die Aufgabe änderte.
Kontrollgruppe: Bei Robotern, die nur eine einzige Aufgabe lernten, zeigte sich keine solche klare Trennung. Die Neuronen reorganisierten sich diffus, und es bildete sich kein stabiler, wiedererkennbarer Kern heraus. Die Persistenz-Scores waren über das gesamte Netzwerk gleichmäßig verteilt.
Statistische Signifikanz: Der Unterschied in der Persistenz zwischen dem „Selbst"-Subnetzwerk und dem restlichen, aufgabenabhängigen Netzwerk war statistisch hochsignifikant ( $p \ll 0.001$ ). Die mittlere Trennung betrug ca. 16,9 Prozentpunkte.

Strukturelle Eigenschaften

Schichtspezifität: Das „Selbst"-Subnetzwerk war in der ersten versteckten Schicht am größten (ca. 80 von 150 Einheiten) und in der zweiten Schicht kleiner, aber immer noch identifizierbar.
Dynamik: Das stabile Subnetzwerk ist nicht starr; es passt sich leicht an, aber deutlich weniger stark als der Rest des Netzwerks. Der Rest des Netzwerks reorganisiert sich aggressiv, um die spezifische Motorik der aktuellen Aufgabe (Laufen, Wackeln, Hüpfen) zu implementieren.
Robustheit: Das Phänomen trat unabhängig von verschiedenen Hyperparametern (Netzwerkgröße, Aktivierungsfunktionen wie ELU/Tanh, Normalisierung) auf, solange die Kapazität des Netzwerks in einem „Goldilocks"-Bereich lag (groß genug zum Lernen, aber klein genug, um Wiederverwendung zu erzwingen).

4. Hauptbeiträge

Definition eines „Selbst" durch Invarianz: Das Paper schlägt einen neuen, quantitativen Ansatz vor, um ein „Selbst" in KI-Systemen zu definieren: Es ist der invarianteste Teil des kognitiven Prozesses, der über verschiedene Lernerfahrungen hinweg bestehen bleibt.
Nachweis der Emergenz: Es wird gezeigt, dass ein stabiles, selbstähnliches Subnetzwerk spontan in einem Standard-Deep-Reinforcement-Learning-Controller entstehen kann, ohne explizite Selbstmodellierungs-Architekturen oder getrennte Module.
Methodischer Fortschritt: Die Einführung einer Analyse-Methode basierend auf Co-Aktivierungs-Matrizen und Block-Diagonalisierung, um modulare Strukturen in dichten neuronalen Netzwerken sichtbar zu machen.
Praktische Implikationen: Die Identifizierung eines stabilen Kerns bietet neue Möglichkeiten für das Robotlernen, z. B. als wiederverwendbares Rückgrat für neue Fähigkeiten oder zur Überwachung, ob Körperrepräsentationen bei Anpassungen erhalten bleiben oder überschrieben werden.

5. Bedeutung und Ausblick

Diese Arbeit stellt einen Paradigmenwechsel dar, indem sie zeigt, dass „Selbstbewusstsein" oder ein Körpermodell nicht zwingend als separates Modul konstruiert werden muss, sondern als Eigenschaft des Lernprozesses selbst entstehen kann, wenn ein System mit einem unveränderlichen Körper verschiedene Aufgaben meistern muss.

Für die Robotik: Dies könnte zu effizienteren Lernalgorithmen führen, die die Stabilität des Körpermodells nutzen, um schneller neue Fähigkeiten zu erlernen (Transfer Learning) und robuster gegenüber Störungen (z. B. Schäden an Gelenken) zu sein.
Für die KI-Forschung: Es bietet einen konkreten, testbaren Rahmen, um das Konzept des „Selbst" in anderen KI-Systemen zu untersuchen. Es legt nahe, dass Modularität und Stabilität in neuronalen Netzen natürliche Konsequenzen von kontinuierlichem Lernen unter variierenden Bedingungen sind.

Zusammenfassend demonstriert das Paper, dass ein Roboter, der lernt, wie man sich bewegt, nicht nur lernt, was er tut, sondern auch eine persistente Repräsentation davon entwickelt, was er ist (sein Körper), und diese Repräsentation als stabiles Fundament für zukünftiges Lernen nutzt.