🤖 machine learning

Learning to Theorize the World from Observation

Inspiriert von der entwicklungspsychologischen Kognitionswissenschaft führt diese Arbeit „Learning-to-Theorize" ein, ein Paradigma, das durch das Modell Neural Theorizer (NEO) realisiert wird und aus rohen, nicht-textuellen Beobachtungen explizite, ausführbare latente Programme ableitet, um eine generalisierende Erklärungsbildung zu ermöglichen.

Ursprüngliche Autoren: Doojin Baek, Gyubin Lee, Junyeob Baek, Hosung Lee, Sungjin Ahn

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Doojin Baek, Gyubin Lee, Junyeob Baek, Hosung Lee, Sungjin Ahn

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Vom „Raten" zum „Verstehen"

Stellen Sie sich vor, Sie beobachten einen Zauberer, der ein Kaninchen aus einem Hut zieht.

Aktuelle KI (Der Vorhersager): Die meisten modernen KI-Systeme sind wie ein superaufmerksames Publikum. Sie beobachten den Trick tausendmal und werden sehr gut darin zu raten: „Okay, wenn der Zauberer das nächste Mal mit der Hand winkt, erscheint ein Kaninchen." Sie sind hervorragend darin, die Zukunft vorherzusagen, aber sie wissen nicht wirklich, wie der Trick funktioniert. Wenn der Zauberer den Hut oder das Kaninchen ändert, gerät die KI in Verwirrung.
Der Ansatz dieses Papers (Der Theoretiker): Dieses Paper fragt: Was wäre, wenn die KI nicht nur das Kaninchen raten würde, sondern den Mechanismus herausfinden würde? Was wäre, wenn sie begriffe: „Aha, der Zauberer hat ein verstecktes Fach im Hut"? Das ist das Lernen, Theorien zu bilden. Anstatt nur das Ergebnis auswendig zu lernen, baut die KI eine interne „Theorie" (eine Reihe von Regeln) auf, die erklärt, warum Dinge geschehen.

Das Problem: Die „Black Box" versus das „Lego-Set"

Die Autoren argumentieren, dass aktuelle KI-Modelle wie Black Boxes sind. Sie nehmen eine Eingabe (ein Bild einer Katze) entgegen und geben eine Ausgabe (ein Bild eines Hundes) zurück, aber die Transformation im Inneren ist ein chaotischer, verwickelter Knoten aus Mathematik.

Der verwickelte Knoten: Wenn Sie der KI einen neuen Trick zeigen (z. B. einen Hund, der sich in eine Katze verwandelt), scheitert sie, weil sie nie die einzelnen Schritte gelernt hat; sie hat nur den spezifischen „Katze-zu-Hund"-Knoten auswendig gelernt.
Das Lego-Set: Die Autoren wollen, dass die KI lernt wie ein Kind, das mit Lego-Steinen spielt. Anstatt ein ganzes Schloss auswendig zu lernen, lernt das Kind die einzelnen Steine (Wände, Fenster, Dächer) und wie man sie zusammensteckt. Wenn das Kind ein neues Schloss sieht, kann es es bauen, weil es die Steine versteht, nicht weil es dieses spezifische Schloss auswendig gelernt hat.

Die Lösung: Der „Neural Theorizer" (NEO)

Um dies zu ermöglichen, entwickelten die Forscher ein neues KI-Modell namens NEO (Neural Theorizer). So funktioniert es, anhand einer Koch-Analogie:

Die Zutaten (Primitiva): Stellen Sie sich vor, Sie erhalten ein Video davon, wie ein Kuchen gebacken wird, aber Sie bekommen kein Rezept. Sie sehen nur, wie der rohe Teig zu einem Kuchen wird. Die Aufgabe von NEO ist es, die grundlegenden „Zutaten" oder „Bewegungen" herauszufinden (z. B. „mischen", „erhitzen", „Zucker hinzufügen"). Es kennt diese Wörter nicht im Voraus; es entdeckt sie selbstständig.
Das Rezept (Das Programm): Sobald NEO die grundlegenden Bewegungen gefunden hat, versucht es, sie in eine Sequenz (ein Programm) zu ordnen, die den Teig in den Kuchen verwandelt.
Die Regel des „kürzesten Wegs" (MDL): NEO folgt einer Regel namens Minimum Description Length (Minimale Beschreibungslänge). Stellen Sie sich dies als einen strengen Lektor vor. Wenn NEO den Kuchen mit drei Schritten erklären kann, wird es nicht zehn verwenden. Es versucht, das einfachste und effizienteste Rezept zu finden. Dies zwingt es, die wahren fundamentalen Bewegungen zu finden, anstatt komplizierte, unnötige Schritte zu erfinden.

Wie sie es testeten: Der „OTIB"-Benchmark

Um zu beweisen, dass dies funktioniert, erstellten sie einen Test namens OTIB (Observation-to-Theory Induction Benchmark). Sie gaben der KI keine Anweisungen, keine Labels oder „korrekten Antworten". Sie gaben ihr lediglich Paare aus „Vorher"- und „Nachher"-Bildern (wie eine Gitterwelt, in der sich ein Block bewegt, oder Zahlen, die multipliziert werden).

Sie testeten die KI auf drei Arten:

Das gleiche alte Zeug: Kann es einen Trick erklären, den es während des Trainings gesehen hat? (Einfach)
Die neue Mischung: Kann es einen Trick erklären, den es niemals gesehen hat, der aber aus denselben grundlegenden Bewegungen besteht? (z. B. Wenn es „Nach oben bewegen" und „Nach rechts bewegen" gelernt hat, kann es dann „Nach oben-rechts bewegen" herausfinden?)
Der lange Weg: Kann es einen Trick erklären, der viel länger ist als alles, was es zuvor gesehen hat? (z. B. Wenn es 3-Schritt-Tricks gelernt hat, kann es dann einen 10-Schritt-Trick herausfinden?)

Die Ergebnisse: Warum es wichtig ist

Die Ergebnisse waren klar:

Alte KI-Modelle: Sie waren großartig beim „gleichen alten Zeug", scheiterten aber völlig bei den neuen Mischungen und langen Tricks. Sie memorisierten lediglich Muster, statt die Regeln zu verstehen.
NEO (Der Theoretiker): Es glänzte bei den neuen Mischungen und langen Tricks. Da es die „Lego-Steine" (die Primitiva) entdeckt und gelernt hatte, wie man sie zusammensteckt, konnte es Erklärungen für Dinge erstellen, die es noch nie gesehen hatte.

Der „Aha!"-Moment:
Das Paper zeigt, dass NEO nicht nur die Antwort auswendig gelernt hat; es fand tatsächlich die verborgene „Grammatik" der Welt. Zum Beispiel stellte es bei einer Mathematikaufgabe fest, dass die Welt aus „mit 2 multiplizieren", „mit 3 multiplizieren" usw. besteht, obwohl es diese Wörter nie zu hören bekam. Anschließend nutzte es diese Bausteine, um komplexe Mathematikaufgaben zu lösen, denen es zuvor nie begegnet war.

Zusammenfassung

Dieses Paper stellt eine neue Art vor, wie KI lernen kann. Anstatt nur ein Wahrsager zu sein, der errät, was als Nächstes passiert, wird die KI zu einem Wissenschaftler. Sie beobachtet die Welt, zerlegt komplexe Ereignisse in einfache, wiederverwendbare Bausteine und schreibt ihre eigene „Theorie" (ein Programm), um zu erklären, wie die Welt funktioniert. Dies ermöglicht es ihr, neue, seltsame Situationen zu verstehen, indem sie die einfachen Regeln, die sie bereits kennt, neu kombiniert – genau wie ein menschliches Kind, das lernt, zu denken.

Technische Zusammenfassung: Lernen, die Welt aus Beobachtungen zu theorieren

1. Problemstellung

Zeitgenössische KI-Weltmodelle operationalisieren „Verstehen" primär als die Fähigkeit, zukünftige Zustände in latenten oder Beobachtungsräumen genau vorherzusagen. Die entwicklungspsychologische Kognitionswissenschaft legt jedoch nahe, dass menschliches Verstehen nicht allein aus Vorhersage entsteht, sondern aus dem Aufbau interner, wiederverwendbarer Theorien darüber, wie die Welt funktioniert, oft noch vor dem Spracherwerb. Diese „Theorie-Theorie" besagt, dass Kognition das Entdecken strukturierter, kompositioneller Erklärungen für beobachtete Phänomene umfasst.

In aktuellen KI-Systemen besteht eine kritische Lücke: Sie sind auf Vorhersage oder Rekonstruktion optimiert und lernen häufig verflochtene, zusammengesetzte Transformationen, die Korrelationen erfassen, aber die für systematische Generalisierung notwendige kompositionelle Struktur fehlt. Diese Modelle scheitern daran, explizite, wiederverwendbare Mechanismen zu entdecken, die erklären, wie und warum Beobachtungen generiert werden, was sie bei Verteilungsverschiebungen oder bei neuen Kombinationen bekannter Faktoren brüchig macht.

Das zentrale behandelte Problem lautet: Kann ein künstliches System ausschließlich durch Beobachtung roher, nicht-textueller sensorischer Eingaben explizite erklärende Theorien der Welt konstruieren, ohne sich auf Sprache, Aufgabenlabels oder Ground-Truth-Programmaufsicht zu stützen?

2. Methodik: Lernen-zu-theorisieren (L2T) und NEO

Die Autoren schlagen Learning-to-Theorize (L2T) vor, ein Lernparadigma, bei dem Modelle ausführbare, kompositionelle Programme (Theorien) aus rohen Beobachtungspaaren $(x, y)$ ableiten. Eine Theorie wird als eine Sequenz wiederverwendbarer primitiver Operationen definiert, die eine Quellbeobachtung $x$ in ein Ziel $y$ transformieren.

Um L2T zu realisieren, führt die Arbeit das Neural Theorizer (NEO) ein, ein probabilistisches neuronales Modell mit folgenden Kernkomponenten:

2.1. Probabilistischer Rahmen

NEO modelliert die bedingte Wahrscheinlichkeit $p_\theta(y | x)$ durch die Einführung latenter Variablen: ein diskretes Programm $\tau$ (eine Sequenz von Primitiven) und eine Ausführungsverfolgung $s$ . Das Modell geht von einem generativen Prozess aus, bei dem ein Encoder $x$ auf einen initialen latenten Zustand abbildet, ein „Theory Programmer" sequenziell Primitiven auswählt und ein gemeinsamer Übergangsmodell diese Primitiven ausführt, um einen finalen Zustand zu erzeugen, der decodiert wird, um $y$ zu rekonstruieren.

2.2. Gelernte Sprache des Denkens

Anstatt eine vordefinierte symbolische Sprache zu verwenden, lernt NEO eine Sprache des Denkens direkt aus den Daten.

Primitiven: Das Modell induziert ein diskretes Vokabular von Operationen über einen Vektor-quantisierten VQ-VAE-Codebuch. Diese Primitiven haben keine vordefinierte Semantik; ihre Bedeutung ergibt sich daraus, wie sie latente Zustände transformieren.
Komposition: Der Theorie-Programmierer $q_\phi(z_{ik} | s_k, y)$ fungiert als zielkonditionierte Policy, die das nächste Primitiv auswählt, um den latenten Zustand zum Ziel $y$ zu steuern. Dies ermöglicht dem Modell, Primitiven zu strukturierten Programmen zu komponieren, ohne explizite Aufsicht.

2.3. Prinzip der minimalen Beschreibungslänge (MDL)

Um eine Überzerlegung (Erstellung unnötig langer Programme) zu verhindern und die Entdeckung der am meisten wiederverwendbaren Primitivensätze zu fördern, wendet NEO das MDL-Prinzip an. Das Modell wählt eine optimale Programmlänge $k^*$ aus, die Rekonstruktionsgenauigkeit mit Programmkürze ausbalanciert:
$k^* = \arg \min_{k} \lambda_{MDL}^k \cdot \ell(y, \hat{y}_k)$
Dieser Mechanismus motiviert das Modell, die kürzeste genaue Erklärung zu finden und begünstigt natürlich die Entdeckung fundamentaler Primitiven gegenüber dem Auswendiglernen verflochtener Sequenzen.

2.4. State Grounding (Verankerung von Zuständen)

Eine Schlüsselinnovation ist State Grounding. Um sicherzustellen, dass intermediate latente Zustände gültigen Beobachtungen entsprechen (und verhindert wird, dass das Modell „Shortcut"-Übergänge lernt, die vom Datenmanifold abweichen), erzwingt NEO einen Decode-Encode-Konsistenzverlust auf intermediate Zustände. Dies stellt sicher, dass jeder Schritt im abgeleiteten Programm eine sinnvolle Transformation innerhalb des gelernten latenten Raums darstellt.

2.5. Inferenz und Skalierung zur Testzeit

Zur Testzeit leitet NEO eine Theorie ab, indem es iterativ Primitiven auswählt, bis der Rekonstruktionsfehler einen Schwellenwert unterschreitet. Da das Modell eine kompositionelle Struktur lernt, unterstützt es Längengeneralisierung (Behandlung von Programmen, die länger sind als die im Training gesehenen). Darüber hinaus ermöglicht die probabilistische Natur des Theorie-Programmierers eine Suche zur Testzeit (NEO-S), bei der mehrere Kandidatentheorien gesampelt und per Mehrheitsentscheid ausgewählt werden, um die Genauigkeit bei komplexen, ungesehenen Kombinationen zu verbessern.

3. Evaluation: Observation-to-Theory Induction Benchmark (OTIB)

Die Autoren führen OTIB ein, einen Benchmark, der entwickelt wurde, um zu evaluieren, ob Modelle wiederverwendbare Theorien aus rohen Beobachtungen ohne Programmaufsicht ableiten können.

Aufbau: Trainingsdaten bestehen aus Beobachtungspaaren, die durch latente Programme generiert wurden. Der Trainingsdatensatz umfasst einen Anteil $\alpha$ aller möglichen Programmkombinationen, während der Rest als Compositional Out-of-Distribution (OOD) zurückgehalten wird.
Metriken: Die Leistung wird durch Selbsterklärbarkeit (Rekonstruktion des Ziels aus dem Support-Paar) und Transferierbarkeit (Anwendung der abgeleiteten Theorie auf eine neue Abfrageeingabe $x'$ zur Vorhersage von $y'$ ) gemessen. Transferierbarkeit ist die kritische Metrik, um zu bestimmen, ob eine wiederverwendbare Theorie gelernt wurde oder eine instanzspezifische Abbildung.
Domänen: Der Benchmark wird in drei Domänen realisiert:
1. GridWorld: 10x10-Gitter mit Bewegungsprimitiven.
2. Arithmetische Faktorisierung: Ganzzahltransformationen durch Multiplikation mit Primzahlen.
3. Bildbearbeitung: CIFAR-10-Bilder, transformiert durch Operationen wie Rotation, Helligkeit und Maskierung.

4. Wichtige Ergebnisse

Experimente zeigen, dass NEO monolithische Baselines (Discrete/Continuous VQ-VAEs und $\beta$ -VAEs) in allen Settings signifikant übertrifft:

Kompositionelle Generalisierung: Während Baselines hohe In-Distribution-Leistung erzielen, kollabiert ihre Transferierbarkeit bei Compositional OOD-Aufgaben auf nahezu Null. NEO behält eine hohe Transferierbarkeit bei (z. B. ~0,93 bei GridWorld OOD), was beweist, dass es wiederverwendbare Primitiven lernt und nicht Eingabe-Ausgabe-Mappings auswendig lernt.
Längengeneralisierung: NEO generalisiert erfolgreich auf Programme, die länger sind als die während des Trainings beobachteten (z. B. Länge 8 bei GridWorld, Länge 6 bei Arithmetik), eine Fähigkeit, bei der Baselines vollständig versagen.
Entdeckung von Primitiven: Analysen zeigen, dass NEO die Ground-Truth-Primitivensätze wiederherstellt, selbst wenn Primitiven während des Trainings nie isoliert beobachtet wurden (niedriges $\alpha$ ). Das Modell zerlegt erfolgreich verflochtene Trainingsbeispiele in atomare, wiederverwendbare Einheiten.
Skalierung zur Testzeit: Die NEO-S-Variante, die bei der Inferenz eine auf Sampling basierende Suche nutzt, steigert die Leistung weiter, insbesondere bei Aufgaben mit langem Horizont, und bestätigt, dass die kompositionelle Struktur eine effektive Exploration des Programmraums ermöglicht.

5. Bedeutung und Behauptungen

Die Arbeit positioniert sich als Proof of Concept für eine Verschiebung der KI-Lernziele: weg von vorhersagezentrierten Weltmodellen hin zu erklärungsgetriebenem, kompositionellem Verstehen.

Theoretischer Beitrag: Sie validiert die Hypothese, dass strukturierte, kompositionelle Theorien aus rohen, nicht-textuellen Beobachtungen ohne symbolische Aufsicht induziert werden können, und bringt die Lernziele der KI mit der Perspektive „Baby als Wissenschaftler" aus der entwicklungspsychologischen Kognitionswissenschaft in Einklang.
Methodischer Beitrag: Sie zeigt, dass die Darstellung von Theorien als ausführbare Programme mit gelernten Primitiven und die Verankerung intermediate Zustände eine systematische Generalisierung ermöglicht, die monolithische latente Darstellungen nicht erreichen können.
Bescheidener Umfang: Die Autoren erkennen ausdrücklich Grenzen an. Die aktuelle Formulierung geht von kleinen, diskreten Primitivensätzen und kurzen Programmlängen aus, was die Skalierbarkeit auf hochkomplexe, kontinuierliche oder stochastische reale Dynamiken begrenzt. Die Experimente beschränken sich auf kontrollierte synthetische Benchmarks. Die Arbeit wird als grundlegende Studie von Lernmechanismen und nicht als einsatzbereites System präsentiert.

Zusammenfassend argumentiert die Arbeit, dass KI-Systeme durch die Formulierung des Lernens als „Learning-to-Theorize" interne erklärende Strukturen erwerben können, die wiederverwendbar, kompositionell und fähig zur Generalisierung auf neue Phänomene sind, und sich damit einem reicheren Begriff des maschinellen Verstehens annähern.