From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

Diese Arbeit zeigt auf, dass generische Transformer durch die Einführung von drei minimalen induktiven Biases – räumliche Glätte, Stabilität und zeitliche Lokalität – von bloßen Kurvenanpassern zu Agenten evolvieren können, die in der Lage sind, fundamentale physikalische Gesetze wie Newtonsche Kräfte zu entdecken, wodurch die Lücke zwischen hoher Vorhersagegenauigkeit und wahrem kausalem Verständnis geschlossen wird.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen superintelligenten Roboter-Schüler. Sie möchten ihm beibringen, wie Planeten um die Sonne wandern. Sie geben ihm ein riesiges Geschichtsbuch darüber, wo die Planeten in der Vergangenheit waren, und bitten ihn zu raten, wo sie als Nächstes sein werden.

Die große Frage, die dieses Paper stellt, lautet: Kann dieser Roboter-Schüler einfach nur den Pfad auswendig lernen, oder kann er tatsächlich die physikalischen Gesetze verstehen, die die Bewegung verursachen?

Die Autoren fanden heraus, dass der Roboter ohne spezielle „Stützräder“ (die sie Inductive Biases nennen) ein brillanter Auswendiglernender, aber ein schrecklicher Physiker ist. Er lernt, den Pfad perfekt nachzuzeichnen, hat aber keine Ahnung, warum sich der Planet so bewegt. Er zeichnet die Kurve perfekt nach, weiß aber nicht, warum sie so aussam ist.

Hier ist die Geschichte, wie sie den Roboter „repariert“ haben, unterteilt in drei einfache Lektionen.

Das Problem: Der Roboter ist ein „Kurven-Anpasser“, kein „Physiker“

Stellen Sie sich das Gehirn des Roboters als eine riesige Bibliothek vor.

• Der Kepler-Ansatz (Was der Roboter natürlich tat): Der Robot betrachtet die letzten 1.000 Punkte der Reise eines Planeten. Er sagt: „Aha! Ich sehe das Muster. Es ist eine ovale Form. Ich werde einfach weiter das Oval zeichnen.“ Es ist wie ein Kind, das ein Bild nachzeichnet. Es bekommt das Bild richtig hin, aber wenn man fragt: „Warum ist es ein Oval?“ oder „Welche Kraft zieht daran?“, hat der Roboter keine Antwort. Er kennt nur die Form.
• Der Newton-Ansatz (Was wir wollen): Wir wollen, dass der Roboter sagt: „Die Sonne zieht den Planeten mit Gravitation an. Wenn ich die aktuelle Geschwindigkeit und Position des Planeten kenne, kann ich die Anziehungskraft berechnen und den nächsten Schritt vorhersagen.“ Das ist das Verständnis der Ursache, nicht nur der Wirkung.

Das Paper zeigt, dass Standard-KI-Modelle (Transformer) von Natur aus zu „Nachzeichnern“ (Kepler) werden und scheitern, wenn sie zu „Rechnern“ (Newton) werden sollen. Um dies zu beheben, fügten die Autoren drei spezifische „Stützräder“ hinzu.

---

Lektion 1: Das Problem der „pixeligen Karte“ (Räumliche Glätte)

Die Analogie: Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, durch eine Stadt zu navigieren.

• Der Fehler: Sie geben dem Roboter eine Karte, auf der jede einzelne Straßenecke eine völlig andere, zufällige Farbe hat. „Rot“ ist die Ecke von 1. und Main. „Blau“ ist die Ecke von 1. und 2. Obwohl diese Ecken direkt nebeneinander liegen, sieht der Roboter sie als völlig unzusammenhängend an. Er muss die Beziehung zwischen „Rot“ und „Blau“ jedes Mal von Grund auf neu lernen.
• Der Fehler: Die Autoren erkannten, dass sie die natürliche Glätte des Raums unterbrochen hatten, als sie die Position des Planeten in winzige „Bins“ (wie Pixel) zerlegten.
• Die Lösung: Sie machten die „Bins“ größer (weniger Farben) oder hörten ganz damit auf, Bins zu verwenden, und gaben dem Roboter stattdessen die exakten Koordinaten (wie ein GPS). Dies ermöglichte es dem Roboter, zu sehen, dass „Punkt A“ direkt neben „Punkt B“ liegt, was ihm half, eine echte mentale Landkarte des Raums aufzubauen, anstatt ein verwirrendes Durcheinander aus zufälligen Codes.

Lektion 2: Das „Domino-Effekt“-Problem (Räumliche Stabilität)

Die Analogie: Stellen Sie sich das Spiel „Stille Post“ vor, bei dem man die nächste Person eine Zahl zuflüstert.

• Der Fehler: Wenn die erste Person „50,1“ flüstert und die zweite Person „50,2“ hört, hört die dritte Person vielleicht „50,5“, und wenn es am Ende ankommt, ist die Zahl „100“. In der Physik gilt: Wenn der Roboter einen winzigen Fehler bei der Vorhersage der Planetenposition macht, wird dieser Fehler mit jedem Schritt größer, bis der Planet ins tiefe Weltall fliegt oder in die Sonne stürzt.
• Der Fehler: Die Autoren erkannten, dass das Standard-KI-Training zu „perfekt“ ist. Es lernt nur aus perfekten Vergangenheitsdaten.
• Die Lösung: Sie begannen, die Trainingsdaten des Roboters absichtlich zu „beschädigen“. Sie fügten ein wenig statisches Rauschen (wie das Rauschen im Radio) zu der Historie hinzu, die der Roboter las. Dies zwang den Roboter dazu, zu lernen, wie er aus kleinen Fehlern wieder aufholt, was ihn robust genug machte, die Zukunft vorherzusagen, ohne dass sich die Fehler aufbauen.

Lektion 3: Das „Langzeitgedächtnis“ vs. „Kurzzeitgedächtnis“-Problem (Zeitliche Lokalität)

Die Analogie: Dies ist der wichtigste Teil.

• Das Langzeitgedächtnis (Kepler): Stellen Sie sich einen Roboter vor, der sich an alles erinnert, was in der letzten Stunde passiert ist. Wenn er versucht zu erraten, was als Nächstes passiert, betrachtet er die gesamte Stunde der Geschichte, um eine riesige Kurve zu zeichnen. Es ist, als würde man die gesamte Achterbahnstrecke betrachten, um zu erraten, wohin die Wagen als Nächstes fährt. Es funktioniert für die Kurve, aber es versteht nicht die Physik.
• Das Kurzzeitgedächtnis (Newton): Stellen Sie sich nun einen Roboter vor, der nur erlaubt ist, die letzten zwei Sekunden zu speichern. Er kann die ganze Strecke nicht sehen. Er muss schauen, wo der Wagen jetzt gerade ist und wie schnell er jetzt gerade fährt, um zu wissen, wohin er als Nächstes fährt.
• Die Lösung: Die Autoren zwangen den Roboter zu einem Kurzzeitgedächtnis. Sie sagten ihm: „Du darfst nur in die unmittelbare Vergangenheit schauen.“
• Das Ergebnis: Da der Roboter sich nicht mehr auf die „große Übersicht“ der Kurve verlassen konnte, war er gezwungen, die Regeln des Spiels herauszufinden. Er musste die unsichtbare „Anziehungskraft“ (Gravitation) berechnen, die im Moment auf den Planeten wirkt, um den nächsten Schritt vorherzusagen. Plötzlich hörte der Roboter auf, Ellipsen zu zeichnen, und begann, Kräfte zu berechnen. Er wurde zum Physiker.

Die große Erkenntnis

Das Paper kommt zu dem Schluss, dass die Art und Weise, wie man das Gehirn der KI entwirft, bestimmt, was sie lernt.

• Wenn man sie alles sehen lässt und eine pixelige Karte verwendet, wird sie zu einem Kurven-Anpasser (Kepler). Sie zeichnet schöne Bilder, versteht aber das Universum nicht.
• Wenn man ihr eine glatte Karte gibt, ihr beibringt, mit Fehlern umzugehen, und sie zu einem kurzen Gedächtnis zwingt, wird sie zu einem Physiker (Newton). Sie entdeckt die Gesetze der Gravitation von selbst.

Die Autoren zeigen, dass man die Gesetze der Physik nicht in die KI programmieren muss. Man muss ihr nur die richtigen „Inductive Biases“ (die richtigen Trainingsbeschränkungen) geben, und sie wird die Gesetze selbst entdecken.

Technische Zusammenfassung

Technisches Resümee: Von Kepler zu Newton: Induktive Biases leiten gelernte Weltmodelle in Transformern

1. Problemstellung

Das Paper adressiert eine kritische Lücke in den Fähigkeiten von universellen Fundamentmodellen (Transformern) hinsichtlich wissenschaftlicher Entdeckungen. Während frühere „AI Physicist“-Ansätze erfolgreich symbolische physikalische Gesetze rekonstruiert haben, verlassen sie sich oft auf starke, domänenspezifische Priors, die die Physik quasi bereits „eingebacken“ haben. Im Gegensatz dazu zeigte die Arbeit von Vafa et al. (2025), dass generische Transformer – selbst im GPT-2-Maßstab – keine „Weltmodelle“ erwerben können: kausale Abstraktionen, die erklären, warum Phänomene auftreten. Stattdessen erreichen diese Modelle eine hohe Vorhersagegenauigkeit durch das Erlernen geometrischer Kurvenanpassung (keplersche Modelle), ohne die zugrunde liegenden dynamischen Gesetze (Newtonsche Mechanik) zu erfassen.

Die zentrale Forschungsfrage lautet: Warum versagen Transformer beim Erlernen des Newtonschen Weltmodells für die Planetenbewegung, und wie lässt sich dies beheben? Die Autoren postulieren, dass das Scheitern nicht auf einer fundamentalen Einschränkung der Architektur beruht, sondern auf einem Mangel an spezifischen, minimalen induktiven Biases.

2. Methodik

Die Autoren untersuchen systematisch die Fehlermodi von Transformern in einem kontrollierten Setting: der Vorhersage der 2D-Planetenbewegung um eine zentrale Masse. Sie führen drei minimale induktive Biases ein, um die Lücke zwischen geometrischer Vorhersage und der Entdeckung physikalischer Gesetze zu schließen.

Problemaufbau

Die Aufgabe besteht darin, die nächste Position $\vec{r}_{t+1}$ eines Planeten gegeben eine Historie von Positionen vorherzusagen, formuliert als autoregressives Next-Token-Prediction (NTP)-Problem.

• Baseline: Das Setup folgt Vafa et al. (2025), wobei kontinuierliche Koordinaten in Tokens (Bins) diskretisiert und mittels Cross-Entropy-Loss vorhergesagt werden.
• Vorgeschlagene Modifikationen: Die Autoren testen Variationen in der Tokenisierung, den Loss-Funktionen und den Attention-Mechanismen, um spezifische induktive Biases zu isolieren.

Die drei induktiven Biases

Bias 1: Räumliche Glätte (Spatial Smoothness)

• Fehlermodus: Die Standard-Tokenisierung diskretisiert kontinuierliche räumliche Koordinaten in unabhängige Bins mit zufällig initialisierten Embeddings. Dies bricht die räumliche Glätte; Punkte, die physisch nah beieinander liegen, aber in unterschiedlichen Bins sind, werden als unzusammenhängend behandelt. Die Autoren zeigen, dass selbst mit massiven Daten (20 Mrd. Tokens) der gelernte Embedding-Raum keine kohärente räumliche Karte bildet (geringe lineare Dekodierbarkeit, $R^2 \approx 0,86$).
• Lösung:
  1. Optimierte Tokenisierung: Eine Reduzierung der Vokabulargröße ($V$) verbessert die Entstehung einer räumlichen Karte signifikant. Die Autoren leiten ein Skalierungsgesetz her, das zeigt, dass die Trainingsdatenmenge ($D$) mindestens so schnell wie die Vokabulargröße ($V$) ansteigen muss, um die Qualität der Karte aufrechtzuerhalten ($1-R^2 \propto D^{-\alpha_D} V^{\alpha_V}$).
  2. Kontinuierliche Koordinaten: Alternativ bietet die Verwendung kontinuierlicher Koordinaten ohne Diskretisierung inhärent räumliche Glätte, was jedoch Stabilitätsprobleme mit sich bringt.

Bias 2: Räumliche Stabilität (Spatial Stability)

• Fehlermodus: Autoregressive Modelle leiden unter Fehlerakkumulation, die bei der Vorhersage kontinuierlicher Variablen (Regression) im Vergleich zu diskreten Tokens (Klassifikation) verstärkt wird. Ohne Gegenmaßnahmen führen kleine Anfangsfehler dazu, dass die Trajektorie katastrophal divergiert (z. B. der Planet fliegt ins Unendliche oder in die Sonne).
• Lösung: Noisy Context Learning. Die Autoren injizieren Gaußsches Rauschen in den historischen Kontext während des Trainings. Dies zwingt das Modell, robuste Repräsentationen zu lernen, die nicht auf perfekten vergangenen Zuständen basieren.
• Ergebnis: Mit Noisy-Context-Training schneidet die Regression (unter Verwendung kontinuierlicher Koordinaten und MSE-Loss) über alle Datenskalen hinweg konsistent besser ab als die Klassifikation (diskretisierte Koordinaten mit Cross-Entropy-Loss).

Bias 3: Zeitliche Lokalität (Temporal Locality)

• Fehlermodus: Standard-Transformer nutzen lange Kontextlängen (z. B. 1k+ Tokens), wodurch das Modell Zugriff auf die gesamte Historie der Trajektorie hat. Dies ermutigt das Modell, globale geometrische Formen (Ellipsen) basierend auf allen vergangenen Punkten anzupassen – ein „keplerscher“ Ansatz.
• Lösung: Eingeschränktes Attention-Fenster. Die Autoren beschränken die Kontextlänge auf die unmittelbare Vergangenheit (z. B. nur die letzten 2 Zustände). Dies erzwingt die physikalische Annahme, dass der zukünftige Zustand nur vom lokalen Zustand (Position und Geschwindigkeit) abhängt, was konsistent mit Newtons zweitem Gesetz ist (eine Differentialgleichung zweiter Ordnung).
• Ergebnis: Diese Beschränkung zwingt das Modell, die globale Kurvenanpassung aufzugeben und stattdessen zu lernen, die lokalen Gravitationskräfte ($\vec{F} \propto 1/r^2$) zu schätzen, um die Trajektorie Schritt für Schritt zu simulieren – ein „Newtonsche“ Ansatz.

3. Kernergebnisse

1. Entstehung der räumlichen Karte: Die Qualität der gelernten räumlichen Karte in tokenisierten Modellen reagiert hochsensibel auf die Vokabulargröße. Große Vokabulare (z. B. $V=7000$) erfordern unpraktikable Mengen an Daten, um eine kohärente Karte zu lernen. Die Reduzierung von $V$ oder die Verwendung kontinuierlicher Koordinaten löst dies.
2. Regression vs. Klassifikation: Entgegen den Befunden von Vafa et al. demonstrieren die Autoren, dass die Regression mit kontinuierlichen Koordinaten überlegen ist, sofern Noisy Context Learning zur Stabilisierung der Inferenz verwendet wird.
3. Keplersche vs. Newtonsche Modelle:
   • Langer Kontext (Keplerisch): Das Modell lernt, die globale elliptische Trajektorie unter Nutzung aller vergangenen Zustände anzupassen. Es sagt voraus, indem es die Kurve fortsetzt.
   • Kurzer Kontext (Newtonsch): Bei Beschränkung auf lokale Zustände entdeckt das Modell das zugrunde liegende Kraftgesetz. Es sagt voraus, indem es die Differentialgleichung $F=ma$ simuliert.
4. Hierarchie der induktiven Biases: Das Paper zeigt, dass einfache architektonische Entscheidungen (Tokenisierungsstrategie, Kontextlänge) bestimmen, ob eine KI als „Kurvenanpasser“ (Kepler) oder als „Physiker“ (Newton) agiert.

4. Bedeutung und Behauptungen

Das Paper behauptet, dass einfache architektonische Entscheidungen der entscheidende Faktor sind, ob eine allgemeine KI physikalische Gesetze entdeckt oder lediglich Daten anpasst.

• Überbrückung der Kluft: Die Arbeit schließt die Lücke zwischen „AI Physicist“-Modellen (die starke Priors verwenden) und generischen Transformern (die Physik nicht lernen können). Sie zeigt, dass generische Transformer Weltmodelle erlernen können, wenn sie mit minimalen, domänenunabhängigen induktiven Biases (Glätte, Stabilität, Lokalität) ausgestattet sind.
• Automatisierte wissenschaftliche Entdeckung: Die Ergebnisse dienen als „kritischer Test“ für die Vision von „AI Scientists“. Wenn allgemeine Architekturen die bekannten Gesetze der klassischen Mechanik nicht ohne spezifisches Engineering wiederherstellen können, können sie nicht darauf vertraut werden, unbekannte Gesetze zu entdecken.
• Mechanismus des Scheiterns: Das Paper klärt, dass das Scheitern früherer großer Modelle nicht auf mangelnde Kapazität zurückzuführen war, sondern auf das Fehlen spezifischer induktiver Biases (insbesondere zeitliche Lokalität und räumliche Stabilität), die notwendig sind, um die Entstehung kausaler Abstraktionen gegenüber geometrischen Korrelationen zu erzwingen.

Die Autoren kommen zu dem Schluss, dass Transformer durch die systematische Einführung dieser Biases den Übergang von der Vorhersage dessen, was als Nächstes passiert, zum Verständnis dessen, warum es passiert, vollziehen können, was einen Schritt in Richtung automatisierter wissenschaftlicher Entdeckung markiert.