Identifiability Without Gaussianity: Symbolic World Models and Near-Infinite Temporal Consistency

Dieses Paper führt die Physics-Grounded Symbolic Architecture (PGSA) ein, um zu beweisen, dass die symbolische Erdung in kausalen Dynamiken eine exakte lineare Identifizierbarkeit und eine nahezu unendliche zeitliche Konsistenz für nicht-gaußsche Systeme ermöglicht und damit die grundlegenden Einschränkungen statistischer Weltmodelle überwindet, welche auf Gauß-Prozesse beschränkt sind.

Das Wesentliche

Das große Problem: Warum KI-Vorhersagen mit der Zeit scheitern

Stellen Sie sich vor, Sie versuchen, die Flugbahn eines Balls vorherzusagen, der in die Luft geworfen wurde.

• Das Ziel: Sie wollen eine KI, die Ihnen genau sagen kann, wo sich der Ball in 1 Sekunde, 10 Sekunden oder 100 Sekunden befinden wird.
• Das Problem: Die meisten aktuellen KI-Modelle sind wie eine Person, die versucht, den Pfad des Balls zu erraten, indem sie ein verschwommenes Foto betrachtet und eine „beste Schätzung“ basierend auf Mustern abgibt, die sie zuvor gesehen hat. Sie mögen die nächste Sekunde richtig erraten, aber jedes Mal, wenn sie eine Schätzung abgeben, führen sie einen winzigen, unsichtbaren Fehler ein.
• Das Ergebnis: Nach ein paar Schritten häufen sich diese winzigen Fehler an. Wenn Sie nach der 100. Sekunde fragen, ist die Vorhersage der KI völlig falsch. Es liegt nicht daran, dass die KI „dumm“ ist; es liegt daran, dass ihre Methode des Ratens mathematisch dazu verdammt ist, mit der Zeit von der Realität abzuweichen, insbesondere bei komplexen physikalischen Systemen.

Die Arbeit nennt diesen Mangel an zeitlicher Konsistenz (Temporal Consistency). Die Autoren argumentieren, dass statistische KI-Modelle bei den meisten realen physikalischen Prozessen (die chaotisch und „nicht-gaußsch“ sind) an eine harte Grenze stoßen, an der sie schlichtweg nicht mehr weit in die Zukunft vorhersagen können.

Der alte Weg: Das Spiel des „statistischen Ratens“

Die Arbeit diskutt einen populären Typ von KI-Architektur (genannt JEPA), der versucht, die Welt durch das Finden statistischer Muster zu lernen.

• Die Analogie: Stellen Sie sich vor, Sie versuchen, die Regeln eines Spiels zu lernen, indem Sie Tausende von Wiederholungen ansehen und versuchen, das durchschnittliche Ergebnis auswendig zu lernen.
• Der Fehler: Das funktioniert perfekt, wenn das Spiel einfach und vorhersehbar ist (wie ein Ball, der in einer perfekt glatten, sich wiederholenden Schleife hüpft). Aber wenn das Spiel plötzliche Sprünge, scharfe Kurven oder chaotisches Verhalten aufweist (wie ein Sturm oder ein Quantenteilchen), ist die „durchschnittliche“ Schätzung immer etwas falsch.
• Die Behauptung der Arbeit: Die Autoren beweisen, dass bei jedem komplexen, nicht-einfachen System dieser statistische Ansatz bei jedem einzelnen Schritt Fehler akkumuliert. Irgendwann wird der Fehler so groß, dass die Vorhersage nutzlos ist. Es ist, als würde man versuchen, einen Raum zu durchqueren, indem man Schritte macht, die etwas zu lang oder zu kurz sind; man wird schließlich im falschen Raum landen.

Die neue Lösung: Die „Physik-basierte“ Architektur (PGSA)

Die Autoren schlagen einen neuen Weg vor, diese Modelle zu bauen, den sie die Physics-Grounded Symbolic Architecture (PGSA) nennen.

• Die Analogie: Anstatt den Pfad des Balls basierend auf Mustern zu erraten, bekommt diese KI das tatsächliche Regelbuch der Physik. Sie versucht nicht, die Gravitation zu „lernen“; sie kennt die Formel für die Gravitation. Sie rät nicht, wie eine Brücke sich biegt; sie berechnet die tatsächlichen mathematischen Gleichungen, die Stahl und Spannung beschreiben.
• Wie es funktioniert:
  1. Symbolische Atome: Die KI besitzt eine Bibliothek von „Atomen“ – kleinen, perfekten, unveränderlichen Code-Stücken, die reale physikalische Gesetze repräsentieren (wie „Kraft = Masse × Beschleunigung“).
  2. Den Aufbau der Welt: Um die Zukunft vorherzusagen, rät die KI nicht. Sie fügt diese perfekten Gesetze einfach wie Lego-Steine zusammen, um den nächsten Moment zu simulieren.
  3. Das Ergebnis: Da sie die tatsächlichen physikalischen Gesetze verwendet anstatt einer statistischen Schätzung, häuft sie keine „Ratefehler“ an. Der einzige Fehler, den sie macht, ist der winzige, unvermeidliche Fehler eines Taschenrechners beim Runden einer Zahl (wie 0,333333...).

Das Versprechen der „nahezu unendlichen“ Dauer

Die Arbeit stellt eine kühne Behauptung auf: Diese neue Methode kann die Zukunft für eine „nahezu unendliche“ Zeit vorhersagen.

• Die Analogie:
  • Statistische KI: Wie ein Betrunkener, der auf einem Seil balanciert. Er mag ein paar Schritte lang darauf bleiben, aber irgendwann wird er herunterfallen.
  • PGSA: Wie ein Zug auf einer Schiene. Solange die Schiene (die physikalischen Gesetze) da ist, kann der Zug ewig fahren. Der einzige Grund, warum er stoppt, ist, wenn die Räder des Zuges durch Reibung verschleißen (was im Fall des Computers nur der winzige Grenzwert der Präzision der mathematischen Rundung ist).
• Die Skala: Die Autoren berechnen, dass diese KI bei nicht-chaotischen Systemen etwa 45 Billionen Schritte korrekt vorhersagen könnte, bevor die winzigen Rundungsfehler des Computers merklich werden. Das ist effektiv „für immer“ in Bezug auf jede praktische Simulation.

Warum das wichtig ist (laut der Arbeit)

Die Arbeit vergleicht drei Arten von KI-Modellen:

1. Pixel-Modelle: Diese betrachten rohe Videos (Pixel). Die Arbeit sagt, sie scheitern sofort, weil sie keine verborgenen Dinge wie Masse oder Ladung „sehen“ können. Es ist, als würde man versuchen, die Geschwindigkeit eines Autos zu erraten, indem man nur die Farbe des Lacks betrachtet.
2. Latente/Statistische Modelle (Aktuelle KI): Diese versuchen, verborgene Muster zu finden. Die Arbeit sagt, sie sind besser als Pixel-Modelle, aber sie stoßen dennoch an eine harte Wand, an der die Fehler über die Zeit explodieren.
3. PGSA (Das neue Modell): Dieses Modell steht weit über den anderen. Es lernt nicht nur die Welt; es führt die Regeln der Welt aus.

Die „zirkuläre“ Kritik und die Antwort

Ein Kritiker könnte sagen: „Warten Sie, wenn Sie der KI die Gesetze der Physik geben, funktioniert sie natürlich! Sie schummeln, indem Sie ihr den Lösungsschlüssel geben.“

Die Autoren antworten: Nein, hier geht es nicht um Schummeln, sondern um die Architektur.

• Sie behaupten nicht, dass die KI neue physikalische Gesetze aus dem Nichts entdecken kann (das ist ein anderes Problem).
• Sie beweisen, dass man, wenn man die Gesetze der Physik hat, diese nicht in einer statistischen „Black Box“ verstecken sollte. Man sollte die KI die Gesetze direkt ausführen lassen.
• Die Arbeit beweist, dass das Verstecken der Physik innerhalb eines statistischen Modells einen dauerhaften Fehlschlag garantiert, während die direkte Ausführung der Physik den Erfolg garantiert.

Zusammenfassung in einem Satz

Die Arbeit beweist, dass man zur genauen Vorhersage der physischen Welt über lange Zeiträume hinweg nicht auf statistisches Raten vertrauen kann (welches driftet und scheitert); man muss eine KI bauen, die direkt die tatsächlichen, unveränderlichen Gesetze der Physik ausführt, was es ermöglicht, über Billionen von Schritten hinweg konsistent zu bleiben.

Technische Zusammenfassung

Technisches Resümee: Identifizierbarkeit ohne Gaußsche Normalverteilung

Problemstellung

Die Arbeit befasst sich mit einer grundlegenden Einschränkung der zeitlichen Konsistenz von Weltmodellen (World Models). Während Joint-Embedding Predictive Architectures (JEPAs) unter spezifischen Bedingungen erfolgreich bei der Rekonstruktion latenter Variablen waren, hat die jüngere Arbeit von Klindt, LeCun und Balestriero [1] dargelegt, dass lineare Identifizierbarkeit (die lineare Rekonstruktion wahrer latenter Variablen) in JEPAs genau dann erreichbar ist, wenn und nur wenn die latenten Dynamiken der Welt einem Gaußschen, stationären Prozess folgen (speziell einem Ornstein-Uhlen-Uhlen-Übergang).

Die Autoren argumentieren, dass diese Gaußsche Grenze eine schwere Einschränkung für die physikalische Modellierung darstellt. Die meisten physikalischen Systeme von wissenschaftlichem Interesse (z. B. Projektile, Phasenübergänge, turbulente Strömungen) sind nicht-gaußsch und nicht mittelwertrückführend. Für diese Systeme führt die in aktuellen Weltmodellen verwendete statistische Ausrichtungsmechanik zu einem Repräsentationsfehler, der monoton mit der Zeit wächst. Folglich besitzen statistische Weltmodelle einen endlichen „zeitlichen Horizont“, über den hinaus Vorhersagen unzuverlässig werden, unabhängig von der Modellkapazität oder dem Datenvolumen. Die Arbeit untersucht, ob eine nahezu unendliche zeitliche Konsistenz für nicht-gaußsche Systeme erreichbar ist und welche architektonischen Eigenschaften hierfür erforderlich sind.

Methodik

Die Arbeit führt und formalisiert die Physics-Grounded Symbolic Architecture (PGSA) als Alternative zur statistischen Ausrichtung. Die Methodik stützt sich auf drei Kern-Definitionen:

1. Atom-Register (Atom Registry): Eine endliche Menge deterministischer, ausführbarer Funktionen ($A$), die bekannte physikalische Gesetze mit wohldefinierten Domänen repräsentieren.
2. Zustandsgraph (State Graph): Ein gerichteter Graph, in dem Knoten typisierte physikalische Variablen (Masse, Geschwindigkeit usw.) darstellen und Kanten durch Atome aus dem Register beschriftet sind, die eine Variable aus einer anderen berechnen.
3. Kausale Basis (Causal Basis): Die Bedingung, dass das Atom-Register eine Komposition von Atomen enthält, die die wahre Übergangsfunktion $W$ der Welt auf einer dichten Teilmenge des Definitionsbereichs exakt repliziert.

Die Autoren kontrastieren dies mit statistischen Weltmodellen (einschließlich Pixel-, Latent-Space- und Transformer-basierten Modellen), die ihre Repräsentationen mittels spektraler Ausrichtung oder variabler Zielsetzungen lernen.

Um ihre theoretischen Ansprüche zu validieren,

• Formalisieren sie Beweise: Die algebraischen Kerne der Theoreme 2, 3, 4 und 7 wurden in Lean 4 unter Verwendung von Mathlib4 v4.31.0 mit null „Sorry“-Platzhaltern formalisiert.
• Empirischer Vergleich: Sie simulieren sieben physikalische Systeme (von konservativen harmonischen Oszillatoren bis hin zu chaotischen Lorenz-Attraktoren) und vier technische Systeme (Solenoid, Platte, Kragarm, Kühlkörper).
• Metriken: Sie messen die lineare Identifizierbarkeit ($R^2$) der optimalen isotrop-gaußschen Repräsentation gegenüber den wahren Latenzen und berechnen den zeitlichen Horizont ($T^*$), an dem der Fehler eine feste Toleranz $\delta$ überschreitet.

Zentrale Beiträge

1. Theoretische Beweise der Identifizierbarkeit und Konsistenz

Die Arbeit beweist drei primäre Ergebnisse bezüglich der PGSA:

• Theorem 2 (Symbolische Identifizierbarkeit): Wenn das Atom-Register eine kausale Basis für den Weltgenerator enthält, erreicht die PGSA exakte lineare Identifizierbarkeit ($h(z)=z$) und einen Einzelschrittfehler von Null ($\epsilon_1=0$) für alle physikalischen Regime, unabhängig von der latenten Verteilung $p(z)$.
• Theorem 3 (Nahezu unendliche zeitliche Konsistenz): Für eine PGSA ist der akkumulierte Fehler über $t$ Schritte allein durch die Maschinengenauigkeit ($\mu$) und die Lipschitz-Konstante des Systems begrenzt: $\epsilon_t \le t \cdot \mu \cdot \|W\|_{Lip}^t$. Für nicht-chaotische Systeme ermöglicht dies eine unbegrenzte Anzahl von Übergängen, bevor der Fehler eine Toleranz überschreitet.
• Theorem 4 (Statistisches zeitliches Limit/Ceiling): Umgekehrt existiert für jedes statistische Weltmodell, das mittels spektraler Ausrichtung auf einem nicht-gaußschen System trainiert wurde, eine endliche Zeit $T^*$, nach der der Fehler jede feste Toleranz überschreitet. Dieser Horizont wird durch den Repräsentations-Bias $\kappa(p)$ bestimmt, der durch die Gaußsche Prior-Verteilung induziert wird, und nicht durch die Modellkapazität.

2. Der Mechanismus des Versagens: Propagation des Repräsentations-Bias

Die Arbeit führt Lemma 1 (Representation Bias Propagation) ein, um zu erklären, warum statistische Modelle über die Zeit versagen. Es zeigt, dass nicht-identifizierbare Repräsentationen einen zustandsabhängigen Bias $b(z)$ installieren, den das Modell nicht entfernen kann. Da der Übergangsoperator in jedem Schritt auf diesem verzerrten Zustand ($z + b(z)$) operiert, kumuliert der Fehler additiv (oder exponentiell in chaotischen Systemen). Im Gegensatz dazu zahlt eine PGSA einen einmaligen Wahrnehmungsfehler bei $t=0$, operiert danach aber auf dem wahren Zustand, was die Akkumulation von Bias verhindert.

3. Formaler Vergleich der Paradigmen

Die Autoren etablieren eine strikte Ordnung der zeitlichen Konsistenzhorizonte (Theorem 5):
$$T^*_{\pi} \le T^*_{stat} < T^*_{PGSA}$$

• Pixel-Space-Modelle scheitern strukturell aufgrund nicht-injektiver Rendering-Prozesse (Proposition 8).
• Latent-Space-statistische Modelle (einschließlich Transformer mit statistisch ausgerichteten Latenzen) sind durch das statistische Limit $T^*_{stat} = \delta / \kappa(p)$ begrenzt.
• PGSA ist nur durch die Maschinengenauigkeit $\mu$ begrenzt, was im Vergleich zu statistischen Modellen ein Horizont-Verhältnis von $\kappa(p)/\mu$ ergibt (ca. $10^{13}$ für typische Systeme).

4. Approximative Identifizierbarkeit

Theorem 7 behandelt den Fall eines unvollständigen Atom-Registers. Es beweist, dass, falls das Register nur einen Teil der Dynamik ($W_{known}$) abdeckt, der Fehler durch die Magnitude des ungedeckten Residuums ($W_{unknown}$) begrenzt ist. Entscheidend ist, dass das Hinzufügen neuer Atome zum Register diesen Fehler monoton reduziert, ohohne ein Retraining zu erfordern, im Gegensatz zu statistischen Modellen, die ein vollständiges Retraining benötigen, um neues physikalisches Wissen zu integrieren.

Ergebnisse

• Lineare Identifizierbarkeit: Empirische Messungen an sieben physikalischen Systemen bestätigen, dass die lineare Identifizierbarkeit abnimmt, sobald das System von der Gaußschen Verteilung abweicht. Nicht-chaotische Systeme zeigten $R^2 \approx 0,90$, während chaotische Systeme näher an der Gaußschen Verteilung lagen ($R^2 \approx 0,99$), jedoch durch Lyapunov-Instabilität limitiert waren.
• Zeitliche Horizonte:
  • Für fünf nicht-chaotische Systeme entsprach der PGSA-Horizont der Maschinengenauigkeitsgrenze ($\approx 4,5 \times 10^{13}$ Schritte).
  • Für zwei chaotische Systeme wurde der Horizont durch die Lyapunov-Zeit begrenzt ($\approx 31$ Lyapunov-Zeiten), was ein fundamentaler physikalischer Grenzwert und kein architektonischer ist.
  • Statistische Modelle (Pixel, Latent, Transformer) zeigten deutlich kürzere endliche Horizonte, die durch die Nicht-Gaußschheit des Systems determiniert wurden.
• Ingenieurtechnische Validierung: Der PGSA-Ansatz wurde an vier technischen Systemen (Magnetostatik, Modalanalyse, statische Struktur, Wärmesenke) validiert und reproduzierte die geschlossenen Lösungen innerhalb der Finite-Elemente-Toleranz.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass die symbolische Fundierung in der kausalen Generierung der Welt-Dynamiken die hinreichende (und für nicht-gaußsche Regime die einzige) Bedingung für das Erreichen nahezu unendlicher zeitlicher Konsistenz ist.

Zentrale Behauptungen sind:

1. Statistische Ausrichtung ist unzureichend: Für nicht-gaußsche physikalische Systeme kann keine Menge an Modellkapazität oder Daten den strukturellen Bias überwinden, der durch statistische Ausrichtungsziele eingeführt wird. Die „Gaußsche Grenze“ ist ein hartes Limit für statistische Weltmodelle.
2. Architektur bestimmt den Horizont: Die zeitliche Konsistenz eines Weltmodells wird dadurch bestimmt, wo der Fehler in das System eintritt. Statistische Modelle wenden den Repräsentations-Bias in jedem Schritt erneut an; die PGSA amortisiert einen einmaligen, begrenzten Wahrnehmungsfehler.
3. Transformer sind kein Allheilmittel: Transformer-basierte Weltmodelle, die auf statistisch ausgerichteten Latenzen beruhen (wie Sora, Genie, Cosmos und Dreamer), unterliegen demselben statistischen Limit wie Latent-Space-Modelle. Attention-Mechanismen können zwar die Konstante des Horizonts erhöhen, aber den Bias $\kappa(p)$ nicht eliminieren.
4. Konstruktiver Weg: Die Arbeit bietet einen konstruktiven Weg zu langfristiger Konsistenz, indem sie die Ausführung von der statistischen Wahrnehmung entkoppelt, vorausgesetzt, es existiert eine kausale Basis (Atom-Register).

Die Autoren betonen explizit, dass sie nicht behaupten, dass symbolische Architekturen universell überlegen gegenüber allen möglichen zukünftigen Modellen sind, sondern dass unter den von Klindt et al. identifizierten Annahmen statistische Identifizierbarkeit keine langfristige zeitliche Konsistenz garantiert, während die symbolische kausale Ausführung dies tut.