Technische Samenvatting: Identificeerbaarheid zonder Gaussianiteit

Probleemstelling

Het artikel behandelt een fundamentele beperking in de temporele consistentie van Wereldmodellen. Hoewel Joint-Embedding Predictive Architectures (JEPA's) succes hebben getoond bij het herstellen van latente variabelen onder specifieke condities, stelde recent werk door Klindt, LeCun en Balestriero [1] vast dat lineaire identificeerbaarheid (het lineair herstellen van ware latente variabelen) in JEPA's alleen haalbaar is indien en slechts indien de latente dynamica van de wereld een Gaussisch, stationair proces volgt (specifiek een Ornstein-Uhlenbeck-transitie).

De auteurs stellen dat deze Gaussische grens een zware beperking oplegt aan fysieke modellering. De meeste fysische systemen van wetenschappelijk belang (bijv. projectielen, faseovergangen, turbulente stromingen) zijn niet-Gaussisch en niet-gemiddelde-reverterend. Voor deze systemen resulteert de statistische uitlijning die in huidige Wereldmodellen wordt gebruikt, in een representatiefout die monotoon groeit met de tijd. Bijgevolg bezitten statistische Wereldmodellen een eindige "temporele horizon" waarboven voorspellingen onbetrouwbaar worden, ongeacht de modelcapaciteit of de hoeveelheid trainingsdata. Het artikel onderzoekt of een bijna oneindige temporele consistentie haalbaar is voor niet-Gaussische systemen en, zo ja, welke architecturale eigenschappen daarvoor vereist zijn.

Methodologie

Het artikel introduceert en formaliseert de Physics-Grounded Symbolic Architecture (PGSA) als een alternatief voor statistische uitlijning. De methodologie rust op drie kerndefinities:

1. Atom Registry (Atoomregister): Een eindige verzameling deterministische, uitvoerbare functies ($A$) die bekende natuurwetten vertegenwoordigen met goed gedefinieerde domeinen.
2. State Graph (Toestandsgrafiek): Een gerichte graaf waarbij knopen getypeerde fysische variabelen zijn (massa, snelheid, etc.) en randen gelabeld zijn door atomen uit het register die één variabele uit een andere berekenen.
3. Causal Basis (Causale Basis): De conditie waarbij het Atoomregister een compositie van atomen bevat die de ware transitiefunctie $W$ van de wereld exact repliceert op een dichte deelverzameling van het domein.

De auteurs contrasteren dit met Statistische Wereldmodellen (inclusief pixel-ruimte, latente-ruimte en transformer-gebaseerde modellen) die representaties leren via spectrale uitlijning of variationele doelstellingen.

Om hun theoretische claims te valideren, doen de auteurs het volgende:

• Formaliseren van Bewijzen: De algebraïsche kernen van Stellingen 2, 3, 4 en 7 zijn geformaliseerd in Lean 4 met gebruik van Mathlib4 v4.31.0 zonder "sorry"-placeholders.
• Empirische Vergelijking: Ze simuleren zeven fysische systemen (variërend van conservatieve harmonische oscillatoren tot chaotische Lorenz-attractoren) en vier technische systemen (solenoïde, plaat, cantilever, heat sink).
• Metrieken: Ze meten de lineaire identificeerbaarheid ($R^2$) van de optimale isotrope-Gaussische representatie tegenover de ware latentes en berekenen de temporele horizon ($T^*$) waar de fout een vaste tolerantie $\delta$ overschrijdt.

Belangrijkste Bijdragen

1. Theoretische Bewijzen van Identificeerbaarheid en Consistentie

Het artikel bewijst drie primaire resultaten met betrekking tot de PGSA:

• Stelling 2 (Symbolische Identificeerbaarheid): Als het Atoomregister een causale basis bevat voor de wereldgenerator, bereikt de PGSA exacte lineaire identificeerbaarheid ($h(z)=z$) en nul single-step fout ($\epsilon_1=0$) voor alle fysische regimes, ongeacht de latente distributie $p(z)$.
• Stelling 3 (Bijna Oneindige Temporele Consistentie): Voor een PGSA is de cumulatieve fout over $t$ stappen uitsluitend begrensd door de machineprecisie ($\mu$) en de Lipschitz-constante van het systeem: $\epsilon_t \le t \cdot \mu \cdot \|W\|_{Lip}^t$. Voor niet-chaotische systemen staat dit een onbegrensd aantal transities toe voordat de fout een tolerantie overschrijdt.
• Stelling 4 (Statistische Temporele Ceiling): Omgekeeld, voor elk statistisch Wereldmodel dat getraind is via spectrale uitlijning op een niet-Gaussisch systeem, bestaat er een eindige tijd $T^*$ waarna de fout een vaste tolerantie overschrijdt. Deze horizon wordt bepaald door de representatiebias $\kappa(p)$ geïnduceerd door de Gaussische prior, niet door modelcapaciteit.

2. Het Mechanisme van Falen: Propagatie van Representatiebias

Het artikel introduceert Lemma 1 (Representatiebias Propagatie) om te verklaren waarom statistische modellen in de loop van de tijd falen. Het demonstreert dat niet-identificeerbare representaties een toestand-afhankelijke bias $b(z)$ installeren die het model niet kan verwijderen. Omdat de transitie-operator op elke stap opereert op deze bevoordeelde toestand ($z + b(z)$), cumuleert de fout additief (of exponentieel in chaotische systemen). In contrast hiermee betaalt een PGSA een eenmalige perceptuele fout bij $t=0$, maar opereert deze daarna op de ware toestand, wat cumulatieve bias voorkomt.

3. Formele Vergelijking van Paradigma's

De auteurs stellen een strikte ordening vast van temporele consistentie-horizons (Stelling 5):
$$T^*_{\pi} \le T^*_{stat} < T^*_{PGSA}$$

• Pixel-ruimte modellen falen structureel door niet-injectieve rendering (Propositie 8).
• Latente-ruimte statistische modellen (inclus including Transformers met statistisch uitgelijnde latentes) worden begrensd door de statistische ceiling $T^*_{stat} = \delta / \kappa(p)$.
• PGSA wordt uitsluitend begrensd door de machineprecisie $\mu$, wat een horizonratio oplevert van $\kappa(p)/\mu$ (ongeveer $10^{13}$ voor typische systemen) vergeleken met statistische modellen.

4. Benaderde Identificeerbaarheid

Stelling 7 behandelt het geval van een onvolledig Atoomregister. Het bewijst dat als het register slechts een deel van de dynamica dekt ($W_{known}$), de fout begrensd is door de grootte van de ongedekte residu ($W_{unknown}$). Cruciaal is dat het toevoegen van nieuwe atomen aan het register deze fout monotoon vermindert zonder hertraining, in tegenstelling tot statistische modellen die volledige hertraining vereisen om nieuwe fysische kennis te integreren.

Resultaten

• Lineaire Identificeerbaarheid: Empirische metingen op zeven fysische systemen bevestigen dat lineaire identificeerbaarheid degradeert naarmate het systeem verder afwijkt van Gaussianiteit. Niet-chaotische systemen vertoonden $R^2 \approx 0,90$, terwijl chaotische systemen dichter bij Gaussian waren ($R^2 \approx 0,99$) maar beperkt werden door Lyapunov-instabiliteit.
• Temporele Horizons:
  • Voor vijf niet-chaotische systemen was de PGSA-horizon de machine-precisie grens ($\approx 4,5 \times 10^{13}$ stappen).
  • Voor twee chaotische systemen werd de horizon beperkt door de Lyapunov-tijd ($\approx 31$ Lyapunov-tijden), een fundamentele fysische limiet in plaats van een architecturale.
  • Statistische modellen (pixel, latent, transformer) bleken finite horizons te hebben die ordes van grootte korter zijn, gedicteerd door de niet-Gaussianiteit van het systeem.
• Technische Validatie: De PGSA-aanpak werd gevalideerd op vier technische systemen (magnetostatica, modale analyse, statische structurele analyse, thermische analyse), waarbij closed-form oplossingen binnen de eindige-elementen tolerantie werden gereproduceerd.

Betekenis en Claims

Het artikel claimt vast te stellen dat symbolische gronding in de causale generator van de dynamica van de wereld de voldoende (en voor niet-Gaussische regimes de enige) conditie is voor het bereiken van bijna oneindige temporele consistentie.

Belangrijke claims zijn:

1. Statistische Uitlijning is Onvoldoende: Voor niet-Gaussische fysische systemen kan geen enkele hoeveelheid modelcapaciteit of data de structurele bias overwinnen die wordt geïntroduceerd door statistische uitlijningsobjectieven. De "Gaussische grens" is een harde limiet voor statistische Wereldmodellen.
2. Architectuur Bepaalt de Horizon: De temporele consistentie van een Wereldmodel wordt bepaald door waar de fout in het systeem binnenkomt. Statistische modellen passen bij elke stap opnieuw een representatiebias toe; PGSA amortiseert een enkele begrensde perceptuele fout.
3. Transformers zijn Geen Panacee: Transformer-gebaseerde wereldmodellen, wanneer zij vertrouwen op statistisch uitgelijnde latentes (zoals bij Sora, Genie, Cosmos en Dreamer), zijn onderhevig aan dezelfde statistische ceiling als latente-ruimte modellen. Attention-mechanismen kunnen de constante in de horizon vergroten, maar kunnen de bias $\kappa(p)$ niet elimineren.
4. Constructieve Route: Het werk biedt een constructieve route naar lange-horizon consistentie door executie te ontkoppelen van statistische perceptie, mits er een causale basis (Atoomregister) bestaat.

De auteurs verklaren expliciet dat zij niet beweren dat symbolische architecturen universeel superieur zijn aan alle mogbare toekomstige modellen, maar dat onder de door Klindt et al. geïdentificeerde aannames, statistische identificeerbaarheid geen langdurige temporele consistentie garandeert, terwijl symbolische causale executie dat wel doet.