Résumé Technique : Identifiabilité sans Gaussianité

Énoncé du Problème

L'article traite d'une limitation fondamentale de la cohérence temporelle des Modèles de Monde (World Models). Bien que les architectures de prédiction à plongement conjoint (JEPA) aient démontré un succès dans la récupération de variables latentes sous des conditions spécifiques, des travaux récents de Klindt, LeCun et Balestriero [1] ont établi que l'identifiabilité linéaire (la récupération linéaire des véritables variables latentes) dans les JEPA est réalisable si et seulement si la dynamique latente du monde suit un processus gaussien stationnaire (spécifiquement un processus d'Ornstein-Uhlenbeck).

Les auteurs soutiennent que cette frontière gaussienne impose une contrainte sévère sur la modélisation physique. La plupart des systèmes physiques d'intérêt scientifique (par exemple, les projectiles, les transitions de phase, les écoulements turbulents) sont non-gaussiens et non-retour à la moyenne. Pour ces systèmes, les mécanismes d'alignement statistique utilisés par les Modèles de Monde actuels entraînent une erreur de représentation qui croît de manière monotone avec le temps. Par conséquent, les Modèles de Monde statistiques possèdent un « horizon temporel » fini au-delà duquel les prédictions deviennent peu fiables, quels que soient la capacité du modèle ou le volume de données d'entraînement. L'article cherche à déterminer si une cohérence temporelle quasi infinie est réalisable pour les systèmes non-gaussiens et, si oui, quelles propriétés architecturales sont requises.

Méthodologie

L'article introduit et formalise l'Architecture Symbolique Fondée sur la Physique (PGSA) comme une alternative à l'alignement statistique. La méthodologie repose sur trois définitions centrales :

1. Registre d'Atomes (Atom Registry) : Un ensemble fini de fonctions déterministes et exécutables ($A$) représentant des lois physiques connues avec des domaines bien définis.
2. Graphe d'État (State Graph) : Un graphe dirigé où les nœuds sont des variables physiques typées (masse, vitesse, etc.) et les arêtes sont étiquetées par des atomes du registre qui calculent une variable à partir d'une autre.
3. Base Causale (Causal Basis) : La condition où le Registre d'Atomes contient une composition d'atomes qui réplique exactement la fonction de transition réelle $W$ du monde sur un sous-ensemble dense du domaine.

Les auteurs opposent cela aux Modèles de Monde Statistiques (incluant les modèles dans l'espace des pixels, de l'espace latent et basés sur les Transformers) qui apprennent des représentations via l'alignement spectral ou des objectifs variationnels.

Pour valider leurs affirmations théoriques, les auteurs :

• Formalisent les preuves : Les noyaux algébriques des Théorèmes 2, 3, 4 et 7 sont formalisés en Lean 4 utilisant Mathlib4 v4.31.0 avec zéro emplacement « sorry ».
• Comparaison Empirique : Ils simulent sept systèmes physiques (allant d'oscillateurs harmoniques conservatifs à des attracteurs de Lorenz chaotiques) et quatre systèmes d'ingénierie (solénoïde, plaque, console, dissipateur thermique).
• Métriques : Ils mesurent l'identifiabilité linéaire ($R^2$) de la représentation isotrope-gaussienne optimale par rapport aux latents réels et calculent l'horizon temporel ($T^*$) où l'erreur dépasse une tolérance fixe $\delta$.

Contributions Clés

1. Preuves Théoriques d'Identifiabilité et de Cohérence

L'article démontre trois résultats primordiaux concernant la PGSA :

• Théorème 2 (Identifiabilité Symbolique) : Si le Registre d'Atomes contient une base causale pour le générateur du monde, la PGSA atteint une identifiabilité linéaire exacte ($h(z)=z$) et une erreur par étape nulle ($\epsilon_1=0$) pour tous les régimes physiques, indépendamment de la distribution latente $p(z)$.
• Théorème 3 (Cohérence Temporelle Quasi Infinie) : Pour une PGSA, l'erreur accumulée sur $t$ étapes est uniquement bornée par la précision machine ($\mu$) et la constante de Lipschitz du système : $\epsilon_t \le t \cdot \mu \cdot \|W\|_{Lip}^t$. Pour les systèmes non-chaotiques, cela permet un nombre illimité de transitions avant que l'erreur ne dépasse une tolérance.
• Théorème 4 (Plafond Temporel Statistique) : Inversement, pour tout Modèle de Monde statistique entraîné par alignement spectral sur un système non-gaussien, il existe un temps fini $T^*$ après lequel l'erreur dépasse toute tolérance fixée. Cet horizon est déterminé par le biais de représentation $\kappa(p)$ induit par le prior gaussien, et non par la capacité du modèle.

de l'Échec : Propagation du Biais de Représentation

L'article introduit la Lemme 1 (Propagation du Biais de Représentation) pour expliquer pourquoi les modèles statistiques échouent au fil du temps. Il démontre que les représentations non-identifiables installent un biais dépendant de l'état $b(z)$ que le modèle ne peut pas supprimer. Comme l'opérateur de transition opère sur cet état biaisé ($z + b(z)$) à chaque étape, l'erreur se cumule de manière additive (ou exponentielle dans les systèmes chaotiques). En revanche, une PGSA paie une erreur perceptuelle unique à $t=0$ mais opère sur l'état réel par la suite, empêchant ainsi le cumul du biais.

3. Comparaison Formelle des Paradigmes

Les auteurs établissent un ordre strict des horizons de cohérence temporelle (Théorème 5) :
$$T^*_{\pi} \le T^*_{stat} < T^*_{PGSA}$$

• Les modèles dans l'espace des pixels échouent structurellement en raison d'un rendu non-injectif (Proposition 8).
• Les modèles statistiques dans l'espace latent (y compris les Transformers avec des latents statistiquement alignés) sont limités par le plafond statistique $T^*_{stat} = \delta / \kappa(p)$.
• La PGSA est uniquement bornée par la précision machine $\mu$, offrant un ratio d'horizon de $\kappa(p)/\mu$ (environ $10^{13}$ pour des systèmes typiques) par rapport aux modèles statistiques.

4. Identifiabilité Approximative

Le Théorème 7 traite le cas d'un Registre d'Atomes incomplet. Il prouve que si le registre ne couvre qu'une partie de la dynamique ($W_{connu}$), l'erreur est bornée par l'amplitude du résidu non couvert ($W_{inconnu}$). Crucialement, l'ajout de nouveaux atomes au registre réduit cette erreur de manière monotone sans réentraînement, contrastant avec les modèles statistiques qui nécessitent un réentraînement complet pour incorporer de nouvelles connaissances physiques.

Résultats

• Identifiabilité Linéaire : Les mesures empiriques sur sept systèmes physiques confirment que l'identifiabilité linéaire se dégrade à mesure que le système s'éloigne de la gaussianité. Les systèmes non-chaotiques ont montré un $R^2 \approx 0,90$, tandis que les systèmes chaotiques étaient plus proches de la gaussianité ($R^2 \approx 0,99$) mais limités par l'instabilité de Lyapunov.
• Horizons Temporels :
  • Pour cinq systèmes non-chaotiques, l'horizon de la PGSA était la limite de précision machine ($\approx 4,5 \times 10^{13}$ étapes).
  • Pour deux systèmes chaotiques, l'horizon était limité par le temps de Lyapunov ($\approx 31$ temps de Lyapunov), une limite physique fondamentale plutôt qu'architecturale.
  • Les modèles statistiques (pixels, latents, transformers) ont montré des horizons finis ordres de grandeur plus courts, dictés par la non-gaussianité du système.
• Validation en Ingénierie : L'approche PGSA a été validée sur quatre systèmes d'ingénierie (magnétostatique, analyse modale, structure statique, dissipateur thermique), reproduisant les solutions en forme close avec une tolérance de l'analyse par éléments finis.

Signification et Revendications

L'article prétend établir que l'ancrage symbolique dans le générateur causal de la dynamique du monde est la condition suffisante (et, pour les régimes non-gaussiens, la seule) pour atteindre une cohérence temporelle quasi infinie.

Revendications clés :

1. L'alignement statistique est insuffisant : Pour les systèmes physiques non-gaussiens, aucune quantité de capacité de modèle ou de données ne peut surmonter le biais structurel introduit par les objectifs d'alignement statistique. La « frontière gaussienne » est une limite dure pour les Modèles de Monde statistiques.
2. L'architecture détermine l'horizon : La cohérence temporelle d'un Modèle de Monde est déterminée par l'endroit où l'erreur entre dans le système. Les modèles statistiques réappliquent le biais de représentation à chaque étape ; la PGSA amortit une erreur perceptuelle unique et bornée.
3. Les Transformers ne sont pas une panacée : Les modèles de monde basés sur les Transformers, lorsqu'ils reposent sur des latents statistiquement alignés (comme c'est le cas pour Sora, Genie, Cosmos et Dreamer), sont soumis au même plafond statistique que les modèles d'espace latent. Les mécanismes d'attention peuvent augmenter la constante de l'horizon mais ne peuvent éliminer le biais $\kappa(p)$.
4. Voie Constructive : Ce travail propose une voie constructive vers la cohérence à long horizon en découplant l'exécution de la perception statistique, à condition qu'une base causale (Registre d'Atomes) existe.

Les auteurs déclarent explicitement qu'ils ne prétendent pas que les architectures symboliques sont universellement supérieures à tous les futurs modèles possibles, mais plutôt que, sous les hypothèses identifiées par Klindt et al., l'identifiabilité statistique ne garantit pas la cohérence à long horizon, contrairement à l'exécution causale symbolique.