技術要約：非ガウス性における識別可能性

問題提起

本論文は、ワールドモデル（World Models）における時間的一貫性の根本的な限界に対処している。JEPA（Joint-Embedding Predictive Architectures）は、特定の条件下で潜在変数を復元できることを示してきたが、近年のKlindt, LeCun, and Balestriero [1] による研究により、JEPAにおける線形識別可能性（真の潜在変数の線形な復元）は、世界の潜在ダイナミクスがガウス過程（具体的にはオルンシュタイン＝ウーレンベック過程）に従う場合にのみ達成可能であることが確立された。

著者らは、このガウス性の境界が物理モデリングに対して深刻な制約を課すと主張している。関心の対象となるほとんどの物理システム（投射体、相転移、乱流など）は、非ガウス的かつ非平均回帰的である。これらのシステムにおいて、現在のワールドモデルで使用されている統計的整合メカニズムは、時間の経過とともに単調に増大する表現誤差をもたらす。その結果、統計的なワールドモデルには、モデルの容量や訓練データの量に関わらず、予測が信頼できなくなる「時間的ホライゾン（時間的限界）」が存在することになる。本論文は、非ガウスシステムに対して、ほぼ無限の時間的一貫性が達成可能か否か、そしてもし可能であるならば、どのようなアーキテクチャ特性が必要とされるのかを明らかにすることを目的としている。

手法

本論文では、統計的整合に代わるものとして、**物理接地型記号アーキテクチャ（Physics-Grounded Symbolic Architecture: PGSA）**を導入し、定式化する。この手法は、以下の3つの核となる定義に基づいている。

1. アトム・レジストリ（Atom Registry）: 既知の物理法則を表し、明確なドメインを持つ、決定論的で実行可能な関数の有限集合（$A$）。
2. 状態グラフ（State Graph）: 型付けされた物理変数（質量、速度など）をノードとし、一つの変数から別の変数を計算するレジストリのアトムによってラベル付けされたエッジを持つ有向グラフ。
3. 因果基底（Causal Basis）: アトム・レジストリが、ドメインの稠密な部分集合において、世界の真の遷移関数 $W$ を正確に複製するアトムの合成を含むという条件。

著者らはこれを、スペクトル整合や変分目的関数を通じて表現を学習する統計的ワールドモデル（ピクセル空間、潜在空間、およびトランスフォーマーベースのモデルを含む）と対比させている。

理論的主張を検証するために、著者らは以下を行っている：

• 証明の定式化: 定理2、3、4、および7の代数的な核となる部分は、Mathable4 v4.31.0 を用いて、"sorry"（未解決の箇所）を一切含まずに Lean 4 で形式化されている。
• 実証的比較: 7つの物理システム（保存的な調和振動器からカオス的なローレンツ・アトラクターまで）と、4つのエンジニアリングシステム（ソレノイド、プレート、カンチレバー、ヒートシンク）をシミュレートした。
• 指標: 最適な等方性ガウス表現の線形識別可能性（$R^2$）を真の潜在変数に対して測定し、誤差が固定の許容誤差 $\delta$ を超える時間的ホライゾン（$T^*$）を算出している。

主要な貢献

1. 識別可能性と一貫性の理論的証明

本論文は、PGSAに関する3つの主要な結果を証明している：

• 定理2（記号的識別可能性）: アトム・レジストリが世界の生成器に対する因果基底を含む場合、PGSAは、潜在分布 $p(z)$ に関わらず、あらゆる物理的レジームにおいて厳密な線形識別可能性（$h(z)=z$）およびゼロの単一ステップ誤差（$\epsilon_1=0$）を達成する。
• 定理3（ほぼ無限の時間的一貫性）: PGSAにおいて、$t$ ステップ間の累積誤差は、機械精度（$\mu$）とシステムのリプシッツ定数のみによって制限される：$\epsilon_t \le t \cdot \mu \cdot \|W\|_{Lip}^t$。非カオス的なシステムでは、これにより誤差が許容誤差を超える前に、無制限の遷移が可能となる。
• 定理4（統計的時間的天井）: 対照的に、非ガウスシステムに対してスペクトル整合を用いて訓練された任意の統計的ワールドモデルには、誤差が固定の許容誤差を超える有限の時間 $T^*$ が存在する。このホライゾンは、モデルの容量ではなく、ガウス事前分布によって誘発される表現バイアス $\kappa(p)$ によって決定される。

2. 失敗のメカニズム：表現バイアスの伝播

本論文は、なぜ統計的モデルが時間の経過とともに失敗するのかを説明するために、**補題1（表現バイアスの伝播）**を導入している。これは、識別不可能な表現が、モデルが除去できない状態依存のバイアス $b(z)$ をインストールすることを実証している。遷移演算子が毎ステップでバイアスのかかった状態（$z + b(z)$）に対して作用するため、誤差は加算的に（あるいはカオス的システムでは指数関数的に）蓄積する。対照的に、PGSAは $t=0$ において一度だけ知覚誤差を支払うが、その後は真の状態に基づいて動作するため、バイアスの蓄積を防ぐことができる。

3. パラダイムの形式的比較

著者らは、時間的一貫性のホライゾンの厳格な順序を確立している（定理5）：
$$T^*_{\pi} \le T^*_{stat} < T^*_{PGSA}$$

• ピクセル空間モデルは、非単射的なレンダリング（命題8）により構造的に失敗する。
• 潜在空間の統計的モデル（統計的に整合された潜在変数を持つトランスフォーマーを含む）は、ガウス事前分布による統計的天井 $T^*_{stat} = \delta / \kappa(p)$ によって制限される。
• PGSAは機械精度 $\mu$ のみによって制限され、統計的モデルと比較して、ホライゾン比は約 $\kappa(p)/\mu$ （典型的なシステムでは約 $10^{13}$）となる。

4. 近似的識別可能性

定理7は、不完全なアトム・レジストリの場合を扱っている。レジストリが動力学の一部（$W_{known}$）のみをカバーしている場合、誤差はカバーされていない残差（$W_{unknown}$）の大きさに制限されることを証明している。決定的なのは、新しいアトムをレジストリに追加すると、再学習を行うことなく、この誤差が単調に減少することであり、これは物理的知識を組み込むために全再学習を必要とする統計的モデルとは対照的である。

結果

• 線形識別可能性: 7つの物理システムにおける実証的測定により、システムがガウス分布から逸脱するにつれて線形識別可能性が低下することが確認された。非カオス的システムでは $R^2 \approx 0.90$ であったが、カオス的システムはガウス分布に近く（$R^2 \approx 0.99$）、リアプノフ不安定性によって制限されていた。
• 時間的ホライゾン:
  • 5つの非カオス的システムについて、PGSAのホライゾンは機械精度の限界（$\approx 4.5 \times 10^{13}$ ステップ）であった。
  • 2つのカオス的システムについては、ホライゾンはリアプノフ時間（$\approx 31$ リアプノフ時間）によって制限された。これはアーキテクチャによる制限ではなく、根本的な物理的限界である。
  • 統計的モデル（ピクセル、潜在空間、トランスフォーマー）は、システムの非ガウス性によって決定される、桁違いに短い有限のホライゾンを持つことが示された。
• エンジニアリング検証: PGSAのアプローチは、4つのエンジニアリングシステム（静磁界、モード解析、静的構造、熱伝導）において、有限要素法の許容誤差範囲内で閉形式解を再現することによって検証された。

意義と主張

本論文は、**世界のダイナミクスの因果生成器における記号的接地（symbolic grounding）**が、ほぼ無限の時間的一貫性を達成するための十分条件（かつ、非ガウス領域においては唯一の条件）であることを確立すると主張している。

主な主張は以下の通りである：

1. 統計的整合は不十分である: 非ガウス的な物理システムにおいて、統計的整合の目的関数によって導入される構造的バイアスを克服できるモデルの容量やデータ量は存在しない。「ガウスの境界」は、統計的ワールドモデルにとってのハードリミットである。
2. アーキテクチャがホライゾンを決定する: ワールドモデルの時間的一貫性は、誤差がどこでシステムに進入するかによって決まる。統計的モデルは毎ステップで表現バイアスを再適用するが、PGSAは単一の限定的な知覚誤差を償却する。
3. トランスフォーマーは万能薬ではない: トランスフォーマーベースのワールドモデル（Sora, Genie, Cosmos, Dreamerなどが統計的に整合された潜在変数に依存している場合）は、潜在空間モデルと同じ統計的天井を受ける。アテンション機構はホライゾンの定数を増大させることはできるが、バイアス $\kappa(p)$ を排除することはできない。
4. 構成的な経路: 本研究は、実行（execution）と統計的知覚（statistical perception）を切り離すことで、長期間の一貫性への構成的な経路を提供している。ただし、それは因果基底（アトム・レジストリ）が存在する場合に限られる。

著者らは、記号的アーキテクチャがあらゆる将来のモデルに対して普遍的に優れていると主張しているのではなく、Klindtらが特定した仮定の下では、統計的識別可能性は長期間の一貫性を保証しないが、記号的因果実行はそれを保証するということを明示している。