技術要約：センサーモーター世界モデル (SMWM)

問題提起

本論文は、報酬信号やタスクラベルなしに、高次元の観測（例：ピクセル）から潜在的な世界モデル（latent world models）を学習するという課題に取り組んでいる。**結合埋め込み予測アーキテクチャ（JEPA）**は、将来の状態を（ピクセル再構成を避け、）埋め込み空間で直接予測することで有望な枠組みを提供しているが、**表現の崩壊（representation collapse）**という問題に直面している。エンコーダと順方向ダイナミクスモデルを予測誤差を最小化するように共同で訓練すると、エンコーダがすべての観測を一定の埋め込みへとマッピングしてしまうことがある。この自明な解は、順方向の損失を最小化するものの、ダウンストリームの制御やプランニングにおいてはモデルを使い物にならないものにしてしまう。

崩壊を防ぐための既存の解決策は、以下のような複雑なメカニズムに依存することが多い：

• 学習済みエンコーダの凍結（例：DINO-WM）。
• 分布的正則化の追加（例：SIGRegによる等方性ガウス分布への埋め込みのマッチング）。
• ストップグラジエントを用いた指数移動平均（EMA）ターゲットネットワークの使用。
• 分散共分散制約を含むマルチターム損失関数の採用。

著者らは、これらのアプローチは「有用な世界モデルの表現が何を保持すべきか」という核心的な問いに完全には答えていない可能性があると主張している。**「行動のための知覚（perception for action）」およびエナクティブな知覚（enactive perception）**の概念に基づき、本論文は、表現とは、制御可能なダイナミクスにとって重要な区別を保持しつつ、制御不能なディストラクター（妨害要素）を破棄するように形成されるべきであると論じている。

手法：センサーモーター世界モデル (SMWM)

著者らは、オフラインの報酬フリーな軌跡 $(o_t, a_t, o_{t+1})$ からエンドツーエンドで訓練されるSMWMを提案する。核心となる革新は、表現の崩壊を防ぐ唯一のメカニズムとして、**逆ダイナミクス正則化（inverse dynamics regularization）**を用いることである。

アーキテクチャ

モデルは、共同で訓練される以下の3つのコンポーネントで構成される：

1. エンコーダ ($f_\theta$): 観測 $o_t$ をコンパクトな潜在埋め込み $z_t$ にマッピングする。
2. 順方向ダイナミクスモデル ($g_\phi$): 現在の状態 $z_t$ とアクション $a_t$ が与えられたとき、次の潜在状態 $\hat{z}_{t+1}$ を予測する。
3. 逆ダイナミクスモデル ($h_\psi$): 連続する2つの埋め込み $z_t$ と $z_{t+1}$ の間で取られたアクション $\hat{a}_t$ を予測する。

訓練目的関数

モデルは、以下の結合損失関数を最小化するように最適化される：
$$\mathcal{L} = \mathcal{L}_{fwd} + \lambda \mathcal{L}_{inv}$$

• 順方向損失 ($\mathcal{L}_{fwd}$): 予測された次の埋め込み $\hat{z}_{t+1} = g_\phi(z_t, a_t)$ と、実際の次の状態のエンコード結果 $z_{t+1} = f_\theta(o_{t+1})$ の間の平均二乗誤差（MSE）。
• 逆方向損失 ($\mathcal{L}_{inv}$): 予測されたアクション $\hat{a}_t = h_\psi(z_t, z_{t+1})$ と、真のアクション $a_t$ の間のMSE。
• 正則化重み ($\lambda$): 逆ダイナミクス信号の強さを制御する単一のハイパーパラメータ。

メカニズムの作用

逆方向損失は、アンチ・コラプス（崩壊防止）メカニズムとして機能する。もしエンコーダが定数埋め込みへと崩壊した場合、逆モデルはすべての遷移に対して同一の入力を受け取り、定数のアクション（アクション分布の平均値）しか予測できなくなる。この「定数予測器としてのリスク」を下回るレベルまで逆方向損失を減少させるためには、エンコーダは遷移 $(o_t, o_{t+1})$ に含まれるアクション $a_t$ に関する情報を保持しなければならない。これにより、表現はアクションに関連する情報（制御可能な自由度）を保持することを強制される一方で、アクションの回復に影響を与えない制御不能なディストラクター（外生的なノイズ）を自然にフィルタリングするようになる。

埋め込みの幾何学的形状を規定する（例：ガウス分布への強制）分布的正則化とは異なり、逆ダイナミクスは、特定の幾何学的事前分布を課すことなく、タスクに基づいた量（アクション）に表現を固定する。

主な貢献

1. SMWMアーキテクチャ: 逆ダイナミクスを唯一のアンチ・コラプス・メカニズムとして使用し、再構成や報酬信号、凍結されたエンコーダ、あるいは複雑な分布的事前分布を必要としない、シンプルでエンドツーエンドで訓練可能なセンサーモーター世界モデル。
2. 表現の特性: 学習された表現が単に崩壊していないだけでなく、具体的に制御可能な自由度を追跡し、空間幾何学（デカルト座標および周期的な構造の両方）を保持し、制御不能なディストラクターを排除していることを示す経験的証拠。
3. ダウンストリーム性能: 2Dおよび3Dの制御タスクにおける競争力のあるプランニング性能を示し、表現の構造的な利点が効果的な目標指向プランニングに繋がることを実証。

実験結果

制御されたテストベッド (Dot World & Sprite World)

• 内在次元の回復: 「Dot World」環境において、モデルはピクセルのみから、64次元の潜在空間に埋め込まれているにもかかわらず、状態空間の真の2D内在次元を正常に回復した。
• ディストラクターのフィルタリング: 制御不能な「ディストラクター」オブジェクト（ランダムに移動するもの）を導入した際、エンコーダはこれらを無視した。有効な潜在次元は、全観測次元ではなく、制御可能な自由度に一致した。
• 制御依存の知覚: スプライトワールドの実験では、モデルはポーズ変数（位置、向き）が制御可能である場合にのみ、それらを保持することを学習した。向きが制御不能になると、表現はその向きを平均化し、結果として向きのぼやけた再構成をもたらした。

プランニング・ベンチマーク

著者らは、4つのオフライン制御タスク（TwoRoom（2Dナビゲーション）、Reacher（連続制御）、Push-T（2D操作）、OGBench-Cube（3D操作））でSMWMを評価した。

• ベースライン: 強力なJEPAベースラインであるSIGReg（ガウス正則化を使用）、Forward-only（逆方向損失なし）、およびRandomアクションサンプリングと比較。
• パフォーマンス:
  • SMWMは、3つの2DタスクにおいてSIGRegと同等の性能を示した。
  • SMWMは、3DのOGBench-CubeタスクにおいてSIGRegを上回った（成功率84% 対 59%）。
  • 両方の正則化手法は、Forward-onlyのアブレーション（比較実験）を大幅に上回り、アンチ・コラプス・メカニズムの必要性を裏付けた。
• 潜在幾何学: プロービング実験により、SMWMの埋め込みが物理的な状態の幾何学（例：Reacherにおける周期的な関節角度に対する円筒構造、ナビゲーションに対するデカルト写像）を反映した低次元の部分空間を形成していることが明らかになった。

意義と主張

本論文は、SMWMが、潜在的な世界モデル学習における**「行動のための知覚」の原理的かつシンプルなインスタンス化であることを主張している。アクションとその影響に関する情報を保持するように強制することで、モデルは自然に、環境の制御可能な自由度**へと表現をバイアスさせる。

主要なポイント：

• 簡潔さ: 逆ダイナミクスのみで、再構成、報酬信号、凍結されたエンコーダ、あるいは複雑な分布的事前分布なしに、エンドツーエンドのJEPA訓練を安定させることが可能である。
• 構造的バイアス: この手法は、単なる予測相関ではなく、解釈可能であり、かつ環境の因果構造（アクションとその効果）に整合した表現を誘導する。
• 実用的な有用性: 学習された表現は、他の正則化手法が苦戦する複雑な3D環境においても、効果的な潜在プランニングをサポートする。

著者らは、アクションが連続する観測から回復可能であるという仮定や、観測履歴なしでは単一フレームから特定できない量（速度など）を捉えることが現在の能力では困難であるといった限界も認めている。しかし、SMWMを、オフラインデータから実行可能な世界モデルを学習するための堅牢な報酬フリーのアプローチとして位置づけている。