技術要約：Dueling World Models（デュエリング・ワールドモデル）

問題提起

潜在的ワールドモデル、特にJoint-Embedding Predictive Architecture (JEPA) に従うモデルは、現在の状態と行動から将来の状態の埋め込みを予測することでプランニングを行う。しかし、シーン内にエージェントが制御できない動き（ディストラクター／妨害要素）が含まれる場合、これらのモデルは「サイレント」な失敗モードに陥る。すなわち、全体の訓練損失（再構成誤差または予測誤差）が改善し続けているにもかかわらず、異なる行動に対する予測が区別不能になってしまうのである。

既存の救済策は、再構成損失、タスク報酬、補助的な逆ダイナミクス目的関数、あるいは別個のネットワークブランチなどの外部的な仕組みを追加することで、制御可能なダイナミクスと外生的なディストラクターを分離しようと試みてきた。これらのアプローチは、ディストラクターのプロセスに関する特定の仮定や、追加の教師あり学習を必要とすることが多い。著者らは、標準的なモノリシックな予測器 $P(z, a)$ において、真のアクションラベルによって明示的に接地されるか、あるいはセグメンテーションマスクによって除去されない限り、アクション・チャネルはディストラクターのダイナミクスと絡み合ってしまうことを指摘している。決定的なことに、標準的な検証損失に基づくモデル選択は、この「アクション盲目（action-blindness）」を検出できず、アクション信号が崩壊したチェックポイントを積極的に選択してしまう。

手法：AD-JEPA

本論文は、報酬、再構成、またはディストラクター特有の補助損失を必要とせずに、アクション・チャネルを孤立させる、アクション条件付き潜在予測器の最小限の再構成である AD-JEPA (Action-Decomposed JEPA) を提案する。

コアメカニズム：アクション平均中心化（Action-Mean Centering）

この手法は、予測器を以下の2つのストリームに分解する：

1. パッシブ・ストリーム ($B(z)$): アクションが周辺化された状態で、シーンがどのように進化するかを予測する。
2. 中心化されたアクション・ストリーム ($u(z, a)$): アクション固有のオフセットを表し、生の・アクション・オフセットからアクションに対する平均予測を差し引くことで計算される。

更新規則は以下のように定義される：
$$\hat{z}_{t+1} = B(z_t) + \underbrace{[\Delta(z_t, a_t) - \bar{\Delta}(z_t)]}_{u(z_t, a_t)}$$
ここで、$\bar{\Delta}(z) = \mathbb{E}_{a' \sim \nu}[\Delta(z, a')]$ は、提案分布 $\nu$ のアクション集合における平均オフセットである。

理論的基礎

このアプローチは、スカラー値に対する Dueling DQN の分解（$Q = V + (A - \bar{A})$）を、ベクトル値の潜在ダイナミクスへと適応させたものである。著者らは、この引き算が学習された傾向ではなく、代数的な恒等式であることを証明している：

• 共通モードの相殺 (Common-Mode Cancellation): すべてのアクションに対して同一に入力される変動（共通モードの変動）、すなわちアクションに依存しないディストラクターは、正確に相殺される。
• 厳密性 (Exactness): この相殺は、離散的なアクション集合（厳密な列挙による）および連続的なアクション集合（モンテカルロ・サンプリングによる）の両方において、有限の候補集合上で平均が推定される限り、厳密に成立する。
• 外生性の仮定の排除: この手法は、プロセスレベルでの外生性に関する仮定（すなわち、ディストラクターがプロセスレベルでエージェントのポリシーから独立していること）を必要としない。それは、遷移へのディストラクターの寄与が、アクション間において共通モードであることのみを要求する。

訓練目的関数

モデルは、停止勾配EMAターゲットに対する標準的なJEPA予測損失を用いて訓練されるが、これに以下が追加される：

• InfoNCE ($L_{act}$): 実行されたアクションの予測が、反事実的なアクションの中でターゲットに最も近くなるよう促す。
• コンパクトネス・ペナルティ ($L_{off}$): アクション・チャネルが状態の持続性を吸収することを抑制する。
• VICReg 正則化: 表現の崩壊を防ぐ。

注目すべき点として、次元を選択するための学習されたゲーティング・メカニズムを追加しても、それは一様なダウンスケーリングへと退化し、無効であったことが報告されている。これは、中心化こそが主要なメカニズムであることを裏付けている。

主な貢献

1. アクション平均中心化: アクション条件付き予測器を共通モード不変にする、一行の再構成。著者らは、離散およびサンプリングされたアクション集合の両方において、共通モード成分の正確な相殺を示す証明（命題1および2）を提供している。
2. 実証的検証: 本手法は、以下の4つの異なる設定で検証された：
   • Gridworld (FourRooms): 回転するバイナリ・ディストラクター・セルを伴う。
   • 合成ジェネレータ: 既知の制御可能因子とノイズ因子を持つ。
   • 連続制御 (DMC): ピクセルレベルの動く遮蔽物を持つ。
   • Atari (Freeway): 自然な交通ディストラクターを持つ。
     すべてのケースにおいて、中心化されたチャネルはエージェントの効果を保持しつつ、ノイズの漏出をゼロに近いレベルまで減少させたが、絡み合った予測器は失敗した。
3. リードアウト限定の適用可能性: このメカニズムはアーキテクチャの特性ではなく、リードアウト（読み出し）の特性であるため、凍結された事前学習済みワールドモデル（具体的にはRePoおよびTIA）に対して**事後的に（post-hoc）**適用できる。著者らは、これらの凍解されたモデルの生の・アクション・デルタ・リードアウトからアクション平均を差し引くことで、それまで潜在的でルート化されていなかったアクション・チャネルを回収できることを示した。
4. 境界の定義: 本論文は限界を明確に特定している。ディストラクターのダイナミクスがアクションと相関している場合（例：再受容的ディストラクター、またはユーザーに反応するエージェント）、本手法は失敗する。このような場合、ディストラクターは共通モードではなくなり、相殺されない。

結果

• 回収 vs 拒絶: 合成テストにおいて、中心化されたチャネルは制御可能因子の高い回収率（$R^2 \approx 0.87\text{--}0.93$）を達成した一方で、ノイズ因子の拒絶（$R^2 \approx -0.00$）も達成した。非中心化のバリアントは、信号を回収したが、ノイズを激しく漏出させた。
• 制御性能: Gridworldにおいて、中心化されたチャネルを用いたモデル予測制御器は、30個のディストラクター・セルがある状況でも高い目標到達成功率（$\approx 0.92$）を維持したが、標準的な予測器は $\approx 0.57$ にまで崩壊した。
• 事後的な成功: 凍結されたRePoおよびTIAモデルにこの減算を適用したところ、生の・アクション・デルタ・リードアウトがほぼゼロであったのに対し、アクション・チャネルの $R^2$ 値が 0.19 から 0.52 の間で回収された。
• 失敗モード: 本手法は、アクション相関のあるストレス・テストにおいて正しく失敗（チャンスレベルへの崩壊）し、理論的な境界と一致した。

意義と主張

本論文は、中心化はアクション条件付きワールドモデルに対する普遍的なプラグインであると主張している。その意義は以下の通りである：

• 単純性: 再構成、報酬ベースの因子分解、あるいは補助的な逆ダイナミクス損失といった複雑さを伴わずに、ディストラクターの拒絶を実現する。
• 構造的保証: 分離は、特定の訓練信号に依存した学習された傾向ではなく、パラメータ化の代数的な性質である。
• レトロフィット（後付け）能力: 既存の凍結されたワールドモデルを、訓練し直すことなく、推論時に「デ・ディストラクト（ディストラクター除去）」することを可能にし、以前は絡み合ったダイナミクスによって隠されていたアクション・チャネルを表面化させる。

著者らは、制御のスケーラビリティに関して謙虚な姿勢を示している。Gridworldでは制御が可能であったものの、これをDMCの連続制御タスクにスケールアップしようとする試みは、ランダムなベースラインに勝てなかった。彼らは、これをチャネル自体の欠陥ではなく、プランナーにおけるモデル精度のボトルネックに起因するものと考えている。主要な貢献は、したがって表現レベルにある。すなわち、絡み合った予測器が「アクション盲目」になる中で、クリーンで共通モード不変なアクション・チャネルを提供する点にある。