技術的サマリー：潜在行動モデルが失敗する理由と、その防止策

問題定義

潜在行動モデル（LAMs）は、ラベルなし動画からフレーム間の変化を圧縮することで、行動に関連する表現を学習することを目指しており、実世界のロボット工学における行動ラベル付きデータセットの不足に対する解決策を提供する。しかし、「野外（in-the-wild）」の動画では、観測にはエージェントの内生状態だけでなく、外生状態（例：背景の雑多な物体、カメラの動き、照明の変化）も含まれている。これらの外生要因は、エージェントの行動とは無関係なフレーム遷移をもたらす。

先行研究では、標準的な再構成目的関数を用いて訓練された LAM が、このような環境では真の行動と整合しないことが観察されている。LAM は行動ダイナミクスを学習する代わりに、外生ノイズを誤って符号化してしまう。経験的な対策（例：補助的監督、マルチビューデータ）は存在するが、外生ノイズの存在下で標準的な目的関数がなぜ失敗し、特定の補助的目的関数がなぜこの失敗を緩和するのかを説明する統一的な理論的分析はこれまで存在しなかった。

手法

著者は、潜在行動学習を分析するために、**外生ブロックマルコフ決定過程（Ex-BMDP）**に基づく統一的な理論的枠組みを提案する。

1. 理論的枠組み：Ex-BMDP

著者は、標準的なブロック MDP（BMDP）を拡張し、外生ノイズを明示的にモデル化する。この定式化において：

• 潜在状態 $x$ は、エージェントによって制御可能な内生状態 $s$ と、エージェントの行動とは独立な外生状態 $\xi$ に分解される。
• 遷移関数と初期分布は分離される：$T(x'|x, a) = T_s(s'|s, a)T_\xi(\xi'|\xi)$。
• 観測は、ビジョンエンコーダ $f$ を含む決定論的な放出マップ $o = h(s, \xi)$ を介して生成される。

2. 線形 LAM 解析

理論的な取り扱い可能性を確保するため、著者はまず線形 LAMの設定を解析する。この設定では：

• 観測遷移は加法的である：$o' = o + \phi_\xi(a) + \epsilon$。ここで、$\phi_\xi(a)$ は行動の効果、$\epsilon$ は状態変化（$\xi \to \xi'$）に起因する外生ノイズである。
• 逆ダイナミクスモデル（$\psi_{IDM}$）と順ダイナミクスモデル（$\psi_{FDM}$）は線形写像である。
• 標準的な目的関数は、再構成誤差 $L_{LAM} = \mathbb{E}[\|o' - \hat{o}'\|_2^2]$ を最小化することである。

3. 補助的目的関数

著者は、既存の 2 つの補助的目的関数のファミリーを Ex-BMDP 枠組み内で再定式化する：

• クロス外生再構成（$L_{X-exo}$）：同じ内生状態を共有する異なる外生状態（$\xi, \tilde{\xi}$）からのペア観測を用いて、整合性を強制する。
• 外生ロバスト目標予測（$L_{\xi-robust}$）：外生変動に対してロバストな目標 $y$（例：真の行動またはオプティカルフロー）を用いて潜在行動を監督する（すなわち、$y$ は $\xi$ に関わらず類似したままである）。

主要な貢献

1. 「未来漏洩」の特定

著者は、外生ノイズの存在下で標準的な再構成目的関数 $L_{LAM}$ を最小化することが未来漏洩を引き起こすことを証明する。

• メカニズム：順モデル $\psi_{FDM}$ は、未来の外生状態 $\xi'$ を含む未来の観測 $o'$ を再構成しなければならないが、$\xi'$ は入力として利用できないため、潜在行動 $z$ は $\xi'$ に関する情報を符号化することを強制される。
• 結果：命題 4.2 は、$L_{LAM}$ の大域的最適解のいずれも、$\xi'$ に依存しない潜在行動を許容しないことを示す。その結果、$z$ は未来フレームからの外生情報を吸収し、実際の行動ダイナミクスを符号化するために利用可能な容量が減少する。

2. ビジョンエンコーダの感度の役割

この解析は、潜在空間における外生ノイズのエネルギーが、外生変化に対するビジョンエンコーダの感度によって支配されることを明らかにする。

• ノイズエネルギーは、外生状態の切り替え頻度と、放出関数 $h$ の $\xi$ に対する感度に比例する。
• 経験的結果は、背景変動に対してロバストで物体中心である DINOv2 などのエンコーダが、生ピクセル入力と比較してこの感度を著しく低減し、より良い行動整合性をもたらすことを示している。

3. 補助的目的関数の理論的正当化

本論文は、補助的目的関数が外生状態間での整合性を強制することによって外生干渉をどのように緩和するかを示す証明を提供する：

• クロス外生再構成：線形仮定の下では、$L_{X-exo}$ の最小化は主成分相関分析（CCA）に等価である。これは、特定の外生状態に伴って変化する遷移成分を抑制し、それらを超えて持続する成分（すなわち、行動駆動の変化）を保持する。
• 外生ロバスト予測：命題 4.8 は、外生状態に対して $\eta$-ロバストな目標 $y$ を予測することが、異なる外生状態間での潜在行動の不一致に対する明示的な境界を提供することを示す。この損失を最小化することは、背景に関わらず潜在行動が整合的であることを強制する。

実験結果

線形 LAM 実験

制御された外生切り替え確率（$p_{switch}$）を持つ合成データを用いて：

• 未来漏洩の検証：実験は、潜在行動が未来の外生状態を符号化していることを確認した。推論中に次のフレームの外生状態を交換すると、再構成出力は交換されたフレームに一致するようにシフトし、「ショートカット」動作を確認した。
• ノイズ感度：観測が外生変化に対して持つ感度（$\alpha$）が増加するにつれて、行動予測の正規化平均二乗誤差（NMSE）が悪化し、エンコーダの感度と失敗との間の理論的リンクが検証された。
• 補助的効果の検証：標準的な損失に $L_{X-exo}$ または $L_{\xi-robust}$ を追加することは、行動整合性を一貫して改善し、外生状態間での潜在行動の分散を減少させた。

非線形（実用的）LAM 実験

一般化性をテストするため、著者は線形仮定に違反する乗法的外生ノイズを含むグリッドワールドデータセット上で、非線形 LAM（CNN/UNet を用いた VQ-VAE）を訓練した：

• バニラ LAM：ノイズ強度が増加するにつれて、モデルは外生領域を符号化し、高い整合性損失と低い外生領域 MSE（つまり、ノイズを予測していることを意味する）をもたらした。
• 拡張 LAM：$L_{X-exo}$ または $L_{\xi-robust}$ を用いて訓練されたモデルは、すべてのノイズレベルにおいて高い外生領域 MSE（ノイズを無視）と低い整合性損失を維持した。
• 結論：未来漏洩に関する理論的洞察と、整合性強制目的関数の利点は、線形性および加法的仮定が違反されている場合でも有効である。

意義と主張

本論文は、外生ノイズの存在下における潜在行動学習の失敗に対する統一的な理論的分析を提供すると主張する。その主な意義は以下の点にある：

1. 失敗モードの解明：単に現象を経験的に観察するのではなく、標準的な再構成目的関数が行動学習を劣化させるメカニズムとして「未来漏洩」を形式的に特定する。
2. 対策の統合：多様な補助的目的関数（マルチビュー、行動監督、オプティカルフロー）が、外生状態間での潜在行動の整合性を強制するという共通の理論的メカニズムを共有することを示す。
3. 設計の指針：ビジョンエンコーダの外生要因に対する感度の重要性を強調し、効果的な LAM には堅牢な特徴抽出器が不可欠であることを示唆する。

著者は、理論的証明が線形仮定に依存している一方で、非線形モデルにおける経験的検証は、これらの原則が実用的な実世界の潜在行動学習シナリオにも拡張可能であることを示唆すると結論付けている。