技術的サマリー：MaskLAM – 妨害要因が存在する状況における潜在行動モデルの導き

問題定義

潜在行動モデル（LAMs）は、連続する観測間の潜在行動を推論することで、大規模な行動なしの動画を用いて具身エージェントを事前学習するための道筋を提供する。これらの潜在行動は、その後、少量のラベル付き例を用いて真の制御に復号化される。しかし、LAPO などの標準的な LAM は、モデルが未来のフレームを予測するために全体のシーンを符号化することを強制する、グローバルな再構成目的に依存している。

動的な背景、カメラの揺れ、移動する物体などの視覚的妨害要因を含む現実的な環境では、このアプローチは失敗する。標準的な再構成損失は、エージェントが制御する（内生）ダイナミクスではなく、外部要因による運動（妨害要因）を潜在行動に符号化させる方向に働く。この現象は、Exogenous Block MDP（Ex-BMDP）フレームワークによって形式化されており、真の行動を回復しない潜在空間をもたらす結果、微調整時の下流ポリシーが著しく性能を低下させる。これを解決する以前の試みは、事前学習中のアーキテクチャ変更、補助損失、または特権的な行動監督を必要とし、複雑性とデータ要件を増大させていた。

手法：MaskLAM

著者は、モデルアーキテクチャを変更したり、事前学習中に行動ラベルを必要としたりすることなく、外部要因による汚染問題を解決する、LAPO 訓練目的に対する軽量な修正であるMaskLAMを提案する。

核心的洞察

この手法は、内生（エージェント）要因と外生（妨害要因）要因が潜在空間で絡み合っている一方で、通常はピクセル空間において空間的に分離可能であるという観察に基づいている。エージェントが制御する変化はエージェントのピクセルに集中するのに対し、妨害要因の運動は他の場所で発生する。

技術的実装

1. ゼロショットセグメンテーション: MaskLAM は、エージェントのピクセルを特定するバイナリマスク（$M_t$）を生成するために、市販のセグメンテーション基盤モデル（具体的には SAM 2.1）を利用する。これらのマスクは、最初のフレームでの単一のプロンプト（例えば、バウンディングボックス）からゼロショットで取得され、動画シーケンス全体に伝播される。
2. マスク付き前方ダイナミクス損失: 完全な観測を再構成する代わりに、前方ダイナミクスモデル（FDM）の損失はエージェントのピクセルに制限される。損失関数は以下のように定義される：
   $$L_{MaskLAM}^{FDM} = \frac{1}{\|M_{t+1}\|_1} \| M_{t+1} \odot (\hat{o}_{t+1} - o_{t+1}) \|_2^2$$
   ここで、$\odot$ はアダマール積を表す。これにより、エージェントマスク外（妨害要因）のピクセルは、潜在行動 $z_t$ に対してゼロ勾配しか寄与しないことが保証される。
3. マスク条件付き入力: セグメンテーションマスクは、逆ダイナミクスモデル（IDM）と FDM の両方への追加入力チャネルとして連結される。これにより、モデルは（厳密なエージェントマスクの外側にある可能性のあるエージェントが相互作用する物体を含む）完全なシーンの文脈を利用しつつ、$z_t$ に対する学習信号がエージェントが制御するダイナミクスからのみ導出されることを保証する。
4. アーキテクチャ変更なし: この介入は、損失計算と入力チャネルのみを変更し、基盤となる LAPO アーキテクチャ（IDM/FDM ペア）と 3 段階のトレーニングパイプライン（事前学習、ラベル付け、デコーダー微調整）はそのまま維持する。

主要な貢献

1. 介入としての空間的分離性: 本論文は、エージェントと妨害要因のピクセルの空間的分離性を、抽象的な Ex-BMDP 因数分解を具体的なトレーニング時の介入として実装可能にする鍵となる特性として特定している。
2. MaskLAM の提案: 再構成損失をエージェントのピクセルに制限することで潜在行動上の外生勾配を排除し、事前学習中に補助損失、アーキテクチャ変更、行動ラベルを必要としない手法。
3. 実証的検証: Distracting Control Suite と Distracting Meta-World の 2 つのベンチマークにおける広範な評価により、MaskLAM がラベルなしのベースラインを著しく上回り、特権的な行動監督に依存する手法（LAOM-Labels）との性能ギャップを狭めることを示している。

結果

著者は、LAPO、LAOM-Labels（行動監督を用いた上限）、LAOF（フローベース）、LAPO-Slots（オブジェクト中心）と比較し、2 つのベンチマークにわたる 14 のタスクで MaskLAM を評価した。

• 潜在行動の質: MaskLAM は、LAPO と比較して正規化線形プローブ平均二乗誤差（NMSE）を最大3.51 倍削減した。可視化（UMAP 投影）において、MaskLAM は真の行動と整合する滑らかで単調な多様体を生成したのに対し、LAPO は絡み合ったクラスターに崩壊した。
• 下流パフォーマンス: 妨害要因がある設定において、MaskLAM は LAPO に対して正規化リターンを最大4.97 倍改善した。それはすべてのラベルなしベースラインと同等かそれ以上の性能を発揮し、特権的な行動監督を用いる LAOM-Labels の性能に迫った。
• サンプル効率: MaskLAM は、デコーダー微調整段階において優れたサンプル効率を示した。Distracting Meta-World において、わずか2,000 個の行動ラベルでほぼピーク性能に達したのに対し、LAPO と LAPO-Slots はギャップを埋めるためにほぼ 2 桁多いラベルを必要とした。
• ロバスト性:
  • 遮蔽: MaskLAM は最大75% のエージェント遮蔽でも低い誤り率を維持したが、マスクなしモデルは著しく劣化した。
  • 不完全なマスク: セグメンテーションマスクが攪乱された場合（mIoU が 0.4–0.6 に低下）でも手法は有効であり、ピクセルレベルの完全なセグメンテーションは不要であることを示している。
  • コンパクトな潜在空間: 潜在空間が外生分散の符号化に負担されないため、MaskLAM は、より大きなマスクなし潜在（256 次元）と同じ整合性を達成するために、より小さな潜在次元（例：64 次元）を可能にした。

意義と主張

本論文は、妨害要因に富む環境における標準的 LAM の失敗は、アーキテクチャではなく予測ターゲット（グローバル再構成）によって引き起こされていると主張している。希少な行動ラベルから、安価でゼロショット利用可能なセグメンテーションマスクへと監督の負担を再配分することで、MaskLAM はノイズの多い現実世界の動画における潜在行動の事前学習を実用的にする。

著者は、このアプローチが以下の点を実証していると強調している：

• 行動ラベルの必要性と、分離されたダイナミクスを学習する能力との脱結合。
• 重要なロバスト性問題を解決しながら、LAPO フレームワークの単純性を維持すること。
• 明示的な制御注釈がない場合でも、基盤モデルから導出された空間的事前知識が表現学習を効果的に導きうることを実証すること。

この研究は、複雑な視覚環境で動作する具身エージェントにとって、エージェントのダイナミクスを妨害要因から分離するために必要な監督は、行動ラベルではなくセグメンテーションマスクから得られる可能性を示唆しており、インターネット規模の動画データにおける大規模事前学習を可能にする可能性がある。