技術要約: Mask2Real-WM

問題提起

行動条件付きの世界モデル（World Models）は、物理的な相互作用なしに将来の状態を予測することを可能にし、ポリシーの評価、プランニング、およびデータ拡張を可能にするため、ロボット学習において不可欠である。しかし、**器用な操作（dexterous manipulation）**のためのこのようなモデルを構築することは、依然として大きな課題である。主な障壁は以下の通りである：

1. 高次元の行動空間: 器用なハンドは、多数の自由度（本設定では、6自由度のデカルト座標エンドエフェクタ・ポーズ + 17個の手指関節位置の計23次元）を伴う。
2. データの希少性: 大規模かつ高品質な器用な操作のデータセットは極めて少ない。
3. 予測の忠実度: 既存のビデオモデルは、微細な指と物体の接触を正確に予測することに苦戦することが多く、これらの重要な領域が頻繁にぼやけてしまう。
4. Sim-to-Realギャップ: 合成データでの学習は、外観（照明、テクスチャ）やダイナミクスの不一致により、現実への転移に失敗することが多い。

手法: Mask2Real-WM

著者らは、ピクセル予測をダイナミクスモデルとレンダリングモデルに分離する、2段階の行動条件付き世界モデルであるMask2Real-WMを提案している。この因数分解により、システムはセグメンテーションマスクに固有のより小さいsim-to-realギャップを活用しながら、フォトリアルな出力を生成することが可能になる。

1. 問題定式化

モデルは、$V=2$ のマルチビュー設定で動作し、$k=5$ の過去の観測ウィンドウを持ち、将来のホライゾン $H=5$ ステップを予測する。目標は、過去の観測と行動シーケンス $a$ が与えられたときの、将来のRGBフレーム ($I$) とセグメンテーションマスク ($m$) の同時分布をモデル化することである：
$$p(I_{t+1:t+H}, m_{t+1:t+H} \mid I_{t-k:t}, m_{t-k:t}, a_{t-k:t+H})$$

2. 因数分解戦略

同時分布は、2つの独立したステージに分解される：
$$p(I, m \mid \dots) = \underbrace{p(m_{t+1:t+H} \mid m_{t-k:t}, a_{t-k:t+H})}_{\text{WM1: ダイナミクス}} \cdot \underbrace{p(I_{t+1:t+H} \mid I_{t-k:t}, m_{t-k:t+H}, a_{t-k:t+H})}_{\text{WM2: レンダリング}}$$

• WM1 (ダイナミクスモデル): 過去のマスクと行動シーケンスから将来のセグメンテーションマスクを予測する。セグメンテーションマスクはRGB画像よりもsim-to-realギャップが小さいため、WM1は50時間以上の合成シミュレーションデータで中間学習（midtraining）され、その後約2.5時間の現実のデータでファインチューニングされる。
• WM2 (レンダリングモデル): 予測されたマスクをフォトリアルなRGB画像にマッピングする。これは、環境の特定の外観を学習するために、現実のデータのみ（約2.5時間）で学習される。

3. アーキテクチャの詳細

• バックボーン: 両方のモデルは Stable Video Diffusion (SVD) バックボーンを利用する。
• WM1 (図2の左側):
  • SVDから初期化され、LoRAを介して適応される。
  • 過去/将来のマスクと行動を入力として受け取る。
  • 行動（6-DoF ポーズ + 17個の関節角度）はMLPを介して投影され、フレームごとのクロスアテンションを通じて注入される。
  • 正解のマスクを持つ合成データ（IsaacLab）で学習され、その後、現実のデータでファインチューニングされる。
• WM2 (図2の右側):
  • 予測されたマスク（WM1から出力）、過去のRGBフレーム、および行動を条件とする。
  • セグメンテーションマスクを処理するために、軽量なCNNエンコーダを備えた ControlNet ブランチを使用する。このCNNは、VAEエンコーダがぼかしてしまう可能性のある鋭い境界を保持するために、ピクセル空間で動作する。
  • SVDバックボーンは凍結されており、LoRAとControlNet/CNNが現実のデータで学習される。
  • マスクと行動の条件を独立してドロップアウトさせることで、Classifier-free guidanceを採用している。

4. データパイプライン

• シミュレーション: MimicGenベースのパイプラインと探索的な正弦波関節ジェネレータを用いたIsaacLabを使用して生成される。これは、限られた現実のデータセットには存在しない、多様な接触豊かな動きをカバーするために、全17自由度の関節範囲を網羅している。
• 現実のデータ: ORCAハンドとRokokoグローブを使用した、約2.5時間のテレオペレーションによるデモンストレーション。マスクは、擬似ラベルとして SAM 3 (Segment Anything Model) を使用して自動生成されており、手動によるフレームごとのアノテーションを排除している。

主な貢献

1. ブリッジとしてのセグメンテーション: 著者らは、セグメンテーションマスクを中間表現として使用することで、ダイナミクスモデルの中間学習（合成データによる学習）を大規模に行うことが可能になり、効果的にsim-to-realギャップを埋めることができることを示している。
2. 2段階の世界モデル: ダイナミクス予測（WM1）と外観レンダリング（WM2）を分離するMask2Real-WMを導入し、各コンポーネントをそれぞれのドメイン（シミュレーション vs 現実）に対して最適化できるようにした。
3. 制御性の向上: 実験により、ダイナミクスモデルのシミュレーションによる中間学習が、現実のデータのみで学習されたモデルと比較して、行動の制御性を大幅に向上させることが示された。

実験結果

モデルは、Franka Emika PandaアームとORCAハンド（23自由度の行動空間）を用いた、器用なピック・アンド・プレースのベンチマークで評価された。

行動の制御性（Action Controllability）

著者らは、個々の行動次元を正弦波信号で摂動させ、視覚的な応答をスコアリングすることで、「コマンド応答制御性」を測定した。

• フルモデル (Sim $\to$ Real WM1 + Real WM2): 平均制御スコア 0.95 (分布内/In-Distribution) および 0.87 (分布外/Out-of-Distribution) を達成した。
• Real-Only WM1 (現実データのみのWM1): 0.68 (ID) および 0.51 (OOD) となり、中間学習を行わない場合、モデルが微細な指ごとのダイナミクスを捉えられないことを示している。
• モノリシック・ベースライン (Ctrl-World): 大幅に低く（~0.6 ID, ~0.44 OOD）、広範な軌跡は捉えるものの、微細な次元ごとの行動効果を反映できていない。

ビデオ予測の品質

• 鮮明度: フルモデルは、ぼやけた時間平均的な出力を出しがちなモノリシックなベースラインと比較して、高周波の詳細を備えたより鮮明な予測を生成する。
• 汎化性能: モデルは、分布シフト（例：新しい背景、物体の不在）に対しても、ベースラインよりも構造的な忠実性を維持している。ただし、生のピクセル指標（PSNR/SSIM）は、ぼやけたベースラインを有利に扱うことが多いため、誤解を招く可能性がある。
• アブレーション: WM2からマスク条件付けを除去すると、出力がぼやけたため、ControlNetブランチが空間的品質の主要な推進力であることが確認された。

意義と主張

論文は、Mask2Real-WMが、高いコマンド応答制御性を備えた長期間の自己回帰的なロールアウトを可能にすることで、想像力の中での将来的なポリシー評価の基礎を提供すると主張している。

• モジュール性: 2段階のデザインは実用的なモジュール性を提供する。WM1は軽量なダイナミクスチェッカーとして機能でき、WM2はControlNetの重みを更新するだけで新しいシーンにファインチューニングできる。
• スケーラビリティ: このアプローチは、大規模な現実のデータが利用できない場合に、合成シミュレーションを活用してダイナミクス学習を行うという、広範に適用可能な戦略を提示している。
• 限界: 著者らは、現在のボトルネックがWM1の物体状態予測（例：遮蔽による物体の消失や複製）にあることを認めている。また、制御性スコアは（単一の評価者に基づく）指標的なものであること、および固定カメラの仮定が展開の柔軟性を制限していることも述べている。

要約すると、本論文は、セグメンテーションマスクを介してダイナミクスとレンダリングを分離し、シミュレーションによる中間学習を組み合わせることが、器用な操作のための制御可能で高精度な世界モデルを実現するための、必要かつ効果的な戦略であると断じている。