技術的サマリー：Sword – 動的潜在ブートストラッピングによるシミュレーターとしての堅牢な世界モデル

1. 問題定義

ビジョン・言語・アクション（VLA）モデルと世界モデルの統合は、ロボットマニピュレーションのための有望なパラダイムとして浮上しており、「想像（シミュレーション環境内）」における方策最適化を可能にし、物理的相互作用の莫大なコストを回避することを可能にしています。しかし、LIBERO などの特定のベンチマーク用シミュレーターとして展開される既存の世界モデルは、その信頼性を損なう 2 つの決定的な限界に直面しています。

1. 汎化性能の低さと摂動への感受性: 現在のモデルは、訓練環境の特定の視覚的テクスチャや静的な構成に過剰適合する傾向があります。背景色、照明、物体の外観など、分布外（OOD）の摂動にさらされた場合、これらのモデルは汎化に失敗します。これらは基礎的な物理的ダイナミクスをモデル化するのではなく、表面的な統計的相関に依存するため、クローズドループロールアウト中に壊滅的なカスケード型の幻覚（激しいぼやけ、過露光、構造的崩壊など）を引き起こします。
2. 自己回帰的誤差蓄積（暴露バイアス）: 標準的な訓練手法は、未来の状態を予測する際に文脈として真値フレームを使用する「ティーチャフォース」を利用します。しかし、推論時には、モデルは自身の不完全な予測に基づいて条件付けを行う必要があります。この分布のシフトにより、小さな初期誤差が長距離のロールアウト中に蓄積・増幅され、予測された未来状態の忠実度が低下し、RL 後のシミュレーターとしての信頼性が損なわれます。

2. 手法：Sword フレームワーク

これらの脆弱性に対処するため、著者は環境の意味論をタスク関連のダイナミクスから分離し、訓練分布と推論分布を整合させるために設計された、堅牢な世界モデルフレームワーク「Sword」を提案します。このフレームワークは 2 つの中核コンポーネントで構成されます。

2.1 構造誘導型スタイル拡張

汎化性能の向上と低レベルの視覚的テクスチャへの過剰適合の防止のため、Sword は訓練中に確率的なスタイル拡張パイプラインを導入します。

• メカニズム: Cosmos-Transfer 2.5 アーキテクチャに基づき、この手法は観測に対して連続的なスタイル変換（明るさ、彩度、ロボットアームの色、テーブルの外観など）を適用します。
• 構造誘導: これらの変換が物理的に妥当で意味論的に一貫したものであることを保証するため、拡張は幾何学的およびタスクの事前知識によって誘導されます。DepthAnything、GroundingDINO、SAM2 を介して抽出された深度マップやセマンティックセグメンテーションマスクなどの補助モダリティが、幾何制御ブランチに注入されます。タスクの意味論とスタイルのターゲットを組み合わせた共同プロンプトが、テキスト制御ブランチを誘導します。
• 目的: これにより、モデルは表面的なピクセルレベルの手がかりではなく、不変な物理的ダイナミクス（$S_{env}$）と幾何学的制約（$G_{env}$）を学習することを強制され、OOD 条件下での堅牢性が向上します。

2.2 動的潜在ブートストラッピング（DLB）

ティーチャフォース（訓練）と自己回帰生成（推論）の間のミスマッチによって引き起こされる暴露バイアスを緩和するため、Sword は動的潜在ブートストラッピングを提案します。

• メカニズム: ティーチャフォースから自己条件付けへ急激に切り替えるのではなく、DLB は段階的な移行を実装します。VAE 潜在空間に動的潜在キャッシュを維持し（ピクセル空間のアンロールに比べてメモリオーバーヘッドを数百 GB から 20 GB 未満に削減）、
• プロセス: 訓練中、モデル自身の予測された潜在変数はこのキャッシュに継続的に書き込まれます。訓練目的は、真値フレームではなく、これらのキャッシュされた予測を歴史的コンテキスト信号として使用する確率を段階的に増加させます。
• 目的: これにより、モデルが自身の予測によって引き起こされた誤差を修正することを学習する「ブートストラップされた」訓練ループが作成され、訓練分布と推論分布の整合性が保たれ、長距離のロールアウトが安定します。

2.3 モデルアーキテクチャ

このフレームワークは、拡散ベースの生成トランスフォーマーであるWan 2.2 TI2Vをバックボーンとして使用します。アクションはテキストとして注入され、フレーム予測を誘導します。モデルは潜在空間で動作し、単一のコンテキスト潜在変数が 2 つの未来潜在変数を予測し（8 フレームにデコード）、エピソードの最初のフレームが時間的整合性を強化するためにグローバル条件として連結されます。

3. 主要な貢献

論文は、その貢献を以下のようにまとめています。

1. 構造誘導型スタイル拡張: 幾何学的構造とタスクの意味論を維持しながら視覚的条件を多様化し、表面的なテクスチャよりも遷移に関連するダイナミクスの学習を促すパイプライン。
2. 動的潜在ブートストラッピング: 訓練中にモデルを自身の予測された潜在変数に段階的に条件付けるメモリ効率の高いメカニズムであり、ティーチャフォースに内在する訓練 - 推論のミスマッチを効果的に緩和します。
3. 包括的な評価: LIBERO ベンチマークにおける体系的な評価により、Sword が汎化性能、生成品質、シミュレーター忠実度、および VLA 方策の RL 後の成功率において、最先端の WoVR ベースラインを上回ることを実証しました。

4. 実験結果

実験は、1,600 回のロールアウトエピソード（訓練 1,500、評価 100）のデータセットを使用したLIBERO-Spatialベンチマークで行われました。評価には、未見のスタイル変異を含む OOD テストセット（LIBERO-Mixed）が含まれていました。

• 汎化性能: 照明や色の変化などの OOD 条件下では、ベースラインの WoVR は深刻な劣化を示し、フレーム 30 までに予測がぼやけ、構造的に崩壊しました。これに対し、Sword は長距離にわたって安定した正確な予測とスタイルの一貫性を維持しました。
• 予測品質: 定量的指標（LPIPS、FID、FVD、FloLPIPS）は、Sword が WoVR を一貫して上回っていることを示しました。特に、混合 OOD データセットにおいて、Sword は FVD の大幅な減少（WoVR の 119.62 に対し 32.59）を達成し、ぼやけやジッターの抑制が優れていることを示しました。
• 堅牢性と忠実度: 把持などの物理的相互作用を含むクローズドループシミュレーションにおいて、WoVR はアクションシーケンスを正確に追従できず、グリッパーを早期に閉じたり、物体追跡を失ったりすることが多かったです。Sword は優れたアクション制御性を示し、アライメントが達成されるまでグリッパーを開いたままに保ち、修正的な把持を正常に実行しました。
• 方策の成功率: RL 後のシミュレーターとして使用された場合（OpenVLA-OFT を用いた GRPO）、Sword は VLA エージェントに WoVR ベースライン（53.12%）と比較して高い成功率（ステップ 172 で 61.72%）を達成させました。

アブレーション研究

• DLB の有効性: DLB を除去すると、すべての指標でパフォーマンスが持続的に低下し、特に長距離の安定性と照明の一貫性において顕著でした。これは、暴露バイアスの軽減におけるその役割を確認するものです。
• キャッシュ設計: キャッシュ戦略（読み取りスケジュールと書き戻しメカニズム）に関するアブレーションにより、読み取りキャッシュスケジュール（特に線形減衰）がパフォーマンスに最も大きな影響を与え、書き戻し戦略（Direct 対 EMA、Single 対 All chunks）は規則的な影響が小さいことが明らかになりました。最適な構成は、線形減衰、直接置換、および All Chunks の組み合わせでした。

5. 意義と主張

この論文は、Sword が VLA 方策最適化のためのシミュレーターとして世界モデルを使用する際の決定的な脆弱性に対処していると主張しています。スタイル拡張を通じてモデルに不変な物理的ダイナミクスを学習させることを成功させ、動的潜在ブートストラッピングを通じて訓練 - 推論のギャップを解消することで、既存のアプローチに prevalent なカスケード誤差を排除します。

著者は、Sword が高忠実度で堅牢な生成シミュレーターを提供し、未見の環境における最適化された方策の汎化性能と全体の成功率を大幅に向上させると主張しています。彼らは、この研究を「想像ベース」の強化学習を物理的ロボット相互作用の代替手段として実用的にするための一歩として位置付けていますが、計算リソースの制約により現在の比較は WoVR ベースラインに限定されており、今後の研究でより広範な比較を行う予定であると控えめに述べています。