技術概要：世界モデル強化型視覚言語行動モデルのためのデュアルストリーム拡散

1. 問題定義

視覚言語行動（VLA）モデルは、インターネット規模の視覚言語モデル（VLM）の知覚的基盤を活用することで、汎用ロボットのポリシー学習における強力なパラダイムとして登場した。しかし、標準的な VLA は、しばしば基礎となる物理プロセスの明示的な理解に欠け、自らの行動が環境をどのように変容させるかをモデル化するのに苦労する。

このギャップを埋めるため、世界モデル化の目的（将来の状態と行動を同時に予測すること）によって VLA を強化しようとする最近の試みは、重大なアーキテクチャ上の課題に直面している：

• 統合型結合拡散: 行動トークンと視覚トークンを単一の潜在空間に連結するアプローチは、モダリティ間のギャップにより失敗することが多い。これらは、低次元で時間的に滑らかな行動軌跡の予測と、高次元で空間的に複雑な視覚データの予測を両立させるのに苦労する。
• 因果的/一方向設計: モダリティを個別のモデルに分離するアプローチ（例えば、世界モデルの出力に基づいて行動生成を条件付けるなど）は、モダリティ固有の学習を促進するが、本質的に双方向の知識移転を妨げ、モデルのクロスモーダル因果関係の学習能力を制限する。

核心的な課題は、モダリティ固有の忠実性を維持しつつ、効果的なクロスモーダル統合と因果推論を可能にするフレームワークを設計することである。

2. 手法：デュアルストリーム拡散（DUST）

著者は、クロスモーダル統合とモダリティ固有の忠実性の間のトレードオフを解決するために設計された、世界モデル強化型 VLA フレームワークであるDUST（Dual-Stream Diffusion）を提案する。

アーキテクチャ

マルチモーダル拡散トランスフォーマ（MMDiT）を基盤として構築された DUST は、行動と観測（将来の視覚埋め込み）のために個別のトークンストリームを維持しつつ、クロスモーダル交換を促進する：

• デュアルストリーム: 行動トークンと視覚トークンは、MMDiT ブロック内の個別の経路を伝播する。
• クロスモーダルアテンション: ストリームは、共有されるクロスモーダルアテンション層でのみ相互作用し、統一された潜在表現を強制することなく情報交換を可能にする。
• モダリティ固有処理: 共有層の後、ストリームは専門的なノイズ除去のためのモダリティ固有の DiT ブロックにルーティングされる。視覚経路は意味的一貫性のある将来の埋め込みの再構成に焦点を当て、行動経路は低レベルのモーター制御を洗練させる。
• 条件付け: モデルは、現在の観測とタスク指示に基づいて凍結された VLM バックボーン（Eagle-2）から抽出された意味的特徴に基づいて条件付けられる。

学習アルゴリズム：デカップルドフローマッチング

DUST は、双方向の因果的依存関係を学習するためにデカップルド拡散学習アルゴリズムを採用する：

• 独立したノイズスケジューリング: 標準的な拡散ではすべてのトークンがノイズスケジューリングを共有するのに対し、DUST は各モダリティに対して独立したノイズ摂動（行動用$\tau_A$、視覚用$\tau_o$）を適用する。
• 双方向因果学習: 多様なノイズ構成（例えば、完全にノイズ化された行動を持つクリーンな将来状態、またはその逆）にモデルを曝すことで、モデルは順方向ダイナミクス（「この行動の結果は何か？」）と逆方向ダイナミクス（「この状態に至る行動は何か？」）の両方を学習する。
• 損失関数: モデルは、モダリティ固有のフローマッチング損失で構成される結合目的関数を通じて最適化される：
  $$L_{Joint}(\theta) = L_A(\theta) + \lambda_{WM} L_{WM}(\theta)$$
  ここで、$L_A$は行動損失、$L_{WM}$は世界モデル化損失（高周波ノイズを回避するために生ピクセルではなく将来の観測埋め込みを予測する）である。

推論：非同期結合サンプリング

モダリティ間の計算的非対称性（より多くのステップを必要とする高次元の視覚対、より早く収束する低次元の行動）に対処するため、DUST は非同期サンプリング戦略を導入する：

• 推論時スケーリング: 視覚トークンはすべての拡散ステップで更新されるのに対し、行動トークンは頻度を下げて（$q$ステップごとに）更新される。
• メカニズム: これにより、行動に対する過剰なノイズ除去ステップに伴う性能低下や遅延を招くことなく、視覚表現のより微細な洗練が可能になる。

3. 主要な貢献

1. デュアルストリームアーキテクチャ: 行動と観測のための個別ストリームを維持し、統一された潜在空間を強制することなくクロスモーダル知識移転を可能にする、MMDiT ベースの新しい設計。
2. デカップルド学習: 各モダリティに独立したノイズスケジューリングを利用する学習アルゴリズムにより、モデルが行動と将来の状態間の堅牢な双方向因果関係を学習することを強制する。
3. 非同期サンプリング: 視覚トークンと行動トークンを異なる速度で進化させることで、推論効率と精度のバランスを取る推論時スケーリング手法。
4. 転移学習能力: ロボットと人間の混合データによる共同学習や、行動フリーの動画データセットでの事前学習を含む、異種データソースを効果的に活用できることを実証。

4. 実験結果

著者は、DUST をシミュレーションベンチマーク（RoboCasa、GR-1）、実世界タスク（Franka Research 3）、および転移学習シナリオで評価した。

• シミュレーションベンチマーク:

  • RoboCasa: DUST は、さまざまなタスクカテゴリとデモンストレーション規模（100 から 1000 デモ）において、最先端のベースライン（GR00T-N1.5 や FLARE などを含む）に対して最大6% 高い成功率を達成した。
  • GR-1: DUST は、ピックアンドプレースおよび可動関節タスクの両方で、ベースラインを**5-6%**上回った。
  • 推論時スケーリング: 行動ステップを固定したまま視覚ノイズ除去ステップを増やすことで、成功率にさらに2–5% の改善がもたらされた。

• 実世界のパフォーマンス:

  • 7 つの多様なタスク（ピックアンドプレース、挿入、ツール使用）における Franka Research 3 ロボットにおいて、DUST は成功率でベースラインを**10%**上回り、堅牢な物理的基盤を示した。

• 転移学習:

  • 共同学習: RoboCasa、GR-1、EgoDex（人間）データを混合して学習した場合、DUST はベースラインに対して有意な改善を示し、異種ロボットデータセットと人間データセットの間のギャップを効果的に埋めた。
  • 事前学習: 行動フリーの動画データ（BridgeV2）での事前学習に続いてロボットデータで微調整を行うことで、事前学習なしの学習と比較して成功率が**8.4%**向上し、ポリシー学習における受動的動画データの有用性を浮き彫りにした。

• アブレーション研究:

  • デュアルストリーム構造またはデカップルドノイズスケジューリングを除去すると、それぞれ 8% と 12% の性能低下が生じ、両方のコンポーネントの必要性が確認された。
  • 世界モデル化ターゲットにセマンティック埋め込み（SigLIP-2）を使用することは、ピクセルレベルの再構成（Flux.1 VAE）よりも優れていることが証明され、高周波の視覚詳細は制御にとってしばしば無関係であることを示唆している。

5. 意義と主張

本論文は、DUST が、クロスモーダル交換を可能にしながら個別のモダリティストリームを維持することで、行動と観測の結合モデル化における本質的な矛盾を成功裡に解決したと主張する。ノイズスケジューリングをデカップリングすることで、モデルは表面的な相関関係ではなく、意味のある因果的依存関係を学習する。

著者は、DUST がロボットと人間の異種データを含む VLA モデルのスケーリングのための統一フレームワークを提供し、ロボットデモンストレーションの収集コストという課題に対処するために行動フリーの動画を事前学習に活用することを強調している。非同期サンプリング戦略はさらに、推論速度と予測精度のトレードオフをタスク要件に応じて行える実用的なメカニズムとして推論時スケーリングを提供する。結果は、モダリティ固有の忠実性を念頭に置いて設計された世界モデル強化型 VLA が、シミュレーションおよび実世界の環境の両方においてロボットのポリシー学習を大幅に改善しうることを示唆している。