技術要約：予測的、整列的、かつスケーラブルなロボット学習に向けて (Lumo-2)

問題提起

現在の身体的知能システム、特に視覚・言語・行動（VLA）および世界・行動モデル（WAM）は、汎化、時間的推論、およびクロスモーダルな整列（アライメント）において重大な課題に直面している。

1. 明示的な推論の限界： Lumo-1のような従来のアプローチは、明示的なテキストによる推論（粗から密へのプランニング）に依存していたが、これは柔軟性に欠け、スケーラビリティが低く、推論レイテンシが高いという問題を抱えている。
2. 行動モダリティの不整合： 標準的なVLA/WAMモデルでは、行動モダリティが十分に探索されていないことが多い。行動トークンは通常、セマンティックな視覚・言語との整合性よりも、低レベルの信号忠実度（再構成）のために最適化されている。これにより、再構成の品質とダウンストリームの制御性能の間に不整合が生じる。
3. 単一タイムステップの観測における曖昧さ： 部分観測性と時間的な曖昧さ（例：水を注ぐといったタスクの異なるフェーズにおいて、同一の視覚状態が存在する場合）により、瞬時の観測だけでは潜在的なシステム状態を特定するには不十分であることが多い。
4. スケーラビリティとデータ効率： 既存のモデルは、専門的な転移学習メカニズムなしには、多様なデータソース（人間のビデオ、クロスエンボディメントのロボットデータなど）を効果的に活用することに苦慮しており、未知の物体や複雑な長期ホライゾンのタスクへの汎化に失敗することが多い。

手法：Lumo-2

著者らは、明示的なテキスト推論を潜在的推論（latent reasoning）に置き換えた汎用的な潜在世界行動モデルであるLumo-2を導入する。コアとなる仮説は、行動生成の品質は潜在空間の幾何学的構造によって支配されており、それは段階的なマルチモーダル・アライメントを通じて構造化される必要があるという点である。

1. コアアーキテクチャと潜在的推論

Lumo-2は、基盤モデルであるQwen3.5-4Bの上に構築されている。観測から直接行動を予測するのではなく、モデルはまず**潜在的な世界ダイナミクス表現（$\phi$）**を推論する。

• 潜在的な世界ダイナミクス： この表現は、物理的に根ざした視覚的な遷移と、行動によって誘発される将来の可能性を捉える。これは、行動に関連する情報を符号化しつつ、行動に無関係な冗長性（例：照明の変化）をフィルタリングする、暗黙的な推論の架け橋として機能する。
• コンテキストの分化： 認識の曖昧さを解消するために、モデルは過去の行動と観測からなる時間的コンテキストバッファ（$\omega_{t-H':t}$）を含む短期記憶メカニズムを組み込んでおり、これによりモデルは現在の実行フェーズを推論できる。
• ブロック単位の自己回帰（BAR）： 推論レイテンシに対処するため、モデルはブロック単位の因果的アテンションマスクを採用している。トークンを一つずつ生成する代わりに、行動トークンのブロックを並列に予測することで、標準的な自己回帰デコーディングと比較してエンドツーエンドの推論において2.71倍の高速化を実現している。

2. 3段階の漸進的トレーニングパラダイム

トレーニングプロセスは、潜在空間を構造化するために、アライメントの難易度が増していくカリキュラムに従う。

• ステージ1：潜在的な世界ダイナミクスによる事前整列

  • 目的： 物理的に根ざした潜在空間を構築し、コンテキスト認識型の行動エンコーダを取得する。
  • 手法： 特徴融合と双方向制約を用いた共同学習パラダイム。視覚ベースの逆ダイナミクスモデル（IDM）が、フレーム間の視覚的変化を潜在空間（$Z^V_t$）へと符号化する。この潜在空間は行動デコーダに注入されて行動を再構成し、一方で行動潜在（$Z^A_t$）は視覚表現を正則化する。これにより、視覚的ダイナミクスが物理的運動を予測し、行動がグローバルなコンテキストに基づいていることが強制される。
  • データ： 自社収集のAstribot S1データ、クロスエンボディメントのロボットデータ（AGIBot、Galaxeaなど）、および一人称視点の人間ビデオ（Ego4D、EPIC-KITCHENS）。

• ステージ2：視覚および言語とのセマンティック・アライメント

  • 目的： 行動トークンをセマンティックに豊かな表現へと変換し、V-L-Aモダリティを統一する。
  • 手法： セマンティックモジュールとマルチタスク学習を導入する。行動エンコーダは、セマンティックに強化されたトークン（$A_s$）を生成するように拡張される。
  • タスク： 行動の再構成、行動理解（視覚＋行動からテキストを生成）、視覚・言語ガイド付きの行動生成、およびクロスモーダルな予測・識別を含む。このステージにより、行動トークンがセマンティックな解釈可能性を持ち、VLMの埋め込み空間と整列することを保証する。

• ステージ3：大規模な共同学習

  • 目的： 体系的な理解、投影、および制御を可能にする。
  • 手法： 以下の膨大なコーパスを用いた共同学習を行う：
    • VLMデータ： ローカライゼーション、認知、プランニングに焦点を当てた高品質な視覚言語データ（FineVision、EO-Data1.5M）。
    • ビデオデータ： 広範な世界のダイナミクスを学習するための一般的なインターネットおよび一人称視点のビデオ。
    • ロボットデータ： 多様な操作タスク。
  • 戦略： モデルは、事前に整列されたセマンティック空間を活用しながら、潜在的な世界ダイナクスと行動チャンクを同時に予測するように訓練される。

主な貢献

1. 潜在的な世界・行動モデル： 明示的な推論トレースを暗黙的で予測的な推論に置き換え、世界ダイナミクスのためのコンパクトな潜在空間を用いて行動生成を導く、新しい定式化。
2. マルチステージのモダリティ事前整列： 行動モダリティを、世界のダイナミクス、視覚、および言語と整列させるための体系的なアプローチ。これは、クロスモーダルな一貫性を強制し、抽象化を促進することで、「再構成 vs 制御」の不整合に対処する。
3. スケーラブルなトレーニングレシピ： ロボット、人間、インターネットビデオといった異種混合のデータソースを効果的に統合し、スケールアップに成功した3段階のトレーニングパラダイム。これにより、構造化されたアライメントが汎化性能を向上させることを実証した。
4. 効率的な推論： ブロック単位の自己回帰（BAR）の導入により、世界モデルの利点を損なうことなく、リアルタイム制御を可能にするほど推論レイテンシを大幅に削減した。

実験結果

著者らは、Astribot S1 bimanual mobile robotを用い、時間的推論、物理的理解、および制御の複雑さによって分類された22の現実世界のタスクにおいてLumo-2を評価した。

• ベンチマーク性能： Lumo-2は、すべてのカテゴリにおいて強力なベースライン（$\pi0.5$ および Fast-WAM）を一貫して上回った。
  • 時間的推論： 動的なシーンへの反応（例：ボールをキャッチする）や、メモリ集約的なタスク（例：水を注ぐ、ホワイトボードを消す）において顕著な向上を示し、視覚的に類似した状態を正常に判別できた。
  • 物理的理解： 因果関係の推論を必要とするタスク（例：卵をひっくり返す、釘を打つ）において優れた性能を発揮した。ベースラインは、行動空間の制限や物理的事前知識の欠如により失敗することが多かった。
  • 長期ホライゾンおよび器用な操作： Lumo-2は、「コーヒーを作る」「スーツケースをパッキングする」といった複雑なシーケンスにおいて、フェーズの認識を維持し、中間的な失敗から回復しながら、ほぼ完璧な実行を実現した。
• 汎化： 未知の物体や指示に対して、強力なフューショット適応と汎化能力を示した。
• 人間からロボットへの転移： 専門的な転移学習なしに、人間のデモンストレーションデータ（VisionProおよびマルチビューの一人称視点ビデオ）を用いた共同ファインチューニングを行うことで、未知の物体に対する性能が大幅に向上した。これは、多様なデータソースを活用するモデルの能力を裏付けている。
• スケーリングとアライメント： アブレーション研究により、ステージ2の事前整列戦略が、ステージ1のみのトークン化と比較して、より低い行動再構成誤差と優れたセマンティック識別性をもたらすことが確認された。

重要性

本論文は、構造化されたマルチモーダル・アライメントと予測的推論の組み合わせが、汎用的な身体的知能を進展させるための基本原則であると主張している。行動モダリティを「第一級市民」として扱い、物理的に根ざした潜在的な世界ダイナミクス空間と段階的に整列させることで、Lumo-2は、知覚、推論、および制御の間の溝を埋める統一されたフレームワークを実現した。単純な再構成目的を超えて、セマンティックに構造化された潜在空間へと移行することが、ロボットが将来の可能性について推論し、より堅牢かつスケーラブルに複雑な長期ホライゾンのタスクを実行することを可能にすることを示唆している。