$\mu_0$: A Scalable 3D Interaction-Trace World Model

本論文は、高密度なピクセルや特定の行動ではなく、相互作用点の滑らかな軌跡を予測することで、多様なビデオソースから3D教師データを自動生成する新しい「TraceExtract」システムを通じて、身体性を問わないロボット学習を可能にするスケーラブルな3Dワールドモデルである$\mu_0$を導入する。

要約

ロボットに料理や掃除、あるいはものづくりを教えたいと想像してみてください。通常、そこには2つの悪い選択肢があります。

1. 「ピクセル」方式： ロボットに何千もの動画を見せ、画面の全ピクセルが次にどのような見た目になるかを正確に予測させます。これは、ドアを開ける方法を学ぶために、学生に壁のレンガ一つ一つの色を暗記させるようなものです。動きに役立たない背景の詳細（床の色など）に、脳の力を無駄に消費してしまいます。
2. 「アクション」方式： 人間が作業している様子を記録し、ロボットに「左腕を前方に3インチ動かし、次に握れ」と指示します。問題は、これが特定のロボットアームに対してしか機能しないことです。もし、形が異なる別のロボットに交換した場合、その指示は役に立ちません。最初からすべてを記録し直す必要があります。

そこで登場するのが、µ0（ミュー・ゼロ）です： ロボットを教えるための、その中間を行く新しい方法です。ピクセルを観察したり、特定のアームの動きを暗記したりするのではなく、µ0は**3D「インタラクション・トレース（相互作用の軌跡）」**を予測することを学びます。

コアとなるアイデア：「ゴースト・パス（幽霊の経路）」

カップを掴もうとしているロボットを考えてみましょう。µ0は、カップ全体や部屋全体を考える代わりに、重要な特定の「ゴースト・ポイント」に焦に集まります。

• グリッパーの先端
• カップの取っ手
• 手がテーブルに触れる場所

µ0は、これらの特定の点が将来どのように移動するかという、滑らかな3Dの経路を予測します。それは、まるで「カップがどこへ行くべきか」を正確に示す、光り輝く見えない線を空中に描いているようなものです。この経路は**エンボディメント・アグノスティック（身体性に依存しない）**です。つまり、それが巨大な産業用アームであっても、小さな車輪付きのロボットであっても、あるいは人間の手であっても、関係ありません。もし「ゴースト・パス」が「カップをここに移動させろ」と言えば、どんなロボットでも、その線に従うために自分自身のユニークな体をどう動かせばよいかを理解できるのです。

学習方法：「TraceExtract（トレース・エクストラクト）工場」

µ0を教えるために、研究者たちはTraceExtractと呼ばれるデータエンジンを構築しました。これは、何千もの乱雑なビデオ（人間、ロボット、さまざまなカメラからのもの）を視聴し、自動的に以下の3つのことを行う映画エディターのようなものです。

1. スターを選ぶ： 背景を無視し、AIビジョンを用いて「主役（カップ、道具、手など）」を見つけ出します。
2. 線を引く： これらの点を3D空間へと持ち上げ、カメラが揺れたり動いたりしていても、一貫した3Dパスを作成します。
3. 台本を書く： ビデオを小さな「イベント」（例：「カップを掴む」「水を注ぐ」など）に分解し、それぞれの動きに対して短いキャプションを記述します。

これにより、ラベルのない乱雑なビデオが、「ここに点があり、この目的を達成するために、ここへ向かう3Dパスがある」という、整理された教科書へと変わります。

2段階の学習プロセス

µ0は、熟練した建築家と建設作業員のように、2つのステージで動作します。

1. 建築家（µ0）： まず、µ0はビデオのみを用いて訓練されます。これは「世界モデル」になるための学習です。画像と文章（例：「オレンジ色のカップを掴め」）を見て、主要な点の将来の3Dパスを予測します。ロボットのモーターコマンドは一切見ません。単に「物事がどこへ行くべきか」という物理法則を学ぶのです。一度訓練が終わると、この部分は「凍結」され、変化することのない再利用可能なエキスパートとなります。
2. 建設作業員（アクション・エキスパート）： 特定のロボットを使用したいときは、この凍結されたµ0に、小さくて新しい「アクション・エキスパート」を取り付けます。この新しい部分は、µ0が予測した3Dパスを見て、「よし、自分の特定のアームの形状を考慮すると、このパスに従うためにどのようなモーターコマンドが必要か？」ということを判断します。

なぜこれが大きな転換点なのか

論文によれば、µ0は以下の理由からゲームチェンジャーであると主張されています。

• スケーラブルである： 高価なロボット専用の記録ではなく、インターネット上のあらゆる動画を使って訓練できます。
• 効率的である： 退屈な背景を無視し、動いている重要な部分だけに集中します。
• より優れた性能を発揮する： テストにおいて、µ0の「ゴースト・パス」を使用するロボットは、膨大な量の特定のロボット・アクション・データで訓練されたロボットと同等、あるいは時にはそれ以上の性能を示しました。
• 再利用可能である： µ0を一度訓練すれば、システム全体を再学習させることなく、新しく作ったあらゆるロボットに組み込むことができます。

要約すると、µ0は動きのメカニズム（特定の筋肉のコマンド）ではなく、**動きの概念（3Dパス）**を教えることで、オンラインにある膨大な人間動画のライブラリから学習することを可能にしているのです。

技術概要

テクニカルサマリー: µ0: スケーラブルな3Dインタラクション・トレース・ワールドモデル

1. 問題提起

ロボット学習は、根本的な「データのパラドックス」に直面している。すなわち、ビデオ映像は物理的な振る舞いのデータとしてスケーラブルで豊富なソースであるが、制御のための最も効果的な教師信号である「アクション（行動）ラベル付きのロボットデータ」は、希少であり、高価で、ハードウェア固有であり、異なるロボットの形態間での互換性がないという問題である。

既存のアプローチであるワールドモデルは、このギャップを埋めることに苦慮している：

• ピクセル空間のビデオモデル: スケーラブルではあるが、モデルの容量を密な外観や背景の再構成に費やしてしまい、操作に必要な計量的幾何構造、接触構造、および遮蔽パターンを捉えきれないことが多い。
• 直接的なアクションモデル（例：Vision-Language-Actionモデル）: ラベル付きデモンストレーションの希少性とエンボディメント（身体性）への依存による制限を受けている。
• 既存のモーション中心の手法: 従来の3Dフローや軌跡モデルは、重要な微小領域（ツールチップなど）のサンプリングが不足していたり、ローカルまたは2D座標で動作することで物体運動とカメラ運動を混同したり、イベントレベルの意図ではなく粗いエピソードレベルのキャプションと長いデモンストレーションを組み合わせたりしている。

本論文は、スケーラブルな解決策には、「どのように（how）」特定のロボットが動かすかとは独立して、「何を（what）」動かすべきか（インタラクション・ポイント）を記述し、かつグローバルな3D構造を保持し、動きと言語を整合させる表現が必要であると断じている。

2. メソドロジー

提案される解決策である µ0 は、クエリ条件付きの3Dトレース空間ワールドモデルである。これは、密なピクセルやロボット固有のアクションを直接予測するのではなく、意味的に選択されたインタラクション・ポイント（物体、ツール、手、接触領域）の滑らかな3D軌跡を予測する。システムは、主に2つのコンポーネント、TraceExtract（データエンジン）と µ0（ワールドモデル）で構成されている。

2.1 TraceExtract: スケーラブルなデータパイプライン

TraceExtractは、ヘテロジニアス（異種混合）な人間およびロボットのビデオを、イベント・キャプション付きの3Dトレース・スーパービジョンへと変換する。これは、以下の3つのステージを通じて、従来の固定グリッド手法の限界に対処する。

1. セマンティック・キーポイント・サンプリング: 一様なグリッドの代わりに、DINOv2 特徴量を用いてパッチをエンティティレベルのグループにクラスタリングする。可視性の高いフレーム上で、空間的に多様な点を選択することで、エンティティごとに固定のキーポイント予算を割り当てる。動きのフィルタリングにより、静的なものや背景に支配されたトラックを除去し、インタラクション信号に焦点を絞る。
2. 3Dトレース構築: カメラの動きを伴う長いビデオ間でグローバルな3D一貫性を維持するために、システムはグローバル・ローカル再構成を採用する。疎なアンカーフレームを使用して共有のグローバル座標系を確立し、密なローカルチャンクを再構成した後、それらをグローバルフレームに整合させる。トラックは、最後の有効なワールド空間位置を使用してチャンク境界を越えて伝播される。得られたトレースは、画像との整合性を保ちつつカメラの動きを除去するために、チャンクごとの参照カメラに再投影される。
3. イベント中心のキャプション生成: 長いデモンストレーションを、トレースの加速度に基づいてモーション中心のイベントに分割する。顕著な加速度のピークがアクション・アンカーを定義し、谷の部分がチャンクの境界を定義する。Vision-Language Model (VLM) がこれらのチャンク（開始、中間、終了）に対してキャプションを生成し、それらをテキストのみのLLMによって統合することで、微細かつ粗いタスク要約を作成する。

2.2 µ0 ワールドモデル

µ0 は、観測、言語指示、およびオプションのキーポイント履歴が与えられたときに、将来の3Dトレースを予測するように設計されたモジュール式アーキテクチャである。

• マルチモーダル・コンディショニング・バックボーン: 事前学習済みの SmolVLM2-2.2B を使用して、RGB観測と言語指示をエンコードする。深度（オプション）は、事前学習された統計量を乱すことなく幾何学的キューを活用するため、個別の学習可能なパッチステムを経由して、RGBトークンとSigLIPレイヤーを共有する形でルーティングされる。
• 置換等価なトレース・エキスパート: 各キーポイントを交換可能なクエリとして扱う。将来の動きを密なウェイポイントではなく、3次B-スプライン制御点として表現することで、コンパクトさと滑らかさを確保する。各クエリ・トークンは、ローカルDINO特徴量、ピクセル位置のためのフーリエ埋め込み、および履歴対未来のためのセグメント埋め込みによって接地される。
• セマンティック・フロー・マッチング: B-スプライン制御点に対する条件付きフローモデルとして訓練される。モデルは、ノイズの多い制御点をクリーンな将来のトレースへとデノイズすることを学習する。目的関数には以下が含まれる：
  • フロー損失: 制御点の速度場を一致させる。
  • 妥当性予測: 軌跡がいつ終了すべきか（例：遮蔽による）を特定する。
  • セマンティック剛性: 同一のDINOクラスター内のキーポイントが局所的な幾何構造を保持するように促す。
• トレース条件付きアクション・エキスパート: 下流のロボット制御のために、事前学習されたµ0（VLMバックボック + トレース・エキスパート）は凍結される。アクション・エキスパートは、µ0のトレース・デノイジング特徴量の上に訓練される。ポリシーは、部分的なデノイジングの1ステップから特徴を読み取り、ゲート付きクロスアテンションを介してVLM特徴に注入し、プロプリオセプション（固有感覚）とグリッパー画像に条件付けられた連続的なアクション・チャンクを予測する。

3. 主な貢献

1. TraceExtract: セマンティック・キーポイント選択、グローバルに整合された3Dリフティング、および階層的言語キャプションを通じて、ヘテロジニアスなビデオからイベント・キャプション付き3Dトレース・スーパービジョンを抽出する、スケーラブルなデータエンジン。従来の3Dトレースデータセットと比較して、トレース・キュレーションを約8倍にスケールさせる。
2. µ0: VLMバックボーン、置換等価なトレース・エキスパート、B-スプライン・トレースターゲット、およびセマンティック・フロー・マッチング訓練を備えた、クエリ条件付き3Dトレース空間ワールドモデル。
3. トレース条件付きアクション適応: 凍結されたµ0が再利用可能なモーション・プライア（運動の事前知識）として機能するフレームワーク。これにより、アクションなしのビデオ事前学習から、ターゲットとなるロボットのインターフェースに対して効果的に転移することが可能になり、アクションの教師信号は対象のロボットに対してのみ必要となる。

4. 実験結果

4.1 トレース予測性能

µ0 は、トークン化されたVLM（例：Gemini, GPT）、2Dフローモデル、および3Dトレースモデル（例：TraceGen, Dream2Flow）を含むベースラインに対して、2Dおよび3Dのトレース予測タスクで評価された。

• 精度: µ0 は、2Dおよび3Dの両方の設定において、すべてのタイムホライゾンにわたって、最高のTop-5 平均変位誤差（ADE）、最終変位誤差（FDE）、および動的時間伸縮法（DTW）スコアを達成した。
• 効率性: µ0 は 0.29秒 の予測レイテンシを示し、これは次に速い2Dベースライン（Track2Actの0.85秒）よりも2.9倍速く、大規模なVLM APIよりも大幅に高速である。
• 定性的評価: µ0 は、従来の手法で見られるノイズや不整合を回避し、一貫性のある目標指向のトレースを生成した。

4.2 下流のロボット制御

著者らは、シミュレーション（RoboCasa365）および実世界（UR3ロボット）のシナリオにおいて、凍結されたµ0とアクション・エキスパートを組み合わせて評価を行った。

• シミュレーション (RoboCasa365): 8つの操作タスクにおいて、µ0 + アクション・エキスパートは平均成功率 30.25% を達成した。これは、アクションなしのビデオ事前学習のみを使用しているにもかかわらず、アクションラベル付きのVLAである π0（25.25%）を上回った。また、以前のビデオのみのベースラインであるTraceGen（23%）も大幅に上回った。
• 実世界 (UR3): 3つのタスク（ピック＆プレース、注ぐ、タオルを広げる）において、µ0 + アクション・エキスパートは平均成功率 91.7% を達成した。これは以下を上回った：
  • VLM + アクション・エキスパート（トレース特徴量なし）に対し、18.4パーセントポイント向上。
  • アクションラベル付きVLAである π0 および π0.5 に対し、それぞれ 20.0 および 11.7 パーセントポイント向上。
  • TraceGen + アクション・エキスパートに対し、10.0 パーセントポイント向上。
• スケーリング: モデルサイズと事前学習データが増えるにつれて性能が向上した。スケーリング分析は、トレース表現が、ポリシーの容量だけでは回復できない重要な運動構造を提供していることを示した。

5. 重要性と主張

本論文は、3Dインタラクション・トレースが、クロスエンボディメント（形態横断的）な操作のためのスケーラブルで転移可能な表現として機能すると主張している。動きの「どのように（how）」を予測することと「何を（what）」予測することを分離することで、µ0 は、高価でエンボディメント固有のアクションラベルに頼ることなく、豊富なビデオデータを活用するロボット学習への道筋を確立している。

著者らは、µ0 が「再利用可能なモーション・プライア」として機能することを強調している。ビデオで事前学習された後、モデルは凍結され、さまざまなロボットの形態に対して異なるアクション・エキスパートと組み合わせることができる。結果は、このアプローチが、大規模なアクションラベル付きデータセットで事前学習された最先端のモデルと同等、あるいはそれ以上の性能を達成できる一方で、ビデオのみの事前学習のスケーラビリティを維持できることを示唆している。

著者らが指摘する制限事項:

• µ0 は、知覚スタック（クラスタリング、3D再構成、トラッキング、キャプション生成）からのエラーを継承する。
• この表現は幾何学と運動を捉えるが、力、触覚フィードバック、または接触モードを明示的にモデル化はしない。
• 現在の評価は卓上操作と特定のエンボディメントに限定されており、移動型マニピュレータや器用な手（dexterous hands）へのより広範な検証は今後の課題である。