テクニカル・サマリー：ロボットにはVLAや世界モデル以上のものが必要である

問題提起

本論文は、汎用的なロボット知能の現在の枠組みを、より多くのロボットデモンストレーションを収集し、より大規模なVision-Language-Action (VLA) モデルを訓練するという「ポリシー・スケーリング問題」として捉えることは不完全であると主張している。大規模なVLAモデルやクロスエンボディメント（異種形態間）データセットは有望な成果を示しているが、根本的なスケーリングのボトルネックに直面している。それは、世界に溢れる非構造化された行動データを、グラウンデッド（接地された）なロボットの教師信号へと変換するメカニズムの欠如である。

物理的な相互作用データ（人間の動き、インターネット上の動画、工場のワークフロー、シミュレーションのロールアウトなど）には、タスク、目標、接触、失敗に関する豊かな情報が含まれている。しかし、これらのデータには、ロボット学習に必要な特定の構造、すなわち、エンボディメント（身体性）固有のアクションラベル、力信号、タスクのセマンティクス、および報酬構造が欠けている。テキストや画像が自然にデジタル化され、高密度に教師あり学習されているのに対し、物理的な経験は「乱雑」であり、ロボットのポリシーによって直接実行可能なものではない。中心となる課題は、単にポリシーをいかにスケールさせるかではなく、広範で弱ラベル付けされた物理的経験を、いかにしてロボットが利用可能な教師信号（アクション、接触、物体の状態、目標、報酬）へと変換するかである。

手法および提案フレームワーク

本論文は、単一の新しいアルゴリズムやデータセットを提案するのではなく、現在のロボット学習の状況を調査し、ギャップを特定した上で、次なるステップとして必要なグラウンディング中心のパイプラインを提案している。著者らは、モデルのアーキテクチャによってではなく、各アプローチが露呈させている「教師信号のボトルネック」によって、この分野を整理している。彼らは、将来のロボットスタックには、生の物理的経験と展開可能な知能との間の溝を埋めるための、4つの欠けているコンポーネントが必要であると主張している。

1. 物理データエンジンとエンボディード・オートラベリング（身体性を伴う自動ラベル付け）

現在のロボット学習は、観測データがすでにアクションとペアになっている「ロボットネイティブ」な教師信号に依存している。本論文は、ヘテロジニアス（異種混合）で非同期なストリーム（ビデオ、ウェアラブルセンシング、触覚データ、ロボットログ、言語）を取り込み、自動的に構造化されたロボット関連のラベルを推論する物理データエンジンを提案している。

• メカニズム: このエンジンは、生のデータ ($x$) から潜在的な物理イベント ($\zeta$) を推論するエンボディード・オートラベリングを行う。非同期なモダリティを共通のタイムラインに整列させ、物体中心の状態 ($s$)、接触イベント ($c$)、タスクのフェーズ ($\phi$)、潜在的な物理アクション ($u$)、および報酬/進行信号 ($r$) といった変数を復元する。
• 目的: 生の非構造化エピソード（例：センシングスーツを着用した人間）を、リターゲティング、シミュレーション、またはポリシー訓練に使用できる一連の物理イベントへと変換することであり、これにより「失敗」や「修正」を構造化された教師信号へと変える。

2. タスク保存型のリターゲティング

物理イベントが推論された後、それらは特定のロボットのエンボディメントに対して実行可能なアクションへと翻訳されなければならない。本論文は、人間とロボットの間の運動学的および動学的な差異を考慮しない単純なポーズマッチング手法を批判している。

• メカニズム: 著者らは、潜在的な物理アクションや人間のデモンストレーションを、タスクに関連する物理的効果 ($\Delta g$) を維持しながら、実行可能なロボットアクション ($a^{(embodied)}$) へとマッピングするタスク保存型リターゲティングを提案している。
• 目的: 人間の関節軌道をコピーするのではなく、使用される具体的な形態（モルフォロジー）に関わらず、ロボットが同じ物理的結果（例：引き出しの変位、物体の整列、接触の確立）を達成するようにすることである。

3. 物理にグラウンデッドされた世界モデル

現在の世界モデルは、しばしば視覚的な妥当性（現実的な未来のフレームの生成）に焦点を当てている。本論文は、ロボットの世界モデルは、実行可能な結果を予測するために**物理にグラウンデッド（接地）**されていなければならないと主張している。

• メカニズム: これらのモデルは、単なるピクセルではなく、構造化された物理変数（幾何学、接触、力、制約、材料特性）を予測しなければならない。また、「もし〜をしたらどうなるか」という問いに対し、物体の状態、安定性、タスクの進行度に関して答えられる必要がある。
• 目的: 反事実的な経験を提供することである。ロボットは、あるアクションが滑り、詰まり、あるいは成功した挿入を引き起こすかどうかについて推論する必要がある。モデルは、不確実性を推定し、成功または失敗を決定付ける物理変数を保持するように校正されていなければならない。

4. 自己改善型デプロイメントループ

最後のコンポーネントは、実世界でのデプロイメントが継続的な改善のための新しいデータを生成する、クローズドループシステムである。

• メカニズム: これには、タスク条件付き報酬グラウンディングが含まれる。デプロイメントの結果を単純なパス/失敗の記録として扱うのではなく、システムは特定の目標（例：接触と物体の状態に基づいて、掴み損ねたのか、成功したのかを区別する）に関連付けて結果を解釈しなければならない。
• 目的: 失敗、人間の修正、および成功したロールアウトが、ポリシー、報酬モデル、世界モデル、およびリターゲティングメカニズムを更新するために物理データエンジンへとフィードバックされる、累積的なシステムを構築することである。これにより、孤立したエンジニアリングの取り組みを、物理的世界から直接学ぶシステムへと変貌させる。

主な貢献

1. ボトルネックの再定義: 本論文は、ジェネラリスト・ロボティクスにおける中心的なボトルネックは、ポリシーの容量やデータの量ではなく、非構造化された物理的経験をロボットが利用可能な教師信号へと変換するためのグラウンディング・メカニズムの欠如であると特定している。
2. 教師信号のタクソノミー（分類学）: 現在のアプローチ（ロボットネイティブなデータセット、弱グラウンデッドなビデオ学習、シミュレーション、および世界モデル）を構造的に分析し、それぞれが部分的な解決策を提供しているものの、グラウンディングの問題を完全には解決していないことを明らかにしている。
3. 4つの柱からなるアーキテクチャ: 以下の構成要素からなる具体的なアーキテクチャ・スタックを提案している：
   • 物理データエンジン（オートラベリングのため）
   • タスク保存型リターゲティング（エンボディメント転送のため）
   • 物理にグラウンデッドされた世界モデル（結果予測のため）
   • 自己改善型デプロイメントループ（報酬グラウンディングと継続的学習のため）
4. フィードフォワードからクローズドループへの転換: 次世代のロボティクスは、フィードフォワードのパイプライン（データを収集 $\to$ ポリシーを訓練）から、デプロイメントのトレースが基礎となるモデルを継続的に洗練させるクローズドループ・システムへと移行しなければならないと主張している。

結果とエビデンス

ポジションペーパーであるため、本研究は新しい実験結果や単一の統合されたシステムを提示するものではない。代わりに、その「結果」は近年の文献の包括的な調査から導き出されている。

• ロボットネイティブなスケーリング: Open X-Embodiment、DROID、RH20Tなどのデータセット、およびRT-2、Octo、$\pi^0$ などのモデルにおける進展を引用し、これらがスケーリングの恩恵を示している一方で、依然として事前にグラウンデッドされたロボットネイティブなデータに依存していることを指摘している。
• 弱教師あり学習: ビデオからの学習（R3M、VIP、LAPA、UniVLA）や報酬推論（PROGRESSOR、ReWiND）に関する研究をレビューし、これらの手法が表現や潜在的アクションを抽出しているものの、対応関係の問題（correspondence problem）に苦しみ、直接的なロボットのアクションラベルを欠いていることを示している。
• シミュレーションと世界モデル: シミュレーション環境（RLBench、ManiSkill）や学習された世界モデル（Dreamer、Genie、3D-Gaussian Splattingアプローチ）を調査し、これらは経験を生成するものの、信頼できる制御に必要な物理的忠実度（接触、力、安定性）を欠いていることが多いと論じている。
• 統合: 本論文はこれらの知見を統合し、既存のアプローチがいずれも完全なグラウンディング・パイプラインを解決していないことを示し、提案された4つのコンポーネントによるアーキテクチャの必要性を正当化している。

重要性と主張

本論文は、分野が「ファウンデーションモデルの瞬間」に入りつつあるが、ロボティクスにおける「インターネット」に相当するもの、すなわち世界の膨大な非構造化された物理データを活用する能力が欠けていると主張している。

• VLAを超えて: 著者らは、VLAは必要条件ではあるが十分条件ではないと断言している。VLAは、アップストリームのグラウンディング（データ、エンボディメント、ダイナミクス）とダウンストリームのフィードバック（報酬、デプロイメント）に依存する、より大きな物理的知能スタックの一層として捉えられるべきである。
• グラウンディングのアジェンダ: 本論文の重要性は、研究のアジェンダを「どのモデルアーキテクチャを訓練するか」から、「世界の物理的経験を学習可能にするためにどのようなメカニズムが必要か」へとシフトさせた点にある。
• 将来の方向性: 本論文は、次世代のロボット用ファウンデーションモデルは、単一のモノリシックなVLAではなく、オートラベリング、リターゲティング、物理にグラウンデッドされた予測、およびデプロイメント・フィードバックを統合した累積的なシステムになると予測している。このアプローチは、ロボティクスを、精選されたロボットネイティブなデータセットへの依存から、より広く、乱雑な物理的世界から直接学ぶことへと移行させることを目的としている。