🤖 AI

Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs

本論文は、自己教師あり逆ダイナミクスを通じて安価でラベルのない相互作用データから転移可能な運動事前知識をまず学習し、次に最小限のラベル付きデータを用いてそれらを言語に接地させることで、標準的な手法と比較して優れた性能と堅牢性を実現する、Vision-Language-Actionモデルにおけるエキスパートによるデモンストレーションの不足を克服するための2段階のフレームワークであるTask-Agnostic Pretraining (TAP) を導入するものである。

原著者： Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

公開日 2026-07-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：ロボットには「先生」が多すぎる

例えば、ロボットに「皿の上に人参を置く」といった家事のやり方を教えたいとします。現在、標準的な方法は**人間によるテレオペレーション（遠隔操作）**です。これは、人間がコントローラーを通じて（比喩的に）ロボットの手を握り、「よし、今度は人参を掴んで」と言いながら、物理的に動作をガイドする方法です。

この論文は、これが巨大なボトルネックであると主張しています。それは、一人の教師が何百万人もの生徒一人ひとりに、すべてのステップを個人的に指導しながら、一歩ずつ付き添うようなものです。これはコストがかかり、時間がかかり、ロボットは自律的に何も学んでいません。ただ人間の動きをそのまま受け取るだけの受動的な器に過ぎないのです。

コアとなるアイデア：「どのように」と「何を」を分ける

著者らは、学習に対する新しい考え方を提案しています。彼らは、私たちが通常混同してしまっている、2つの全く異なるスキルがあることを示唆しています。

「どのように動くか」（物理的適応力）： これは物理学の理解です。グリッパーはどう閉じるのか？物体はどう滑るのか？パンプキンを押したらどうなるのか？
「何をすべきか」（意味論的整合性）： これは指示の理解です。「人参を皿の上に置いて」という指示。

この論文の**分解仮説（Decomposition Hypothesis）*はこう述べています。「どのように動くか」を学ぶために、人間の教師は必要ありません。人間が必要なのは、「何をすべきか」を教える時だけです。*

解決策：TAP（タスク非依存の事前学習）

著者らは、TAPと呼ばれる2段階のトレーニング手法を作成しました。これはアスリートのトレーニングに似ています。

ステージ1：「遊び場」フェーズ（動きを学ぶ）

特定のタスクを与える代わりに、彼らはロボットに**「遊ばせ」**ます。

比喩： 赤ちゃんを想像してみてください。赤ちゃんは「さあ、足を上げて歩いて」と言われて歩き方を学ぶのではありません。赤ちゃんは、物を蹴ったり、おもちゃを落としたり、掴んだり、転んだりします。特定の目標を持たずに、世界を探索しているのです。彼らは自分自身の体の物理学と、周囲にある物の性質を学んでいるのです。
ロボットがすること： ロボットには「遊び場」が与えられ、そこで腕をランダムに動かします。物を押したり、掴んだり、落としたりします。言語による指示はありません。ただ、「腕をこのように動かせば、物体はあのように動く」ということを学ぶのです。
秘訣： 彼らは**逆ダイナミクス（Inverse Dynamics）**という手法を使用しています。「Xをしたら何が起こるか？」と問うのではなく、ロボットは2枚の写真（前後）を見て、「写真Aから写真Bへ至るために、どのようなアクションを取ったはずか？」と問いかけます。これにより、ロボットは人間から「よくできました」と言われることなく、動きの因果関係を強制的に学習します。

ステージ2：「コーチ」フェーズ（何をすべきかを学ぶ）

ロボットが「遊び」を通じて、物体がどのように動くかを理解し、腕の使い方も習得した後、ようやく特定のタスクに取り組む準備が整います。

比喩： 赤ちゃんが筋肉を鍛え、物の掴み方を理解したところで、コーチが登場し、「よし、掴み方はわかったね。では、その人参を皿の上に置いて」と指示を出します。
結果： ロボットはすでに「どのように動くか」を知っているため、特定の指示を学ぶために必要な人間のデータはごくわずかで済みます。これは、プロのアスリートに新しいプレーを教えるようなものです。彼らは走り方やキャッチの仕方を学び直す必要はなく、戦略だけを知ればよいのです。

なぜこれが重要なのか（結果）

彼らは実機のロボットとコンピュータ・シミュレーションでこれをテストしました。判明したことは以下の通りです。

極めて効率的である： TAPを用いたロボットは、100万回の人間によるガイド付きの例を用いたロボットと同等のタスク遂行能力を獲得しましたが、使用したラベル付きデータはごくわずかでした。高価な人間の労働時間を、安価に自己生成された「遊び」の時間へと置き換えたのです。
より堅牢である（混沌の中でも強い）： これが最も印象的な部分です。研究者が環境をかき乱したとき（カメラの角度を変える、ランダムな果物を置く、テーブルの質感を変更するなど）、標準的なロボット（人間によるデータのみで訓練されたもの）は完全に失敗しました（成功率0%）。
- 比喩： 標準的なロボットは、特定のテストの解答集を丸暗記した学生のようなものです。テストの問題が少し変わるだけで、彼らは失敗します。一方、TAPのロボットは、数学の「概念」を実際に理解している学生のようなものです。たとえ数字が変わったり、紙がクシャクシャになっていたりしても、問題を解くことができます。
- 現実の世界において、カメラの視点をずらした場合、標準的な「インターネット規模」のロボットは完全に失敗しましたが、TAPのロボットは15〜25%の確率で成功を収めました。

まとめ

この論文は、ロボットにタスクを行う様子を無理やり見せることで教えてきた、という主張をしています。そうではなく、まずはロボットに**「言葉にならない音を出し、遊ばせる」**ことで、世界の物理学（「どのように動くか」）を学ばせるべきなのです。一度その基礎ができれば、特定の目標（「何をすべきか」）を教えるために、わずかな人間のガイダンスだけで済みます。これにより、ロボットの訓練コストを抑え、現実世界の予期せぬ変化にも対応できる、より優れたロボットを実現できるのです。

テクニカルサマリー：習う前に動くことを学ぶ（VLAのためのタスク非依存型事前学習）

1. 問題提起

現在のビジョン・ランゲージ・アクション（VLA）モデルは、根本的なボトルネックに直面している。それは、高品質なエキスパートによるテレオペレーションのデモンストレーション（観測、言語指示、アクションの3点セット）の不足である。従来の学習パラダイムは、膨大な量の人間による誘導軌跡データに依存しているが、これは極めてコストが高く、労力を要し、スケーラビリティに欠ける。さらに、このアプローチは、**物理的な能力（どのように動くか）**の獲得と、**意味的な整合性（何をすべきか）**の獲得という、2つの異なる学習目的を混同してしまっている。本論文は、現在の手法が、本来は特定のタスク目標とは独立しているはずの基本的な運動力学を学習するために、非効率にも言語による監督を必要としていると主張している。

2. 手法：タスク非依存型事前学習（TAP）

著者らは、**分解仮説（Decomposition Hypothesis）に基づいた2段階のフレームワークであるタスク非依存型事前学習（TAP）**を提案している。すなわち、物理的なアフォーダンス（「どのように動くか」）は、安価でラベルのないインタラクション・データから完全に学習可能であり、一方で意味的な意図（「何をすべきか」）には最小限のエキスパート・デモンストレーションが必要であるという考え方である。

ステージ1：タスク非依存型事前学習（「どのように動くか」を学ぶ）

データソース： モデルは、明示的な言語指示を欠いたインタラクション軌跡として定義される、膨大な量のタスク非依存データを用いて事前学習される。ソースには以下が含まれる：
- 既存データセットの再利用： ターゲットとなるデプロイメントとは無関係なタスク（例：「引き出しを開ける」データを用いた「人参を拾う」タスク）のために収集された大規模データセット（BridgeData、Open X-Embodimentなど）からの軌跡。
- 自律的なランダムプレイ： 人間の監督なしに、エンドエフェクタのランダムなコマンド（押す、掃く、掴むなど）を通じてロボットが環境を探索することで生成されるデータ。プロシージャルなパイプラインにより、安全性と接触豊かなインタラクションが確保される。
目的： 自己教師ありの**逆動力学（Inverse Dynamics: ID）**目的関数。一対の観測値 $(o_t, o_{t+1})$ $(o_{t}, o_{t + 1})$ が与えられたとき、モデルはその遷移を引き起こしたアクション $a_t$ $a_{t}$ を予測する。
- メカニズム： これにより、視覚エンコーダは静的な背景ノイズを無視しつつ、動的な要素（エンドエフェクタの動き、物体の変位）に焦点を当てるようになる。モデルは、言語ラベルなしで、空間的推論、アフォーダンス検出、運動協調といった堅牢な物理的プライア（事前知識）を学習する。
アーキテクチャ： ビジョン・ランゲージ・モデル（VLM）のバックボーン（例：Qwen2.5-VL）を用いて、視覚入力をアクション出力へとマッピングするように学習される。ここでは、将来の観測値を暗黙的な視覚目標として扱う。

ステージ2：タスク固有の整合（「何をすべきか」を学ぶ）

データソース： 言語指示 ( $l$ ) を含む、最小限のエキスパート・デモンストレーション集合 ( $\mathcal{D}_{expert}$ )。
目的： 標準的な行動クローニング（Behavior Cloning: BC）。事前学習されたモデルを、視覚的観測と言語指示をアクションへとマッピングするようにファインチューニングする。
メカニズム： モデルはステージ1のバックボックとアクションヘッドを再利用する。モデルは、意味空間（言語）から、確立された動力学空間（運動制御）への軽量なプロジェクションを学習する。このステージは、ゼロから学習する場合よりも大幅に少ないラベル付きサンプルで済む。

3. 主な貢献

分解仮説： 本論文は、物理的な能力と意味的な整合性は分離可能な学習目的であり、前者はラベルのないデータから学習できると提唱している。
TAPフレームワーク： 安価なタスク非依存データ（オフタスクの軌跡や自律的なプレイ）を、逆動力学事前学習を通じて活用する、新しい2段階のパイラインを提示している。
データ効率： TAPが、数百万のエキスパート軌跡を用いて学習されたモデルと同等、あるいはそれを上回る性能を、桁違いに少ないラベル付きデータで達成できることを実証している。
堅牢性： 多様な自律的探索データによる事前学習が、インターネット規模のベースラインと比較して、現実世界の分布シフト（視覚的摂動、散乱物、視点の変化）に対して著しく高い耐性を持つモデルを生み出すことを示している。

4. 実験結果

本フレームワークは、SIMPLERベンチマーク（シミュレーション）および実世界のWidowX 250ロボットを用いて評価された。

シミュレーション (SIMPLER):
- TAP（2万タスク非依存エピソード＋ 5千エキスパート軌跡で学習）は、平均成功率 33.32% を達成した。
- これは、標準的なBCベースライン（23.15%）を 10%の絶対的な差 で上回った。
- また、TAPは、100万以上のエキスパート軌跡で事前学習された基盤モデル（OpenVLA, RT-1-X, Octo, $\pi_0$ ）と同等またはそれ以上の性能を示した。これは、極めて少ないラベル付きデータを使用しているにもかかわらずである。
- 部分的成功の分析： TAPは高い部分的成功率（45.82%）を達成しており、これは大規模なモデルに匹敵する。このことは、事前学習が、タスクの意味論とは独立して、低レベルの物理的能力（把握、整列など）を適切に植え付けたことを示している。
実世界 (WidowX):
- 各タスクにつきわずか 200のエキスパート軌跡 と、30時間の自律的なランダムプレイ のみで学習。
- 堅牢性： 深刻な視覚的摂動（例：背景テクスチャの変化、視点の変動）の下では、インターネット規模のベースライン（NORA）および標準的なBCは成功率 0% に崩壊した。一方、TAPは 15〜25% の成功率を維持した。
- 散乱物がある環境において、TAPはプッシングタスクで 65% の成功率を維持したが、標準的なBCは5%に、NORAは60%へと低下した。
アブレーション研究：
- 収束： 事前学習は初期の学習速度を加速させるものではないが、性能の天井を引き上げ、標準的なBCで見られる早期の飽和を防いだ。
- スケーリング： ダウンストリームの性能は、ステージ1の事前学習の規模によって厳密に制限されていた。タスク非依存の経験が不十分な場合、ファインチューニングの期間をいくら長くしても収穫逓減が見られた。
- 注意（Attention）： Grad-CAM分析により、ステージ1のモデルは言語なしで操作可能なエンティティ（グリッパー、物体）に注意を向けることを学習し、ステージ2において、指示に基づいて特定の対象へこの注意を洗練させていることが示された。

5. 意義と主張

本論文は、タスク非依存型事前学習が、エージェントを能力付けるための唯一の道が「エキスパートデータのスケーリング」であるという仮定に挑戦することで、具現化されたAI（Embodied AI）へのスケーラブルな道筋を提供すると主張している。

パラダイムシフト： 「受動的なデータ収集（テレオペレーション）」から「能動的な、タスク非依存のインタラクション（自己探索）」へと焦点を移しており、これは生物学的エージェント（乳幼児）が、特定のタスクを学ぶ前に運動能力を獲得する過程を模している。
スケーラビリティ： 物理的な学習と意味的な学習を切り離すことで、TAPは、高価な人間によるアノテーションへの依存を減らし、膨大で安価なラベルなしインタラクション・データの価値を解き放つ。
堅牢性： 多様な物理的経験を事前学習に組み込むことで、現実世界のデプロイメントにおいて不可避である分布シフトに対して、ドメイン不変な表現を生み出せることを結果は示唆している。

著者らは、現在のVLAモデルがエキスパート・デモンストレーションの「データウォール」によってボトルネックとなっている一方で、「行うことを学ぶ前に、動くことを学ぶ」というタスク非依存型事前学習の戦略は、この限界を効果的に回避し、堅牢で転移性の高い物理的表現をもたらすと結論づけている。