💻 computer science

Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization

Zero-WAMは、インコンテキストの人間による動画をタスク仕様として活用し、74.2K組の人間とロボットのペアからなる合成データセットと、視覚的なプロンプトへの依存を強制するための将来のチャンク予測目的関数によって支えられた、ロボット操作におけるゼロショットのタスク横断的汎化を実現する因果的ビデオアクションモデルである。

原著者： Jiaming Zhou, Qihang Zhang, Gangwei Xu, Cunxin Fan, Yujie Zhao, Ruilin Wang, Yiming Luo, Shuai Yang, Xing Zhu, Yujun Shen, Junwei Liang, Yinghao Xu

公開日 2026-08-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiaming Zhou, Qihang Zhang, Gangwei Xu, Cunxin Fan, Yujie Zhao, Ruilin Wang, Yiming Luo, Shuai Yang, Xing Zhu, Yujun Shen, Junwei Liang, Yinghao Xu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットは長年、根本的な限界に直面してきました。それは、教えられたことを正確に繰り返すことは得意であるものの、練習したことのない新しい状況に直面すると立ち往生してしまうという点です。もしロボットが赤いブロックを積み上げることを学習したとしても、青いブロックをどう積み上げるか、あるいは電子レンジをどう開けるかといったことを、人間のプログラマーがその特定のタスクのためにコードを書き換えない限り、自力で判断することはしばしばできません。このような汎用性の欠如は、家庭や職場で役立つ機械を構築する上での大きな障壁となっています。長年、研究者たちは言語を通じてロボットに教えることでこの問題を解決しようと試みてきました。「カップを持ち上げて」といった言葉による指示を与える方法です。しかし、言葉は、物体をどの程度の強さで握るべきか、あるいは結び目を解くために必要な正確な一連の動きといった、複雑で物理的な詳細を捉えるには、あまりにも曖昧すぎることがあります。人間がロボットにやり方を教えるより自然な方法は、単に実演を見せることですが、人間の動画を見てロボットに直接学習させることは困難であることが証明されてきました。なぜなら、人間とロボットでは動きが異なり、世界の見え方も角度も異なるからです。

ある研究チームは、特定のタスクに関する事前のトレーニングや、ロボットの内部ソフトウェアの変更を必要とせず、人間が行っている短い動画を見るだけで、全く新しいタスクを学習できる新しいアプローチを開発しました。彼らはこのシステムを「Zero-WAM」と呼んでいます。核心となるアイデアは、人間の動画を単なる参照資料としてではなく、直接的な指示として扱うことです。ロボットが新しい仕事を行う際、ロボットは人間が似たような仕事をしている動画を見て、その視覚的なガイドを利用して自分自身の次の動きを決定します。これを実現するために、研究者たちは膨大なデータ問題を解決しなければなりませんでした。彼らは、人間がタスクを行っている動画と、その同じタスクに対するロボット自身の動きが完璧に一致している例を数多く必要としました。このようなペアを手作業で収集するのは時間がかかりコストも高いため、彼らは既存のロボットの作業記録を取り込み、人工知能を使用してそれに対応する人間の動画を生成する自動化システムを構築しました。このプロセスにより、単純なピック・アンド・プレース（持ち上げて置く）動作から複雑で多段階の操作に至るまで、約9,000種類の異なるタスクをカバーする74,200組のペアを含む膨大なライブラリが作成されました。

研究者たちは、この多様なライブラリを用いてモデルを訓練し、自身の動きの履歴と見ている人間の動画に基づいて、次にロボットが何をすべきかを予測するように学習させました。彼らの手法の重要な要素は、モデルが以前に見たものに基づいて推測するのではなく、実際に人間の動画に注意を向けるようにすることでした。彼らは、モデルが単に次の瞬間を予測するだけでなく、数ステップ先まで予測しなければならないという特別な訓練ステップを追加しました。これにより、システムは単に直前の過去に反応するのではなく、人間の動画に示されている長期的な目標を理解することを強制されました。シミュレーション環境において、訓練中に一度も見せたことのない7つの全く新しいタスクでこのシステムをテストしたところ、試みのほぼ半分で成功しました。これは、成功率が5回に1回未満であった従来のメソッドと比較して、劇的な改善です。このシステムは、電子レンジを開ける、ブロックを積み上げる、ステープラーを動かすといった困難な課題を、単に人間のデモンストレーション動画を見るだけで処理することができました。

成功はシミュレーションに留まりませんでした。チームは訓練されたモデルを実世界の物理的なロボットアームへと持ち込み、物体を容器に入れる、複数のアイテムを特定の順序で動かす、テーブルの脚を穴に精密に挿入するといったタスクでテストを行いました。これらの実世界でのテストにおいても、ロボットは再び人間の動画による指示を用いて、訓練中に見ていない異なる色の物体や異なるテーブルのセットアップといった未知の構成を乗り越えていきました。実世界の物理的な困難さゆえに成功率はシミュレーションよりも低くなりましたが、ロボットは標準的な言語ベースのシステムでは全く解決できなかったタスクを完遂することができました。例えば、ビデオガイドに基づいてテーブルの脚を特定の穴に挿入するように求められた際、ロボットはかなりの割合の試行で成功しましたが、言語のみのシステムは完全に失敗しました。

これらの知見は、ロボットの適応性を妨げているボトルネックは、必ずしもロボットの動きの能力ではなく、指示の与え方にあることを示唆しています。テキストベースのコマンドから動画ベースのデモンストレーションへと移行し、膨大な自動生成データセットを用いて、人間の行動をロボット自身の動きへと翻訳する方法を用いることで、研究者たちはより柔軟な機械への実行可能な道筋を示しました。このシステムは、新しい仕事ごとに新しいスキルを学習する必要はありません。代わりに、視覚的なデモンストレーションを解釈するという一般的な能力を学習します。これは将来、ロボットに蛇口の修理や棚の整理をしている動画を見せれば、ロボットが自身の身体と目の前にある特定の物体に合わせて物理的な動きを適応させ、自力で同じタスクを実行できる可能性があることを意味しています。この研究は、適切なデータと訓練方法があれば、ロボットが人間の直感と機械の実行の間の溝を埋め始め、真の汎用アシスタントという目標に近づけることを証明しています。

技術要約: Zero-WAM: 人間の動画からのインコンテキストな世界・行動モデリングによるオープンエンドなタスク汎化

1. 問題提起

解決すべき中心的な課題は、ロボット操作におけるゼロショット・クロスタスク汎化である。現在のポリシーは、新しいロボットデータの収集やモデルパラメータの更新を行うことなく、学習中に見られなかったタスクを実行しようとする際に失敗することが多い。大規模言語モデル（LLM）は、テキストを通じてタスクを指定することでインコンテキスト学習（ICL）による汎化を実現しているが、これをロボティクスに適用することは困難である。なぜなら、自然言語は操作タスク（例：空間的な制約や時間的構造の欠如）を過小指定してしまうことが多いためである。

既存のVision-Language-Action（VLA）およびビデオ・アクション・モデルは言語に大きく依存しているが、これはタスクの進化に関する直接的な視覚的証拠を提供できない。人間のデモンストレーション動画は、意図されたタスクの自然で豊かな視覚的仕様を提供するが、このアプローチをスケールアップするには2つの障壁がある。

データの希少性: 大規模で意味的にペアとなった人間とロボットのデータセットは、手動での収集コストが高く、困難である。
ショートカット学習: 見られたタスクで訓練されたモデルは、インコンテキストのビデオプロンプトを無視して、ロボットの履歴とテキストのみに基づいて将来のロボットアクションを予測することを学習してしまう。これにより、ビデオが未知のタスクに対する唯一の情報源である場合に失敗を招く。

2. 手法

2.1 データ・キュレーション: HumanGen および Task-Diverse VA

データの希少性とバイアスを克服するために、著者らはスケーラブルなパイプラインと2つの精選されたデータセットを提案している。

Task-Diverse VA データ: 公開されているロボットビデオ・アクション・データセット（AgiBot、Open-X-Embodimentなど）を、生の軌跡の頻度ではなく、タスクレベル（アクション + オブジェクトによって定義される）で再分割する。これにより、少数のタスクの冗長なテレオペレーションによって事前学習が支配されることを防ぎ、1エポックあたり6,000以上のタスクにわたる約40万の軌跡からなるバランスの取れたコーパスが得られる。
インコンテキスト人間動画生成パイプライン: 自動化されたパイプラインにより、タスクサンプリングされたロボットの軌跡を、意味的に一致する人間の操作動画に変換する。
- プロセス: 視覚言語モデル（VLM）がタスクのセマンティクスを抽出し、最初のロボットフレームを人間の観察（視点、背景、オブジェクトのインスタンスを変化させる）へと変換するための画像編集プロンプトを生成する。その後、ビデオ生成モデルが合成された人間の操作動画を作成する。
- HumanGen データセット: このパイプラインにより、8.6Kのタスクにわたる74.2Kの人間-ロボットICLペアが得られる。極めて重要な点は、各ペアが生成された人間の動画（指示）と、対応する実行可能なロボットの軌跡で構成されていることである。このデータセットには、多様な視覚的整合性（一人称/三人称、異なる環境）が含まれており、モデルにモーションのコピーではなく、タスクレベルの対応関係を学習させるように強制している。

2.2 モデル・アーキテクチャ: Zero-WAM

Zero-WAMは、Wan-2.2のテキスト・トゥ・ビデオ・バックボーンを適応させた、Mixture-of-Transformers（MoT）設計に基づく因果的ビデオ・アクション・モデルである。

二重の仕様: 言語指示、または人間の動画（あるいはその両方）をタスク条件 $c$ として受け入れる。
因果的予測: 次のロボットのビデオチャンク $x_{i+1}$ $x_{i + 1}$ と、整合したアクションチャンク $a_{i+1}$ $a_{i + 1}$ を自己回帰的に予測する。
- ビデオ・ブランチ: ヒストリー、言語、およびインコンテキストの人間動画 $h$ に条件付けられて $x_{i+1}$ を予測する。
- アクション・ブランチ: 予測されたビデオとヒストリーから $a_{i+1}$ をデコードする（逆動力学モデルとして機能する）。これは、人間動画 $h$ に直接アテンションを払うのではなく、予測されたビデオ表現の中に吸収されたタスクのセマンティクスに依存する。
RoPE オフセット: 同一シーケンス内のインコンテキストの人間動画とロボット動画の潜在変数を区別するために、人間動画のトークンにはシフトされた高さ軸のRoPE座標が割り当てられる。

2.3 学習目的: インコンテキスト未来チャンク予測 (IFP)

モデルが人間動画プロンプトを無視すること（ショートカット学習）を防ぐために、著者らは学習時のみ使用される補助的な目的関数である IFP を導入する。

メカニズム: 単に直後のチャンクを予測するのではなく、モデルは現在のロボット・ビデオ表現から複数のストライドされた未来のチャンク（ $x_{j_1}, x_{j_2}, \dots$ ）を予測するように監督される。
制約: IFP モジュールは、人間動画自体に直接依存するのではなく、現在のステップの融合された表現（人間動画と相互作用したもの）にのみ条件付けられている。これにより、IFP ロスを最小化するためには、メインのビデオ・ブランチが、人間動画によって伝えられる長期的なタスクの進化を現在の状態表現の中にエンコードしなければならないことを強制する。

3. 主な貢献

定式化: ゼロショットのロボット汎化を、単一の因果的ポリシーが言語と人間の動画の両方をタスク仕様としてサポートするインコンテキスト・ワールド・アクション・モデリングとして定式化した。
スケーラブルなデータ・パイプライン: タスクレベルのサンプリングによるバランスの取れた事前学習と並行して、HumanGen（74.2Kのセマンティックに一致した人間-ロボットICLペア）を自動生成する手法を構築した。
アルゴリズムの革新: ロボットの履歴への依存（ショートカット）を明示的に抑制し、インコンテキストの人間動画プロンプトの活用を強化する IFP 目標を備えた Zero-WAM モデル。
実証的検証: シミュレーション（RoboTwin 2.0）および実世界の設定において、タスク固有のロボットデータやパラメータ更新なしに、効果的なゼロショット汎化を実現できることを示した。

4. 実験結果

4.1 シミュレーション (RoboTwin 2.0)

7つの未知のタスク（例：印鑑のスタンプ、電子レンジの開閉、ブロックの積み重ね）について、3つのランダムなシードを用いて評価した。

Zero-WAM: 平均成功率 46.95% を達成。
ベースライン: LingBot-VA (17.45%) を 29.50ポイント、WAN-Action (10.98%) を 35.97ポイント 上回った。
主な知見: Zero-WAMは、「ブロックを3つ積む」という困難な長期間タスク（ベースラインが完全に失敗したタスク）において、非ゼロの成功率（9.00%）を達成した唯一の手法であった。

4.2 実世界での評価

バイマニュアルのFrankaロボットを用い、3つのタスクファミリーに対して評価を行った。

物体からコンテナへの配置: 成功率 53.3% (LingBot-VA の 43.3% に対し)
3物体の連続操作: 成功率 33.3% (LingBot-VA の 10.0% に対し)
2本のテーブル脚への挿入: 成功率 16.7% (LingBot-VA の 0.0% に対し)
Zero-WAMは、マルチオブジェクト・シーン、長期間のシーケンス、および微細な挿入を含む未知の構成に対して、人間動画の指示のみに基づいて正常に汎化できた。

4.3 アブレーション研究

人間動画 ICL: 事前学習を除去し、ICL人間動画のみを使用した場合、成功率は 10.98% から 36.36% に上昇し、ICLがテキストを超えた重要なタスク情報を提供することを証明した。
IFP モジュール: IFP を除去すると平均成功率が 46.95% から 28.55% に低下し、IFP が人間動画信号の使用を強制するために不可欠であることを確認した。
タスク・バランス・データ: 人間動画の条件付けを行わないテキストのみのZero-WAM（LingBot-VA の 17.45% に対し 39.44%）は、依然としてベースラインを上回っており、タスクレベルのサンプリングが人間動画プロンプトなしでも汎化を向上させることを検証した。

5. 意義と主張

本論文は、スケーラブルな人間動画指示とタスク・バランスの取れたロボット事前学習を組み合わせることで、Zero-WAM が汎用的なロボット操作に向けた実用的な道筋を示すと主張している。

ゼロショット能力: 本システムは、対応するロボットデータを収集したりモデルパラメータを更新したりすることなく、未知のタスクをシミュレーションおよび実世界の構成において実行する。
ギャップの架け橋: セマンティックに整合した人間-ロボットのペアを生成することにより、本研究は、豊富なエゴセントリック（一人称視点）の人間動画と、希少なロボットの軌跡との間のギャップを埋める。正確な動作の整合性ではなく、タスク・セマンティクス・レベルでの対応関係を確立することで、ポリシーが人間の経験から広範なタスク知識を獲得できることを論じている。
将来の方向性: 著者らは、このパラダイムが移動操作やより長い期間のタスクにも拡張できる可能性を示唆しており、人間動画を汎用ロボティクスにおけるオープンエンドなタスク指定のための主要なインターフェースとして位置づけている。