💻 computer science

PrimitiveVLA: Learning Reusable Motion Primitives for Efficient and Generalizable Robotic Manipulation

PrimitiveVLAは、デモンストレーションを共有マルチモーダル表現を介して再利用可能なモーションプリミティブへと分解し、推論時にそれらを再構成するプリミティブ中心のフレームワークを導入することで、Vision-Language-Actionモデルのデータ効率の低さと汎化性能の低さを解決し、それによって、より効率的な学習と複雑なタスクにおける堅牢なゼロショット汎化を可能にしている。

原著者： Yutai Li, Shaohui Peng, Jiaming Guo, Di Huang, Zihao Zhang, Yuxuan Guo, Yunkai Gao, Siming Lan, Ling Li, Xing Hu, Yunji Chen

公開日 2026-07-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yutai Li, Shaohui Peng, Jiaming Guo, Di Huang, Zihao Zhang, Yuxuan Guo, Yunkai Gao, Siming Lan, Ling Li, Xing Hu, Yunji Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットが、単に昨日教えられたことしかできない、不器用でプログラム通りに動くだけの機械ではなく、新しい種類の瓶の開け方を理解したり、変な形のブロックを積み上げたりするために、いちいちマニュアルを必要としない賢い助手であるような世界を想像してみてください。これは「エンボディドAI（Embodied AI）」の夢であり、ロボットに、視覚、聴覚、そして動き方を組み合わせた「脳」を与える試みです。現在、科学者たちは「Vision-Language-Action（VLA）」モデルと呼ばれるものを使って、これらの脳を構築しようとしています。これらのモデルを、ロボットの「脳」だと考えてください。それは写真を見て、「カップをテーブルの上に置いて」という文章を読み、それを実行するためにどの筋肉をピクッと動かすべきかを決定します。大きな問題は、現在のロボットは新しいことを素早く学ぶのが非常に苦手だということです。彼らは、特定のテストの解答を丸暗記することには長けていますが、先生が問題の数字を少し変えただけで完全に失敗してしまう学生のようなものです。彼らはタスクの複雑で一連の流れ全体を一度に丸暗記しようとするため、学習が遅く、世界が変わるとすぐに混乱してしまいます。

ここで、救世主として登場するのが「PrimitiveVLA」という新しい論文です。研究者たちは、ロボットが汎用化に失敗する理由は、巨大で複雑なタスクを、一つの大きくて壊せない塊として学ぼうとしているからだと主張しています。代わりに、彼らはよりスマートな方法を提案しています。それは、ロボットに「プリミティブ（基本要素）」を教えることです。あなたが料理を学んでいるところを想像してみてください。例えば「スパゲッティ・カルボナーラ」のレシピを一つの巨大で混乱を招くリストとして丸暗記するのではなく、「刻む」、「茹でる」、「混ぜる」、「炒める」といった基本的な動きを学ぶのです。一度これらの再利用可能な動きをマスターすれば、それらを組み合わせることで、見たこともない料理さえも作れるようになります。著者たちは、ロボットも同様にすべきだと提案しています。彼らは、複雑なロボットのタスクを、トレーニング中にこれらの小さな再利用可能な「モーション・プリミティブ」（「掴む」、「押す」、「持ち上げる」など）へと分解するシステムを構築しました。そして、ロボットが新しい困難な仕事に直面したとき、全体を丸暗記しようとするのではなく、問題を解決するために適切な基本動作のシーケンス（順序）を組み立てるのです。

この論文は、この「分解して組み立てる」アプローチが驚くほど効果的であることを示しています。彼らのテストでは、この手法で訓練されたロボットは学習が非常に速く、フルデータセットで訓練されたロボットと同等の性能を発揮するのに、わずか半分の練習データしか必要としませんでした。しかし、本当の魔法は、ロボットが一度も見たことのないものに直面したときのテストで起こりました。例えば、長く複雑なタスクのセットにおいて、標準的なトップレベルのロボットモデルの成功率は約30%にとどまりました。しかし、PrimitiveVLAを使用したロボットは、成功率が80%へと跳ね上がりました。さらに印象的なことに、ロボットが遭遇したことのない全く新しいタスクに直面した際、この新しい手法は従来の方法と比較して成功率を6倍向上させました。研究者たちはこれをコンピュータ・シミュレーションと実物のロボットアームの両方でテストし、全体像を丸暗記するのではなく、まず基礎をマスターさせることが、ロボットを真に賢く適応力のある助手にするための鍵であることを証明しました。

技術概要: PrimitiveVLA

問題提起

RT-2やOpenVLAといった現在のVision-Language-Action (VLA) モデルは、ダウンストリームのロボットタスクへの適応において、データ効率と汎化性能の面で重大なボトルネックに直面している。著者らは、これらの制限が従来の**直接的な指示・制御マッピング（Direct Instruction-to-Control Mapping）**パラダイムに起因すると主張している。この従来のアプローチでは、モデルはモノリシック（一塊）なタスク軌跡に対して学習を行うため、再利用可能な不変の物理的運動パターンを学習するのではなく、シーン固有の視覚的パターンやタスクの文脈的相関を暗記することを強いてしまう。その結果、あるタスク（例：キャビネットを開ける）から得られた知識が、類似のタスク（例：電子レンジを開ける）には転移できず、未知の物体とスキルの組み合わせや、長期間のタスク（long-horizon tasks）において脆弱なパフォーマンスにつながる。

手法: PrimitiveVLA

これらの課題に対処するため、著者らは、モノリシックな軌跡の暗記から**「プリミティブ中心の分解と組み立て（Primitive-Centric Disassemble & Assemble）」アプローチへと学習パラダイムを転換するフレームワークであるPrimitiveVLAを提案する。このフレームワークは、共有されたマルチモーダル・カノニカル表現（Multimodal Canonical Representation: MCR）**によって統合された、2つの明確なフェーズを通じて動作する。

1. ファインチューニング・フェーズ: プリミティブの分解

デモンストレーションを完全な軌跡としてではなく、再利用可能な運動プリミティブ（例：Grasp（掴む）、Push（押す）、Twist（回す））のライブラリへと分解する。このフェーズでは、自動化されたパイプラインを通じて、公開データセットにおける微細なラベルの不足に対処する：

プリミティブ・シーケンス推論: Vision-Language Model (VLM) がタスク指示とビデオデモンストレーションを分析し、明示的な境界アノテーションを必要とせずに、必要なプリミティブのシーケンスを予測する。
状態ベースの境界セグメンテーション: LLMが、物理的な状態変化（例：グリッパーの幅、エンドエフェクタの高さ）に基づいて各プリミティブの終了条件を定義するPythonコードを生成する。このコードにより、軌跡を個別のプリミティブ・サンプルへと自動的にセグメント化する。
学習目的: VLAは、特定のタスクの文脈ではなく、基礎となる運動パターンを習得するために、これらのセグメント化されたサンプルを用いてファインチューニングされる。

2. 推論フェーズ: プリミティブの組み立て

実行時には、システムは学習されたプリミティブを組み立てて、複雑または未知のタスクを解決する：

プリミティブ・プランナー: VLMが「分解ライブラリ（Disassembly Library）」から類似のタスク・プリミティブ・シーケンスを検索し、現在のタスクに対する高レベルな計画を生成する。
プリミティブ・スイッチ・コントローラー: LLMによって生成されたスイッチモジュールが、クローズドループ形式でロボットの状態を監視する。これは、スライディング履歴ウィンドウからの統計的傾向を用いて、プリミティブ間の遷移をトリガーし、センサーノイズによる早期の切り替えを防ぎ、堅牢な実行フローを確保する。

3. マルチモーダル・カノニカル表現 (MCR)

プリミティブが異なるタスク間で一貫性と再利用性を維持できるように、フレームワークは入力を統一するためにMCRを採用する：

意味論的統一（Semantic Unification）: タスク固有の指示は、カノニカルなプリミティブ指示へとマッピングされる（例：「黒いボウルを掴め」は「緑色のマスクを持つ物体を掴め」となる）。これにより、モデルはテキストのバリエーションではなく、プリミティブのアイデンティティに関連付けられた動作を学習するように強制される。
視覚的互換性（Visual Compatibility）: 生の観測情報は、オブジェクト中心のマスク（SAMおよびCutieを使用）へと変換される。これにより、タスク固有のコンテキストを保持しつつ、VLAに対して統一された視覚的特徴フォーマットを提供し、運動パターンを特定のシーンの詳細から切り離す。

主な貢献

プリミティブ中心のパラダイム: モノリシックな（分割不可能な）軌跡の暗記から、有限の再利用可能な物理プリミティブの習得へとVLAの学習を転換する「分解と組み立て」パラダイムの導入。
PrimitiveVLAフレームワーク: MCRを介してファインチューニングと推論を統一する、モデルに依存しない（model-agnosticな）フレームワーク。これには、分解のための自動セグメンテーション・パイプラインと、組み立てのための階層的なVLM-LLMメカニズムが含まれる。
実証的検証: シミュレーションおよび実世界の環境におけるデータ効率とゼロショット汎化性能の大幅な向上を示す広範な実験。

実験結果

著者らは、Liberoスイート（Libero-90、Libero-90-Novel、Libero-Longを含む）およびRLBenchスイート、ならびに実世界のUR5eロボットのセットアップを用いてPrimitiveVLAを評価した。

データ効率: PrimitiveVLAは、限られたデータ量で性能を大幅に向上させた。Libero-90において、PrimitiveVLAはOpenVLAの性能を9.2%、OpenVLA-OFTを5.0%向上させた。特筆すべきは、わずか50%の訓練データを使用しながら、PrimitiveVLAが標準的なOpenVLAのフルデータ・ベースラインを上回った点である。
ゼロショット汎化 (OOD): 本手法は、未知のタスク（Libero-90-Novel）に対して優れた汎化性能を示した。標準的なOpenVLAベースライン（45.50%）に対して6倍の改善（7.38%）を達成し、SOTAである $\pi0.5$ を56.00%から75.50%へと向上させた。
長期間のタスク (Long-Horizon Tasks): 標準的なモデルがしばしば壊滅的な失敗（成功率5%未満）に陥る長期間のタスク（Libero-Long）において、PrimitiveVLAは $\pi0.5$ の成功率を30.50%から80.25%へと引き上げた。
実世界でのパフォーマンス: 実世界の実験において、本手法はイン・ディストリビューション（既知）のタスクで平均**90%**の成功率を達成し、堅牢なゼロショット汎化を示した。未知の物体に対する成功率は10%から80%へと向上し、ベースラインが失敗した構成的タスク（0%から60-70%）も実行可能とした。
アブレーション研究: MCRがドメイン外（out-of-domain）汎化の主要な推進力であり、プリミティブ分解が長期間の実行における安定性に不可欠であることを結果が裏付けた。

重要性

本論文は、物理的な相互作用を再利用可能なプリミティブへと分解することが、スケーラブルなエンボディドAI（Embodied AI）にとって不可欠であると主張している。不変の運動パターンを特定のタスクの文脈から切り離すことで、PrimitiveVLAはデータ効率の低さと汎化性能の低さという二重のボトルネックを解決する。著者らは、このアプローチにより、モデルが学習したプリミティブを柔軟に組み立てることで、未知の、あるいは新しいタスクを解決できるようになり、直接的な指示・制御マッピングの限界を超えられると断じている。

限界事項: 著者らは、現在のプリミティブ・セットが定義済みのキネマティック（運動学的）な分類体系に依存しており、高度に専門化された器用な操作（dexterous manipulations）をカバーできない可能性があると指摘している。今後の研究では、教師なしのプリミティブ分解や、エンドツーエンドの微分可能なプランニングの探索を目指している。