🤖 AI

ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation

本論文は、大規模な教師なしデータで事前学習した進捗推定器と、逆動力学世界モデルを用いた微分可能な進捗ガイダンスを組み合わせた「ProgressVLA」を提案し、長期的なタスクにおけるロボットの成功率と汎化性能を大幅に向上させることを実証しています。

原著者： Hongyu Yan, Qiwei Li, Jiaolong Yang, Yadong Mu

公開日 2026-03-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hongyu Yan, Qiwei Li, Jiaolong Yang, Yadong Mu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、ロボットが複雑な指示（例：「引き出しを開けて、黄色い箱を中に入れる」）を聞いて、失敗せずにタスクを完了するための新しい技術「ProgressVLA」について説明しています。

従来のロボットは、「指示を聞いて、とりあえず動き出す」ことはできましたが、「今、どれだけゴールに近づいているか」を自分で判断するのが苦手でした。そのため、無駄な動きを繰り返したり、いつ終わればいいかわからず迷走したりすることがありました。

この論文のアイデアを、**「料理をする時の『味見』と『レシピ』」**に例えて、わかりやすく解説します。

1. 従来のロボットの問題点：「盲目の料理人」

昔のロボット（従来の AI）は、「レシピ（指示）」だけを見て、ひたすら手を動かす料理人のようなものでした。

「卵を割って、フライパンで炒めて」と言われると、一生懸命卵を割ります。
しかし、**「炒めすぎているかも？」「まだ生っぽくないか？」**という「進捗状況（Progress）」を自分で判断できません。
そのため、焦げ付かせてしまったり、逆に生焼けのまま「よし、完成！」と勘違いして皿に盛ってしまったりします。
長いタスク（引き出しを開けて、中から物を取り出して、別の場所に置くなど）になると、どこで間違えたか気づかず、堂々巡りをしてしまいます。

2. 新技術「ProgressVLA」の仕組み：「優秀な味見係」

この論文が提案するのは、**「進捗を常にチェックする味見係（Progress Estimator）」**をロボットに内蔵させることです。

① 味見係の訓練（事前学習）

まず、この味見係は、世界中のあらゆるロボットが撮った何万もの動画（料理の動画や作業の動画）を見て勉強します。

「引き出しを開ける作業」なら、0%（閉じた状態）から 100%（開いた状態）まで、どの段階で何が見えているかを学びます。
これにより、ロボットが「今、引き出しは半分開いている（50% 進んでいる）」と正確に判断できるようになります。

② 未来を想像して味見する（世界モデル）

ここがすごいところです。ロボットは実際に手を動かす前に、**「もし今、この動きをしたら、どうなるかな？」と頭の中でシミュレーション（未来を想像）**します。

「もしこの方向に手を伸ばしたら、引き出しはもっと開くかな？」
「もしこのまま動かしたら、壁にぶつかるかな？」
この「想像した未来」を味見係に見せて、「進捗は 60% に上がるよ」と予測させます。

③ 進捗ガイド付きの動き（Diffusion Policy）

ロボットは、**「進捗が最も上がる動き」**を選ぶように調整されます。

従来のロボット：「とりあえず動く」→「あ、違うかも」→「戻る」→「また動く」（無駄が多い）
ProgressVLA：「味見係が『この動きならゴールに近づく！』と判断した動き」だけを選ぶ。
これにより、無駄な動きが減り、最短ルートでゴールにたどり着けるようになります。

3. 具体的な効果：「迷走からの脱出」

この技術を使うと、以下のような変化が起きます。

無駄な動きの減少：
引き出しを開ける際、無駄に前後に揺さぶったりせず、スムーズに開けられます。
ゴールの判断：
「もうこれでいいかな？」という判断が正確になります。従来のロボットは「いつ終わるかわからず」動き続けたり、逆に「まだ終わっていないのに」止まったりしていましたが、味見係が「95% 進んだから、もう終了！」と合図を出せます。
未知の環境への強さ：
照明が変わったり、新しい道具が出たりしても、味見係は「進捗」の本質（引き出しが開いているか、物が置かれているか）を見抜くので、失敗しにくくなります。

4. まとめ：ロボットに「勘」を授ける

この研究は、ロボットに**「今、自分がどこまで進んでいるか（進捗）」を自覚させる「勘」**を与えたと言えます。

Before（以前）： 指示を聞いて、ただひたすら動く「ロボット」。
After（現在）： 指示を聞き、「今の動きでゴールに近づいているか？」を常にチェックしながら、最も効率的な動きを選ぶ「賢いロボット」。

まるで、料理をする時に「味見」をしながら「もっと塩を足そうか、もう完成かな？」と判断できる料理人のようですね。これにより、ロボットは複雑な家事や作業でも、人間のようにスムーズに、そして確実にタスクを完了できるようになるのです。

ProgressVLA: 視覚言語ロボット操作のための進捗誘導拡散方策の技術的サマリー

本論文は、ロボット操作タスクにおける「進捗（Progress）」の推定と統合に焦点を当てた新しいフレームワークProgressVLAを提案しています。既存の視覚言語行動（VLA）モデルが、タスク完了の判断に手作業のヒューリスティックに依存し、長期タスクにおいて目標指向性が不足しているという課題を解決するため、学習された進捗信号を用いて拡散方策（Diffusion Policy）を誘導する手法を確立しました。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義と背景

現在の VLA モデル（Vision-Language-Action Models）は、大規模なロボットデータセットのスケールアップにより発展していますが、以下の限界を抱えています。

進捗意識の欠如: 多くのモデルは、タスクの進行度合いを明示的に評価するメカニズムを持たず、生成された軌跡が目標に近づくかどうかを判断できません。
脆弱な終了条件: 長期のタスク（複数のサブゴールを連鎖させるもの）において、タスク完了の判断はしばしば手作業のヒューリスティックやノイズの多いゴール達成シグナルに依存しており、不安定です。
非効率的な探索: 拡散モデルなどの生成プランナーは、条件付けに基づいて軌跡を生成しますが、タスクの進捗を明示的に考慮しないため、視覚的には妥当だがタスクに無関係な軌跡を生成し、計算リソースを浪費する傾向があります。

2. 提案手法：ProgressVLA

ProgressVLA は、タスクの進捗を推定する「進捗推定器」と、その進捗信号を用いて拡散方策を誘導する「進捗誘導拡散サンプラー」を組み合わせたフレームワークです。

2.1 主要コンポーネント

進捗推定器 (Progress Estimator):
- 言語指示 $l$ 、初期観測 $o_0$ 、現在の観測 $o_t$ を入力とし、タスク完了度を $[0, 1]$ のスカラー値として出力する視覚言語評価器です。
- 大規模な未ラベル動画テキストデータ（Open X-Embodiment）で事前学習され、その後、特定のタスク（LIBERO, CALVIN）で微調整されます。
- 物体中心の視覚特徴空間に根ざしており、カメラの揺れや背景の変化などのノイズに頑健です。
逆ダイナミクスに基づく世界モデル (Inverse Dynamics World Model):
- 潜在行動空間（Latent Action Space）を介して、現在の状態と予測された行動から未来の視覚状態を予測します。
- エンコーダ（逆ダイナミクス）は観測の遷移から潜在行動 $a_z$ を推論し、デコーダ（順ダイナミクス）は $o_t$ と $a_z$ から未来の観測 $\hat{o}_{t+N}$ を予測します。
- これにより、実際の物理的なロールアウトを行わずに、行動がタスクをどの程度前進させるかをシミュレート（想像）できます。
進捗誘導拡散方策 (Progress-Guided Diffusion Policy):
- 拡散モデルが潜在行動を生成する際、世界モデルで予測された未来状態に対して進捗推定器がスコアを付けます。
- このスコアの勾配（ $\nabla_{x_\tau} \hat{p}$ ）を**分類器ガイダンス（Classifier Guidance）**として利用し、拡散の各ステップで潜在行動を「進捗が最大化される方向」へ微調整します。
- これにより、生成される軌跡が目標達成に直結するよう誘導されます。

2.2 学習プロセス

事前学習: 大規模データセット（OXE）で進捗推定器と世界モデルを個別に事前学習。
共同微調整 (Joint Finetuning): 世界モデルと進捗推定器を連携させ、予測された未来状態に対する進捗スコアを最適化します。
強化学習 (RL) 微調整: オンラインでのロールアウトデータを用いて、進捗推定器の単調性（Progress Monotonicity）を確保し、方策を KL 正則化付きで改善します。これにより、実行ノイズへの頑健性を高めます。

3. 主要な貢献

予測観測に基づく進捗推定器: 逆ダイナミクス世界モデルを通じて未来の観測を予測し、タスク評価に先見性（Foresight）を持たせる進捗推定器を提案しました。
微分可能な進捗ガイダンス: 拡散生成プロセス中に、進捗勾配を用いて潜在行動を反復的に最適化する「進捗誘導拡散サンプラー」を開発しました。
広範な実証評価: CALVIN、LIBERO のベンチマークおよび実世界ロボット（ARX 二腕ロボット）での展開により、既存の強力なベースラインに対して、成功率と一般化性能の大幅な向上を実証しました。

4. 実験結果

4.1 シミュレーションベンチマーク (CALVIN & LIBERO)

CALVIN: 長期タスク（連続 5 サブタスク）において、ProgressVLA（フル設定）はベースライン（Diffusion Policy など）を凌駕し、連続成功率（5-in-a-row）で 52.0% → 52.0% (ベースライン比較) から 52.0% → 52.0% ではなく、より高い 52.0% (w/o CG) → 52.0% (Full) の改善を示し、特に事前学習された評価器と RL 微調整を組み合わせることで、平均成功長を 3.57 → 3.73 に向上させました。
LIBERO: 長期タスク（LIBERO-LONG）において、OpenVLA と比較して成功率が 53.7% → 66.2% と大幅に向上しました。全体的な平均成功率も 76.5% → 84.5% まで改善されました。

4.2 実世界ロボット評価

タスク: ピーチの把持、引き出しの開け、ボウルの積み重ねなど 5 つのタスク。
結果:
- 成功率: Octo (23%) → ProgressVLA (w/o CG: 66%) → ProgressVLA (w/ CG: 76%)。
- 効率性: 実行ステップ数と移動距離が大幅に削減されました（例：ピエチ把持タスクでステップ数 151.6 → 39.1）。
- 進捗誘導（CG）により、無駄な動きが減り、より決定的で目標指向的な動作が実現されました。

4.3 一般化性能

事前学習＋微調整された進捗推定器は、照明変化や未知の物体（Novel Objects）といった環境変化に対して、ゼロショット（From Scratch）学習と比較して著しく高いロバスト性を示しました（例：照明変化下での停止信頼性 3.6% → 80.8%）。

5. 意義と結論

ProgressVLA は、ロボット操作において「進捗」という明示的な信号を拡散方策に統合した最初の試みの一つであり、以下の点で重要な意義を持ちます。

目標指向性の向上: 生成された軌跡が単に「視覚的に自然」であるだけでなく、「タスクを前進させる」ことを保証します。
堅牢な終了判断: 手作業のヒューリスティックに依存せず、学習された進捗スコアに基づいてタスク完了を判断できるため、長期タスクの信頼性が向上します。
データ効率と一般化: 大規模な事前学習と少量の実世界データによる微調整の組み合わせにより、未知の環境や物体に対しても高い適応性を示します。

本論文は、生成モデルベースのロボット制御において、評価器（Critic）とプランナー（Actor）を密接に連携させることで、より効率的で信頼性の高い長期タスク実行が可能になることを実証しました。