🤖 machine learning

ProcVLM: Learning Procedure-Grounded Progress Rewards for Robotic Manipulation

本論文は、残りの原子行動と視覚的変化の推論を通じて手順に根ざした進行報酬を学習するビジョン・言語モデル「ProcVLM」を導入し、長期的なロボットの操作に対して密で識別可能なフィードバックを提供するために、大規模な 6000 万フレームのデータセット（ProcCorpus-60M）で訓練されたものである。

原著者： Youhe Feng, Hansen Shi, Haoyang Li, Xinlei Guo, Yang Wang, Chengyang Zhang, Jinkai Zhang, Xiaohan Zhang, Jie Tang, Jing Zhang

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Youhe Feng, Hansen Shi, Haoyang Li, Xinlei Guo, Yang Wang, Chengyang Zhang, Jinkai Zhang, Xiaohan Zhang, Jie Tang, Jing Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ProcVLM論文の説明を、日常的な比喩を用いた簡単な概念に分解して以下に示します。

大きな問題：「時間」の罠

あなたがロボットにケーキの焼き方を教えていると想像してください。

従来の方法： ほとんどのロボットは、完璧なケーキが作られる様子を動画で見て学習します。しかし、ロボットがケーキを作ろうとして小麦粉をこぼした場合、従来のシステムは単に「最後で失敗した」と言うだけです。なぜ失敗したのか、あるいはミスをするまでにロボットがどの程度進んだのかはわかりません。
「時間」の罠： 一部のシステムは時計を見て進捗を推測しようとします。「10 秒経過したから、ロボットは 50% 完了しているはずだ！」と考えます。しかし、これは誤りです。ロボットが滑りやすいスプーンを掴もうとして 10 秒費やしたとしても、実際には何の進捗もありません。時間が経過すること $\neq$ 作業が完了することです。

この論文の著者たちは言います：*ロボットには、最終結果や時計だけでなく、手順を理解する教師が必要です。*

解決策：ProcVLM（「一歩一歩」のコーチ）

チームはProcVLMという新しい AI モデルを開発しました。これは、ロボットが作業する様子を注意深く観察し、プロセスがどのように進んでいるかについて絶えずフィードバックを与える、非常に観察力に優れたコーチのようなものです。

仕組み（「推論優先」のトリック）：
単に数値（例えば「70% 完了」）を推測するのではなく、ProcVLM は話す前に考える人間のコーチのように振る舞います。

状況を見る： 「さて、ロボットは青い皿を持っていますね。」
計画について推論する： 「目標は皿をラックに入れることです。ロボットはすでに皿を洗っています。まだ掴んで持ち上げ、スライドさせて入れる必要があります。」
進捗を計算する： 「洗う作業は完了し、現在持ち上げている段階なので、約 80% 完了しています。」

この「推測前に推論する」というアプローチにより、ロボットは次のステップ（例えば持ち上げ）でつまずいたとしても、サブステップ（例えば洗浄）を完了した時点で評価を得ることができます。

訓練データ：「6000 万フレーム」のライブラリ

ProcVLM をこれほど優れたコーチに教育するために、研究者たちは膨大な量の事例ライブラリを構築する必要がありました。

課題： 実際のロボット動画には通常、「開始」と「終了」のラベルしかありません。ロボットが何をしているかの秒単位の詳細なラベルはついていません。
解決策： 彼らは超スマートな AI（「大規模 VLM アノテーター」）を用いて 40 万本のロボット動画を視聴させ、すべてのフレームに対して詳細なメモを自動的に作成させました。
- ロボットは刚刚何をしたか？（例：「コップを掴んだ」）
- 残りの作業は何か？（例：「コップを流しに入れる」）
- タスクは完了したか？（はい/いいえ）
結果： 彼らはProcCorpus-60Mという、6000 万個のアノテーション付きフレームを持つデータセットを作成しました。これは、見出ししかない 40 万ページの書籍を、すべてのページに詳細な要約が書かれた書籍に変えるようなものです。

「VQA」ゲーム：質問を通じて学ぶ

彼らはこの膨大なライブラリをProcVQAというゲームに変えました。単に眺めるだけでなく、AI は以下のような質問に答える必要がありました。

「今、どのような動作が行われていますか？」
「ロボットが次に取るべき最も次のステップは何ですか？」
「あなたの目に見えるものに基づき、タスクの何パーセントが完了していますか？」

6000 万の事例でこのゲームを繰り返し行うことで、ProcVLM は単なる画像だけでなく、タスクの論理を理解することを学びました。

なぜこれが重要なのか：「密な報酬」

ロボット学習の世界において、「報酬」とはご褒美のようなものです。

疎な報酬（従来の方法）： ロボットはタスクが 100% 完璧に完了したときだけご褒美を得ます。途中で失敗すれば、何も得られません。これでは学習が遅く、フラストレーションが溜まります。
密な報酬（ProcVLM）： ProcVLM はロボットに各ステップで「ご褒美」（フィードバック）を与えます。「ブロックを掴んでよくできました！」「よし、落としてしまったけど、まだ正しいゾーンにいるね。」

ProcVLM は手順を理解しているため、以下の違いを区別できます。

停滞： ロボットが立ち往生して何もしない状態。
失敗： ロボットが物体を落とした状態。
進捗： ロボットが苦労しながらも前進している状態。

結果：機能するか？

この論文は、ProcVLM を主に 3 つの方法でテストしました。

タスクの理解： 他のトップ AI モデルと比較して、ロボットがどの段階にいるか、次に何をすべきかを推測する能力が向上しました。
迅速な適応： 新しいタスクの例を1 つだけ（失敗したものでも）見せられただけで、ProcVLM はその特定のタスクの進捗を評価する方法を即座に理解できました。他のモデルは、これほど少ないデータでは適応するのに苦労しました。
ロボットへの教育： 彼らが ProcVLM を用いて実際のロボット（ボウルの積み重ね）の訓練を支援したところ、標準的な方法で訓練されたロボットよりも、学習が速く、安定していました。それは、現実世界の散らかったミスに対処する能力が優れていました。

要約の比喩

車の運転を学ぶと想像してください。

従来の AI： 試験の最終段階でのみ「合格」または「不合格」の判定を受けます。途中でエンストしても、どのように修正すればよいかについてのフィードバックは得られません。
ProcVLM： 助手席に座る運転教官のようなものです。「キーを回した、いいね。今はアクセルを踏みすぎている、少し緩めて。交差点を 60% 通過した、信号に注意を払って。」と言います。

ProcVLM はロボットに、同じような継続的で一歩一歩の指導を提供し、新しい仕事を学習する際に、より賢く、信頼性の高いものにするのです。

技術的概要：ProcVLM

問題定義

長期的なロボット操作には、軌道レベルでの二値的な成功/失敗結果のみに依存するのではなく、手順段階を通じてタスクの進展を正確に反映する密なフィードバック信号が必要である。既存の報酬モデルは、しばしばスパースな終端ラベルや時間に基づく補間に依存している。著者らは、これらのアプローチが、経過時間が複雑な操作タスクにおける真のタスク進展と必ずしも相関しないため、未完了のステップ、停滞、失敗からの回復といった重要な状態を捉え損なうと主張している。さらに、大規模なロボットデータセットのほとんどには、手順構造（サブタスクの境界や残りの動作など）の明示的な注釈が欠如しており、これにより報酬モデルは、時間的代理変数と意味的な進展を混同する間接的な教師信号に依存せざるを得ない。

手法

1. 手順監督合成（ProcCorpus-60M）

密な手順監督の欠如に対処するため、著者らは生きたロボット軌道からフレームレベルの注釈を合成するためのスケーラブルなパイプラインを開発した。

階層的注釈付け: 大規模なビジョン・言語モデル（VLM）を注釈付け器として用い、パイプラインはまず、動画全体から高レベルのタスク計画とサブタスクの時間的範囲を推論する。次に、これらのセグメントをフレームごとの割り当てに展開し、視覚的に重複を除去したキーフレーム上で推論の手がかり（状態推論、完了ステータス、残りの動作）を生成する。
データセット構築: このパイプラインを 30 の身体性データセット（DROID、BridgeData V2、Fractal、およびシミュレーションベンチマークを含む）に適用し、40 万を超える軌道と 6000 万の注釈付きフレームを含むProcCorpus-60Mを構築した。
進展ラベリング: 連続的な進展ターゲットは、サブタスクレベルの構造とサブタスク内の視覚的運動を組み合わせることで導出される。各サブタスクには、その相対的な持続時間に基づいて進展予算が割り当てられ、この予算は単純な線形時間補間を避け、局所的な視覚変化（ $\|\dot{\phi}(\tau)\|$ ）に応じて時間的に分配される。

2. ProcVQA と学習パラダイム

注釈は、タスク進展推定を中心とした 200 億トークンの学習コーパスであるProcVQAに変換される。学習は「推論後に推定」のパラダイムに従い、モデルはまず現在の実行段階と残りの原子動作を推論した後に、連続的な進展スコアを予測する必要がある。

タスクファミリー:
- サブタスク構造化進展予測: モデルは、残りの原子サブタスクを出力し、その後、<progress> タグで囲まれた連続的な完了率を出力する。
- 動作セグメンテーション: 原子動作の時間的境界を予測する。
- 将来の計画: タスクを完了するために必要な残りの動作のシーケンスを予測する。
アーキテクチャ: ProcVLM は Qwen3-VL-2B-Instruct をバックボーンとして構築されている。テキスト生成には標準的な自己回帰言語モデルヘッドを使用し、連続回帰には専用の進展値ヘッド（3 層の MLP）を使用する。
学習目的: 結合損失関数は、言語モデル損失（ $L_{LM}$ ）と進展スコアのための回帰損失（ $L_{value}$ ）を組み合わせる。ゲート機構により、進展監督が存在する場合にのみ値ヘッドがアクティブになる。
2 段階学習:
1. 事前学習: 一般的な手順表現を学習するために、完全な ProcVQA データセット（約 200 億トークン）で大規模な学習を行う。
2. 微調整: サブタスクの整合性と進展推定を鋭くするために、キュレーションされた高品質な部分集合（約 28 億トークン）で微調整を行う。

主な貢献

ProcVLM: 密で手順に根ざした報酬を予測する、進展を認識する身体性 VLM。推論後に推定するパラダイムを通じて、連続的な進展推定をサブタスクの意味、残りの動作、およびステージ内の進展と結びつける。
スケーラブルな監督パイプライン: 生操作軌道をフレームレベルでサブタスク構造化された注釈に変換する手法。これによりProcCorpus-60MとProcVQAベンチマークが生成される。
体系的な評価: 手順認識理解、報酬モデリング、タスク間適応、およびダウンストリームの方策最適化における包括的な評価。

実験結果

身体性手順理解（ProcVQA）

分布内（ID）および分布外（OOD）分割で評価した結果、ProcVLM は、動作セグメンテーション、将来の計画、タスク進展推定において、GPT-5.4、Gemini 3.1 Pro、Qwen3.5 などを含む主要な VLM を上回った。BF1@5、Success、VOC（Value-Order Correlation）、および EPR@50（Effective Progress Resolution）のスコアで最高を記録した。

汎用的進展報酬評価

ゼロショット比較: ProcVQA-OOD サブセットにおいて、ProcVLM は最高の VOC を達成し、Robometer や RoboDopamine などのベースラインと比較して、軌道内部の進展順序付けにおいて優れていることを示した。
ワンショット適応: RoboFAC ベンチマーク（実ロボット失敗分析）において、単一の成功デモンストレーションを追加することで、ProcVLM の VOC が 85.7%、MCC が 18.8% 向上した。これに対し、Robometer などのベースラインはほとんど改善が見られず、スパースな選好監督が単一デモンストレーション適応には効果的でないことを示唆している。
アブレーション研究: 手順認識事前学習を除去すると、故障局所化の MAE で -88.8% など、深刻な劣化が生じた。これは、転送可能な進展知覚には大規模事前学習が不可欠であることを確認した。推論形式の監督を除去しても一貫して低下が見られ、明示的なサブタスク構造の重要性が浮き彫りになった。

ダウンストリーム方策最適化

Evo-RL フレームワークを使用した報酬誘導微調整（RFT）実験において:

シミュレーション（LIBERO-10）: ProcVLM 報酬による RFT は、教師あり微調整（SFT）に対して中程度の改善（+0.4 から +1.2 パーセントポイント）をもたらした。
実ロボット（Stack Bowls）: RFT は顕著な改善を示し、SFT と比較して 5k ステップで成功率が +25.0%、10k ステップで +12.5% 向上した。著者らは、これを ProcVLM が遠隔操作データにおけるノイズの多いセグメント（例：繰り返される把持リトライ）の重みを下げる能力に起因すると帰着している。これにより方策最適化が安定する。

意義と主張

本論文は、手順に根ざした進展推定が、ロボットにおける転送可能な報酬モデリングの重要な促進要因であると主張している。時間的代理変数ではなく手順構造に進展を根ざすことで、ProcVLM は、ノイズの多い実ロボットデータや長期的タスクを含むシナリオにおいて、安定した方策改善を支援する識別的なフィードバックを提供する。この研究は、大規模な手順認識事前学習が、タスクや失敗モードを超えて一般化できる報酬モデルを開発するための有望な道筋であり、オフラインデモンストレーションを超えた報酬誘導方策最適化を促進することを示唆している。

著者らは限界を認め、推定はサブタスク分解の品質に依存すること、および現在の研究は方策勾配や選好ベースの統合を網羅的にカバーするのではなく、特定の報酬誘導最適化設定に焦点を当てていることを指摘している。