🤖 AI

PearlVLA: Progressive Embodied Action-Plan Refinement in Latent Space

PearlVLAは、凍結された潜在世界モデルによって導かれ、因果報酬RLを通じて最適化される反復的な精緻化プロセスを用いることで、低遅延なアクション生成と明示的な長期計画のバランスを実現し、LIBEROベンチマークにおいて最先端の性能を達成する、視覚・言語・行動の新しいフレームワークである。

原著者： Bochen Yang, Lianlei Shan

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bochen Yang, Lianlei Shan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットにサンドイッチを作るような複雑なタスクを教えていると想像してください。

問題：「即断即決」か「熟考」かというジレンマ
現在のロボットの脳（Vision-Language-Actionモデルと呼ばれます）は、難しい選択を迫られています。

選択肢A（スプリンター）： 目の前の光景を見て、すぐに次の動きを叫び出します。これは非常に高速ですが、先読みをしないため、自分の足に躓いてしまうかもしれません。
選択肢B（哲学者）： 立ち止まり、自分が何をすべきかについて長いエッセイを書いたり、テキストを使って頭の中で未来をシミュレーションしたりします。これは賢いのですが、時間がかかりすぎるため、現実世界では役に立たないほど動作が遅くなってしまいます。

解決策：PearlVLA
著者たちは、スピードか賢さかのどちらかを選ぶのではなく、速度を落とすことなく「自分自身の頭の中」で考えるロボット、PearlVLAを構築しました。

仕組みは以下の通りです。簡単な比喩を使って説明します。

1. 「下書き」フェーズ（潜在空間 / Latent Space）

ロボットには、アイデアをスケッチするための「思考の泡（隠れたデジタル空間）」があると想像してください。

従来の方法： ロボットは、すぐに動きを予測して実行するか、あるいは計画を説明するパラグラフを書き出すために停止します。
PearlVLAの方法： ロボットは、思考の泡の中に計画の「粗いスケッチ」を作成します。これはまだ最終的なコマンドではなく、単なる「粗いドラフト（下書き）」です。

2. 「水晶玉」によるチェック（凍結された世界モデル / Frozen World Model）

これが魔法のトリックです。ロボットには、組み込まれた「水晶玉（学習済みの世界モデル）」があります。

ロボットはドラフト計画を作成するたびに、水晶玉にこう問いかけます。「もしこのドラフト計画を実行したら、数秒後の世界はどう見えるだろうか？」
水晶玉は、ロボットの正確なモーターの動きを知る必要はありません。ロボットの現在の意図に基づいた「未来のシーン」を予測するだけです。

3. 「自己修正」ループ（リファインメント / Refinement）

次に、ロボットは自分のドラフト計画と、水晶玉の予測を比較します。

例：ロボットが「カップを掴む」という計画をドラフトします。水晶玉は「もしそうすれば、塩の瓶を倒してしまうよ」と告げます。
ロボットは即座に、思考の泡の中にあるドラフトを修正します。「なるほど、手を少し左にずらそう」。
そして再び水晶玉に尋ねます。「これでいい？」「はい」。
ロボットはこれを数回（実験では4ラウンド）繰り返し、計画を粗いスケッチから完璧で精細な指示へと磨き上げていきます。

4. 「最終実行」（アクション・チャンク / Action Chunk）

計画が磨き上げられたら、ロボットは単一の動きを行うのではありません。最終的な完璧な思考を、アクションの塊（チャンク）（例えば、1秒間の動きのビデオのようなもの）へと変換し、それを一度に実行します。これにより、ロボットは「スプリンター」のように素早く動きながら、「哲学者」のような先見の明を持つことができます。

なぜこれが優れているのか？

彼らは、LIBERO（ロボットのタスクセット）というベンチマークでこのテストを行いました。

結果： PearlVLAはこのテストにおいて最高の性能を示すロボットとなり、98.7%の成功率を達成しました。
秘訣： 彼らは、ロボットの思考プロセスを見守る特別な「コーチ（CRG-PRLと呼ばれる）」を追加しました。もしロボットの「思考」がより良い未来の結果につながった場合、コーチは報酬を与えます。これにより、ロボットは単に「何をすべきか」だけでなく、「どのように考えるべきか」を学ぶことができるのです。

まとめ

PearlVLAは、単に世界に反応したり、日記を書くために立ち止まったりするロボットではありません。その代わりに、頭の中で素早い不可視のシミュレーションを実行し、未来が良好に見えるかを確認し、もしそうでなければ計画を修正し、そして完璧な動きを瞬きする間に実行します。適切な場所で思考を行う限り、スピードと深い思考の両立が可能であることを、これは証明しています。

技術サマリー: PearlVLA

問題提起

現在のVision-Language-Action (VLA) モデルは、効率的なアクション生成と**明示的な熟考（デリバレーション）**の間にある根本的なトレードオフに直面している。

直接デコーディング: 標準的なアプローチは、視覚と言語のバックボーン表現から直接アクションをデコードする。これは低レイテンシの制御を可能にする一方で、潜在的な熟考を行う機会を制限し、実行前に将来の状態をプレビューしたり自己修正したりすることを妨げる。
明示的な推論: 代替手法は、テキストによる推論プロセス、ピクセルレベルのサブゴール、あるいはアクション空間の探索を通じて、中間的なプランニング信号を導入する。これらはプランニング能力を向上させるが、大幅なレイテンシ、計算オーバーヘッド、および表現のミスマッチ（例：テキストによる推論は連続的な制御とは距離があり、ピクセルレベルの未来像はアクションへのマッピングが困難である）を引き起こす。
ギャップ: テキスト生成やピクセルの再構成といったオーバーヘッドなしに、潜在空間内で将来のフィードバックを生成し、現在の潜在的なプランに適応させ、アクションのデコーディング前にそのプランを洗練させる、効率的なクローズドループ・メカニズムが欠如している。

手法: PearlVLA

PearlVLAは、アクション・プランの熟考をVision-Language Model (VLM) の潜在空間へと移行させるフレームワークである。外部の推論チェーンを用いる代わりに、凍結された潜在世界モデル (World Model; WM) を含むクローズドループを通じて、潜在的なアクション・プランの漸進的な洗練を実行する。

コアアーキテクチャ

潜在プランの初期化:
- VLM (OpenVLA-7B バックボーン) がメタクエリ表現 ( $z_{meta}$ ) を生成する。
- これらは、固定された視覚的グラウンディング・ブランチ ( $z_{vis}$ ) と、反復的な潜在プラン・ブランチ ( $\tilde{z}_0$ ) に分割される。
- 初期プラン・トークン ( $z_0$ ) は、WMの条件空間へのマッピングを滑らかにするため、 $\tilde{z}_0$ に小さなガウスノイズを加えて初期化される。
プラン条件付きワールドクエリ:
- フレームワークは、クエリ生成を固定アンカーと動的なプラン成分に分離する：
  - $q_{anchor} = P_{vis}(z_{vis})$ (固定された視覚的グラウンディング)。
  - $q_k = q_{anchor} + \beta_k P_{plan}(z_k)$ (動的なプラン依存項)。
- ここで、 $\beta_k$ はアンカーからクエリがどれだけ逸脱するかを制御する学習可能なスカラーであり、クエリが事前学習された潜在WMの条件分布内に留まることを保証する。
クローズドループによる洗練 (Kラウンド):
- 未来予測: 各ラウンド $k$ において、現在のプラン $z_k$ がクエリ $q_k$ を生成する。凍結された潜在世界モデル (UWM) は、 $q_k$ に条件付けられたアクションフリーの未来の観測潜在変数 ( $o_k$ ) を予測する。極めて重要な点は、これがアクション条件付きのロールアウトではなく、観測のロールアウトであることである。
- 残差更新: Future-Guided RefineNet が、現在のプラン $z_k$ と未来のフィードバック要約 $s_k$ ( $o_k$ からエンコードされたもの) を受け取り、残差補正 $\delta_k$ を計算する。
- 書き戻し (Write-Back): プランは次のように更新される: $z_{k+1} = z_k + w_k \delta_k$ 。
- スケジューリング: 減少する書き戻しスケジュール ( $w_k$ ) により、初期ラウンドでの粗いグローバルな補正と、後半ラウンドでの微細なローカルな補正を可能にする。
アクション・デコーディング:
- $K$ ラウンドの後、洗練された潜在プラン $z_K$ は、軽量なアクションヘッドによって $H$ ステップの連続的なアクション・チャンクへと並列にデコードされる。これにより、直接的なVLAポリシーの低レイテンシな実行パスが維持される。

学習目的

教師あり微調整 (SFT):
- 予測されたアクション・チャンクとエキスパートのアクションとの間のMSEを最小化する。
- ティーチャー・アライメント損失 (Teacher Alignment Loss) を含み、投影されたワールドクエリ ( $q_k$ ) が凍結された潜在WMの条件多様体に近く保たれるようにして、ループを安定させる。
- 周波数領域のアクションモデリングのための離散コサイン変換 (DCT) 損失も含む。
因果的洗練グループ化プロセス報酬RL (CRG-PRL):
- 洗練の軌跡を最適化するための強化学習ステージ。
- メカニズム: 洗練ループを内部MDPとして扱う。特定の状態に対して、複数の「残差ブランチ」（異なる編集）をサンプリングし、各編集によって誘発される「想像された未来」を、凍結された報酬モデル (Robometer-4B) を用いてスコアリングする。
- グループ相対アドバンテージ (Group-Relative Advantage): 編集の因果効果を開始状態の難易度から分離するため、同じベース状態を共有するブランチのグループ内で報酬を標準化する。これにより、学習された価値関数（クリティック）を必要とせずに済む。
- ガードレール: 学習済みポリシーへのKLダイバージェンス、編集量のペナルティ、および行動クローニングのアニカーを含み、ドリフトを防止する。

主な貢献

潜在的熟考フレームワーク: PearlVLAを導入した。これは、明示的なテキストやピクセルレベルの推論を回避し、VLMの潜在空間内でのみ漸進的なアクション・プランの洗練を行うものである。
クローズドループによる未来フィードバック: プラン条件付きのワールドクエリが、凍結された潜在WMを探索して更新された未来の潜在変数を生成し、それがピクセルの再構成やアクション空間のロールアウトなしに、プランを洗練するためにフィードバックされるメカニズムを設計した。
安定した洗練スキーム: アンカー付き残差更新スキームを提案した。アンカークエリはワールドクエリを事前学習された条件空間内に保持し、スケジューリングされた残差書き戻しは潜在プランのドリフトを制御し、粗いものから細かいものへの洗練を可能にする。
報酬による最適化: 想像された未来からのグループ相対報酬を用いて、潜在的な編集の軌跡を最適化する強化学習手法であるCRG-PRLを開発した。これにより、価値関数を用いずに潜在的な編集の因果的効果を分離できる。
最先端の性能: LIBEROベンチマークにおいて、漸進的な未来誘導型洗練と報酬誘導型最適化を組み合わせることで、優れた性能を達成することを実証した。

実験結果

LIBEROベンチマーク (Spatial, Object, Goal, Long-horizon スイート) で評価：

主要な結果: PearlVLA (Supervised) は平均成功率 98.5% を達成し、強力な OpenVLA-OFT ベースライン (97.1%) や他のフローマッチング/拡散ベースのVLAを上回った。
CRG-PRL 使用時: 最終的なモデルは平均成功率 98.7% を達成し、新たなSOTAを樹立した。
堅牢性: LIBERO-Plus (レイアウト、カメラ、照明などの制御された摂動) において、PearlVLA は 76.3% の成功率を達成し、OpenVLA-OFT (69.6%) を大幅に上回った。
アブレーション研究:
- 洗練ラウンド数 ( $K$ ) を 0 から 4 に増やすことで、性能は 96.8% から 98.5% へと向上した。
- 長期ホライゾンへの堅牢性: 拡張されたアクション・チャンク ( $H=20$ ) を用いた場合、洗練されたモデル ( $K=4$ ) と直接デコーディング ( $K=0$ ) の性能差が拡大した。潜在的洗練は、成功率の低下を直接デコーディングの 3.2 ポイントから 1.7 ポイントへと減少させ、アクションの一貫性の向上とオープンループ・ドリフトの抑制を実証した。

意義と主張

本論文は、PearlVLAが、政策の潜在空間内に予見的なプランニングを内在化させることで、VLAポリシーにおける具体的なギャップに対処していると主張している。

効率 vs 推論: 明示的な推論チェーンのレイテンシや、アクション空間探索の計算コストなしに、「システム2」型の熟考が可能であることを示している。
最適化可能な熟考: 洗練プロセスは単なる固定されたアーキテクチャの事前知識ではなく、最適化可能なメカニズムである。CRG-PRL の成功は、潜在的な編集の軌跡が、想像された未来から導出される報酬信号を通じて改善可能であることを裏付けている。
汎用性: 本フレームワークは、潜在的な推論（以前に言語モデルで探索されたもの）の概念を、具現化されたアクションプランニングへと拡張しており、そこでは中間的な計算が現在のシーンと、進化するプランによって示唆される未来の両方を共同で考慮する。

著者による注記された限界: 現在の実装では、タスクの複雑さに関わらず、すべてのクエリに対して固定された洗練深度 ( $K$ ) を使用している。今後の課題として、不確実性や未来の一貫性信号に基づいた適応的な深度の設定が示唆されている。