🤖 machine learning

Prompt-Driven Exploration

本論文は、ロールアウト分析に基づいて自然言語プロンプトを反復的に洗練させることで、アクション空間のノイズに依存することなく効果的なグローバル探索と疎な報酬からの学習を可能にする、視覚言語モデルを活用した強化学習戦略であるPrompt-Driven Exploration (PDE) を導入するものである。

原著者： Sunshine Jiang, John Marangola, David Zhang, Raghuram Kowdeed, Ruiyang Luo, Nitish Dashora, Richard Li, Pulkit Agrawal, Zhang-Wei Hong

公開日 2026-07-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sunshine Jiang, John Marangola, David Zhang, Raghuram Kowdeed, Ruiyang Luo, Nitish Dashora, Richard Li, Pulkit Agrawal, Zhang-Wei Hong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、電子レンジの扉を閉める、あるいはブロックを積み上げるといった、難しい仕事を手本としてロボットに教えようとしていると想像してください。あなたはロボットに「電子レンジを閉めて」という単純な指示を与えます。しかし、ロボットは混乱しています。扉を押す代わりに、近くにあるマグカップを掴み、それを電子レンジの中に押し込もうとします。そして、何度も失敗し続けます。

ロボット学習の世界において、これはよくある悩みです。通常、ロボットが行き詰まったとき、科学者たちは物事を少し「かき混ぜる」ことで解決しようとします。彼らは「ノイズ」を加えます。つまり、ロボットの腕の動きに、わずかなランダムな震えを加えるのです。それはまるで、「おい、手を左右にほんの少しだけ揺らしてみろ」と指示するようなものです。

「ゆらぎ」の問題点
この論文は、この「ゆらぎ（wiggling）」によるアプローチが、しばしば役に立たないと主張しています。もしロボットが間違った物体（マグカップ）を持っていて、間違ったことをしようとしているのであれば、わずかな「ゆらぎ」では解決しません。ロボットに必要なのは、小さな足踏みではなく、思考における「巨大な跳躍」なのです。ロボットは、「待てよ、マグカップを持つべきではない。扉を押すべきだ」と気づく必要があります。しかし、ランダムな震えでは、そのようなグローバルで大きな変化を生み出すことはできません。それらは、単に小さく局所的なミスを生むだけなのです。

新しいアイデア：台本を変える
そこで登場するのが、「プロンプト駆動型探索（Prompt-Driven Exploration: PDE）」です。ロボットの腕を揺らす代わりに、研究者たちはロボットに与える「言葉」を揺さぶることにしたのです。

ロボットを、劇中の非常に忠実な役者だと考えてください。もし台本に「マグカップを掴め」と書いてあれば、役者はマグカップを掴みます。もし役者が失敗し続けているなら、ただ指を細かく動かせと指示するのではなく、台本を書き直すべきです。

古い台本： 「電子レンジを閉めて。」（結果：ロボットがマグカップを掴む）
新しい台本： 「電子レンジの扉を、カチッと音がするまで押して。」（結果：ロボットが扉を押す）

論文は、プロンプト（指示）を変えるだけで、ロボットの行動が劇的に変化することを示しています。多くの場合、ロボットの脳を再学習させることなく、問題を解決できるのです。

「スマート・エディター（賢い編集者）」アシスタント
ここが巧妙な点です。どうすれば新しい台本を書けるのでしょうか？単に推測することはできません。研究者たちは、ビデオモデル（Vision-Language Model）である特別な「スマート・エディター」を使用して、ロボットの失敗を観察させました。

ロボットが奇妙な指示に従ってタスクを実行する。
ロボットが失敗する。
スマート・エディターがその失敗のビデオを観察し、なぜ失敗したのかを特定する（例：「あぁ、プロンプトが無視するように指示していなかったので、マグカップを掴んでしまったのだ」）。そして、全く新しい、より優れた指示を書き上げる。
ロボットが新しい指示に従って再び試行する。

このプロセスは、まるで探偵が謎を解くようです。エディターは手がかり（失敗のビデオ）を見て、ミスを診断し、探偵（ロボット）を正しい解決策へと導くための新しい手がかりを書き直します。

この論文が証明していること（そして証明していないこと）
研究者たちは、ブロックの積み上げから引き出しを閉めることまで、多くの異なるタスクでこれをテストしました。

結果： シミュレーションにおいて、PDEは標準的な手法では不可能だったタスクの学習に貢献しました。例えば、「困難（Hard）」とされるタスクのセットでは、ロボットの成功率が**0%からスタートした場合、標準的な手法（ランダムなゆらぎなど）はゼロ付近で停滞しました。しかし、PDEは成功への経路を見つけ出し、最終的に高い成功率（電子レンジのタスクで98%**など）に到達しました。
現実世界での証明： 彼らは実際のラボにある実機のロボットでもテストを行いました。わずか64回の実世界の試行（約1時間のロボット稼働時間）で、PDE法は成功率を約**13%から35%へと向上させました。標準的な手法は、128回の試行（2倍の時間）を経ても、約20%**にしかなりませんでした。
否定されていること： この論文は、単に「同じことを言うための多くの異なる言い回し」を持っているだけでは不十分であるという考えを明確に否定しています。彼らは、スマート・エディターの助けを借りずに、ランダムな言い換え（例：「電子レンジを閉めて」の代わりに「家電を閉めて」と言うなど）をロボットに与えてテストを行いました。その結果、ランダムな変更はほとんど効果がありませんでした。魔法は言葉の多様性にあるのではなく、何が間違っていたかに基づいた「賢い選択」にこそあったのです。

なぜこれが重要なのか
このアプローチは、巨大で賢いモデルにとって、新しい行動を探索するための最善の方法は、筋肉（動作）をいじることではなく、文脈（プロンプト）をいじることであることを示唆しています。これは、役者の演技を向上させるためには、手の動きを訓練するのではなく、もっと良いセリフを与える必要があると気づくことに似ています。

論文は、これが機能する理由として、「スマート・エディター」がガイドとして機能し、試すべき最適な指示のリストを常に更新しているからだと述べています。これは、「動きの空間」ではなく「アイデアの空間」を探索する方法であり、ゼロからロボットを教える際に、より速い方法であるようです。

技術要約：プロンプト駆動型探索 (Prompt-Driven Exploration: PDE)

1. 問題提起

基盤モデル、特にVision-Language-Action (VLA) モデルにおける強化学習 (RL) のポストトレーニングは、「探索」によってボトルネックが生じています。標準的なRL手法は、アクション空間に確率性を注入すること（例：アクションノイズやパラメータノイズ）に依存していますが、著者らは、そのようなノイズは局所的な摂動しか引き起こせず、結果としてロールアウトが現在のポリシーの挙動の近くに留まってしまうと主張しています。

この制限は、初期ポリシーが弱い場合（例：操作タスクにおいて成功率がほぼゼロの場合）に極めて重要です。劣化したポリシーから脱出するには、軌跡全体や戦略を変化させるようなグローバルな摂動が必要ですが、ステップごとのアクションノイズではそれを達成できません。さらに、報酬が疎な設定では、初期ポリシーが成功することが稀であるため、有用な探索的アクションを選択するためのガイドとなる報酬信号が得られません。

2. 手法：プロンプト駆動型探索 (PDE)

本論文は、探索の軸をアクション空間からプロンプト空間へとシフトさせる戦略であるプロンプト駆動型探索 (PDE) を提案しています。基盤モデル（LLMおよびVLA）は自然言語プロンプトによって条件付けられているため、プロンプトを修正することで、重みの更新を必要とせずにポリシーの挙動にグローバルな変化を誘発することができます。

コアメカニズム

PDEは、プロンプト分布をポリシー分布のプロキシ（代理）として扱います。これは、プロンプトレベルでの一種の事後分布サンプリングを実装したものです。

暗黙的な事後分布サンプリング: ニューラルネットワークのパラメータに対してベイズ的な事後分布を維持することは（大規模モデルにおいては）困難であるため、PDEはタスク $g$ と相互作用履歴 $H$ に基づくプロンプトの分布 $\rho(\cdot | g, H)$ を維持します。
償却された事後分布更新としてのVLM: Vision-Language Model (VLM) が監督者として機能します。VLMは、様々なプロンプトの下で現在のポリシーによって生成されたロールアウトビデオを分析し、失敗モードを診断し、より良い挙動を引き出すためにプロンプトを書き換えます。このプロセスにより、成功したロールアウトを生み出すプロンプトに集中するようにプロンプト分布 $\rho$ が更新されます。
2段階のトレーニングループ:
- プロンプト発見 (Prompt Discovery): ポリシーの重みは凍結されたままです。VLMは候補となるプロンプトをサンプリングし、観測された軌跡と報酬に基づいてプロンプトプールを洗練させます。
- ポリシー最適化 (Policy Optimization): 効果的なプロンプトのプールが特定されたら、近接方策最適化 (PPO) を用いてポリシーを微調整します。

主要な技術的構成要素

混合サンプリング (Mixture Sampling): RLトレーニング中、プロンプトは標準的なタスクプロンプト ( $p_g$ ) と、発見された探索的プロンプト ( $\rho$ ) の混合物からサンプリングされます。混合重み $\alpha$ は適応的であり、ポリシーが標準的なプロンプトに対して改善するにつれて増加します。
混合バックプロパゲーション (Mixed Backpropagation): 探索的プロンプトからの改善が標準的なプロンプトにも転移することを確実にするため、PPOの損失関数が修正されます。アドバンテージ比は、探索的プロンプトと標準的なプロンプトの両方におけるアクションの平均対数確率を使用します。これにより学習信号が結合され、プロンプトのバリエーションに対してロバストな挙動をポリシーが学習できるようになります。
プロンプトの洗練 (Prompt Refinement): VLMは単にランダムな言い換えを生成するのではなく、特定の失敗モード（例：「ロボットが間違った物体を掴んだ」）に基づいて推論し、ターゲットを絞った指示（例：「マグカップではなく、緑色の容器を掴んでください」）を生成します。

3. 主な貢献

新しい探索の軸: 本論文は、アクションノイズでは到達できないグローバルな行動変化を誘発できる、アクション空間のノイズに代わる実行可能な選択肢として、プロンプト空間の探索を導入しました。
ゼロ成功率から非ゼロ報酬へ: PDEは、RLが初期成功率ゼロのポリシーから学習をブートストラップすることを可能にします。PDEは、非ゼロの報酬軌跡をアンロックするプロンプトを発見することで、RLが進むために必要な学習信号を提供しますが、標準的な手法では失敗します。
サンプル効率: 本手法は、操作タスクや推論タスクにおいてサンプル効率を大幅に向上させ、ベースラインと比較して高い成功率に達するために必要な環境相互作用の回数を大幅に削減します。
汎用性: このアプローチはVLA制御だけでなく、LLMベースの推論やコーディングタスクにおいても効果的であることが示されており、プロンプト空間の探索が基盤モデルの微調整における一般的なメカニズムであることを示唆しています。

4. 実験結果

著者らは以下のベンチマークでPDEを評価しています。

LIBERO および LIBERO-PRO:
- 「Hard」タスク（初期成功率 < 10%）において、PDEは標準的なアクションノイズに対して60%の相対的な改善を達成しました。
- 「電子レンジを閉める」ケーススタディでは、標準的なプロンプトの下で成功率0%であったポリシーが、PDEによって（例：「電子レンジのドアを閉まるまで押す」といった）非ゼロの成功をもたらすプロンプトへと導かれ、最終的に標準プロンプトでの成功率が約100%に達しました。
- PDEは、アクションノイズ、パラメータノイズ、Random Network Distillation (RND)、および高密度報酬モデル (Robometer) を含むベースラインを上回りました。
ManiSkill:
- PDEは、すべての難易度層（Hard, Medium, Easy）および汎化の軸（Visual, Semantic, Execution）において成功率を向上させました。
- アクションノイズが進展できないハードなタスクにおいて、PDEは学習のブートストラップに成功しました。
実世界での操作:
- Franka FR3アームを使用し、PDEは物理環境において優れたサンプル効率を示しました。128回の実世界でのロールアウト後、PPO+PDEは45%の成功率を達成し、これは標準的なアクションノイズを用いたPPOの20%の2倍以上の結果でした。
LLMタスク (LiveCodeBench & AIME 2026):
- コーディングおよび数学的推論タスクにおいて、PDEは初期のサンプル効率を改善し、標準的なRL微調整（RLOOおよびGRPO）と比較して、より少ないトレーニングステップで高い精度レベルに到達しました。

5. 意義と主張

本論文は、基盤モデルのポリシーにとって、効果的な探索には必ずしもモデルの内部パラメータやアクションを摂動させる必要はないと主張しています。代わりに、効果的な探索は、ポリシーを条件付けるコンテキスト（プロンプト）から得られることができます。

著者らは、PDEを、RL微調整における「疎な報酬」および「弱い初期化」の問題に対する解決策として位置付けています。VLMの事前学習された言語的先験を利用して失敗を推論し、指示を書き換えることで、PDEは古典的なRLフレームワーク（事後分布サンプリング）を扱いやすい高レベルな空間で実現しています。この研究は、ロールアウトがプロンプトに従うモデルにおいて、プロンプトを変更することは、ステップごとのノイズよりも強力なグローバル探索のメカニズムとなることを示唆しています。

論文の結論は控えめであり、PDEは「ゼロ報酬のスタートからでも成功するポリシーの学習を可能にし」、「より広くサンプル効率を向上させる」ものであり、RLにおけるすべての探索の課題を解決すると主張しているわけではありません。この手法は、ポリシーが「何をすべきか」を変える補完的な戦略として提示されています。