🤖 machine learning

Reflective Prompted Policy Optimization: Trajectory-Grounded Revision and Salience Bias

本論文は、失敗の診断と修正の指針をスカラー報酬ではなく詳細な軌道レベルの証拠を活用することで政策探索を強化し、かつ「顕著性バイアス」という失敗モードに特に対処して多様な環境においてより迅速かつ安定した、ほぼ最適な性能を達成する二段階のLLMフレームワークである反射型プロンプト政策最適化（R2PO）を導入する。

原著者： Rahaf Abu Hara, Vaibbhav Murarri, Claudio Zito

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rahaf Abu Hara, Vaibbhav Murarri, Claudio Zito

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、「Reflective Prompted Policy Optimization (R2PO)」という論文を、平易な言葉と創造的な比喩を用いて解説したものです。

大きな問題：「スコアカード」と「物語」

あなたがロボットにビデオゲームを教えると想像してください。従来の方法では、ゲームの終了時に得られるのはスコアカードだけです。

スコアカードはこう言います：「45 点でした」。
ロボットは考えます：「よし、46 点を取るために何か違うことをしよう」。

しかし、スコアカードは「なぜ負けたのか」を教えてくれません。3 ステップ目で穴に落ちたのでしょうか？ループにハマったのでしょうか？19 ラウンドは完璧にプレイしたのに、20 ラウンド目で劇的にクラッシュしたのでしょうか？物語がなければ、ロボットは推測するしかなく、試行錯誤が大量に発生します。

最近の AI 手法は、この問題を解決するために「スマートコーチ」（大規模言語モデル）を使ってスコアを見て変化を提案しようと試みました。しかし、このコーチさえもスコアカードしか見ていませんでした。スコアが低いことは知っていても、ロボットが実際に何が悪かったのかは分かっていなかったのです。

解決策：R2PO（二人のコーチシステム）

著者たちは、ロボットを教えるために2 人の AI コーチが協力する新しいシステムR2POを提案します。彼らは、最終的なスコアだけでなく、ロボットの実際のゲームプレイ映像（「軌跡」）を最も重要な証拠として扱います。

コーチ 1：スカウト（Search-LLM）

役割： スカウトは過去の試行からのスコアの履歴を見ます。
行動： 「さて、スコアに基づくと、ロボットの設定をこの方向に少し変えてみよう」と言います。そして、ロボットに対する新しい指示のセットを提案します。
比喩： スカウトを、地図を見て歩くハイカーだと考えてください。彼らは過去の行跡に基づいて、頂上へ続くかもしれない方向を推測します。

環境：テスト走行

ロボットはスカウトの新しい指示を試します。20 回ゲームをプレイします（これを「ロールアウト」と呼びます）。これにより、どこへ行き、何をし、どのように失敗したかという大量のデータが生成されます。

コーチ 2：クリティック（Critic-LLM）

役割： クリティックは探偵です。スコアだけでなく、ロボットの 20 回の試行の映像を見ます。
行動： 映像を分析して、具体的なミスを特定します。「ああ、わかった！20 回のうち 19 回はロボットは素晴らしかった。でも、1 回だけ、左に回りすぎたせいで穴に落ちたんだ」。
修正： 推測するのではなく、クリティックはその特定の問題を解決するために、ロボットの指示に小さく的を絞った微調整を提案します。

安全網：選択ステップ

クリティックの新しい指示が保存される前に、「審判」がそれをチェックします。

新しい指示がより良く機能すれば、それは保持されます。
新しい指示が悪化させる場合（たとえクリティックが良いアイデアだと思っていたとしても）、古い指示が保持されます。
比喩： これはシェフが新しいスープを味見するのと同じです。新しいスパイスが味を悪くすれば、新しいスパイスを捨てて元のレシピに戻します。

隠れた罠：「顕著性バイアス」

研究者たちは、クリティックコーチにある面白くも危険な癖を発見しました。彼らはこれを顕著性バイアスと呼んでいます。

ロボットが 20 回ゲームをプレイすると想像してください。

19 回：簡単に勝ちます。
1 回：非常に劇的で無茶苦茶な方法で壁に激突します。

もしクリティックコーチに 20 回すべての映像を見せると、コーチはその1 つの劇的なクラッシュに夢中になってしまいます。「ああ、まずい！ロボットは壁を避けるのが下手だ！」と考え、クラッシュを修正するためにロボットの脳を変えてしまいます。

結果： ロボットは実際には他の 19 回のゲームで素晴らしいパフォーマンスを出していました。1 つの奇妙なクラッシュを修正しようとしたせいで、クリティックは偶然にもロボットの他の 19 回のゲームをプレイする能力を壊してしまいました。ロボットは悪化します。

R2PO がこれをどう修正するか：
R2PO システムは、クリティックにどの映像を見せるかを賢く選んでいます。

中央値の映像： 最悪のクラッシュや最高の勝利を見せるのではなく、「中間」の映像、つまりロボットが通常行うことを表す映像を見せます。
統計シート： クリティックに要約シートを提供します。「95% の場合、ロボットは勝ちます。クラッシュは 5% の偶然の出来事です」。
「手を出さない」ルール： ロボットがすでに非常に良いパフォーマンス（高スコア）を出している場合、クリティックには「非常に、非常に良い理由がない限り、何も変えないように」と指示されます。

これにより、クリティックが 1 日の悪い出来事にパニックを起こし、良い戦略を台無しにするのを防ぎます。

結果：より速く、賢く、そして安定して

この論文では、このシステムを 10 種類の異なる環境（ポールをバランスさせる、ピンポンをプレイする、迷路を navigated するなど）でテストしました。

速度： R2PO ははるかに速く学習しました。例えば、「CartPole」（棒をバランスさせる）ゲームでは、約 500 回の試行でほぼ完璧なスコアに達しましたが、他の手法では 4,000 回の試行が必要でした。
安定性： 他の手法は素晴らしい解決策を見つけると、次のステップで偶然それを壊してしまいました。R2PO は解決策を見つけ、そこに留まり続けました。
効率性： 彼らは、はるかに大きく高価、あるいは独占的なモデルを使用する手法を打ち負かすために、比較的小さなオープンソースの AI モデル（200 億パラメータ）を使用しました。

まとめ

この論文は、AI を効果的に教えるためには、単にスコアを与えるだけでなく、何が起きたかの物語を見せるべきだと主張しています。ただし、AI が失敗した 1 回だけに執着しないように（顕著性バイアス）注意する必要があります。「平均的な」物語を見せ、安全網を与えることで、AI に速く学習させ、特定の問題を修正させ、すでに機能しているものを壊さないように教えることができます。

技術的概要：Reflective Prompted Policy Optimization (R2PO)

問題定義

既存の大規模言語モデル（LLM）に基づく方策最適化器は、スカラー報酬フィードバックのみに依存するブラックボックス探索器として機能する。これらの手法は過去の報酬スコアに基づいて新しい方策パラメータを提案できるが、方策が失敗した「なぜ」という診断的洞察を欠いている。最適化器は 0.45 というスコアを見ることはできても、一貫して性能が低い方策、ループに陥った方策、あるいは 20 回のロールアウトのうち 19 回は成功するが 20 回目に壊滅的な失敗を犯す方策の区別ができない。この制限により、LLM ベースの最適化器は標的とした修正ではなく、試行錯誤によるチューニングに依存せざるを得ず、不安定な学習や非効率的な収束を招くことが多い。

手法：R2PO フレームワーク

著者らは、スカラー報酬に軌道レベルの行動証拠を付加するように設計された 2 段階の LLM フレームワークである**Reflective Prompted Policy Optimization (R2PO)**を提案する。R2PO はコンパクトな方策クラス（連続制御用の線形方策、離散タスク用の表方策）上で動作し、以下の構成要素からなる：

Search-LLM（グローバル最適化器）： この段階は以前の LLM 最適化器（ProPS など）と同様に機能する。評価済み方策の履歴とそのスカラー平均報酬を与えられ、Search-LLM は初期候補パラメータベクトル（ $\theta_{init}$ ）を提案する。
環境評価： 候補方策を環境内で $K$ 回の独立したロールアウトで実行し、状態、行動、報酬を含む軌道集合 $T$ を生成する。
Critic-LLM（ローカルリバイザー）： この段階が核心的な革新である。スカラー平均報酬のみを受け取るのではなく、Critic-LLM は $K$ 回のロールアウトから導出された「較正された軌道証拠パッケージ」を検査する。何が誤ったかを分析し、標的としたパラメータ修正（ $\theta_{rev}$ ）を提案する。
選択メカニズム： 元の候補（ $\theta_{init}$ ）と修正された候補（ $\theta_{rev}$ ）の両方を再評価する。システムはより高い平均報酬を達成した方を保持し、破壊的な編集や LLM の幻覚をフィルタリングする。

較正された軌道証拠

Critic-LLM が外れ値に過剰適合するのを防ぐため、R2PO は証拠パッケージを以下の 3 つの特定の構成要素を用いて構築する：

中央値軌道： $K$ 個の報酬の中央値に最も近いリターンを持つ単一のロールアウト。最良または最悪の場合の外れ値ではなく、典型的な行動を表す。
集約ロールアウト統計： 全 $K$ 回のロールアウトにわたる平均、最小、最大報酬、エピソード長、および成功/失敗率を要約した構造化レポート。特定の失敗トレースを前面に出すことなく、失敗頻度を伝える。
修正ルール： 初期平均報酬が閾値（ $\tau_c$ ）を超え、統計が一貫した失敗パターンを示さない場合、Critic-LLM が大幅な変更を控えるよう指示する明示的な命令。これにより、すでに強力な方策の「過剰修正」を防ぐ。

主要な発見と分析

1. 顕著性バイアス

本論文は、顕著性バイアスと呼ばれる支配的な失敗モードを特定している。複数の軌道（最良、最悪、中央値など）が提示された場合、Critic-LLM は大多数のロールアウトが成功を示しているにもかかわらず、代表的なものとして最悪の場合の軌道に固執する傾向がある。CartPole 環境における 3 軌道バリアントでは、このバイアスがパフォーマンスの後退の**76.6%**を占めていた。LLM は単一の不運な失敗に基づいて問題を診断し、他の 19 回の成功したロールアウトにおける方策のパフォーマンスを破壊する編集を提案した。

2. アブレーション研究

10 の環境における体系的なアブレーションにより、R2PO の成功は以下の 3 つの要素の組み合わせに依存しており、単独ではどれもしが十分でないことが示された：

2 段階アーキテクチャ： グローバルな提案と、ローカルで行動に根ざした修正を分離することが不可欠である。単一の豊富なプロンプト（CriticOnly）またはスカラーのみの逐次探索（ActorSecondPass）では、R2PO の性能に匹敵できない。
軌道に基づく修正： 実際のロールアウト証拠（中央値軌道＋統計）を使用することは、スカラーのみのフィードバックよりも著しく優れている。
選択メカニズム： 「ベストを保持」する選択ステップが重要である。これが欠如している場合（AlwaysCritic）、軌道条件付き編集の高い分散により、頻繁な後退が発生する。

3. 実証結果

比較的小さなオープンウェイトの200 億パラメータモデル（gpt-oss:20b）を使用し、R2PO を CartPole、InvertedPendulum、Pong、カスタム Maze/Nim タスクを含む 10 の環境で評価した。強力なベースライン（ProPS、ProPS+、および PPO、SAC、TRPO などの最高性能 Stable-Baselines3 アルゴリズム）と比較した。

パフォーマンス： R2PO は 10 の環境のうち9 つで最高平均報酬を達成し、10 番目（MountainCarContinuous）では同点であった。CartPole（500）、InvertedPendulum（1000）、Pong（3.0）、Nim（1.0）において、達成可能な最大報酬に到達した。
効率性： R2PO はベースラインよりも大幅に早期に最適に近いパフォーマンスに到達した（例：CartPole のほぼ最大報酬に約 500 エピソードで到達。ProPS+ および SB3 では約 4,000 エピソード必要）。
安定性： R2PO は一度見つけた強力な方策を維持し、以前の高分散や孤立したスパイクを示す LLM 手法と比較して、平均報酬と最高報酬の間のギャップがはるかに小さかった。
リソース効率： 相互作用予算を倍増させた（8,000 エピソード）ProPS の結果や、より大規模なプロプライエタリモデル（GPT-4o）と比較しても、R2PO（4,000 エピソードでトレーニングされた 200 億パラメータのオープンモデル）は 10 の環境のうち 9 つでベースラインと同等かそれ以上の性能を示した。

意義と主張

本論文は、軌道をスカラーリターンに還元するのではなく、ファーストクラスのコンテキスト証拠として扱うことが、LLM が方策空間を探索する方法を根本的に変えることを主張している。主な貢献点は以下の通り：

診断精度： R2PO は、LLM が行動証拠を活用してより迅速に学習し、試行錯誤によるチューニングを超えて失敗をより正確に診断することを可能にする。
LLM バイアスの軽減： このフレームワークは、生きた最悪ケースのトレースではなく、集約統計と中央値軌道を使用することで、複数の証拠源を扱う LLM の推論に内在する「顕著性バイアス」を成功裡に軽減する。
アクセシビリティ： この結果は、これらの利点が大規模なプロプライエタリモデルに限定されないことを示している。アーキテクチャが適切に設計されていれば、200 億パラメータのオープンウェイトモデルでも、深層 RL ベースラインや以前の LLM ベース手法を上回る性能を発揮する。

著者らは、現在の手法がコンパクトな方策クラス（線形および表）に焦点を当てており、修正閾値 $\tau_c$ の粗い手動較正を必要とするという限界を指摘している。今後の研究として、R2PO を高次元のニューラル方策に拡張し、適応的較正メカニズムを開発することが提案されている。