🤖 AI

ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents

GRPOは、ウォームスタートのための構造化されたリフレクション・データエンジンと、リフレクション拡張型グループ相対方策最適化（Group Relative Policy Optimization）アルゴリズムを組み合わせることで、エージェントが惜しい失敗（near-miss failures）から効果的に学習することを可能にし、リフレクション・トークンと修正アクションを共同で最適化することで既存のベースラインを凌駕する、ツール利用エージェントを強化するための新しいフレームワークである。

原著者： Binjie Zhang, Mike Zheng Shou

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Binjie Zhang, Mike Zheng Shou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、複雑なパズルを解くためにデジタルツール（ウェブ検索、画像リーダー、コード実行器など）の道具箱を使う、非常に賢いが少し不器用なロボット助手（ビジョン・ランゲージ・モデル）を教えていると想像してください。このロボットは、画像を見たりテキストを読んだりすることができますが、ツールを使おうとしてミスをすることがあります。

この論文は、ReGRPO（Reflection-Augmented Group Relative Policy Optimization：反射強化型グループ相対方策最適化）と呼ばれる新しい学習手法を紹介しています。その仕組みを、簡単な比喩を用いて説明します。

問題点：間違いの直し方を知らないロボット

現在、これらのロボットを訓練する際、私たちは主に、タスクを解くための完璧な例を見せています。これは、学生に対して、すべてのステップが正しく行われた解答集だけを見せているようなものです。

問題点: ロボットがツールを使おうとして失敗した場合（例えば、レシートを読もうとしたがカメラの角度が悪くて何も見えなかった場合）、ロボットはどうすればよいか分かりません。ただ盲目的に進み続けるか、諦めてしまいます。
ギャップ: 古い学習手法は、ロボットに「間違いから立ち直る方法」を教えません。それらは、すべてが順調にいった時にどう成功するかだけを教えているのです。

解決策：「エラー・リフレクション・修正」のループ

著者たちは、ロボットに立ち止まり、考え、自らを修正することを教えるシステムを作成しました。彼らはこれを**リフレクション（反射・内省）**と呼んでいます。

これは、GPSナビゲーションシステムのようなものです：

間違い（ニアミス）: ロボットが曲がろうとしたが、道が塞がっている（ツールの失敗）。
リフレクション（「なるほど！」という瞬間）: 衝突する代わりに、ロボットは立ち止まって問いかけます。「なぜ失敗したのか？ああ、画像の違う部分のテキストを読もうとしたのだ。証拠は、読み取ったテキストが空であることだ。私の計画は、カメラの枠を右に移動させることだ。」
修正: ロボットはすぐに新しい計画を実行し、成功します。

構築方法（「構造化データエンジン」）

ロボットにこのスキルを教えるために、研究者たちは単に自然に失敗するのを待ったのではありません。彼らはシミュレーション・ラボを構築しました。

彼らは完璧なタスクを取り上げ、意図的にそれを壊しました（例：ロボットに写真の違う場所を見るように指示した）。
彼らはロボットが失敗する様子を見守り、何が間違っていたのかを正確に記録しました。
彼らは「教師AI」（非常に賢いモデル）を使用して、ロボットのための構造化されたノートを作成しました。このノートには、以下の3つの特定のパーツが含まれています。
1. エラーの種類: それはどのような種類のミスでしたか？（例：「間違った場所を見た。」）
2. 証拠: 何がそれを証明していますか？（例：「読み取ったテキストが空だった。」）
3. 修正計画: どうやって解決しますか？（例：「カメラの枠をテキストの方へ移動させる。」）
そして、ロボットにこの「間違い＋ノート＋修正」のシーケンスを何度も繰り返し見せることで、自動的に実行できるように学習させました。

学習ゲーム（Group Relative Policy Optimization）

ロボットが基本を学んだ後、さらに上達させるために、彼らはロボットを学習ゲームに参加させました。

ゲーム: ロボットに同じパズルを10回解かせます。
スコアリング: 一度は即座に成功します。またある時は、失敗し、「リフレクション」して、その後修正します。
報酬: ロボットはパズルを解くとポイントを獲得しますが、不必要に「考えている（リフレクションしている）」時間が長すぎると、数ポイント失います。
目標: ロボットは、本当に必要な時だけ立ち止まってリフレクションするように学習します。そして、そのリフレクションを短く、有用なものにします。ロボットは自分の試行を比較することを学びます。「おや、リフレクションして修正したバージョンの方が、ただ盲目的に進み続けたバージョンよりもポイントが高かったぞ。」

結果：より賢く、自己修復可能なロボット

研究者たちは、この新しいロボット（ReGRPO）を2つの困難な課題でテストしました。

GTA: レシート、チャート、UI画面などを読み取るタスク。
GAIA: PDFやスプレッドシートのような複雑なドキュメントを扱うタスク。

結果:

この新しいロボットは、従来のオープンソースのロボットよりも、これらのタスクを解く能力が大幅に向上していました。
ロボットは単にツールを使うのが上手くなっただけでなく、ツールが失敗した時の回復力も向上しました。
決定的なのは、最終テストにおいて、人間のチェックや別のコンピュータによる確認を必要とせずに、このリフレクションを頼りに、現場でエラーを修正しながら進むことを学んだ点です。

まとめ

要約すると、この論文はAIエージェントに、自己修復を行うメカニックのように振る舞うことを教えています。単に車を完璧に運転する方法を知っているだけでなく、変な音が聞こえた時に、問題を診断し、監督者を呼ぶために車を止めることなく、すぐに修理する方法を学ぶのです。これにより、物事が常に計画通りに進むとは限らない現実世界において、AIはより信頼性の高いものになります。

技術要約: ReGRPO – ツール使用エージェントのための反射型グループ相対方策最適化（Reflection-Augmented Policy Optimization）

1. 問題提起

ツール拡張型視覚言語モデル（VLM）は、外部ツール（例：OCR、ウェブ検索、コード実行）を呼び出すことで、複雑なマルチモーダルかつマルチステップのタスクを解決することを目指しています。しかし、現在のアプローチには、堅牢性とリカバリーに関して主に2つの制限があります。

教師あり微調整（SFT）の限界: 既存のSFT手法（例：MAT-AGENT）は、成功した軌跡に大きく依存しています。これらは、エージェントが最適なパスから逸脱したり、ツールの失敗（例：レイアウトのわずかなずれによるOCR結果の空転）に遭遇したりした場合のリカバリーに関するシグナルをほとんど、あるいは全く提供しません。モデルは成功したトレースに従うことは学習しますが、局所的なエラーを診断し、修復する能力を欠いています。
標準的な強化学習（RL）の限界: 標準的なRLアプローチは、多くの場合、軌跡レベルの疎な報酬（成功または失敗）しか提供しません。長期間のタスクにおいて、スカラー値の失敗報酬は、「どの」特定のステップが失敗したのか、あるいは「どのように」修正すべきかを特定できません。この曖昧さは、エージェントが間違ったツールの選択と間違った引数の区別ができないため、学習の遅延と不安定化を招きます。

核心となる課題は、高価な外部検証器やテスト時の試行錯誤に頼ることなく、単一の推論パス内で、ツールを使用するエージェントがタスクを実行するだけでなく、失敗を診断し、構造化されたリフレクション（内省）を生成し、修正アクションを実行できるようにすることです。

2. 手法: ReGRPO

著者らは、診断的リフレクションを固定されたプロンプティング・ヒューリスティックではなく、学習可能な変数として扱うフレームワークである ReGRPO (Reflection-augmented Group Relative Policy Optimization) を提案します。この手法は、主に3つのコンポーネントで構成されています。

A. 構造化リフレクティブ・データエンジン

SFTにおけるリカバリーデータの不足に対処するため、著者らはツールの実行失敗をグラウンデッドな（根拠に基づいた）監督へと変換するデータエンジンを導入しています。

失敗の誘発 (Failure Induction): 正解の軌跡から出発し、ツールの選択や引数を摂動させる（例：バウンディングボックスをずらす）ことで、「ニアミス」のアクションを合成します。これらはサンドボックス内で実行され、実際のグラウンデッドな失敗の観測結果（例：空のOCR、APIエラー）を生成します。
Reflection-of-Thought (RoT) トリプレット: 教師用VLM（デフォルトはGPT-4o）が失敗のコンテキストを分析し、構造化されたトリプレットを生成します。
- ErrorType: カテゴリ分類による診断（例：GroundingDrift、ToolMismatch）。
- Evidence: エラーを引き起こした視覚的またはテキスト的な観測への明示的な参照（例：「領域 #box1 のOCR出力が空である」）。
- FixPlan: エラーを修正するための具体的な戦略（例：「バウンディングボックスを拡大する」）。
監督 (Supervision): これらのトリプレットを修正されたアクションとペアにして「失敗 → リフレクション → 修正」の軌跡を形成し、ウォームスタートSFTに使用します。

B. 反射拡張型 GRPO トレーニング

ReGRPOは、構造化されたリフレクション・トークンと修正アクションを共同で最適化するために、Group Relative Policy Optimization (GRPO) アルゴリズムを拡張しています。

局所的軌跡の定式化: 原子的なアクションをスコアリングする代わりに、方策は $K$ 個の候補となるローカルな軌跡のグループをサンプリングします。初期アクション $a^{(0)}$ が失敗した場合、方策はリフレクション $z$ を生成し、修正アクション $a^{(1)}$ を生成します。
複合報酬関数: 報酬 $R(\tau)$ $R (τ)$ は、タスクの成功、実行効率、およびオプションの検証のバランスを取ります。
$R(\tau) = \lambda_{exec} \mathbb{1}_{\{success\}} - \eta C(\tau) + \lambda_{val} V(x_i, \tau)$
- リフレクション・コスト ( $C(\tau)$ ): リフレクション $z$ のトークン長にペナルティを課し、エージェントが必要な時のみリフレクションを行うように強制します。
- 検証器の値 ( $V$ ): 学習時のみ使用されるオプションの信号であり、学習を安定させるためにメタデータから決定論的に計算されます（RL中のLLM呼び出しは行いません）。
最適化: 方策はグループ相対的なアドバンテージを用いて更新されます。同じグループ内で、リカバリーされた軌跡をリカバリーされなかった失敗と比較することで、モデルはどのリフレクションが有用であり、それらをいかに効率的に生成するかを学習します。

C. ゼロ検証器推論ステージ

デプロイ時には、効率性を確保するために、ReGRPOは 単一パス、ゼロ検証器 モードで動作します。

決定論的トリガー: 軽量なゲート $g_i$ $g_{i}$ が、ローカルなリフレクション・修正ブロックを開くかどうかを決定します。以下の条件でトリガーが作動します：
1. ツールのエラーが検出された場合。
2. 観測結果が空である場合。
3. アクションに対する方策の確信度 ( $u_i$ ) が適応的閾値 ( $\kappa_i$ ) を下回った場合。
リカバリー: トリガーされた場合、エージェントは単一のローカルブロックを実行します： $a^{(0)} \to o^{(0)} \to z \to a^{(1)} \to o^{(1)}$ 。これにより、外部の検証器呼び出しや探索を行うことなく、自己修正が可能になります。

3. 主な貢献

本論文は、主に3つの貢献を行っています。

構造化リフレクティブ・データエンジン: 生のツール実行の失敗を、グラウンデッドな「エラー・リフレクション・修正」の監督へと変換するパイプラインであり、エージェントが最初からリカバリー戦略を学習できるようにします。
ReGRPO アルゴリズム: 構造化されたリフレクションをGRPOの目的関数に統合する新しい最適化フレームワークです。これは、リフレクションを静的なプロンプトではなく決定変数として扱い、リフレクションの生成と修正アクションを共同で最適化します。
最先端の性能: 同一のバックボーン（Qwen2-VL-7B）およびツールセットの設定下で、ReGRPOはGTAおよびGAIAベンチマークにおいて、比較対象のオープンソースコントローラーの中で最高の性能を達成しました。これは、MAT-AGENTやSPORTといった強力なベースラインを上回る結果です。

4. 実験結果

著者らは、2つのマルチモーダルベンチマークでReGRPOを評価しました。

GTA (229タスク): 視覚的知覚と局所的操作（例：レシートの読み取り）に焦のできるタスク。
GAIA (446タスク): PDF、PPTX、XLSXにわたる文書理解、ウェブナビゲーション、および論理的推論に焦点を当てたタスク。

主な知見:

パフォーマンス: デフォルトの検証器フリーReGRPO ( $\lambda_{val}=0$ ) は、GTAで 67.66% の回答精度、GAIAで 23.35% を達成しました。これは、SPORTベースラインに対して、GTAで+7.40%、GAIAで+2.74%の大幅な向上を示しています。
アブレーション研究:
- RoT SFT: ウォームスタートSFTのために構造化されたリフレクション・データを追加すると、標準的なSFTよりも性能が向上し、明示的なエラー診断の価値が示されました。
- 構造化 vs 自由形式: 構造化されたリフレクション（スキーマ制約あり）は、自由形式のリフレクションよりも優れた性能を示し、ErrorType-Evidence-FixPlan のスキーマが効果的な学習に極めて重要であることが示されました。
- 検証器への独立性: 教師由来のオプションの検証器報酬を追加しても、わずかな利得しか得られませんでしたが、コアとなるReGRPOパイプラインは検証器なしでも非常に効果的であり、ゼロ検証器デプロイ戦略の妥当性が検証されました。

5. 意義と主張

本論文は、ReGRPOがツール使用エージェントにおける重要なギャップ、すなわち、脆弱な教師ありトレースや高価な外部検証に頼ることなく失敗から回復する能力に対処していると主張しています。

修正の内部化: 以前の手法がリフレクションをテスト時のヒューリスティックとして扱うのに対し、ReGRPOは修正ループを方策パラメータ内に内部化します。モデルは、いつリフレクションを行い、どのように 成功したリカバリーにつながるグラウンデッドな診断を生成するかを学習します。
効率性: 決定論的なトリガーと単一パスの実行戦略を使用することで、ReGRPOは低レイテンシとデプロイ効率を維持し、外部検証器やマルチパス探索による計算オーバーヘッドを回避します。
汎用性: 本フレームワークはバックボーン（Qwen2-VL-7Bで実証）およびツールセットに関してモデルに依存しない設計となっており、堅牢で自己修正可能なマルチモーダルエージェントのためのスケーラブルなアプローチを提供します。

著者らは、構造化されたリフレクションは、グループ相対方策最適化を通じて最適化されるとき、現実世界のマルチステップ・タスクに固有の分布シフトやツール失敗に対処するための堅牢なメカニズムを提供すると結論付けています。