技術要約：RefGRPOによるリフレクション・ギャップの解消

1. 問題提起：リフレクション・ギャップ（Reflection Gap）

大規模言語モデル（LLM）は、実行結果、エラーメッセージ、ツールの出力といった具体的なフィードバックを受ける外部環境と相互作用するエージェントとして、ますます活用されるようになっています。有能なエージェントは、このフィードバックを活用して自身のパフォーマンスを正確に評価できるべきです。しかし、著者らは、LLMエージェントが具体的な環境フィードバックを観察した後でさえ、自身の出力を誤って評価してしまうという、持続的な**「リフレクション・ギャップ」**を特定しています。

よく知られた「過信（overconfidence）」の問題とは対照的に、著者らは、エージェントがしばしば顕著な**「過小評価（underconfidence）」**を示し、正解を間違いとしてフラグ立てしてしまうことを発見しました。標準的な強化学習（RL）アルゴリズム、特にGroup Relative Policy Optimization（GRPO）は、この問題を解決できません。標準的なRLはタスクの正確性を向上させますが、フィードバック後のエージェントのリフレクション品質は壊れたままとなります。

根本原因： 著者らは、これをアウトカム（結果）のみに基づくRLにおける**「クレジット割り当てのミスマッチ（credit-assignment mismatch）」**に起因すると考えています。標準的なGRPOでは、アドバンテージ信号は最終的なタスクのアウトカム（$r$）のみから導出されます。その結果：

• 正直なエラーフラグ： エージェントが正しくエラーを検知（$s_{ref}=0$）したが、アウトカムが失敗（$r=0$）であった場合、負のアドバンテージによって、正しいエラーフラグを抑制するように学習されてしまいます。
• 過小評価によるフラグ： エージェントが成功をエラーと誤って判定（$s_{ref}=0$）したが、アウトカムが成功（$r=1$）であった場合、正のアドバンテージによって、自身の成功を疑うように学習されてしまいます。
  標準的なRLはタスクの正解性を最適化しますが、意図せずして正直な自己評価を罰することになります。

2. 手法：RefGRPO

このギャップを埋めるために、著者らは標準的なRLに2つの主要なコンポーネント、すなわち「フリー・キャリブレーション・ボーナス」と「ダイナミック・スケジュール」を付加したアルゴリズムであるRefGRPOを提案しています。

A. フリー・キャリブレーション・ボーナス（Free Calibration Bonus）

核心となる革新は、エージェントの事後フィードバックによるリフレクション（$s_{ref}$）と実際のアウトカム（$r$）を対比させることで計算されるボーナスです。

• メカニズム： 各ロールアウト $k$ について、バイナリのキャリブレーション・ボーナス $c_k = \mathbb{I}(s_{ref,k,H} = r_k)$ が計算されます。このボーナスは、グループ正規化の前にアウトカム報酬に加算されます：
  $$\tilde{r}_k = r_k + \alpha(t) \cdot c_k$$
• 意義： このボーナスは、追加の報酬モデル、LLMジャッジ、または外部のアノテーションを必要としないため「フリー（無料）」と呼ばれます。これはエージェント自身のリフレクションと既知の環境アウトカムのみに基づいています。これにより、タスク自体が成功したか失敗したかにかかわらず、適切に校正された（well-calibrated）ロールアウト（エージェントがアウトカムを正しく予測できたもの）に対して、正の相対的アドバンテージが与えられるようになります。

B. ダイナミック・スケジュール（Dynamic Schedule）

著者らは、静的なキャリブレーション・ボーナスは、報酬信号が部分的にキャリブレーションの質へと転用されるため、タスクの正確性をわずかに低下させる可能性があることを観察しています。これをバランスさせるために、係数 $\alpha(t)$ のためのダイナミック・スケジュールを導入しています。

• 二段階スケジュール：
  1. フロントローディング（$t \le \gamma \cdot T$）： より大きな係数（$\alpha_0$）を使用し、トレーニングの初期段階でキャリブレーションの学習を優先します。
  2. 減衰（$t > \gamma \cdot T$）： 係数をより小さな値（$\alpha_1$、多くの場合 0）へと減衰させ、第一段階で学習したキャリブレーション能力を保持しつつ、タスクのパフォーマンス最大化に集中できるようにします。

C. 評価指標

論文では、タスクの正確性とリフレクションのキャリブレーションを統合した指標として、ChowScore（統計的学習から転用）を導入しています。これは、正しいコミットメント（$s_{ref}=1, r=1$）に報酬を与え、正直なエラーフラグ（$s_{ref}=0$）には固定のクレジット $\beta$ を割り当てることで、エージェントが「いつタスクを解決したかを知っている能力」を効果的に測定します。

3. 主な結果

実験は、Qwen2.5-Coder (3B/7B) および Llama-3.2-3B を用い、5つのベンチマーク（Spider-Dev, Spider-DK, Spider-Realistic, Spider-Test, Bird-Dev）におけるテキスト・トゥ・SQLタスクに対して行われました。

• キャリブレーションの改善： RefGRPOは過小評価率を劇的に減少させました。Qwen2.5-Coder-7Bを用いたマルチターン設定において、過小評価率は 44.4% (GRPO+) から 7.7% にまで低下しました。
• タスクの正確性： 標準的なRLがしばしばキャリブレーションと正確性のトレードオフを引き起こすのに対し、RefGRPOは両方を向上させます。7Bモデルにおいて、タスクの正確性は 75.1% から 76.5% へと上昇しました。
• 統合指標： ChowScoreも大幅に改善しました（例：Qwen-7Bでは73.0%から76.5%へ）。これは、タスクを解く能力と、その解決策が正しいかどうかを知る能力が同時に向上したことを示しています。
• スペシャリストとの比較： 特化型の7B SQLモデル（OmniSQL-7B および SQL-R1-7B）と比較して、RefGRPOは最高の「キャリブレーション・デルタ（$\Delta = \text{Acc}_{ref} - \text{Acc}$）」を達成しました。これは、そのリフレクションが単なる高精度化の副産物ではなく、真に情報に基づいたものであることを示しています。

4. 意義と含意

本論文は、RefGRPOがエージェントを、純粋な自己評価ではなく、環境フィードバックに基づいた**「自身の検証器（verifier）」**へと変貌させると主張しています。この校正されたリフレクションは、以下の2つのダウンストリーム能力を可能にします。

1. 検証器フリーの自己改善（Verifier-Free Self-Improvement）： リフレクションが校正されているため、信頼できる疑似報酬信号として機能できます。著者らは、RefGRPOのチェックポイントから開始したさらなる自己改善トレーニング（アウトカムの監視なしに $s_{ref}$ を報酬として使用）では、大幅な精度向上（+2.8ポイント）が得られることを示しました。一方、標準的なGRPOのチェックポイントは、誤った校正によって疑似報酬が崩壊するため、改善が見られません。
2. 効果的なテストタイム選択的予測（Effective Test-Time Selective Prediction）： 校正されたエージェントは、推論中に自身をフィルターとして機能させることができます。正解とフラグ立てされたロールアウト（$s_{ref}=1$）のみをコミットすることで、RefGRPOはベースラインよりも高い「選択的予測リフト（コミットされたサンプルの正確性）」を達成し、外部の検証を必要とせずにエラーを効果的に排除できます。

5. 限界と今後の課題

著者らは、計算資源の制約により、現在訓練された最大のモデルが7Bであることを指摘しており、より大規模なスケールでの手法の検証は今後の課題としています。また、現在の研究はバイナリのリフレクション・スコア（$s_{ref} \in \{0, 1\}$）に焦点を当てており、実数値の信頼度スコアへの拡張も潜在的な方向性として示唆されています。

要約すると、RefGRPOは、標準的なRLにおける構造的なクレジット割り当て問題を解決し、エージェントの自己評価を現実と一致させるための、シンプルでアノテーションを必要としないメカニズムを提供します。これにより、より堅牢で、自己検証可能なエージェント行動が可能になります。