技術サマリー: EviBack

問題提起

強化学習（RL）は、検証可能な結果報酬からマルチターン検索戦略を学習することを可能にし、エージェンティックな検索拡張生成（RAG）システムを実現してきました。しかし、現在の学習パラダイムには決定的な限界が存在します。サンプリングされた軌跡（ロールアウト）のグループが正解を一つも生成できなかった場合（「オールゼロ」グループ）、標準的なRL信号は比較情報を提供できません。このようなシナリオでは、正規化されたアドバンテージはゼロとなり、部分的な進捗や正しい中間検索行動が、完全な失敗と区別できなくなります。さらに、プロセスの評価のために手動のプロンプト設計に依存する既存の手法は、クエリの合理性や証拠の十分性といった次元を安定して特徴付けることに失敗したり、参照回答が証拠不足に関する判断を上書きしてしまうリスクがあります。

手法

本論文は、検証可能なアクター報酬の完全性を維持しつつ、オールゼロのロールアウトグループに対して補助的な監督を提供するフレームワークであるEviBackを提案しています。この手法は、以下の3つのコアコンポーネントで構成されています。

1. 証拠制約付きティーチャー・バックオフ (Evidence-Constrained Teacher Backoff)

EviBackは、フォールバックメカニズムとして機能する「ティーチャー（教師）」モデルを導入しています。これは、アクターのロールアウトグループに検証可能な完全一致を含む軌跡が存在しない場合（オールゼロ・グループ）にのみ起動されます。

• 2段階アーキテクチャ: ティーチャーは、参照回答が証拠の不足を隠蔽してしまうのを防ぐために、証拠評価と回答洗練を分離します。
  • ステージA (Gold-Blind / 正解参照なし): アクターが見ている累積された証拠が、質問に答えるのに十分かどうかを評価します。出力は、「十分 (S)」、「不十分 (I)」、「曖昧 (A)」のいずれかです。このステージは、グラウンドトゥルース（正解）へのアクセスなしに動作します。
  • ステージB (Gold-Aware / 正解参照あり): ステージAが証拠が「不十分ではない」と判断した場合（$s_A \neq I$）にのみ実行されます。参照回答との整合性を取るために回答を洗練させますが、ステージAによって確立された「不十分」という境界を厳格に維持します。
• 報酬信号: オールゼロ・グループに対して、ティーチャーはステータスと参照に整合したF1スコアに基づくハイブリッド報酬を提供します。この報酬は、検証可能なヒットを含むグループからの学習信号を上書きしないよう、係数 $\lambda = 0.1$ でスケールダウンされます。

2. E2E-APE (End-to-End Automatic Prompt Engineering)

ティーチャー・ポリシーを構築するために、著者らは、判定用プロンプトを生成するための制約ガイド付き手法であるE2E-APEを提案しています。

• プロセス: 最終的なタスクスコアを最大化する従来のプロンプト最適化とは異なり、E2E-APEは中間プロセスの評価に必要な明示的な制約（例：クエリの合理性、証拠の有効性）から開始します。
• 自動化: GPT-5.5コントローラーを使用し、パイプラインはロールアウトデータを自動的に分割し、候補となるプロンプトやワークフローを生成し、特定のメトリクス（証拠境界の遵守、安定性、コスト）に対してそれらを評価し、ゲート付きの2段階ポリシーを選択します。
• 成果: このプロセスにより、手動で作成された単一プロンプトのティーチャーを、初期ローンチ後の手動介入なしに、凍結されたバージョン管理済みの2段階ポリシーへと変換します。

3. 学習プロトコル

システムは GRPO (Group Relative Policy Optimization) を利用しています。

• アクター優先: グループ内のいずれかの軌跡が検証可能な完全一致を達成した場合、ティーチャーはバイパスされ、標準的なアクター報酬が使用されます。
• 選択的フォールバック: ティーチャーは、すべての軌跡が失敗したグループに対してのみ呼び出されます。得られた報酬はグループ内で正規化され、フォールバック・アドバンテージは、検証されたヒットを含むグループよりも低いポリシー勾配の寄与を維持するようにスケールされます。

主な貢献

1. E2E-APE: 判定用プロンプトを生成するための、制約ベースのエンドツーエンド自動プロンプトエンジニアリング手法。これは、最終的なタスクパフォーマンスの最大化から、中間プロセス評価のための制約を満たすことへと焦リオをシフトさせ、手動設計のコストを削減し、スコアリングの安定性を向上させます。
2. EviBack フレームワーク: 検証可能な最終回答報酬とティーチャー由来のプロセス報酬を組み合わせた、検索エージェントRAGのためのハイブリッド報酬システム。これは、RLの監督を最終的な結果から検索軌跡の品質へと拡張し、特に「オールゼロ」グループの問題に対処します。
3. 証拠境界の保存 (Evidence-Boundary Preservation): 証拠の十分性の判断と回答の洗練を切り離す、新しい2段階ティーチャー設計。これにより、参照回答が証拠不足の判断を覆すことができないようにします。

実験結果

著者らは、7つのオープンドメインQAベンチマーク（NQ, HotpotQA, MuSiQue, 2WikiMultiHopQAなどを含む）および3つのQwen3モデルスケール（0.6B, 1.7B, 4B）にわたってEviBackを評価しました。

• 性能向上: EviBackは、強力な Search-R1 ベースラインに対して一貫してF1スコアを向上させました。
  • 1.7Bスケールにおいて、EviBackはベースラインに対して16%の相対的な利得を達成しました。
  • すべてのスケールにおいて、シングルホップおよびマルチホップのマクロF1スコアの両方で改善が見られました。
• 検索効率: この手法は、平均検索回数、重複クエリ率、および強制終了率（最大ターン）を減少させました。例えば、1.7Bスケールでは、有効回答率が0.7317から0.8611に増加した一方で、平均検索回数は1.73から1.59に減少しました。
• ティーチャー構築: E2E-APEによって構築されたティーチャーは、手動設計された単一プロンプトのデュアルタスク・ティーチャーを上回り、F1を0.0260、有効回答率を0.2197向上させると同時に、検索オーバーヘッドを大幅に削減しました。
• アブレーション研究: 実験により、2段階の証拠制約と特定のフォールバック・スケーリング係数（$\lambda=0.1$）が、性能向上と検索効率のバランスを取る上で極めて重要であることが確認されました。

意義と主張

本論文は、EviBackが検索エージェントの学習における根本的なギャップ、すなわち失敗ケースにおける比較信号の欠如に対処していると主張しています。選択的な証拠制約付きバックオフメカニズムを導入することで、最終的な報酬の検証可能性を損なうことなく、中間的な推論に関するきめ細かなフィードバックを提供します。

著者らは、彼らのアプローチが以下の点において優れていることを強調しています：

• 補助的な監督の回復: 本来であれば学習信号を提供しないグループに対して、監督を復活させます。
• 参照リークの防止: プロセス報酬モデルにおける一般的な問題である、参照回答による証拠の十分性の判断の歪みを防ぎます。
• 自動プロンプトエンジニアリングの実現可能性の提示: 複雑な制約を満たす評価ポリシーを作成するための、E2E-APE（自動プロンプトエンジニアリング）の有効性を示しています。

本研究は、より豊かなティーチャー由来の信号（例：クエリの質、冗長性）が今後の研究課題であるとしつつも、現在の証拠制約付き設計が、エージェンティックRAGの性能を向上させるための堅牢かつ効果的な手法を提供すると結論付けています。コードは後ほど公開される予定です。