技術要約：正確性を超えて：検索拡張生成における忠実な推論への報酬付与

問題提起

検索拡張生成（RAG）の最近の進展は、「エージェンティック・サーチ（agentic search）」へとシフトしています。これは、大規模言語モデル（LLM）が強化学習（RL）を通じて、動的なプランニング、検索エンジンへのクエリ発行、および検索された証拠に基づく推論を行うように訓練されるものです。既存の手法（例：Search-R1、ReSearch）は、エピソードレベルの成果ベースの報酬を用いて、最終回答の正確性（Exact Match）において高い性能を達成していますが、決定的な限界を抱えています。それは**「思考プロセスの不忠実性（chain-of-thought unfaithfulness）」**です。

これらのモデルは、最終的な回答のみを最適化する傾向があり、中間的な推論ステップの質や整合性を見落としてしまいます。これにより、最終回答は正しいものの、中間ステップ（思考、検索クエリ、および証拠の合成）が論理的に断絶していたり、検索された証拠を無視したり、情報を捏造したりするシナリオが発生します。本論文は、エージェンティック・サーチの文脈における**「推論の忠実性（reasoning faithfulness）」**に関する形式的な定義と評価フレームワークの欠如、および、タスクのパフォーマンスを犠牲にすることなく忠実な中間トレースをインセンティブ化する訓練メカニズムの不在という、この分野のギャップを指摘しています。

手法

1. 忠実性のための評価フレームワーク

著者らは、エージェンティック・サーチの軌跡における論理的フローを評価するために、3つの異なるターンレベルの忠実性指標を中心とした包括的な評価フレームワークを提案しています。

• Think-Search Faithfulness（思考・検索の忠実性）: 検索クエリが、直前の推論から直接的かつ必然的な帰結であるか（すなわち、「モデルが考えるべきだと考えたことを実際に検索しているか」）を評価します。
• Information-Think Faithfulness（情報・思考の忠実性）: 検索ステップに続くモデルの推論ブロックが、新たに取得された証拠を適切に合成、要約、または演繹しているかを評価します。これにより、モデルが検索された情報を無視したり矛盾したりしないことを保証します。
• Think-Answer Faithfulness（思考・回答の忠実性）: 最終回答が、直前の思考ブロックにおける累積的な知識と推論によって含意されているかを測定し、最終ステップでの未検証情報の導入を防ぎます。

これらの指標は、自然言語推論（NLI）モデルとLLM-as-a-Judge（LLMaaJ）アプローチの組み合わせを用いて運用されます。

2. VERITASフレームワーク

特定されたギャップに対処するため、本論文ではVERITAS（Verifying Entailed Reasoning through Intermediate Traceability in Agentic Search）を導入します。これは、構造化された詳細な忠実性報酬をRL訓練ループ（具体的にはPPO）に統合する訓練フレームワークです。

• 報酬設計: 総報酬関数（$R$）は、伝統的な成果ベースの報酬（$R_{EM}$）と、構造化された忠実性報酬（$R_{info-think}$, $R_{think-answer}$, $R_{think-search}$）の加重和です。
  $$R = w_{EM} \cdot R_{EM} + w_{info-think} \cdot R_{info-think} + w_{think-search} \cdot R_{think-search} + w_{think-answer} \cdot R_{think-answer}$$
  著者らは経験的に、$R_{think-search}$ は（ベースラインモデルが既にこの次元で高い忠実性を示しているため）省略可能（$w=0$）であることを発見し、訓練プロセスを効率化しました。
• 蒸留された報酬モデル: オンポリシーのRLにおけるLLMaaJのレイテンシとコストの問題を克服するため、著者らはQwen2.5-14B-Instructモデルに対してLoRAファインチューニングを行い、より小さな蒸留報酬モデル（RM）を訓練しました。このRMは、Information-Thinkの忠実性に関する大規模なLLMジャッジ（Claude-3.7-Sonnet）の判断を複製するように訓練されています。
• カリキュラム学習: 「報酬ハッキング」（忠実性を最適化しすぎるあまり、探索やタスクの正確性が損なわれる現象）を防ぐため、著者らはカリキュラム戦略を採用しています。忠実性報酬は、最初の1.5エポックの訓練中にゼロから設定され、線形にウォームアップされます。これにより、モデルがまず基本的なタスク性能を学習してから、推論の忠理度を洗練させることができます。

主な貢献

1. 形式的な定義と評価: 本論文は、エージェンティック・サーチにおける忠実性のための初の形式的な評価フレームワークを確立し、Think-Search、Information-Think、Think-Answerという3つの具体的な次元を定義および定量化しました。
2. ベースラインの経験的分析: 主要なRLベースの検索エージェント（Search-R1, ReSearch, DeSA）の広範な評価を通じて、著者らは決定的な乖離を明らかにしました。すなわち、高いタスク精度は高い推論の忠実性を保証しないということです。具体的には、純粋な成果報酬で訓練されたモデルは、検索された証拠を推論に統合できない（Information-Thinkの忠実性が低い）傾向があります。
3. VERITAS訓練パラダイム: 著者らは、構造化されたチェックリスト形式の忠実性報酬をRL訓練に組み込む手法であるVERITASを提案し、検証しました。このアプローチは、最終的なタスク精度を維持または向上させつつ、推論の忠実性を高めることに成功しました。

実験結果

著者らは、7つのQAベンチマーク（NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle）にわたって、VERITAS-R1（VERITASフレームワークで訓練されたSearch-R1）をベースラインと比較評価しました。

• 忠実性の向上: VERITAS-R1は忠実性指標を大幅に向上させました。例えば、一般的なQAデータセットにおいて、Information-Thinkの忠実性はベースラインの0.734から0.853に上昇しました。また、マルチホップ・データセットにおいてThink-Answerの忠実性も顕著な改善が見られました。
• タスク性能: 忠実性を強制することが性能を制約するという仮説に反して、VERITAS-R1はベースラインのSearch-R1よりも高いExact Match（EM）スコアを達成しました。マルチホップ・データセットでは、平均EMが0.361から0.380へと向上しました。
• アブレーション研究:
  • 報酬コンポーネント: Information-Think報酬が、忠実性と正確性の両方の向上における最も安定した推進力であることが判明しました。
  • カリキュラム学習: カリキュラムなしでの訓練（忠実性報酬を即座に適用すること）は、報酬ハッキングと最終的なEMスコアの低下を招き、ウォームアップ戦略の必要性を裏付けました。
  • 報酬モデル: 蒸留されたQwen2.5-14B RMは、人間によるアノテーションおよび大規模なジャッジモデルに対して高い一貫性（0.910）を示し、スケーラブルなプロキシとしての使用を検証しました。

意義と主張

本論文は、**「推論プロセスに報酬を与えることは、パフォーマンスとのトレードオフにはならず、むしろポジティブな相乗効果を生む」**と主張しています。純粋な成果ベースの報酬から、構造化された詳細な忠実性報酬へと移行することで、より正確であるだけでなく、より透明で信頼性の高いエージェントを開発できることを著者らは示しています。

この研究は、中間的な推論ステップに対する**「構造化された監督（structured supervision）」**の価値を強調しています。成果のみの報酬が飽和するにつれ、エージェンティック・システムの次の改善軸は、より豊かで微細な評価信号（ルーブリックやチェックリスト）に計算資源を投入し、それらの信号を訓練ループに伝播させることにあることを示唆しています。著者らは、VERITASを、厳格な証拠合成と論理的一貫性が求められるシナリオに展開可能な、より信頼できるAIエージェントの開発に向けた一歩として位置付けています。