💬 NLP

COSEARCH: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search

本論文は、推論エージェントと検索システムの性能向上を阻害するボトルネックを解消するため、推論とドキュメントランキングを強化学習（GRPO）を用いて共同で学習する新しいフレームワーク「CoSearch」を提案し、複数の QA ベンチマークで既存手法を上回る性能を実証しています。

原著者： Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

公開日 2026-04-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hansi Zeng, Liam Collins, Bhuvesh Kumar, Neil Shah, Hamed Zamani

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🕵️‍♂️ 従来のシステム：「天才的な探偵」と「不器用な助手」

これまでの AI 検索（エージェント）は、以下のようなチーム構成でした。

探偵（メイン AI）： 非常に頭が良く、複雑な問題を解決するために「何を探すか」を考え、質問を投げかけます。
助手（検索システム）： 探偵の指示通りに本棚（インターネット）から本を取り出しますが、「固定されたマニュアル」しか持っていません。 いくら探偵が「もっと詳しく！」と指示しても、助手の取り出す本の選び方は変わりません。

【問題点】
探偵がどんなに素晴らしい質問をしても、助手が「間違った本」や「関係ない本」を持ってきたら、探偵は正解にたどり着けません。
論文の実験では、「もし助手が完璧に正しい本を持ってきたら（神様のような助手）」、探偵の正解率は 26.8% もアップしました！
つまり、「探偵の頭脳」ではなく「助手の取り出す本の選び方」が、全体の性能を止めているボトルネック（首を絞める原因）だったのです。

🚀 COSEARCH の解決策：「二人三脚で一緒に成長する」

この論文が提案するCOSEARCHは、探偵と助手を**「一緒に訓練」**して、お互いにベストなパートナーになるようにします。

1. 二人三脚のトレーニング（強化学習）

通常、探偵（メイン AI）だけを訓練して、助手（検索システム）は固定していました。
しかし COSEARCH では、**「正解にたどり着けたら、探偵も助手もご褒美」**というルールで、二人を同時に訓練します。

探偵が「ここを探して」と言うと、助手は「あ、この本が役に立ったな」と学びます。
助手が「この本を持ってきました」と言うと、探偵は「あ、この本なら答えが見えたな」と学びます。
お互いが相手の行動を評価し合い、**「どうすれば二人で正解に近づけるか」**を一緒に考えます。

2. 難しい課題：「同じ質問じゃないのに、どう一緒に学ぶ？」

ここで一つ、技術的な難問がありました。

探偵は、同じ質問に対して「複数の答え方」を試して、どれが良かったか比較できます。
しかし、助手は、探偵が考える「次のステップ」によって、「取り出す本」の質問内容が毎回変わってしまいます。
- 例：探偵 A は「日本の首都は？」と聞き、探偵 B は「東京の人口は？」と聞きます。
- 質問がバラバラだと、「どっちの助手が上手だったか」を公平に比較できません。

【COSEARCH の工夫：「意味のグループ分け」】
論文では、**「言葉は違っても、意味が同じ質問は同じグループ」**として扱いました。

「日本の首都は？」と「東京はどこ？」という質問は、言葉は違いますが、「東京という場所を知りたい」という意味は同じです。
これらを「意味のグループ」に分けて、そのグループ内だけで「どっちの助手が上手だったか」を比較・評価します。
これにより、**「新しい質問を何千回も作らなくても、既存のデータだけで効率的に助手を鍛える」**ことに成功しました。

3. 二人の「ご褒美」を工夫する

探偵へのご褒美： 「最終的な答えが正しかったか？」
助手へのご褒美： 「正解の本をトップに持ってきたか？」＋「最終的な答えに貢献したか？」
このように、**「今すぐの成果（本が正しいか）」と「長期的な成果（答えにたどり着けたか）」**の両方を評価することで、助手は「とりあえず本を並べる」だけでなく、「本当に役立つ本を選ぶ」ことを学びます。

🏆 結果：劇的な改善

この「二人三脚」の訓練を行った結果、以下のような素晴らしい成果が出ました。

既存の最強システムより、正解率がさらに向上。（7 億パラメータのモデルで 6.6%、3 億パラメータのモデルで 10.8% 向上）
検索回数が減った。 助手がより良い本を持ってくるようになったので、探偵は「もう一度探して」と頼む回数が減り、効率化されました。
小さなモデルでも大活躍。 本来なら弱いはずの小さな AI でも、優秀な助手と組むことで、大きな AI に匹敵する性能を発揮しました。

💡 まとめ

この論文が伝えているのは、**「AI 検索の未来は、賢い『考える人』と、賢い『探す人』が、お互いに学び合いながら一緒に成長すること」**です。

これまでは「探す人（検索エンジン）」を固定して「考える人（AI）」だけを鍛えていましたが、「探す人」も一緒に鍛えることで、劇的に性能が上がることを証明しました。

まるで、「天才的な探偵」に「完璧な図書館司書」を付けると、どんな難事件も一瞬で解決してしまうようなイメージです。COSEARCH は、その「司書」を育てるための新しい教育法を提案したのです。

COSEARCH: 強化学習による推論とドキュメントランキングの共同トレーニング

本論文「COSEARCH: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search」は、複雑な質問に答えるための「エージェント検索（Agentic Search）」システムにおいて、既存のアプローチが抱える重大なボトルネックを特定し、それを解決する新しいフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義と背景

背景

大規模言語モデル（LLM）は推論能力を発揮しますが、パラメータ化された訓練データに含まれない知識が必要な場合、外部知識へのアクセス（RAG）が不可欠です。近年、単一ターンではなく、推論・検索クエリ生成・情報統合を反復的に行う「マルチステップ・エージェント検索」が注目されています。これらは強化学習（RL）を用いて、最終的な回答の正解性に基づいてエージェントを訓練することで、検索のタイミングや内容を学習してきました。

既存手法の限界とボトルネック

既存のアプローチ（例：Search-R1）では、検索システム（リトリーバーやランキングモデル）は固定されたツールとして扱われ、推論エージェントのみが最適化されます。
著者らは、この仮定が性能向上の主要なボトルネックであると指摘しています。

オラクル検索実験: 7B パラメータのエージェントにおいて、理想的な検索（正解を含むドキュメントを常に上位に配置）を行った場合、固定された検索システムを使用する場合と比較して、F1 スコアが最大 +26.8% 向上することが示されました。
課題: エージェントが適切なクエリを発しても、検索システムが関連文書を返さない場合、エージェントは誤った結論を導いたり、無駄な再試行を繰り返したりします。つまり、検索品質の向上がエージェント全体の性能向上に直結しています。

2. 提案手法：COSEARCH

COSEARCH は、推論エージェント（Main Agent）と生成型ドキュメントランキングモデル（Generative Ranker）を強化学習（RL）を通じて同時に最適化するフレームワークです。

全体アーキテクチャ

検索システムを 2 段階に分解し、第 2 段階を学習可能にします。

第 1 段階（固定）: 密なリトリーバー（Dense Retriever）が候補ドキュメント集合 $D_N$ を取得。
第 2 段階（学習可能）: 生成型ランキングモデル $\pi_{\theta_{gr}}$ が、エージェントのサブクエリと $D_N$ を受け取り、関連性の高い $K$ 個のドキュメントを選択・再ランク付けしてエージェントに提示。
推論エージェント: 提示された文書に基づいて推論し、次のクエリまたは最終回答を生成。

これらすべてを、最終回答の正解性に基づいた報酬を用いてGroup Relative Policy Optimization (GRPO) で共同訓練します。

技術的課題と解決策

GRPO をランキングモデルに適用する際、2 つの主要な技術的課題が存在しました。

A. 入力変動によるグループ化の困難さ

GRPO は、同じ入力プロンプトから生成された複数の応答をグループ化して相対的な優位性（Advantage）を計算する必要があります。

エージェント: 同一のユーザー質問から複数の推論経路（ロールアウト）が生成されるため、自然にグループ化可能。
ランキングモデル: 各経路で生成される「サブクエリ」が異なるため、単純なグループ化が不可能。
解決策（セマンティック・グルーピング）:
- 異なる推論経路であっても、サブクエリは意味的に類似していることが多いという観察に基づき、トークンレベルの F1 類似性を用いてサブクエリをクラスタリングします。
- 類似度が閾値 $\delta$ を超えるサブクエリを同じグループとして扱い、追加のロールアウトを行わずに既存の経路を再利用して GRPO 訓練を可能にしました。

B. 報酬設計の難しさ

ランキングモデルの貢献は、最終回答の正解性に間接的につながるため、直接的な報酬割り当てが困難です。

解決策（複合報酬 Composite Reward）:
1. 関連性報酬 ( $r_{rel}$ ): 正解を含むドキュメントが上位にランクされているか（Hit@k）を評価。
2. 経路レベル報酬 ( $r_{main}$ ): 最終回答の正解性（F1 スコア）。
- 候補集合に正解文書が含まれる場合、ランキングが不十分な時は $r_{rel}$ のみ、十分良い場合は $r_{rel} + r_{main}$ を使用。
- 正解文書が含まれない場合は、 $r_{main}$ のみを使用。
- これにより、即時的な検索精度と長期的なタスク達成の両方を学習信号として提供します。

3. 主要な貢献

検索品質のボトルネックの特定: オラクル検索実験により、推論能力に関わらず、固定された検索システムが性能の天井を形成していることを実証（7B エージェントで +14.7%、3B エージェントで +26.8% の改善）。
COSEARCH フレームワークの提案: 推論エージェントと生成型ランキングモデルを RL で共同訓練する新しいアプローチ。
- 入力変動に対処する「セマンティック・グルーピング戦略」。
- 検索精度とタスク達成を両立させる「複合報酬設計」。
高い性能の実証: 7 つの QA ベンチマーク（単一ホップ・マルチホップ）において、強力なベースライン（Search-R1 など）を凌駕する結果を達成。

4. 実験結果

Qwen2.5-7B-Instruct をベースモデルとして使用し、7 つの QA データセット（PopQA, NQ, HotpotQA など）で評価を行いました。

主要結果:
- 7B エージェント: Search-R1 に対して相対的に +6.6% の F1 スコア向上。
- 3B エージェント: 検索能力の改善により、Search-R1 に対して +10.8% の大幅な向上。
- 既存の「検索のみ（Retrieval Only）」や「固定ランキングモデル（Fixed Ranker）」を大幅に上回りました。
アブレーション研究:
- 複合報酬の両成分（ $r_{rel}$ と $r_{main}$ ）は相互補完的であり、どちらも重要です。
- セマンティック・グルーピングを除去すると性能が大幅に低下（-3.3%）し、この戦略の重要性が確認されました。
- シェアード・バックボーンやクロスエンコーダー・ランキングモデルよりも、独立した生成型ランキングモデルの方が RL 最適化に適していました。
効率性: COSEARCH は、より高品質な文書を提供することで、必要な検索ターン数を削減し、より少ないステップで回答を導くことができました。

5. 意義と結論

本論文は、エージェント検索システムにおいて、「推論」と「検索」を分離して最適化するのではなく、相互に補完し合うように共同で学習させることの重要性を明らかにしました。

将来への示唆: 検索エンジン自体をエージェントの一部として適応させる（Joint Training）ことは、単に可能であるだけでなく、性能向上の鍵となる要素です。
実用性: 追加のロールアウトコストをかけずに GRPO を適用する手法や、LLM による評価を不要とするルールベースの報酬設計により、実用的なスケーラビリティも確保されています。

COSEARCH は、複雑な情報検索タスクにおいて、推論能力と検索能力のシナジーを最大化する新しいパラダイムを示しており、次世代の検索エージェント開発における重要なマイルストーンと言えます。