技術的サマリー：SEARCHSKILL

問題定義

大規模言語モデル（LLM）は広範なパラメトリック知識を有しているが、本質的に静的であり、オープンドメインやマルチホップの質問応答（QA）といった知識集約型タスクに必要な長尾事実や最新情報が欠如していることが多い。検索エンジンとの対話を可能にするリトリーバル増強生成（RAG）やツール使用フレームワーク（例：ReAct、Toolformer）が導入されたものの、決定的なボトルネックが残っている：クエリの品質である。

既存の方法はモデルに「何を」検索すべきかを教えることが多いが、「どのように」高品質なクエリを構成するかを教えることは少ない。マルチホップ設定では、モデルはしばしば広範な、コピーされた、または冗長なクエリ（例：検索バーに質問全体を貼り付ける）を発行する。これにより、検索予算の浪費、ノイズの混入した証拠、冗長なツール呼び出し、推論精度の低下を招く。さらに、エージェント向けの現在の「スキル」フレームワークは、検索経路の特定の文脈において、スキルがどのように表現され、呼び出され、更新されるべきかを明示的に定義していない。特に、スキルが次のクエリ、検証行動、停止決定にどのように影響を与えるかについては言及されていない。

手法：SEARCHSKILL

著者は、検索ツールの使用を明示化し、各相互作用ステップをスキル選択とそれに続くスキルに基づく実行に分解するSEARCHSKILLというフレームワークを提案する。中核的な革新は、検索戦略のための外部再利用可能な事前知識として機能する進化するスキルバンクである。

1. スキル条件付きインターフェース

検索を無差別な行動として扱うのではなく、SEARCHSKILL はトークンレベルのプロトコルを強制する：

1. スキル選択: モデルは、採用する再利用可能な戦略を宣言するために <skill>...</skill> タグを出力する（例：bridge-entity-search、parallel-attribute-compare）。
2. 実行: 選択されたスキルカードに基づき、モデルは <search>...</search> クエリまたは <answer>...</answer> を生成する。
3. フィードバック: 取得された証拠は <information>...</information> タグを介して返される。

このインターフェースにより、戦略の選択が、すべての検索または回答アクション前に明示的かつ学習可能な制御変数となる。

2. 進化するスキルバンク

スキルバンクは静的ではなく、タスクの難易度の増加（単一ホップから複雑なマルチホップデータセットである MuSiQue へ）に合わせて整列した失敗駆動型の外部ループを通じて進化する：

• 初期化: 一般的な検索およびグラウンディングスキルを含むコンパクトなシードバンク（$B_0$）から開始する。
• 洗練: 各段階で、システムはモデルのロールアウトからの反復的な失敗パターンを分析する。教師モデル（GPT-5.4）は、これらの失敗に基づいて新しいスキルを提案するか、既存のスキルを洗練する（例：マルチホップ推論のための bridge-entity-search の追加）。
• 再構築: バンク更新が承認されると、一貫性を確保するために影響を受ける経路が再構築される。
• 分類体系: 最終的なバンク（$B_4$）には、直接検索、ブリッジ解決、関係連鎖分解、時間的アンカー付け、矛盾チェック、回答グラウンディングのためのスキルが含まれる。

3. 2 段階の教師あり微調整（SFT）

トレーニングレシピは、推論時のプロトコルとモデルを整合させる：

• 段階 1（実行）: モデルは、<skill> タグの後に <search> または <answer> タグを出力するという基本的なアクション形式を学習する。この段階では、検証済みの教師経路のプールを使用して、スキルタグ付きのクエリ計画とグラウンディングされた停止を教える。
• 段階 2（ルーティング）: モデルは、スキルバンクインデックスからスキルを選択することを学習する。各元のアクションターンは、スキル選択ターン、選択されたスキルカードの内容を含むユーザーターン、および元のアクションターンに分割される。モデルは質問固有のヒントなしにスキルバンクをルーティングし、選択されたカードの内容に基づいて次のアクションを条件付けなければならない。

4. 強化学習（補助的）

著者はまた、SFT 後に検索行動をさらに洗練するための軽量な GRPO（Group Relative Policy Optimization）段階も探索しており、特に証拠の使用、回答のグラウンディング、および停止行動をターゲットとしているが、主な利益は SFT プロセスに起因している。

主な貢献

1. スキル条件付きインターフェース: 各ツール呼び出し前にモデルに再利用可能な検索戦略を選択させることでクエリ構成を改善する新規フレームワーク。広範なまたはコピーされたマルチホップクエリの発行という失敗に対処する。
2. 進化可能な検索スキルバンク: 失敗分析、追加/洗練操作、経路再構築を通じて更新される動的リポジトリ。特定の QA 設定を超えてツール使用のための再利用可能な事前知識を提供する。
3. 2 段階 SFT レシピ: 大規模な RL ベースの検索エージェント（Search-R1 など）と同等かそれ以上の性能を達成しつつ、RL ロールアウトに伴う高い計算コストを回避するトレーニング手法。
4. 汎用性: オープンソースモデル（Qwen2.5 3B/7B）とクローズドソースモデルの両方で有効性が実証された。凍結されたスキルバンクは、微調整なしにプロプライエタリモデルに対する外部計画ガイドとして機能できる。

実験結果

このフレームワークは、単一ホップ（Natural Questions, TriviaQA, PopQA）およびマルチホップ（HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle）QA にまたがる 7 つのベンチマークで評価された。

• 性能: SEARCHSKILL は、Qwen2.5-7B（42.34%）および Qwen2.5-3B（36.94%）の両方で、最高のマクロ平均完全一致（EM）スコアを達成し、RL ベースの Search-R1 や ZeroSearch などの強力なベースラインを上回った。
• クエリ行動: この手法は「最初のクエリのコピー」率（モデルが質問全体をコピーするケース）を大幅に減少させ、「原子ホップ焦点型」クエリを増加させた。小規模な検索予算内（例：検索 3 回以内での正解）で高い精度を達成した。
• アブレーション研究:
  • スキルバンクの除去（空のバンク）は性能低下を招き、明示的なスキルルーティングの価値を確認した。
  • スキルカードの内容の除去（ID のみ保持）も性能を低下させ、スキルの意味的内容が重要であることを示した。
  • 進化させたバンクをシードバンク（$B_0$）に置き換えると性能が低下し、反復的洗練の重要性を浮き彫りにした。
• クローズドソースへの転移: 凍結されたスキルバンクを計画ガイドとしてプロプライエタリモデル（GPT-4o-mini, Gemini 2.5 Flash Lite, Claude Haiku 4.5）に適用したところ、一貫したマクロ gains が得られ、学習された検索事前知識の転移可能性を実証した。

意義と主張

本論文は、明示的なスキル条件付きクエリ計画が、検索を無差別な行動として扱うことに対する軽量かつ効果的な代替手段であると主張する。検索戦略を明示的かつ学習可能にすることで、SEARCHSKILL は検索非効率の根本原因である、不適切なクエリ構成に対処する。

著者は、このアプローチが以下の点で優れていると主張する：

• 戦略と実行の分離: スキルバンクは外部事前知識として機能し、モデルが SFT 中にこれらのパターンを暗黙的に再発見する必要なく、どのように検索するかを学習できるようにする。
• 効率性の向上: 冗長な検索を減らし、取得された証拠の品質を向上させることで、より厳しい予算内でのより良い回答を実現する。
• スケーラブルなトレーニング経路の提供: 2 段階の SFT レシピは、検索エージェントをトレーニングするための費用対効果の高い方法を提供し、主に強化学習を通じて検索行動をトレーニングすることに伴う不安定性と高い計算コストを回避する。

この研究は、RL が実行習慣（例：停止行動）をさらに洗練できる可能性がある一方で、インテリジェントな検索の基礎能力は、構造化されたスキル条件付き監督を通じて確立するのが最善であることを示唆している。