💬 NLP

ZeroSearch: Incentivize the Search Capability of LLMs without Searching

ZeroSearch は、軽量でカリキュラムに基づく模擬検索モジュールを用いて大規模言語モデルの検索能力を効果的に促進・強化することにより、実世界の検索エンジン訓練に伴う高コストと不安定なデータ品質という課題を克服する、新しい強化学習フレームワークである。

原著者： Hao Sun, Zile Qiao, Jiayan Guo, Xuanbo Fan, Yingyan Hou, Yong Jiang, Pengjun Xie, Yan Zhang, Fei Huang, Jingren Zhou

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hao Sun, Zile Qiao, Jiayan Guo, Xuanbo Fan, Yingyan Hou, Yong Jiang, Pengjun Xie, Yan Zhang, Fei Huang, Jingren Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、天才的だが経験の浅い学生（AI）に、図書館で手がかりを調べることで複雑な謎を解く方法を教える場面を想像してください。通常、このスキルを教えるには、学生が質問をするたびに実際の図書館へ出向いてもらう必要があります。

実際の図書館の問題点：

予測不能な本： 時には司書が完璧で役立つ本を手渡しますが、他の時には破れた、古びた、あるいは完全に間違ったパンフレットが渡されます。これでは学生が一貫してスキルを習得することが難しくなります。
高額なチケット： 学生が図書館へ行くたびに、莫大な費用がかかります。学生がコツを掴むために何千回も通う必要がある場合、予算はすぐに破綻します。

解決策：ZEROSEARCH（「架空の図書館」）
アリババグループの通義実験室（Tongyi Lab）の研究者たちは、ZEROSEARCHと呼ばれる巧妙な学習手法を開発しました。学生を実際の図書館へ送る代わりに、別の AI を用いて教室の中にシミュレーション図書館を構築しました。

その仕組みをステップごとに説明します。

1. 「演技」をする司書

まず、研究者たちは標準的な AI を取り出し、クイックで軽量なトレーニングセッション（集中講座のようなもの）を行います。この AI に司書として振る舞うよう教えるのです。

マジックトリック： この「司書 AI」に、どのような本を渡すべきかを正確に指示できます。
「役立つ本を渡して」と言えば、AI は完璧で正確な文書を生成します。
「ノイズの多い（混乱させる/間違った）本を渡して」と言えば、AI はゴミを生成します。
なぜ重要か： 実際の図書館では司書が見つけたものを制御できませんが、ここでは教師が「手がかり」の品質を完全にコントロールできます。

2. 「段階的な難易度」ゲーム（カリキュラム学習）

研究者たちは、学生をいきなり深い部分へ投げ込みません。レベルごとに難易度が上がるビデオゲームのようなカリキュラムロールアウト戦略を使用します。

レベル 1（易しい）： 司書 AI は完璧で役立つ本だけを渡します。学生は「質問をし、答えを得て、謎を解く」という基本ルールを学びます。
レベル 2（中級）： 司書は、混乱させるか少し間違った本を混ぜ始めます。学生は悪い情報をフィルタリングする方法を学ぶ必要があります。
レベル 3（難しい）： 司書はほとんどがゴミの本を渡します。学生は探偵となり、どのわずかな情報が実際に真実なのかを突き止めなければなりません。

トレーニングを終える頃には、学生は悪い情報を篩い分けるのが非常に上手くなり、実際の図書館でも完璧に対応できるようになります。

3. 結果：安くて賢い

この論文では、30 億パラメータの小さなモデルから 140 億パラメータの大きなモデルまで、さまざまなサイズの AI「学生」でこの手法をテストしました。

コスト： 実際の図書館（Google）を一度も呼び出さなかったため、莫大な費用を節約できました。「架空の図書館」は自社のサーバー上で動作するため、何千回もの実際の検索 API 呼び出しに支払う費用よりもはるかに安価です。
パフォーマンス：
- この手法でトレーニングされた小さな AI は、実際の検索エンジンでトレーニングされたものと同程度の性能を発揮しました。
- 中規模の AI（7B）は、実際の検索エンジンと同等の性能を達成しました。
- 大規模な AI（14B）は、実際の検索エンジンよりも優れる結果となりました！
汎用性： これは「生」の（Base）モデルであれ、「指示に従うようにトレーニングされた」（Instruct）モデルであれ、さまざまな種類の AI モデルで機能しました。

結論
ZEROSEARCHは、トレーニング中に実際にウェブに触れることなく、AI にウェブ検索を教える方法です。制御可能な「偽の」検索エンジンを使い、易しい段階から徐々に難しくしていくことで、AI はより優れた探偵となり、API 利用料の巨額な費用を節約し、散らかっていて予測不能な実際のインターネットでトレーニングされた場合よりも優れたパフォーマンスを発揮するようになります。

技術的サマリー：ZEROSEARCH

問題定義

効果的な情報検索は、特にハルシネーションの軽減や最新知識へのアクセスにおいて、大規模言語モデル（LLM）の推論能力と生成能力を向上させる上で極めて重要です。最近の研究では、強化学習（RL）を用いて LLM がライブ検索エンジン（例：Google）と対話するように訓練することが探求されてきましたが、これらのアプローチはスケーラビリティに対して 2 つの重大な障壁に直面しています：

制御不能なドキュメント品質：実際の検索エンジンが返すドキュメントは予測不能であり、訓練プロセスにノイズと不安定性をもたらします。
極めて高い API コスト：RL 訓練には頻繁なロールアウトが必要であり、数十万回の検索リクエストを含む可能性があります。これにより、商用 API（例：SerpAPI）を介して莫大な金銭的コストが発生し、そのような手法のスケーラビリティを著しく制限します。

静的コーパスに依存する既存の解決策は、現実世界の検索の複雑さを捉えきれず、ライブエンジンを使用するものはコスト面で非現実的かつ不安定です。

手法

著者は、訓練中に実際の検索エンジンと対話することなく、LLM が検索能力を利用することを促進する新しい RL フレームワーク「ZEROSEARCH」を提案します。核心的な洞察は、LLM が事前学習から広範な世界知識を有しており、適切に導かれれば検索エンジンの動作をシミュレートできるという点にあります。

このフレームワークは、以下の 3 つの主要なコンポーネントで構成されます：

1. 検索シミュレーションチューニング

プロンプティングのみに依存するのではなく、著者は軽量な教師あり微調整（SFT）を採用して LLM を「検索モジュール」へと変換します。

データ構築：LLM が実際の検索エンジンと対話するインタラクション軌跡を収集し、クエリ - ドキュメントペアを抽出します。
品質管理：LLM をジャッジとして機能させ、ドキュメントを「有用」（十分な情報を含む）または「ノイズ」（不十分）としてラベル付けします。
プロンプト設計：シミュレーション LLM は、クエリに対して有用なドキュメントとノイズのあるドキュメントの両方を生成するように微調整されます。重要なのは、プロンプト内の特定のキーワード（例：「[有用/ノイズ] ドキュメントを生成」）を調整することで、出力の品質を動的に制御できる点です。これにより、システムはさまざまなレベルの検索難易度をシミュレートできます。

2. カリキュラムベースのロールアウト戦略

モデルの推論能力を段階的に引き出すため、ZEROSEARCH は RL ロールアウト段階でカリキュラム学習メカニズムを採用します。

動的難易度：訓練の経過とともに、生成されるドキュメントの品質を徐々に低下させます。
確率関数：確率関数 $p_i$ が、訓練ステップ $i$ においてノイズのあるドキュメントを生成する確率を支配します：
$p_i = p_s + \frac{b^{i/m} - 1}{b - 1}(p_e - p_s)$
ここで、 $p_s$ と $p_e$ はそれぞれ初期および最終的なノイズ確率、 $m$ は総ステップ数、 $b$ は指数基底（デフォルト 4）です。
進行：ポリシーモデルはまず、高品質（有用）なドキュメントを用いて基本的な出力形式とタスク要件を学習し、その後、次第に困難でノイズの多い検索シナリオに適応していきます。

3. 訓練アルゴリズムと報酬設計

アルゴリズム：このフレームワークは、REINFORCE、近接方策最適化（PPO）、グループ相対方策最適化（GRPO）を含む、さまざまな RL アルゴリズムと互換性があります。
損失マスキング：訓練の安定性を確保するため、シミュレーション LLM によって返されたドキュメントトークンに対して損失マスキング機構を適用します。勾配はポリシーモデル自身の出力（推論と回答）に対してのみ計算され、外部で生成されたトークンに起因する不安定性を防ぎます。
報酬関数：回答の正確性に焦点を当てたルールベースの報酬が使用されます。「報酬ハッキング」（一致する確率を高めるために過度に長い回答を生成するなど）を防ぐため、完全一致（EM）ではなくF1 スコアが利用されます。

主要な貢献

新しい RL フレームワーク：ZEROSEARCH は、訓練中に実際の検索エンジンと対話することなく LLM が検索戦略を学習することを可能にし、高価でレート制限のある API への依存を効果的に排除します。
制御されたシミュレーション：SFT を通じて、LLM を有用なドキュメントとノイズのあるドキュメントの両方を生成できる検索モジュールへと変換し、ドキュメント品質を明示的に制御可能にします。
カリキュラムロールアウト：ドキュメント品質を徐々に低下させるカリキュラムメカニズムの導入により、モデルは複雑でノイズの多いシナリオに取り組む前に、検索ツールの使用を習得できます。
スケーラビリティと汎化：この手法は、GPU 並列化によって加速される強力なスケーラビリティを示し、さまざまなパラメータサイズ（3B、7B、14B）のベースモデルおよびインストラクションチューニングモデル間で良好に汎化します。

実験結果

著者は、シングルホップ（NQ、TriviaQA、PopQA）およびマルチホップ（HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle）データセットを含む多様な質問応答ベンチマークで ZEROSEARCH を評価しました。

実検索との性能比較：ZEROSEARCH は、実際の検索エンジンに依存するベースライン手法（例：Search-R1）を含む既存手法を一貫して上回ります。特に、7B シミュレーションモジュールは実検索エンジンと同等の性能を達成し、14B シミュレーションモジュールはそれを凌駕します。
コスト効率：このフレームワークはAPI コストをゼロにします。コスト分析によると、64,000 リクエストを使用する実検索アプローチ（SerpAPI を通じて）は約 586.70 ドルのコストがかかりますが、GPU サーバーを使用したシミュレーションアプローチは、モデルサイズに応じて約 17.70 ドルから 70.80 ドルです。
汎化：この手法はベースモデルとインストラクションチューニングモデルの両方で効果的に機能し、REINFORCE、PPO、GRPO と互換性があります。
アブレーション研究：
- シミュレーション品質：微調整されたシミュレーションエンジン（SFT）は、プロンプトベースのものを大幅に上回ります。より大きなシミュレーションモデル（14B）は、より小さなモデル（3B）よりも優れたポリシー性能をもたらします。
- カリキュラムの有効性：カリキュラムロールアウト戦略（易から難）は、ランダムなロールアウトベースラインを大幅に上回ります。
- 損失マスキング：ドキュメントトークンに対する損失マスキングを除去すると、報酬が大幅に低下し、訓練が不安定になります。

意義と主張

この論文は、ZEROSEARCH が、RL 訓練における現実世界の検索エンジン統合に対する実用的でコスト効果が高く、安定した代替手段を提供すると主張しています。制御可能なノイズレベルで検索環境をシミュレートすることで、このフレームワークは、ライブ API の金銭的および安定性の制約なしに、モデルが堅牢な検索戦略を学習することを可能にします。著者は、このアプローチが RL 訓練のコストを大幅に削減し、LLM を現実世界のタスクのシミュレーターとして活用する将来の研究を促進すると仮定しています。

この研究は、適切なシミュレーションとカリキュラム設計により、7B などの小規模モデルでも、実際にはノイズが多く高価なウェブデータで訓練されたものと同程度、あるいはそれ以上の検索能力を促進できることを浮き彫りにしています。