OPDSearch+: On-Policy Distillation with RL Refinement for Search-Augmented Reasoning

急速に進化する人工知能の世界において、研究者たちは、特に膨大な情報の海の中から答えを見つけ出すという点において、コンピュータプログラムに人間のように考えさせる方法を常に模索しています。長年、標準的なアプローチは、事実を暗記させるための巨大で高価なモデルを訓練することでしたが、これらのシステムは、新しい情報を検索したり、異なるトピック間で点と点をつなげたりする必要がある場合に苦戦することがよくあります。より有望な道は「検索拡張型推論（search-augmented reasoning）」であり、そこではモデルが質問を投げかけ、見つけた答えを読み、そして最終的な回答を合成することを学習します。しかし、より小さく効率的なモデルにこれを教え込むことは、根深い問題でした。通常の手法では、すでに検索のエキスパートである「教師」モデルを必要としますが、そのような教師を特定のタスクごとに訓練することは、非常にコストがかかり、時間がかかります。さらに、単に教師の回答をコピーするだけでは、学生モデルが自身のミスのループに陥ってしまい、ライブ検索エンジンの動的かつリアルタイムな性質から学習することができないため、失敗することがよくあります。

ある研究チームは、学習のさせ方を変えることでこれらの問題を解決する、「OPDSearch+」と呼ばれる新しい手法を導入しました。特定の仕事のために特別に訓練された教師に頼る代わりに、彼らは、プロセス中に変化しない「凍結（frozen）」された状態の強力な既存モデルを使用します。この教師は、最終的な答えを与えるのではなく、学生がライブ検索エンジンとやり取りする様子を見守ることで、ガイドとして機能します。学生が質問を投げ、結果を読み取るにつれて、教師は学生が生成するあらゆる言葉に対して、即座にステップ・バイ・ステップのフィードバックを提供します。このフィードバックにより、学生は単に正しい答えが何かを知るだけでなく、複雑な質問をどのように分解するか、検索クエリをどのように表現するか、そして見つけた情報をどのように論理的な議論へと編み込んでいくかを理解できるようになります。

このプロセスは、2つの明確な段階を経て行われます。第一に、学生モデルは、情報を能動的に検索している間、教師の指導を受けて学習します。この段階は極めて重要です。なぜなら、学生が教師自身の検索履歴を目にすることなく、問題をどのように分解し、証拠をどのように統合するかといった「優れた研究者の習慣」を教え込むことができるからです。研究者たちは、この初期訓練が学生の振る舞いを再形成し、ゼロから始めるよりもはるかに強力な基礎を作り出すことを発見しました。第二の段階では、最終的な答えを正解したことに対して報酬を与える手法を用いて、学生モデルを洗練させます。第一段階で非常に強力な基礎を築いているため、学生はより速く学習し、単独では決して到達できなかったレベルの性能に達することができるのです。

このアプローチの結果は驚くべきものです。7つの異なる質問回答ベンチマークでテストした際、この新手法により、わずか30億のパラメータを持つ比較的小さなモデルが、同サイズのすべての従来モデルを上回りました。複数の情報を結びつける必要がある複雑なタスクにおいて、その向上は特に劇的であり、ある主要なテストでは精度が13ポイント向上し、別のテストでは8ポイント向上しました。研究者たちは、この手法が単なる微調整ではなく、小さなモデルに検索ツールを用いた推論を教える方法における根本的な転換であることを実証しました。オフザシェルフ（既製品）の凍結された教師を使用して、リアルタイムの相互作用を通じて学生を導くことで、彼らは非常に効率的かつ極めて効果的なシステムを作り上げ、小さなモデルであっても、高価でタスク固有の訓練を必要とせずに、深く考え、賢く検索することを学べることを証明したのです。