技術要約：ハイブリッド・オープンエンド・トライ・エボリューション（HOTE）

問題提起

ディープリサーチ・エージェントは、AGI（人工汎用知能）に向けた実世界のアプリケーションにおいてますます重要性を増しており、オープンエンドかつ長期間のサイクル環境において、情報を自律的に取得・統合する任務を担っています。しかし、現在のディープリサーチ・システムは主に2つの制限に直面しています。

1. 静的な能力： 既存のエージェントは固定された学習セットと戦略に依存しており、そのパラメトリックなリサーチ能力には限界があります。
2. 検証のギャップ： 自己対戦（self-play）によるエージェントの進化は、決定論的な正解が存在する領域（数学やコーディングなど）では有望な成果を示していますが、決定論的な回答が存在しないオープンエンドなリサーチタスク（長文レポートの生成など）においては困難に直面しています。このギャップを埋めようとする過去の試み（SPICEやDr. Zeroなど）は、検証可能な結果を持つタスクに限定されているか、あるいはオープンエンドな環境特有の課題に対処できていません。

決定論的な正解に頼ることなく、オープンエンドなリサーチタスクのためにエージェントの自律的な進化を可能にするフレームワークが切実に求められています。

手法：ハイブリッド・オープンエンド・トライ・エボリューション（HOTE）

著者らは、プロポーザー（Proposer）、ソルバー（Solver）、ジャッジ（Judge）という3つの異なるモジュールの協調的な進化を促進するために設計されたフレームワークであるHOTEを提案しています。このシステムは、ハイブリッドモードの強化学習（RL）とウェブ規模の知識を活用して、自律的な向上を実現します。

コア・コンポーネント

1. ソルバー ($\pi_{\theta_s}$):

   • 役割： リサーチクエリを受け取り、計画を立て、マルチターンでの情報探索（検索エンジンなどのツールの使用）を実行し、参照文献付きの長文リサーチレポートを作成します。
   • 進化： GRPO（Group Relative Policy Optimization）を用いて最適化されます。ソルバーは、ジャッジが定義したルーブリック（評価基準）に従って、自身の出力をリサーチレポートの要件に適合させることを目指します。
   • モード： ツール使用モード（検索ツールの活用）とツールなしモード（パラメトリックな知識への依存）の両方で動作します。

2. ジャッジ ($\pi_{\theta_j}$):

   • 役割： ソルバーの応答を評価するために、評価ルーブリックを動的に生成および更新します。同一のクエリに対する複数の応答を比較し、強みと弱みを特定します。
   • メカニズム： 固定された正解に依存するのではなく、ジャッジは一連のルーブリック（$R_{s_0}$）に基づいて報酬（0または$\pm1$）を割り当てます。極めて重要な点として、ジャッジはアクティブなルーブリック（新たな強みや報酬ハッキングのような共通の失敗モード）および持続的なルーブリックを特定することによって、ルーブリック集合自体を進化させます。
   • メタ・ルーブリック： プロポーザーの評価に伴う複雑さに対処するため、ジャッジは応答全体にわたる共通のモデルの弱点を捉える「メタ・ルーブリック」へと評価を要約します。

3. プロポーザー ($\pi_{\theta_p}$):

   • 役割： ジャッジによって特定された弱点に基づき、困難でありながらも学習可能なリサーチタスクを生成します。これは、ソルバーの限界を押し広げるための敵対者として機能します。
   • 進化： これもまたGRPOによって最適化されます。プロポーザーの報酬は、生成されたタスクがいかに効果的にソルバーの弱点を露呈させたか（すなわち、ソルバーがメタ・ルーブリックを満たせなかったタスクであるか）に基づいて計算されます。
   • 多様性： フレームワークは「多様な提案（Diverse Proposing）」を採用しています。これは、トピックの集中を防ぎデータの多様性を確保するために、過去のタスクと評価の様々な組み合わせに基づいてタスクを生成する手法です。

学習戦略：デュアルモード・ハイブリッド学習

HOTEは、効率性と能力のバランスを取るためにデュアルモード・ハイブリッド学習戦略を導入しています。

• ハイブリッド・データ： 各学習バッチは、元のデータセットからの実タスク50%と、プロポーザーによって生成された合成タスク50%で構成されます。
• ハイブリッド・モード： タスクは、ツール使用モードまたはツールなしモードのいずれかにランダムに割り当てられます（50/50の分割）。
  • 根拠： ツールなしモードのみで学習するとレポート生成技術は向上しますが、パラメトリックな知識への過度な依存を招きます。逆にツール使用モードのみで学習すると、ノイズが混入します。このハイブリッド・アプローチにより、モデルはツールを使用せずにレポート生成を学ぶと同時に、ツールの使用法も習得でき、どちらか一方への過度な依存を防ぐことができます。
• 効率性： 本フレームワークは、ハイブリッドモードが純粋なツール使用戦略と比較して、期待される最大生成時間が低くなることを理論的に証明しています。

主な貢献

1. 初のオープンエンド進化フレームワーク： HOTEは、オープンエンドな環境およびタスク向けに明示的に設計された、初のディープリサーチ進化フレームワークであり、ディープリサーチとエージェント進化の間のギャップを埋めるものです。
2. 三モジュール共進化： プロポーザー、ソルバー、ジャッジが互いに強化し合う共進化戦略を設計しました。ジャッジはルーブリックを進化させることで報酬ハッキングを防ぎ、プロポーザーはタスクの難易度が高く保たれることを保証し、ソルバーは応答の質を向上させます。
3. デュアルモードの効率性： ツール使用モードとツールなしモードを混合するハイブリッド学習戦略の導入により、単一モードのアプローチと比較して、学習効率とモデルの堅牢性が大幅に向上しました。

実験結果

著者らは、3つの長文ディープリサーチ・ベンチマーク（ヘルスケアのHealthBench、科学文献合成のResearchQA、一般ドメインのDeepResearchBench (DRB)）を用いてHOTEを評価しました。

• パフォーマンス： HOTEで学習された8Bモデルは、強力なオープンソースの8-32Bモデル（Qwen3-32B、WebThinker-32Bを含む）および最先端のディープリサーチ学習手法（DR Tulu-8B-RL、GRPO、GSPOなど）を上回る性能を示しました。
• 効率性： HOTEはこれらの結果をより少ない時間オーバーヘッドで達成しました。具体的には、ハイブリッドモードは、DR Tuluのようなベースラインと比較して、学習中の総ツール操作回数を削減しました。
• アブレーション研究：
  • 3つのモジュール（プロポーラー、ソルバー、またはジャッジの進化）のいずれかを削除すると、パフォーマンスの低下を招きました。これは、それらが不可欠であることを裏付けています。
  • HOTEで学習されたモデルは、1500ステップにわたって継続的なパフォーマンスの上昇傾向を示しましたが、ベースラインはより早く収束しました。
  • ハイブリッドモードは、ツール使用とツールなしの両方の能力において協調的な進歩を促進することに成功し、ツールなしモードのみで学習されたモデルで見られるような、ツール使用タスクにおけるパフォーマンス低下を回避しました。
• 汎化性能： フレームワークは、異なるベースモデル（Qwen3-8BおよびLlama3.1-8B）において有効性を示しました。

意義と主張

本論文は、HOTEが、標準的な正解や人間の介入なしに、オープンエンドなタスクを扱うことができる自律進化型エージェントへの重要な一歩であると主張しています。プロポーザー・ソルバー・ジャッジのループとハイブリッド学習を正常に統合することで、HOTEは、エージェントの進化を決定論的なドメインに限定していた「検証のギャップ」に対処しました。

著者らは、本研究を、エージェントが環境と自律的に相互作用し、経験を積み、複雑な実世界の研究シナリオにおいて能力を進化させることを可能にする、AGIへの動きとして位置づけています。また、進化が進むにつれて速度が鈍化することや、上限が依然としてモデルスケールによって制約を受ける可能性があるといった限界についても認めていますが、進化を通じて初期の学習データの限界を超えることは本質的に価値があるとしています。今後の展望として、より大規模なMixture-of-Experts (MoE) モデルへのスケーリングや、実世界の検索ツールにおけるノイズへの対処が挙げられています。