技术摘要：混合开放式三方演化 (HOTE)

问题陈述

深度研究智能体对于旨在迈向通用人工智能（AGI）的现实世界应用正变得日益重要，其任务是在开放式、长周期环境中自主检索并整合信息。然而，现有的深度研究系统面临两个主要局限性：

1. 静态能力： 现有的智能体依赖于固定的训练集和策略，限制了其参数化研究能力。
2. 验证差距： 虽然通过自我博弈实现的智能体演化在具有可验证标准答案的领域（如数学、编程）已展现出潜力，但在缺乏确定性答案的开放式研究任务（如长篇报告生成）中却难以奏效。以往弥补这一差距的尝试（如 SPICE, Dr. Zero）仍局限于具有可验证结果的任务，或未能解决开放式环境中的特定挑战。

目前迫切需要一种能够专门针对开放式研究任务实现自主智能体演化的框架，且无需依赖标准的标准答案（ground-truth）。

方法论：混合开放式三方演化 (HOTE)

作者提出了 HOTE，一个旨在促进三个不同模块——提议者 (Proposer)、求解器 (Solver) 和 评判者 (Judge) ——进行协作演化的框架。该系统利用混合模式强化学习 (RL) 和网络级知识来驱动自主提升。

核心组件

1. 求解器 ($\pi_{\theta_s}$):

   • 角色： 接收研究查询，生成计划，执行多轮信息寻求（使用搜索引擎等工具），并生成带有引用的长篇研究报告。
   • 演化： 使用群体相对策略优化 (GRPO) 进行优化。求解器的目标是使其输出符合评判者定义的报告要求准则。
   • 模式： 在工具使用（利用搜索工具）和无工具（依赖参数化知识）两种模式下运行。

2. 评判者 ($\pi_{\theta_j}$):

   • 角色： 动态生成并更新评估准则，以评估求解器的响应。它通过比较针对同一查询的多个响应，来识别其优势与劣势。
   • 机制： 评判者不依赖固定答案，而是根据一组准则 ($R_{s_0}$) 分配奖励（0 或 $\pm1$）。至关重要的是，评判者通过识别活跃准则（新的优势或常见的失败模式，如奖励作弊/reward hacking）和持久准则来演化其自身的准则集。
   • 元准则 (Meta-Rubrics)： 为了处理评估提议者时的复杂性，评判者将评估结果总结为“元准则”，以捕捉跨响应的共同模型弱点。

3. 提议者 ($\pi_{\theta_p}$):

   • 角色： 根据评判者识别出的弱点，生成具有挑战性且可学习的研究任务。它充当对手，旨在突破求解器的边界。
   • 演化： 同样通过 GRPO 进行优化。提议者的奖励基于其生成的任务在多大程度上有效地暴露了求解器的弱点（即求解器无法满足元准则的任务）。
   • 多样性： 框架采用“多样化提议”，即提议者基于以往任务和评估的各种组合来生成任务，以防止主题集中并确保数据多样性。

训练策略：双模混合训练

HOTE 引入了一种双模混合训练策略来平衡效率与能力：

• 混合数据： 每个训练批次由来自原始数据集的 50% 真实任务和由提议者生成的 50% 合成任务组成。
• 混合模式： 任务被随机分配到工具使用或无工具模式（50/50 分布）。
  • 原理： 仅在无工具模式下训练可以提升报告生成技术，但会导致对参数化知识的过度依赖。仅在工具使用模式下训练则会引入噪声。这种混合方法使模型能够在不使用工具的情况下学习报告生成，同时精通工具的使用，从而防止对其中任何一方的过度依赖。
• 效率： 框架从理论上证明，与纯工具使用策略相比，混合模式具有更低的预期最大生成时间。

核心贡献

1. 首个开放式演化框架： HOTE 是第一个专门为开放式环境和任务设计的深度研究演化框架，填补了深度研究与智能体演化之间的鸿士。
2. 三模块协同演化： 论文设计了一种协同演化策略，使提议者、求解器和评判者相互增强。评判者通过演化准则来防止奖励作弊，提议者确保任务难度保持在高水平，而求解器则提升响应质量。
3. 双模高效性： 引入的混合训练策略（混合工具使用与无工具模式）显著提高了训练效率和模型的鲁棒性，优于单模方法。

实验结果

作者在三个长篇深度研究基准测试上评估了 HOTE：HealthBench（医疗保健）、ResearchQA（科学文献综述）和 DeepResearchBench (DRB)（通用领域）。

• 性能： 使用 HOTE 训练的 8B 模型表现优于最强的开源 8-32B 模型（包括 Qwen3-32B, WebThinker-32B）以及最先进的深度研究训练方法（如 DR Tulu-8B-RL, GRPO, GSPO）。
• 效率： HOTE 以更低的时间开销实现了这些结果。具体而言，与 DR Tulu 等基线相比，混合模式减少了训练过程中所需的总工具使用操作次数。
• 消融实验：
  • 移除三个模块中的任何一个（提议者、求解器或评判者演化）都会导致性能下降，证实了它们不可或缺性。
  • 使用 HOTE 训练的模型在 1500 个训练步长内表现出持续上升的性能趋势，而基线模型则较早收敛。
  • 混合模式成功促进了工具使用和无工具能力的协作进步，避免了在仅使用无工具模式训练的模型中常见的工具使用任务性能下降问题。
• 泛化能力： 该框架在不同的基础模型（Qwen3-8B 和 Llama3.1-8B）上均展示了有效性。

意义与主张

论文声称，HOTE 代表了迈向自主演化智能体的重要一步，这些智能体能够处理开放式任务，而无需人工干预或标准答案。通过成功整合提议者-求解器-评判者循环与混合训练，HOTE 解决了此前将智能体演化局限于确定性领域的“验证差距”。

作者将这项工作定位为迈向 AGI 的举措，通过使智能体能够自主与环境交互、获取经验并在复杂的现实世界研究场景中演化其能力。他们承认了局限性，指出随着训练推进，演化速度会放缓，且上限仍可能受限于模型规模，但他们断言，通过演化超越初始训练数据的限制本身就具有内在价值。未来的工作建议探索扩展到更大的混合专家模型 (MoE) 以及处理现实世界搜索工具中的噪声。