🤖 AI

Harness-1: Reinforcement Learning for Search Agents with State-Externalizing Harnesses

Harness-1 是一个基于 20B 参数规模的强化学习搜索智能体，它将常规的状态管理卸载到外部有状态的吊架（harness）中，同时保留语义决策能力，从而实现了比现有开源及前沿模型更优越的检索性能和在多种基准测试中的强泛化能力。

原作者： Pengcheng Jiang, Zhiyi Shi, Kelly Hong, Xueqiang Xu, Jiashuo Sun, Jimeng Sun, Hammad Bashir, Jiawei Han

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Pengcheng Jiang, Zhiyi Shi, Kelly Hong, Xueqiang Xu, Jiashuo Sun, Jimeng Sun, Hammad Bashir, Jiawei Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图破解一个巨大且复杂的谜团。你有一位才华横溢的侦探（AI 模型），但他们有一个坏习惯：他们会忘记刚刚读过的所有内容，会被过多的文书工作搞混，并且经常在重复阅读同样的线索上浪费时间。

这篇论文介绍了一个名为 Harness-1 的新系统，它通过给这位侦探配备一名组织极其严密的助手（即“Harness”，即“束/挂架”）来解决这个问题。

以下是其运作方式的拆解，使用了简单的类比：

1. 问题所在：“才华横溢但健忘”的侦探

通常，当 AI 尝试搜索答案时，它的行为就像一个必须把所有事情都记在脑子里的侦探。它必须记住：

哪些文档已经读过了。
哪些是有用的，哪些是垃圾。
还缺少哪些事实。
还剩多少时间。

论文指出，强迫 AI 做所有这些“簿记”（整理文件）的工作是对其脑力的浪费。这就像要求一位天才数学家同时还要兼任档案管理员。他们会感到疲劳，出错，并停止有效地进行搜索。

2. 解决方案：“有状态的 Harness”（超级助手）

Harness-1 将工作分成了两个截然不同的角色：

策略（Policy，即侦探）： 这是 AI 模型（一个 200 亿参数的模型）。它的唯一任务是做出明智的决策：“下一步我该搜什么？”“这份文件重要吗？”“我有足够的证据停止了吗？”
Harness（助手）： 这是一个围绕着 AI 运行的专门软件程序。它负责处理所有枯燥、机械的工作。它会完美地记录发现的每一份文档，为它们贴上重要性标签（如“极高”或“低”），并将不同文档之间的联系连接起来，并准确记住哪些事实已被验证。

类比： 把 AI 想象成一名厨师，把 Harness 想象成一名副厨。

厨师（AI）决定：“我需要切洋葱并检查酱汁是否准备好了。”
副厨（Harness）实际操作：“这是切好的洋葱，我已经把好的番茄从坏的里面挑出来了，并且我记录下了我们缺盐了。”
厨师不需要担心洋葱在哪儿，也不需要担心有多少个番茄或者篮子里还有多少，他们只需要专注于烹饪。

3. 他们如何共同学习（强化学习）

团队使用一种称为强化学习的方法来训练这个系统。

训练： 他们让 AI 进行数千次“侦探”游戏。每当 AI 做出一个正确的动作（找到正确的线索、很好地组织文件）时，它就会获得奖励。
转折点： 由于 Harness 处理了混乱的细节，AI 学习得更快了。它不必把精力浪费在记忆文件放在哪里，它只需要学习哪些文件才是重要的。
结果： AI 学会了成为一名大师级的战略家。它学会了先进行广泛搜索，然后缩小范围，验证事实，并在获得答案时精准地停止。

4. 助手的“神奇”功能

Harness 不仅仅是一个笔记本；它拥有让侦探变得更聪明的特殊工具：

“证据图谱”： 想象一个用红线连接线索的侦探调查板。Harness 会自动绘制这些线条。如果文档 A 提到了“布鲁塞尔”，而文档 B 也提到了“布鲁塞尔”，Harness 就会将它们连接起来。这有助于 AI 看到大局，而无需重新阅读每一个字。
自动播种（Auto-Seeding）： 当搜索开始时，Harness 不会让侦探对着空荡荡的办公桌发呆。它会立即将前 8 份最可能的文档放在桌面上作为“起点”。这可以防止 AI 在开始阶段陷入停滞。
压缩： 如果搜索返回了一份 50 页的报告，Harness 会在展示给 AI 之前将其总结为最重要的 4 句话。这可以防止 AI 的“工作记忆”被堵塞。

5. 结果：小模型，大胜利

论文在八个不同的困难搜索挑战（如寻找金融数据、专利信息和多步常识问题）上测试了 Harness-1。

惊喜之处： 一个相对较小的 AI 模型（200 亿参数）在使用这种 Harness 的情况下，表现优于许多规模更大、更昂贵的“前沿”模型（其中一些拥有 1200 亿以上参数）且没有配备这种特殊助手。
泛化能力： 即使在测试 AI 处理其在训练期间从未见过的课题（例如从金融问题转向历史问题）时，它仍然表现得非常出色。这证明了 AI 学会的是搜索的技能，而不仅仅是记忆答案。

总结

Harness-1 是一种构建 AI 搜索智能体的新方法。它不再要求 AI 做所有事情（思考、搜索和组织），而是为它配备了一个强大的、有状态的助手来处理组织工作。这使得一个较小的、更便宜的 AI 能够通过专注于做出正确的决策而非记住错误的细节，从而超越庞大且昂贵的模型。

论文的观点： 通过将“簿记”工作交给环境（Harness），AI 学习搜索的效率更高，能更好地泛化到新话题，并且在实现更高准确度的同时，使用的是更小的模型。

技术摘要：Harness-1

问题陈述

搜索智能体（通常实现为与检索工具交互的语言模型）往往被训练在不断增长的转录文本上运行。在这种设定下，策略必须同时管理语义搜索决策（例如：查询什么、阅读哪些文档）和常规的状态管理（例如：记住已见过的文档、追踪约束条件、维护一组精选的证据）。作者认为，强迫策略从原始的、仅追加式的观测中重建有用的状态是不高效的，并且会导致强化学习（RL）的条件恶化。随着转录内容的增长，硬性查询可能会产生几乎完全相同的空集奖励，工具词表可能会塌缩为重复的搜索调用，且搜索失败与策展失败之间的区别也会变得模糊。

方法论：Harness-1

本文介绍了 Harness-1，这是一个在有状态搜索吊架（stateful search harness）内通过强化学习训练的 20B 参数规模搜索智能体。其核心原则是有状态的认知卸载（stateful cognitive offloading）：环境（吊架）负责维护可恢复的状态，而策略仅保留语义决策。

有状态吊架

该吊架维护着一个分为两层的 WORKINGMEMORY（工作记忆）：

内层（面向提示词层）： 一个包含搜索状态的紧凑渲染摘要，包括：
- 候选池 ( $P_t$ )： 压缩并去重后的搜索结果。
- 精选集 ( $C_t$ ) 与重要性标签 ( $I_t$ )： 一个受限的集合（最多 30 个文档），包含选定的文档及其标签（非常高、高、中等、低）。
- 证据图 ( $G_t$ )： 基于实体、日期和桥接文档的跨文档链接摘要。
- 验证记录 ( $V_t$ )： 针对源文本检查过的断言日志。
- 搜索历史 ( $H_t$ ) 与预算标记 ( $B_t$ )： 进度和上下文限制的摘要。
外层（全文层）： 一个检索到的文本块全量存储库 ( $D_t$ )，可通过 review_docs 进行访问，无需发起新的语料库调用。

策略动作

策略通过输出结构化动作来编辑此状态，而非单纯扩展转录文本：

检索： fan_out_search（扇出搜索）、search_corpus（搜索语料库）、grep_corpus（正则搜索语料库）、read_document（阅读文档）。
策展： curate（添加/移除文档并分配重要性标签）。
验证： verify（将策略编写的断言与存储的文档进行核对）。
终止： end_search（结束搜索）。

训练流水线

监督微调 (SFT)： 一个教师智能体（GPT-5.4）在完整的吊架内运行以生成轨迹。策略学习接口机制：工具调用格式、从搜索到策展的节奏、重要性标签分配以及验证规范。
强化学习 (RL)： 策略通过在完整的搜索回合内使用 CISPO 进行在策略（on-policy）训练。奖励函数结合了：
- 集合质量： 最终精选集的加权召回率。
- 轨迹覆盖度： 为在整个候选池中发现证据的行为提供信用。
- 答案证据： 为包含能支撑答案的文档提供奖励，并对遗漏此类文档的行为进行惩罚。
- 工具多样性： 为使用多样化工具集提供奖励，以防止塌缩为重复性搜索。
- 轮次惩罚： 以鼓励效率。

关键设计要求

作者确定了使有状态搜索吊架具备可训练性的三个要求：

热启动策展（Warm-started Curation）： 自动将首次成功搜索中的前排结果注入精选集，以提供初始学习信号。
紧凑的派生状态渲染： 通过重要性标签、证据图和验证记录来总结状态，以避免上下文膨胀。
保持多样性的激励机制： 奖励结构应鼓励“搜索、策展、评审、验证”的循环节奏。

核心贡献

形式化定义： 本文将吊架设计框架化为检索智能体 RL 的一个核心问题，提出了通过“有状态的认知卸载”将语义决策与簿记工作分离。
Harness-1 系统： 一个拥有重要性标签精选集、紧凑证据图、验证记录和预算感知上下文渲染功能的 20B 搜索智能体。
可训练性要求： 明确了热启动、紧凑渲染和多样性激励是有效进行有状态搜索 RL 的必要条件。
实证验证： 证明了有状态吊架在八个多样化基准测试中提升了检索质量和下游答案准确性。

结果

Harness-1 在涵盖 Web、金融、专利和多跳问答（如 BrowseComp+、SEC、HotpotQA）的八个基准测试中进行了评估。

性能表现： Harness-1 实现了平均 0.730 的精选召回率，比排名第二的最强开源搜索子智能体（Tongyi DeepResearch 30B）高出 11.4 个百分点。它在平均精选召回率方面足以与规模大得多的前沿模型（如 GPT-5.4、Opus-4.6）竞争，并超越了其中若干模型。
迁移泛化能力： 该模型在留出测试基准（LongSealQA, Seal0QA, FRAMES, HotpotQA）上表现出特别强劲的增益，这些基准并未用于 SFT 或 RL 训练。在这些留出任务上的平均增益（较 Context-1 高出 +17.0 个百分点）是其在源家族基准上增益（+7.9 个百分点）的 2.2 倍，这表明在显式状态上学习的操作比特定领域的模式具有更好的泛化性。
消融实验： 禁用单个吊架机制（如重要性标签、证据图、自动种子注入）会导致最终答案召回率显著下降（最高达 -7.9%）。同时禁用所有机制会导致召回率下降 12.2%，证实了性能提升源于吊架设计而非仅仅是模型本身的固有能力。
训练动态： 实验表明，如果没有工具多样性奖励，策略会塌缩为一种重搜索、低策展质量的策略。多样性奖励对于稳定工具使用并提高最终召回率至关重要。

意义与主张

本文声称，有状态吊架设计是检索智能体 RL 中一个关键且此前未被充分探索的维度。通过将机械性的簿记工作卸载给环境，策略可以专注于高层语义决策，从而实现更稳定的训练和更好的泛化。

作者断言，Harness-1 证明了一个设计良好的有状态接口可以让较小的模型（20B）在复杂搜索任务中胜过更大的开源模型，并能与前沿模型抗衡。结果表明，“接口本身”是策略学习使用的核心部分，而不仅仅是一个工具包装器。这项工作指向了一个未来：检索智能体的定义将取决于可训练策略与有状态认知卸载吊架之间的协同作用。

文章最后宣布发布模型权重、吊架代码、数据生成流水线及 RL 配方，以促进该方向的进一步研究。