💬 NLP

Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents

Co-Harness 是一个通过通过交替进行运行环境（harness）优化与模型参数微调的过程，来联合优化 LLM 智能体运行时环境与模型参数的框架，从而实现自主恢复、效率提升以及超越固定环境后训练限制的策略发现。

原作者： Zhengyu Chen, Teng Xiao, Huaisheng Zhu, Yige Yuan, Luan Zhang, Jingang Wang

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhengyu Chen, Teng Xiao, Huaisheng Zhu, Yige Yuan, Luan Zhang, Jingang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教导一位才华横溢但缺乏经验的学徒如何解决复杂的谜题。在人工智能的世界里，这个学徒就是一个“大语言模型”（LLM）——一个可以阅读、写作和推理的计算机程序。但 LLM 并非在真空中工作；它需要一个工作室。这个工作室被称为“护具”（Harness）。你可以将“护具”想象成学徒在工作时使用的工具集、说明书、安全护栏和记忆库。它包括诸如计算机如何与计算器对话、它如何记住之前的步骤，以及它如何知道何时寻求帮助等内容。

长期以来，科学家们将学徒和工作室视为两个独立的事物。他们会花费数年时间训练学徒变得更聪明，但会保持工作室完全不变，沿用那些由他们亲手设计的旧工具和旧指令。问题在于，如果工作室有一张摇晃的桌子或一张混乱的地图，即使是最聪明的学徒也会跌跌撞撞。他们失败的原因可能不是因为不够聪明，而是因为他们工作的环境出了问题。这篇论文提出了一个简单但充满力量的问题：如果我们不仅训练学徒，还同时修复工作室呢？如果我们能让学徒协助我们找出工具出了什么问题，然后我们再利用这些新且更好的工具来教导他们呢？

这正是 Co-Harness 背后的研究人员所发现的。他们创建了一个系统，让 AI 模型及其“工作室”（护具）共同进化，就像一对学习如何同步舞动的舞伴。该系统不仅仅是修复 AI 并寄希望于最好的结果，它还会观察 AI 每次任务失败的情况。它会询问：“这是因为 AI 感到困惑，还是因为它手里的工具坏了？”如果问题出在工具上——比如一条令人困惑的指令或一个缺失的安全挂钩——系统会自动修复那个工具。然后，它利用 AI 使用新工具取得的成功，来教导 AI 如何变得更加出色。

实验结果就像看着雪球滚成巨石一样惊人。研究人员在极具挑战性的数学和逻辑谜题上测试了这一系统。他们发现，通过让 AI 和其工具共同改进，系统变得显著更加聪明。在仅仅经过两轮这种“协同进化”后，AI 在困难数学测试中的准确率平均提升了 20 个百分点以上。在其中一个特定案例中，系统在没有任何人工帮助的情况下运行了超过 200 小时，自行修复了崩溃问题，提高了工作速度，甚至发明了一种结合多次尝试以获得正确答案的新策略。论文表明，这种“双环”方法——即同时修复环境和训练大脑——比以往保持环境静态的旧方法是构建智能体的一种更强大的方式。事实证明，想要造就一个天才，有时你必须先建造一个更好的游乐场。

技术摘要：Co-Harness：为 LLM Agent 实现编织（Harness）与模型权重的协同演进

1. 问题陈述

用于自动化 AI 研究的后训练（Post-training）智能体传统上涉及优化模型参数，但将运行时系统——即“编织”（Harness）——视为一个固定的、静态的脚手架。该编织包含了提示词（Prompts）、工具、技能、中间件、内存策略以及重试逻辑。目前的流水线存在一个根本性的不匹配：模型通过基于静态编织生成的轨迹进行监督微调（SFT）或强化学习（RL）进行更新，然而编织本身从未根据训练过程中观察到的失败进行优化。

这种不对称性导致了一个瓶颈：次优的脚手架（例如：模糊的提示词、错误的工具 Schema、缺失的重试钩子或内存溢出）阻碍了高质量训练轨迹的生成。因此，模型无法学习如何克服这些环境限制，而固定的编织成为了智能体性能的上限，尤其是在复杂的工具集成推理（TIR）场景中，单个 Schema 错误就可能导致整个多轮会话中断。

2. 方法论：Co-Harness 框架

作者提出了 Co-Harness，这是一个通过交替过程共同优化智能体编织 ( $\phi$ ) 和模型参数 ( $\theta$ ) 的双环框架。其核心假设是：更好的编织能产生更清晰、信息量更大的轨迹，从而训练出更强的模型；而更强的模型反过来又能暴露此前不可见的更高阶编织瓶颈，从而实现进一步的脚手架改进。

该框架在每一轮 $t$ 中执行两个交替的循环：

A. Co-Harness 循环（编织优化）

在此阶段，保持模型 $\theta_t$ 固定，同时对编织 $\phi_t$ 进行演进。

失败收集： 智能体在 $(\theta_t, \phi_t)$ 条件下执行任务，收集一组失败的轨迹 $F^-_t$ 。
HarnessCritic 分析： 一个基于 LLM 的组件——HarnessCritic ( $C$ )——会对这些失败进行分析。它将每个失败归因于编织配置中的结构化根因（例如：提示词歧义、工具 Schema 错误、缺失技能、中间件不匹配或内存溢出）。
差异生成与验证： HarnessCritic 提出对编织进行局部修补（差异/diff）。这些补丁通过运行“试运行”（rollout）测试进行验证，以确保它们在改善目标失败模式的同时，不会导致已持有行为的退化。
注册表更新： 经过验证的补丁被提交至版本化的编织注册表中，从而将活跃配置更新为 $\phi^*_t$ 。

B. 模型对齐循环（模型优化）

在此阶段，保持演进后的编织 $\phi^*_t$ 固定，同时更新模型。

高质量轨迹收集： 当前模型 $\theta_t$ 在改进后的编织 $\phi^*_t$ 下运行，以生成新的高质量轨迹数据集 $D_t$ 。
监督微调 (SFT)： 模型在 $D_t$ 上进行微调，以内化由改进后的脚手架所启发的行为，从而得到更新后的模型 $\theta_{t+1}$ 。
迭代： 新模型 $\theta_{t+1}$ 和演进后的编织 $\phi^*_t$ 成为下一轮的起点，届时更强的模型可能会揭示出新的、更复杂的编织局限性。

失败归因分类法

HarnessCritic 将失败分为五个可操作的编织维度和一个弃权标签：

提示词歧义 ( $P$ )： 指令说明不足或目标冲突。
工具 Schema 错误 ( $T$ )： 无效的工具调用、错误的参数 Schema 或后端不匹配。
技能缺失 ( $S$ )： 缺乏可重用的例程或分解原语。
中间件不匹配 ($Mid$)： 存在缺陷的循环协议、钩子行为或上下文管理逻辑。
内存溢出 ( $M$ )： 持久状态溢出、陈旧内存或检索失败。
智能体错误： 失败是由模型自身的推理能力而非编织引起的案例。

3. 核心贡献

联合优化公式化： 本文将智能体后训练形式化为一个针对模型权重和运行时编织的联合优化问题，超越了将提示词和工具视为固定基础设施的范式。
HarnessCritic： 引入了一种基于失败驱动的过程，能够对错误进行结构化归因，并提出经过验证的局部差异（diff）用于修复。
复合增益机制： 证明了交替进行编织演进和模型对齐可以创造一个正反馈循环：脚手架的改进带来了更好的训练数据，进而产生了能够利用更复杂脚手架的更强模型。

4. 实验结果

该框架在数学基准测试（AIME 2024, AIME 2025, HMMT 2025）上，针对两种模型规模（Qwen3-8B 和 Qwen3-32B）进行了工具集成推理（TIR）任务的评估。

性能提升： 与基准线（仅对编织进行一次演进而不进行模型 SFT）相比，两轮 Co-Harness 协同演进在各基准测试和模型规模上平均实现了 +20.4 个百分点 (pp) 的准确率提升。
- 在难度最高的基准测试（HMMT 2025）中，Qwen3-32B 模型观察到了最大的增益，提升了 +27.2 pp。
- 该系统比精心设计的静态编织配置平均高出 +24.7 pp。
自主案例研究： 在 AIME 2024 上进行的 200+ 小时自主运行中，系统：
- 从初始系统崩溃（vllm KV cache 错误）中恢复。
- 通过全局批处理推理，将推理效率提高了 8.7 倍（将墙钟时间从 3.78 小时缩短至 1.11 小时）。
- 发现了一种集成策略（对多样化种子进行多数投票），在时间预算内实现了最佳准确率（63.3%），且全程无需人工干预。
鲁棒性： 系统能够成功检测并回滚退化行为（例如：与模型内部推理相冲突的特定领域提示词），利用其版本控制的注册表进行操作。

5. 意义与主张

论文认为 Co-Harness 解决了当前智能体开发中的一个关键局限：模型训练与其生成训练数据的环境之间的脱节。通过将编织视为一个可学习的变量而非静态脚手架，Co-Harness 实现了复合自我改进。

作者主张，这种方法实现了“正反馈螺旋”：

更好的编织产生了更清晰的工具使用和更少的避免性崩溃。
这些更清晰的轨迹训练出了更强的模型。
更强的模型可以利用此前无法使用的更丰富、更复杂的编织配置。

这与以往的工作形成对比，以往工作要么针对固定编织优化模型（标准 SFT/RL），要么针对固定模型优化编织（推理时搜索）。Co-Harness 被呈现为第一个对两者进行协同演进的框架，表明脚手架与模型权重之间的相互依赖性是超越固定编织后训练、提升智能体能力的主要维度。

作者注明的局限性： 该方法需要一个能力出众的 Critic LLM、足够的失败轨迹量用于冷启动，以及进行多轮 SFT 所需的大量计算资源。此外，对于需要复杂反事实推理的失败模式，归因准确度可能会下降，且编织的结构性重构仍需人类负责。