🤖 AI

Harness-R1: Learning to Edit Executable Runtime Harnesses from Agent Failure Trajectories

Harness-R1 引入了一种新颖的方法，该方法利用在线强化学习来训练一个专门的“束缚工程师”（harness engineer），从而从智能体失败的轨迹中自动生成可执行的运行时补丁，在无需更新目标智能体模型权重的情况下，显著提高了多个基准测试的任务成功率。

原作者： Shuai Shao, Kangning Zhang, Qingyao Li, Shijian Wang, Hao Wang, Wenxiang Jiao, Yuan Lu, Yi Guo, Weiwen Liu, Weinan Zhang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuai Shao, Kangning Zhang, Qingyao Li, Shijian Wang, Hao Wang, Wenxiang Jiao, Yuan Lu, Yi Guo, Weiwen Liu, Weinan Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个聪明绝顶、超级智能的机器人助手。你给它布置了一项任务，比如“寻找一件价格在20美元以下的完美红衬衫”，然后它就开始工作了。但有时，机器人会感到困惑。也许它点错了按钮，或者忘记了自己在找什么，又或者陷入了一个不断重复购买同一件物品的死循环。在人工智能的世界里，这个机器人被称为“智能体”（agent），而它那些混乱的思想、行动和错误留下的痕迹，被称为“轨迹”（trajectory）。

通常情况下，当机器人犯错时，唯一的修复方法就是回到原点，重新训练它的整个大脑。这需要耗费大量的时间和精力。但还有另一种方法：与其改变机器人的大脑，你不如改变它穿戴的“护具”（harness）。把护具想象成机器人的安全装备、它的检查清单以及它的沟通指南，它集这些功能于一身。它是告诉机器人如何与世界交流、如何检查自己的工作以及在跌倒时如何恢复的那些代码。研究人员提出的核心问题是：我们能否教会机器人根据过去的失败来修复自己的护具，而不需要每次都重新训练它的大脑？

这正是论文《Harness-R1》所探讨的内容。研究人员构建了一个系统，其中一个特殊的“工程师”AI 通过学习机器人的过往错误，来学习如何重写机器人的护具。其运作方式如下：首先，他们让一个标准的机器人（“目标”机器人）尝试解决任务并经历失败。然后，工程师 AI 会观察这些失败的故事，并编写一套新的指令——即一个“补丁”——来修复护具。至关重要的一点是，他们不仅仅是凭空猜测补丁是否有效；他们实际上是将补丁套在机器人身上，并让它再次尝试这些任务。如果机器人的成功率提高了，工程师就会获得奖励并学会编写更好的补丁。如果补丁让情况变得更糟，工程师则会学到不要再这样做。

实验结果非常酷。当他们在三种具有挑战性的游戏（在线购物、文本驱动的房屋导航和数据库管理）上进行测试时，标准机器人的成功率仅为 44.3% 左右。在 Harness-R1 工程师学会修复其护具后，成功率跃升至 53.6%。仅仅通过调整护具而非大脑，就实现了 9.3 个百分点的提升。更棒的是，他们在一个已经经过更高级训练、变得更聪明的机器人身上进行了测试，工程师仍然成功地将其性能又提升了 5.0 个百分点。

该论文还表明，这不仅仅是针对某一个特定机器人的偶然现象。他们训练出的工程师可以观察一个它从未见过的全新、不同的机器人，研究该机器人的失败之处，并为这个新机器人编写定制化的修复方案，从而帮助它取得成功。这表明，学习编辑“护具”是一种可以传授给 AI 的技能，它能让 AI 与它所帮助的机器人共同进化，使它们变得更聪明、更可靠，而无需重新训练它们的核心大脑。

技术摘要：Harness-R1

问题陈述

部署在动态环境中的大语言模型（LLM）智能体（Agent）会积累包含成功经验和系统性失败（例如：工具误用、状态丢失、协议违规）的交互轨迹。虽然目前改进智能体的方法主要集中在通过微调或强化学习来更新模型的权重，但“智能体吊架”（Agent Harness）——即用于构建上下文、中介工具、验证动作并管理恢复的可执行运行时代码——通常是静态的。

修改该吊架至关重要，因为相同的模型权重在不同的吊架配置下会产生截然不同的能力。然而，直接修改吊架是不可靠的。固定的规则（如 Self-Refine）往往会导致性能下降，而提示大型前沿模型去编辑吊架则会导致增益不稳定，因为这些模型优化的是文本上的合理性，而非经过验证的任务成功率。核心挑战在于开发一种能够根据观察到的智能体失败情况，学习如何编辑现有可执行运行时的的方法，确保编辑过程是由实际性能提升而非理论推理来验证的。

方法论：Harness-R1

Harness-R1 引入了一种训练范式，将吊架编辑视为一个专门的“吊架工程师”（Harness Engineer）模型的在线强化学习（RL）问题，同时保持目标智能体冻结。该系统基于“失败—编辑—重新运行”的循环进行工作：

1. 问题形式化

冻结目标： 目标智能体 $A$ （模型 + 基础运行时）保持固定。
失败数据包（Failure Packets）： 运行一批任务 $B$ ，并通过确定性提取器将失败的片段编译成包含任务约束、动作-观察摘录和结果的“失败数据包” ( $s_B$ )。
工程师 ( $H_\theta$ )： 一个专门的 9B 模型充当编辑器。它读取失败数据包并生成一个可执行的覆盖层（补丁） $P$ 。
可执行钩子（Executable Hooks）： 补丁 $P$ $P$ 在四个特定点封装智能体的生命周期，而不改变模型权重：
1. 回合初始化： 设置上下文和状态。
2. 决策前： 通过引导/约束增强上下文。
3. 动作前： 验证、重写或否决提议的动作。
4. 反馈后： 检查观察结果并触发恢复。
奖励信号： 带有补丁的目标智能体重新运行相同的任务批次。奖励是补丁运行与未加补丁运行之间的性能差异 ( $\Delta_B$ )。这创建了一个传递性的、针对同一批次的客观目标，其中奖励是不可微的，且仅在执行后才可观测。

2. 训练流水线

Harness-R1 采用两阶段训练过程：

冷启动监督微调 (SFT)： 一个强大的教师模型根据失败数据包提出编辑响应。这些响应针对冻结目标进行验证；只有可执行且非退化的补丁会被保留，用于构建初始化工程师策略的数据集。
基于结果的组相对策略优化 (GRPO)：
- 工程师为失败数据包采样 $K$ 个候选补丁。
- 每个候选补丁经过验证并安装；冻结的目标重新运行任务批次。
- 奖励在 $K$ 个候选组内进行归一化以计算优势（Advantages）。
- 更新工程师的参数以最大化 token 平均裁剪代理目标，从而优化补丁的实际效用。

核心贡献

形式化： 本文将失败驱动的、全生命周期的吊架编辑形式化为专门工程师的在线 RL 问题，这与模型权重更新截然不同。
Harness-R1 框架： 它提出了一个结合冷启动 SFT 与基于结果的 GRPO 的系统。与以往使用编辑器进行程序搜索或候选选择的工作不同，Harness-R1 直接根据其补丁在冻结目标上的执行结果来更新编辑器的策略。
协同进化： 该方法证明了吊架工程师与目标智能体可以协同进化。在 vanilla（原始）目标上训练的工程师可以改进它，而经过重新训练的工程师可以进一步改进已经过直接微调的目标。

实验结果

该方法在三个交互式基准测试上进行了评估：WebShop（网页导航）、ALFWorld（具身文本任务）和 DBBench（数据库查询）。

性能增益（Vanilla 目标）： 对于冻结的 Qwen3.5-9B 智能体，Harness-R1 将平均成功率从 44.3% 提高到 53.6%（+9.3 个百分点）。这优于基于提示的策略（例如，Self-Refine 会导致性能下降）以及被提示作为编辑器的前沿模型（例如，GLM-5.2 为 48.8%）。
性能增益（微调后的目标）： 在对目标智能体进行直接微调（使基准提升至 59.2%）后，针对特定目标的 Harness-R1 工程师进一步将成功率提升至 64.2%（+5.0 个百分点），证明了即使在模型权重更新后，吊架优化仍然有效。
泛化能力：
- 跨模型： 学习到的编辑策略迁移到了 20 个未见的候选目标模型（涵盖 Llama、Gemma 和 Qwen 系列，参数量从 1B 到 70B 不等），并在无需针对每个目标进行重调的情况下，在所有目标上均取得了正向收益。
- 跨任务： 使用稀疏的失败证据（10 个失败案例），工程师生成的补丁使留出任务（held-out tasks）的性能提升了 +8.9 个百分点，显著优于在前沿模型在留出数据上表现出负面或不稳定结果的情况。
消融实验： 移除特定的生命周期钩子（例如，动作前中介或反馈后恢复）会降低性能，证实了增益分布在智能体的整个生命周期中，并依赖于特定的环境。

重要性与主张

本文认为吊架构建是一种可学习的能力，它可以补充传统的权重更新。其主要意义在于将优化目标从智能体的内部决策（权重）转向外部的运行时机制（吊架）。

可靠性胜过合理性： 作者认为，提示大型模型去编辑代码是不可靠的，因为这优化的是“看起来正确”。Harness-R1 从实际结果中学习，确保编辑确实是有益的。
适应性： 不同于应用统一规则的固定策略（如 Self-Refine），Harness-R1 生成的编辑是以特定失败模式为条件的，能够适应目标智能体独特的弱点。
协同进化： 结果表明，通过不仅是重新训练模型，而是通过进化其周围的运行时环境，可以实现智能体的持续改进。论文总结道，这种方法允许工程师与目标进行协同进化，为部署后的智能体改进提供了一条稳健的路径。