🤖 machine learning

DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution

DREvo 是一种新颖的护具自进化方法，它通过动态重新校准历史经验并提炼可操作的搜索方向，解决了现有方法的不稳定性问题，从而在有限的预算下，在推理和智能体基准测试中实现了卓越的性能和更平滑的进化轨迹。

原作者： Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个超级聪明的机器人如何解开一个谜题。你给了机器人一个大脑（大语言模型），但大脑需要一个身体和一套规则来实际开展工作。这个“身体与规则”的组合被称为护套（harness）。你可以把护套看作是机器人的操作系统：它决定了机器人如何查找信息、如何使用像计算器或代码编辑器这样的工具，以及如何记住自己刚刚做了什么。如果护套很混乱或令人困惑，即使是最聪明的大脑也会跌跌撞撞。

长期以来，构建一个好的护套就像是在手动调校一辆赛车。专家们必须猜测哪里出了问题，调整几根电线，进行测试，然后祈祷一切顺利。但最近，科学家们发现，机器人实际上可以帮助修复自己的身体。它们可以尝试一种改变，观察是否奏效，记住结果，然后再次尝试。这被称为自我进化（self-evolution）。其核心思想是，如果机器人能为它所有的尝试记录一份日记，它就能从错误中学习并随着时间的推移变得更好。但问题在于：仅仅拥有一个日记并不意味着机器人知道如何阅读它。有时候，昨天奏效的小技巧到了今天可能会变成一场灾难，因为机器人的处境发生了变化。这篇论文探讨的是：我们如何确保机器人能从历史中吸取正确的教训，而不是被过时的建议所误导？

问题所在：机器人混乱的日记

想象一下，你正在训练一只狗去捡球。你扔出球，狗跑过去，有时它接住了，有时它掉了。你在笔记本上记录下每一次尝试。现在，想象一下狗换了一个新项圈，或者风向变了，或者你把网球换成了吱吱作响的玩具。如果你只是看着笔记本说：“上次狗向左跑时掉了球，所以它应该总是向右跑”，那你可能就错了。那个旧的教训可能不再适用于新的情况。

这正是 AI 智能体（AI agents）面临的情况。研究人员发现，当机器人试图通过查看其整个尝试历史来改进自己的“护套”时，它们经常陷入循环。它们可能会尝试一种修复方案，发现失败了，再尝试另一种，又失败了，然后突然又回到了几周前失败的方法上。它们的表现像是在坐过山车一样忽高忽低，而不是平稳地爬坡。研究人员意识到，机器人主要面临两个问题：

“这还适用吗？”的问题： 机器人没有检查它的旧教训是否仍然有效。它把每一次过去的成功或失败都当作发生在此时此刻，尽管机器人的代码已经发生了变化。
“下一步该做什么？”的问题： 即使机器人记住了教训，它也不知道具体应该修复身体的哪个部分，或者应该如何修复。这就像是被告知“你掉了球”，却没有被告知“你需要抓紧你的手掌”。

解决方案：DREvo（聪明的图书管理员）

为了解决这个问题，作者创建了一种名为 DREvo 的新方法。你可以把 DREvo 想象成一位管理机器人日记的超级有序的图书管理员。DREvo 不仅仅是把一叠纸交给机器人，它还会组织信息，检查信息是否仍然相关，并给机器人一个清晰、具体的下一步指令。

DREvo 通过三个有趣步骤来实现这一点：

1. “标签生成器”（函数级证据锚定）
在旧的方法中，机器人的日记是一个巨大的、混乱的文本块。DREvo 将这个文本块切割成细小的、带有标签的碎片。它观察机器人做的每一次改变，并将其标记到特定的“函数”（比如某个特定的工具或记忆规则）上。这就像是将一本混乱的食谱拆解开，将每一种食材的变化精确地标注到它所属的步骤上。这样，当机器人想要学习时，它确切知道过去的教训是在谈论它身体的哪个部分。

2. “新鲜度检查员”（状态依赖的证据重新校准）
这是最重要的部分。在机器人使用旧教训之前，DREvo 会问两个问题：“这个教训仍然可靠吗？”以及“这个教训符合机器人现在的身体吗？”

可靠性： 这个教训在以前每次使用时都奏效吗，还是仅仅是一次幸运的猜测？
新鲜度： 机器人的代码是否仍与学习该教训时相似？如果机器人改变了它的“抓握方式”（其代码结构），那么关于抓握的旧教训可能就不再适用了。
DREvo 会给每个教训打分。如果一个教训很陈旧或者机器人变化太大，分数就会下降，机器人就会忽略它。如果教训很新鲜且可靠，分数就会保持在高位。

3. “教练的哨声”（基于角色的搜索意图提炼）
最后，DREvo 不仅仅是给机器人一份事实清单，它还会给它一个行动计划。基于高分的教训，DREvo 会为下一次尝试分配一个特定的“角色”：

利用（Exploit）： “这个技巧以前效果很好！再做一次！”
避免（Avoid）： “这个技巧上次导致了崩溃！不要再做了！”
重测（Retest）： “我们还不确定这个，让我们仔细尝试一下，看看现在是否奏效。”
探索（Explore）： “我们没有好的线索。让我们尝试一些全新的东西。”
这把机器人模糊的“我需要变得更好”的感觉，转化为了清晰、可操作的命令，例如：“使用‘利用’策略去修复记忆工具。”

研究发现

研究人员在五个不同的挑战上测试了 DREvo，涵盖了从解决化学谜题、诊断医学症状到修复计算机代码以及在虚拟终端中导航等任务。他们将 DREvo 与其他尝试自我进化的机器人以及具有人类设计护套的机器人进行了对比。

结果非常令人振奋。在有限的尝试预算下（意味着他们没有让机器人练习到无穷尽），DREvo 在每一个类别中都找到了最好的护套。

在医学诊断任务中，DREvo 达到了 89.2% 的准确率，比第二名高出 2.4 个百分点。
在法律推理方面，它达到了 49.0%，比排名第二的方法高出 4.0 个百分点。
在化学反应预测中，它得分 25.0%，比亚军高出 9.0 个百分点。
对于智能体任务（如修复代码或使用计算机终端），与其它方法相比，DREvo 在推理任务上的性能平均提升了 16.2%，在智能体任务上提升了 13.8%。

或许最重要的一点是，研究人员注意到 DREvo 的进步过程是非常平滑的。虽然其他机器人的得分会剧烈波动（出现退步和恢复），但 DREvo 的准确率是稳步上升的。它还能将自己的“思考空间”（上下文）控制在很小的范围内，大约为 2.9K token，而其他方法需要超过 5.3K token，且表现更差。

总结

论文表明，仅仅给机器人一段过去的历史是不够的。要实现真正的学习，机器人需要一个能够检查旧教训是否仍然适用，并将这些教训转化为清晰、具体指令的系统。DREvo 充当了这样一个系统，它将混乱的试错历史转化为一条平滑、可靠的进步之路。它证明了，通过聪明地利用我们的过去经验，我们可以帮助 AI 智能体进化得更快、更可靠，即使我们在没有无限时间进行练习的情况下也是如此。

技术摘要：DREvo —— 为 Harness 自进化提炼经重校的历程经验

问题陈述

大语言模型（LLM）智能体的性能高度依赖于其外部执行框架，即 harness（护栏/架构），该框架负责管理上下文构建、记忆管理、工具调用和输出解析。虽然手动设计 harness 非常有效，但随着任务和组件交互复杂度的增加，这种方式不仅耗时耗力且难以扩展。因此，研究重点已转向 harness 自进化，即让 LLM 利用历史尝试经验，迭代地提出、评估并改进 harness。

然而，现有的历史驱动自进化方法（如 Meta-harness、AHE、ACE）面临着 非平稳进化轨迹（non-stationary evolution trajectories） 的问题。尽管积累了历史经验，准确率往往会出现显著波动，而非稳步提升。作者指出，当前方法在利用历史数据方面存在两个核心局限性：

缺乏动态重新评估（“什么仍然有效？”）： 历史证据是依赖于状态的。在之前的 harness 状态下有效的修改，随着 harness 的进化，可能会变得无效甚至有害，但现有方法将过去的记录视为静态有效的。
缺乏明确的搜索方向（“下一步向何处进化？”）： 历史经验通常以原始日志或摘要的形式呈现。现有方法依赖于提议者（proposer）的隐式推理来决定修改哪个组件以及如何修改，这导致搜索方向不稳定，且对有限进化预算的使用效率低下。

方法论：DREvo 框架

为了解决这些局限性，作者提出了 DREvo（Distilling Recalibrated Historical Experience，提炼重校后的历史经验），这是一种将原始尝试日志转化为可操作的、状态感知型指导的自进化方法。该框架由三个连续组件组成：

1. 函数级证据锚定（Function-Level Evidence Anchoring）

原始尝试日志是异构的，混合了代码变更、执行轨迹和反馈。DREvo 解析这些日志以创建 以函数为锚定的证据单元（function-anchored evidence units）。

机制： 它根据源范围边界（source-span boundaries），将代码差异（ $h_{t-1}$ 与 $h_t$ 之间的变化）映射到特定的功能组件（例如工具使用、记忆管理）。
输出： 每个证据单元 $e_{t,c}$ 将特定组件 $c$ 、其代码变更 $\delta_{t,c}$ 以及观察到的结果（全局统计数据、任务结果、失败模式）联系起来。
归因： 这将反馈定位到特定组件，从而实现对成功或失败更精确的归因。

2. 状态依赖的证据重校（State-Dependent Evidence Recalibration）

在复用历史证据之前，DREvo 根据当前的 harness 状态动态重校其有效性。它基于两个因素计算每个证据单元的校准权重 $w_e$ ：

历史可靠性 ( $r_t(e)$ )： 衡量一致性和新鲜度。
- 结果一致性： 过去调用中，结果极性（成功/失败）与当前证据极性相匹配的比例，并根据性能变化的幅度进行加权。
- 新鲜度： 基于自证据最后一次被使用或创建以来的时间衰减因子。
结构兼容性 ( $q_t(e)$ )： 衡量与该证据相关的组件实现是否在结构上仍与当前组件相似。这是通过对抽象语法树（AST）进行 树编辑距离（Tree Edit Distance, TED） 计算得出的，它在保留控制流和逻辑的同时，忽略了词法细节。
校准： 最终权重是可靠性和兼容性的调和平均值，确保只有当证据既具有历史一致性又具有结构相关性时，才会被信任。

3. 角色驱动的搜索意图提炼（Role-Conditioned Search Intent Distillation）

DREvo 并非将原始证据直接喂给提议者，而是将校准后的证据提炼为一种 明确的搜索意图 ( $s_t$ )，该意图指定了“做什么”以及“去哪里寻找”。

证据划分： 根据权重和极性，检索到的证据被分为三类：可靠正向（Reliable Positive, $X_t$ ）、可靠负向（Reliable Negative, $A_t$ ）和低置信度（Low-Confidence, $T_t$ ）。
角色激活： 基于这些集合，激活相应的搜索角色：
- 利用（Exploit）： 如果存在可靠的正向证据，则引导提议者继承或精炼这些修改。
- 规避（Avoid）： 如果存在可靠的负向证据，则引导提议者避免特定的有害修改。
- 重测（Retest）： 如果仅存在低置信度证据，则引导提议者在当前状态下重新评估这些方向。
- 探索（Explore）： 如果不存在相关证据或之前的重测失败，则允许提议者根据当前的失败模式自由探索新方向。
提炼： 激活的角色和当前的失败模式被提炼成一个结构化提示词 ( $s_t$ )，该提示词明确指示提议者针对目标组件及修改方向进行操作。

核心贡献

问题识别： 本文将 harness 自进化中的性能波动识别为可靠性挑战，其根源在于未能动态重新评估历史有效性以及缺乏明确的搜索策略。
DREvo 框架： 一种将证据锚定到函数、基于状态兼容性和历史一致性重校有效性、并将此提炼为角色驱动搜索意图的新颖方法。
实证验证： 通过广泛实验证明了其在多种基准测试中具有更平滑的进化轨迹和卓越的性能。

实验结果

作者在五个基准测试上评估了 DREvo：三个 领域推理 任务（USPTO、Symptom2Disease、Law）和两个 智能体任务（Terminal-Bench 2.0、SWE-Bench Verified）。

整体性能： 在有限的进化预算下（推理任务 20 次迭代，智能体任务 10 次迭代），DREvo 在所有五个基准测试中均达到了最高准确率。
- 领域推理： 比基线方法平均提升了 16.2%。具体而言，相比第二优的方法，它使 USPTO 提升了 9.0%，S2D 提升了 2.4%，Law 提升了 4.0%。
- 智能体任务： 比基线方法平均提升了 13.8%。值得注意的是，在 SWE-Bench Verified 上，DREvo 将一个面向终端的初始 harness 进化为一个具有竞争力的代码修复 harness，而无需人工进行特定任务的工程设计。
进化轨迹： 不同于表现出大幅准确率震荡和上下文膨胀的基线方法（如 Meta-harness），DREvo 展现出更平滑的提升曲线，并保持了受限的上下文大小（约 2.9K tokens）。
鲁棒性： 在受控的组件状态漂移（模拟 harness 代码的变化）下，DREvo 在 16 种设置中的 11 种中提升了性能，而未经校准的证据“盲目复用”在大多数情况下会导致性能下降。
消融实验： 移除三个组件（锚定、重校、提炼）中的任何一个都会导致性能下降，证实了它们各自的互补作用。

意义与主张

本文声称 DREvo 解决了 harness 自进化中历史驱动搜索的根本不稳定性问题。通过从静态、隐式的历史复用转向 动态、显式且状态感知的指导，DREvo 能够在有限的计算预算内可靠地发现高性能的 harness。作者强调，其收益源于搜索指导的质量（重校与提炼），而非仅仅是将更多的历史数据或压缩后的上下文暴露给提议者。这项工作表明，未来的 harness 进化需要能够随着系统状态演进而持续验证过去经验适用性的机制。