🤖 machine learning

TTHE: Test-Time Harness Evolution

本文介绍了测试时控制程序演化（Test-Time Harness Evolution, TTHE），这是一个无监督框架，通过基于执行轨迹演化候选控制程序种群，在评估过程中动态优化 LLM 智能体的可执行控制程序，从而实现在无需更新模型权重或需要地面真值标签的情况下，对测试时分布进行持续适应。

原作者： Jun Nie, Yonggang Zhang, Jun Song, Qianshu Cai, Dahai Yu, Yike Guo, Xinmei Tian, Bo Han

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jun Nie, Yonggang Zhang, Jun Song, Qianshu Cai, Dahai Yu, Yike Guo, Xinmei Tian, Bo Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人助手（一个 LLM 智能体），它能编写代码、解决数学问题或为你预订机票。通常，当我们构建这些机器人时，我们会花费数周时间对其进行训练，然后“冻结”它们的大脑。一旦大脑被冻结，我们就无法改变其内部的线路。如果它们犯了错，我们不能直接告诉它们：“嘿，下次试着换种思考方式。”

但如果机器人的“指令”——即那个告诉它如何使用大脑的小程序——可以即时发生变化呢？这就是一种被称为**测试时挂架进化（Test-Time Harness Evolution, TTHE）**的新方法背后的核心理念。

“冻结的大脑，灵活的外套”类比

把机器人的大脑想象成一座冻结的雕像。你无法融化它或重塑它。但机器人穿着一件高科技外套（即挂架/harness）。这件外套里有工具口袋、一份步骤清单，以及一种检查机器人是否犯错的方法。

大多数机器人穿着的是静态外套。一旦机器人离开工厂，外套就被缝死了。如果机器人尝试开门失败了，外套并不知道下次该如何修复这个问题。它只会不断重复那种出错的方式。

TTHE 就像是一件可以在机器人工作时自行改写缝纫说明的外套。

以下是它在实际应用中是如何运作的：

机器人尝试： 机器人尝试执行一项任务（比如编写 SQL 查询或修复 Bug）。它会留下一些“面包屑”（即执行轨迹/execution trace），展示它具体做了什么、使用了哪些工具以及在哪里跌跤了。
外套读取面包屑： 外套的一个特殊部分（提议者/Proposer）会观察这些面包屑。它不需要老师，也不需要正确答案。它只是在问：“嗯，机器人尝试打开门，但把手生锈了。也许下次，我们应该先给把手涂点油？”
外套自我改写： 提议者修改外套的代码。它可能会增加一个检查生锈的步骤，或者增加一条双重检查把手的规则。
外套挑选最佳版本： 外套的另一个部分（评判者/Judge）会观察所有新版本的外套，并根据机器人自身的表现选出看起来效果最好的那一个。
机器人继续前进： 机器人带着这件改进后的、更好的外套继续进行下一项任务。

这种方法“不”做什么

了解该方法拒绝的内容非常重要：

不做脑部手术： 论文明确指出，他们没有改变机器人冻结的大脑（模型权重）。他们没有重新训练 AI。他们只改变外套（挂架）。
不需要神奇的答案钥匙： 在机器人学习的过程中，他们没有使用“金标准标签”（正确答案）。机器人必须通过观察自己的错误和成功来自己摸索出哪些方法有效。
不是预先规划： 他们不会在机器人开始工作之前就去寻找完美的套件。外套是在工作过程中进化的。

结果：效果如何？

研究人员在一些极具挑战性的任务上测试了它，比如编写数据库查询、竞技编程和修复软件漏洞。他们将“静态外套”机器人与“进化外套”机器人进行了对比。

以下是他们的发现（使用测试中的准确数字）：

Text-to-SQL (BIRD)： 基准机器人正确率为 12.0%。使用 TTHE 后，它跃升至 50.0%。这是一个巨大的进步！
竞技编程 (LiveCodeBench)： 从 30.0% 提升到了 38.3%。
软件工程 (SWE-bench)： 从 20.0% 提升到了 35.0%。
数据科学 (DS-1000)： 从 38.0% 提升到了 44.0%。

他们甚至在名为 claw-eval 的工具使用任务上进行了测试，该任务的分数形式略有不同（分数为 0 到 1 之间的等级）。得分从 48.9% 提升到了 69.8%。

缺陷：它并不完美

论文非常诚实地指出了该方法遇到的瓶颈。“评判者”在挑选最佳外套时并非完美无缺。有时，“评判者”选出的外套看起来不错，但实际上在隐藏测试中失败了。

选择遗憾 (Selection Regret)： 在一项测试中，如果“评判者”能从它看到的候选外套中选出最好的那件，它本可以达到 64.0% 的准确率。但由于“评判者”犯了错，选了一个稍差的版本，最终只得到了 50.0%。
覆盖差距 (Coverage Gap)： 即使“评评判者”是完美的，仍有一些任务（在一次测试中约为 50 个任务中的 15 个）是没有任何一件外套能够解决的。机器人当时还没有具备相应的工具或思路。

总结

作者认为，测试时挂架进化是一种无需触动大脑即可让 AI 智能体变得更聪明的高效方法。它将机器人的工作日志变成了它的老师。

然而，他们也警告说，这还不是一个“已解决的问题”。该方法高度依赖于“评判者”能否分辨出什么是“运气好猜对的”以及什么是“真正的解决方案”。如果“评判者”被棘手的测试搞糊涂了，机器人可能会学到错误的教训。但就目前而言，它表明，给 AI 一件能在工作时自我修复的外套是一个非常有前景的方向。

技术摘要：测试时控制框架演进 (T-T-H-E)

问题陈述

现代大语言模型 (LLM) 智能体正日益被构建为可执行系统，其行为不仅受底层冻结模型的支配，还受周围“控制框架”（harness）的约束——即管理上下文构建、工具调用、中间验证和故障恢复的控制程序。目前的部署实践通常是在冻结前的开发或训练数据上对该控制框架进行优化。这种静态方法在测试分布、失效模式或工具交互发生变化时，会限制系统的适应能力。

现有的适配机制（如微调或测试时训练）修改的是模型权重，而自我调试或反思方法通常仅修订单个响应或存储文本经验。自动化的工作流搜索通常发生在部署前。一个关键的开放性问题仍然存在：LLM 智能体能否仅通过修改其周围的可执行控制框架，在不更新模型权重、不需要金标准标签（gold labels）、也不需要训练单独的适配模型的情况下，仅凭其自身的无标签执行轨迹在评估期间实现自适应？

方法论：测试时控制框架演进 (TTHE)

TTHE 通过将可执行控制框架视为测试时适配的状态来解决这一问题。TTHE 不是在有标签的数据上寻找固定的工作流，而是将控制框架的优化过程直接移入评估过程中，并在无标签的测试批次上运行。

核心机制

TTHE 维护一个候选控制框架种群，并通过一个由围绕同一冻结 LLM 实例化的三个角色组成的智能体循环进行优化：

求解器 (Solver)： 在当前控制框架内执行任务的智能体。
提议者 (Proposers)： 代理编码智能体，通过对执行轨迹进行推理来重写控制框架代码。
裁判 (Judge)： 代理选择器，根据执行导出的信号提交改进后的控制框架。

演进循环

对于每个无标签输入集合 $X_t$ ：

观察 (Observation)： 执行当前的已提交控制框架 $H_t$ 于 $X_t$ ，生成详细的执行轨迹（提示词、工具调用、stdout/stderr、错误、运行时状态）以及轻量级代理信号。
种群演进 (Population Evolution)： TTHE 通过 $R$ 轮迭代演进 $G$ 个并行分支。在每一轮中， $G$ 个提议者编辑各自的父级控制框架以生成子级控制框架。提议者可以阅读其他分支的轨迹以获取上下文，但编辑的是自己的谱系。这确保了谱系性（保留有用策略）和多样性（探索不同的编辑方向，例如保守修复、探索或对抗）。
选择 (Selection)： 裁判检查最终的一组候选控制框架、它们的轨迹以及代理信号，从而为下一个批次提交一个单一的控制框架 $H_{t+1}$ 。
测量 (Measurement)： 金标准标签仅在选择之后才被用于衡量准确率；它们绝不会进入适配循环。

由于在适配过程中无法获得金标准标签，TTHE 依赖于执行导出的代理信号，这些信号是间接证据而非正确性预言机（correctness oracles）：

执行健康度 (Execution Health)： 输出是否在无错误的情况下运行并返回格式良好的结果。
往返一致性 (Round-Trip Consistency)： 输出是否可以被逆向还原为与输入相匹配的描述（用于检测语义漂移）。
公开测试通过率 (Public-Test Pass Rate)： 通过公开示例或仓库测试的比例（这是不完整的证据，因为隐藏测试仍可能失败）。

系统避免将这些信号压缩为单一标量奖励，而是将原始轨迹和信号暴露给代理提议者和裁判，以防止出现博弈行为和系统性的错误重复。

核心贡献

提出了测试时控制框架演进的形式化定义： 本文定义了一种新的适配范式，即在评估期间从无标签轨迹中通过演进可执行控制程序来实现持续的、可检查的改进，同时保持模型权重固定，并将金标准标签隔离在选择后的测量阶段。
基于种群的“生成-裁判”循环： 作者将其实现为一个系统，其中求解器、提议者和裁判是围绕同一个冻结 LLM 的不同角色，从而完全通过改变周围的程序来实现适配。
实证验证： 该方法在五个执行驱动的领域（Text-to-SQL、竞赛编程、软件工程、数据科学编程和智能体工具使用）得到了验证，产生了可检查的落地策略，用于实现落地、验证和修复。
诊断分析： 本文提供了关于搜索预算、批次大小和模型骨干网络的消融研究，并进行了轨迹审计以表征失效模式，特别识别了“选择遗憾”（即好的候选方案未被提交）和有限的候选覆盖范围。

结果

TTHE 在五个基准测试的困难切片上进行了评估：BIRD (Text-to-SQL)、LiveCodeBench、SWE-bench Verified、DS-1000 和 claw-eval (智能体工具使用)。

性能提升： 使用 DeepSeek-v4-flash 作为骨干网络，TTHE 显著提升了基准 ReAct 控制框架的表现：
- BIRD: 12.0% $\to$ 50.0%
- LiveCodeBench: 30.0% $\to$ 38.3%
- SWE-bench Verified: 20.0% $\to$ 35.0%
- DS-1000: 38.0% $\to$ 44.0%
- claw-eval: 48.9% $\to$ 69.8% (平均等级分)
模型无关性： 增益在不同骨干网络（MiMo V2.5, Kimi K2.5）上保持一致，表明该循环并不依赖于特定模型。
涌现策略： 演进出的控制框架引入了基准方案中不存在的可检查行为，例如严格的“先复现”工作流、针对 SQL 的“执行并自我调试”循环，以及针对编程任务的“条件验证与修复”策略。
消融洞察：
- 搜索预算： 性能随搜索预算呈现非单调性；并行谱系 ( $G=3$ ) 的表现优于单一直系谱系 ( $G=1$ )，因为并行可以防止丢失早期优秀的候选方案。
- 批次大小： 性能在适中的批次大小 ( $B=10$ ) 时达到顶峰，这在“单次决策获得的证据”与“适配步骤的数量”之间取得了平衡。
- 累积效应： 将提交的控制框架跨批次传递，比每个批次都重置回基准方案能获得更高的准确率。

意义与局限性

本文认为 TTHE 将 LLM 智能体的测试时适配重新定义为对可执行控制程序的演进。它证明了在不更新权重且无需金标准标签的情况下，可以实现持久且可检查的改进。

然而，作者也指出了核心的技术瓶颈：

代理信号的可靠性： 执行导出的信号质量至关重要。系统必须在证据不完全的情况下进行优化，即一个查询可能执行成功，但回答了错误的问题。
裁判的可靠性： 很大一部分潜在收益由于“选择遗憾”而损失，即代理裁判提交了一个看似合理但错误的程序，或者未能从候选池中选出更好的候选方案。裁判存在明显的校准偏差，经常倾向于选择与基准测试不兼容的输出形态。
覆盖范围限制： 即使对所有生成的候选方案拥有预言机，某些任务仍然无法解决，这表明当前搜索空间的覆盖范围存在内在限制。

作者总结道，虽然 TTHE 为在不改变模型权重的情况下适配智能体提供了一种实用的机制，但这种演进的鲁棒性高度依赖于代理信号和选择机制的可靠性。未来的工作需要建立通过前序评分（prequential scoring）实现的向前泛化能力，并解决选择瓶颈问题。