🤖 machine learning

CalibForge: Adversarial Solver Calibration for Scaling Learnable Terminal Tasks

本文介绍了 CalibForge，这是一个通过使用对抗性求解器校准来识别“可学习区域”（即任务既可解又具挑战性的区域）从而合成有效终端训练任务的自主系统，与传统的训练数据策展方法相比，该系统在多个智能体基准测试中实现了显著的性能提升。

原作者： Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Fanzhe Meng, Guoxin Chen, Jiale Zhao, Shuang Sun, Zhiyu Lin, Wayne Xin Zhao, Ruihua Song, Ji-Rong Wen, Kai Jia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人在数字车间里修理东西。你给了它一个工具箱和一份工作清单，但有一个陷阱：如果任务太简单，机器人会感到无聊且学不到任何东西；如果任务太难，机器人会立即放弃且学不到任何东西。学习的“黄金分割点”是一个“金发姑娘原则”（Goldilocks）式的挑战——即机器人如果真的努力思考就能解决，但如果注意力不集中或感到困惑就会失败。这正是训练 AI 智能体（Agent）的核心难题：如何创建一个庞大的任务库，使其完美地调校在这一学习区间内？

长期以来，研究人员一直试图通过确保任务是“可执行的”并且拥有明确的正误答案来构建这些任务库。但仅仅因为一个任务“可以”被完成，并不意味着它是一个好的老师。一个任务可能过于简单，以至于任何机器人都能瞬间解决；或者由于设计缺陷而无法被任何机器人解决。核心问题在于：我们如何找到那些足以让机器人变得更聪明的任务？

这就是名为 CalibForge 的新系统发挥作用的地方。你可以把 CalкаForge 想象成一个调皮的游戏主持人，它在与机器人进行“对抗性”游戏。它不仅仅是检查一个任务是否可行，而是雇佣了一个由不同“求解器”（Solver）机器人组成的团队（有些很聪明，有些则稍逊一筹）来尝试该任务。如果聪明的机器人解决了问题，而笨的机器人失败了，那么这个任务就是完美的——它处于学习区间！如果所有人都解决了，说明任务太容易了，CalibForge 会让它变得更难；如果所有人都失败了，说明任务有缺陷，CalibForge 会修复它。通过根据这些不同机器人的反应不断微调任务，CalibForge 构建了一个包含 5,431 个完美校准挑战的庞大库。当新的机器人使用这个库进行训练时，它们解决现实世界计算机问题的能力显著提升，这证明了“金发姑娘”区间正是教学的秘诀。

问题所在：太容易、太难，还是刚刚好？

在人工智能领域，特别是对于“终端智能体”（即通过在计算机终端输入命令来修复代码或管理服务器的机器人）而言，研究人员一直在构建庞大的练习题库。目标是训练这些智能体处理复杂的现实世界工程任务。然而，这些问题的制作方式存在缺陷。

大多数系统只检查两件事：

能否完成？（计算机环境是否设置正确？）
是否有正确答案？（任务是否具有明确的通过/失败测试？）

但这就像给学生做数学测试，题目要么是“2+2 等于几？”（太简单），要么是“解出这个尚未被发明的方程”（不可能）。两者都无法帮助学生学习。论文指出，我们需要的是相对于求解器的可学习任务（solver-relative learnable）。这意味着一个任务应该能被一个有能力的智能体解决，但不能被一个较弱的智能体解决。它需要恰好处于智能体能力的边缘，迫使它通过“压榨大脑”来取得成功。

解决方案：对抗性游戏主持人

作者创建了 CalibForge，这是一个自主系统，扮演着一个不知疲倦的游戏主持人。它不仅编写任务，还通过一种称为**对抗性求解器校准（Adversarial Solver Calibration）**的过程来“校准”任务。

以下是其运作过程的详细步骤：

线索： CalibForge 从一个模糊的想法开始，例如“修复损坏的数据库”或“恢复丢失的数据”。
草拟： 一个“作者智能体”（一个聪明的 AI）编写一个完整的任务，包括指令、虚拟计算机环境以及用于检测任务是否完成的测试。
压力测试： 在任务被保留之前，CalibForge 会将其发送给一组“求解器智能体”进行尝试。
校准循环： 这是核心秘诀。CalibForge 使用两种特定的策略来决定一个任务是否足够好：
- 多求解器校准（Multi-Solver Calibration）： 它将任务发送给一组不同的 AI 模型。如果所有人都解决了，说明任务太容易，因此 CalibForge 会使其变得更难。如果没有人解决，说明任务有缺陷，因此 CalibForge 会修复它。只有当存在分歧时（至少有一个求解器成功，同时至少有一个求解器失败），任务才会被保留。这证明了任务处于“学习区间”。
- 对比校准（Contrastive Calibration）： 它将任务发送给一个“强求解器”（非常聪明的 AI）和一个“弱求解器”（能力较弱的 AI）。只有当强求解器通过而弱求解器失败时，任务才会被保留。这确保了任务既有足够的难度来挑战强者，又不至于难到完全无法完成。

如果一个任务不符合这些严格的标准，CalibForge 不会直接丢弃它。它会观察求解器失败或成功的原因，然后返回去重写指令、环境或测试。它会重复这个循环，最多进行 50 次，直到任务被完美校准。

结果：完美的挑战库

通过这种方法，CalibForge 构建了一个包含 5,431 个高度校准的终端任务的数据集。研究人员随后使用该数据训练了两个不同的 AI 模型（一个 300 亿参数模型和一个 350 亿参数模型）。

结果令人印象深刻。在 CalibForge 任务上训练的模型在 Terminal-Bench 2.0（针对终端智能体的标准测试）上的得分分别为 32.58% 和 47.57%，大幅超越了之前的最佳结果。

这种改进不仅限于训练数据。在测试完全不同的现实世界软件工程挑战（SWE-bench Pro 和 Doc2Repo）时，这些模型表现出了巨大的增益，分别比其基础版本提高了 27.68 和 30.04 个百分点。

为什么这很重要

论文表明，构建更好 AI 智能体的关键不在于给它们更多的数据，而在于给它们正确类型的数据。通过利用不同求解器的行为作为反馈循环，CalibForge 确保了库中的每一个任务都是真正的学习机会。

作者明确指出，仅仅增加更多的求解器反馈或使用单个求解器来检查任务是不够的。这种“金发姑娘”效应——即任务对某些人很难，但对其他人来说很容易——才是驱动学习的动力。这种方法将任务创建过程从静态的“编写并期待”转变为动态的、自我修正的系统，该系统主动寻找完美的难度水平。

简而言之，CalibForge 证明了，如果你想训练一个超级聪明的机器人，你不应该只给它一堆作业，而应该给它一堆经过完美调校、能促使它思考、挣扎并最终获得成功的作业。

技术摘要：CalibForge：用于扩展可学习终端任务的对抗性求解器校准

问题陈述

训练终端智能体（terminal agents）需要可执行且可验证的任务，这些任务不仅要能被解决，还必须具备适合学习的挑战性。虽然现有的合成系统在构建大规模终端任务方面取得了进展，但仅凭可执行性并不能揭示一个任务对于特定的求解器设置而言，究竟是过于平庸、实际上无法解决，还是处于“可学习区间”内。现有方法通常仅依赖于人工编写与验证，或仅依赖单一求解器的反馈，这无法捕捉到引导任务构建向有效训练数据演进所需的细微行为证据。核心挑战在于如何系统地利用求解器行为（成功、失败及轨迹）来修订候选任务，以确保它们既不会太简单，也不会太难，从而符合目标学习机制的要求。

方法论：CalibForge

作者提出了 CalibForge，这是一个自主终端任务合成系统，它将任务构建视为一个受约束的对抗性作者-求解器循环。该系统利用经过验证的求解器行为作为构建时的反馈，通过对抗性求解器校准来修订候选任务。

1. 任务编写与验证

从一个“线索”（clue）开始，编写代理（DeepSeek-V4-Pro）进行网络研究，以识别具体的工程问题（例如，特定版本的 Bug、依赖冲突）。它构建一个由以下部分组成的候选任务 $\tau$ ：

指令（Instruction）： 任务描述。
环境（Environment）： 由 Dockerfile 和初始文件定义。
验证（Verification）： 用于验证解法的测试。

在进入校准循环之前，候选任务需经过两阶段验证：

结构验证： 检查构建上下文文件、环境初始化，并确保所有测试在初始状态下均处于失败状态。
自我求解： 编写代理在隔离的沙盒中尝试解决该任务，以确保解法是可执行的，并且与指令和测试保持一致。

2. 对抗性求解器校准

经过验证的候选任务进入一个受规范 $\gamma$ 控制的多轮校准循环。在每一轮中，求解器尝试完成任务，作者代理利用结果和完整的交互轨迹来修订任务。循环在满足保留准则 $C_\gamma$ 或达到最大轮数（ $R_{max}=50$ ）后终止。CalibForge 采用了两种不同的校准策略：

多求解器校准（Multi-Solver Calibration）： 针对异构求解器池（如 DeepSeek-V4-Flash, GLM-5, Kimi K2.5）中的分歧。
- 准则： 如果至少有一个求解器成功且至少有一个求解器失败（ $0 < \sum y_i < K$ ），则保留该任务。
- 目标： 捕捉更广泛的解题路径和失败模式，减少对单一求解器能力的依赖。
对比求解器校准（Contrastive Solver Calibration）： 针对指定的强通过/弱失败关系。
- 准则： 如果指定的较强求解器（DeepSeek-V4-Pro）成功且指定的较弱求解器（DeepSeek-V4-Flash）失败（ $y_s=1 \land y_w=0$ ），则保留该任务。
- 目标： 将“求解器相对的可学习区间”操作化，即在该任务在指定设置下是可证明可解的，但并非显而易见的简单。

如果未满足准则，作者代理将使用反馈摘要（通过/失败、步数、自我评估、失败诊断）和完整轨迹来修订任务（例如，移除过程性提示、澄清模糊需求或泛化过于专断的验证逻辑），然后进行重新探测。

核心贡献

环境级行为校准： 论文提出了一种构建原则，即将任务的可学习性视为求解器相对的。它利用经过验证的求解器行为不仅用于评估，还用于确定保留标准并指导多轮修订。
CalibForge 系统： 一个实现了上述原则的自主合成系统，通过受约束的对抗循环实现。它引入了多求解器和对比求解器校准策略，分别针对跨求解器分歧和强通过/弱失败关系。
校准数据集： 构建了 5,431 个校准终端任务（其中 1,263 个通过多求解器校准，4,168 个通过对比校准获得）。这些任务涵盖 16 个领域类别，侧重于软件工程、系统管理和科学计算，提供了比以往数据集更广泛的领域覆盖。

实验结果

作者在从 CalibForge 数据集蒸馏的轨迹上，对两个 Qwen 基座模型（Qwen3-30B-A3B-Instruct 和 Qwen3.5-35B-A3B）进行了微调，并采用匹配的蒸馏与训练协议，将其与基线模型（Endless Terminals, SETA-Env, CLI-Gym, TermiGen, TerminalTraj）进行对比评估。

在基准测试上的表现

Terminal-Bench 2.0：
- CalibForge-30B-A3B 达到了 32.58% 的准确率（对比表现最好的基线 TerminalTraj 为 26.22%）。
- CalibForge-35B-A3B 达到了 47.57% 的准确率（对比 TerminalTraj 为 40.82%）。
- 相比基础模型的提升分别达到了 24.71 和 8.47 个百分点。
分布外（OOD）迁移能力：
- SWE-bench Pro： CalibForge-35B-A3B 达到了 44.32%（解决率），比其基础模型提高了 3.03 个百分点，是所有评估数据源中表现最高的。
- Doc2Repo： CalibForge-35B-A3B 达到了 48.77%（通过率），比其基础模型提高了 3.85 个百分点。

消融实验

求解器反馈 vs. 校准： “无求解器”（仅编写 + 验证）的准确率为 22.47%。使用“单求解器”反馈后，准确率提升至 24.34%。然而，多求解器和对比求解器校准分别达到了 29.21% 和 31.09%。这表明收益是由校准策略（相对于求解器设置定位难度）驱动的，而非仅仅通过增加求解器反馈或增加轨迹数量。
修订有效性： 在对比校准中，最初仅有 19% 的候选任务在结构验证后满足目标强通过/弱失败关系。通过基于反馈的修订和重新探测，最终有 96% 的候选任务被保留，这证明许多初始的不匹配是可修正的，而非本质缺陷。

意义与主张

论文声称，求解器相对的可学习性是构建智能体训练数据的实用且有效的目标。通过将任务构建视为一个由求解器行为引导修订的对抗循环，CalibForge 产生的任务是可证明可解的，同时又具有足够的挑战性以驱动学习。

作者强调：

可执行性不足以说明问题： 一个任务可以是有效的，但对于目标智能体来说可能过于平庸或无法解决。校准使“可学习区间”变得可观察且可操作。
校准驱动迁移： 在 OOD 基准测试（SWE-bench Pro, Doc2Repo）上的提升表明，从求解器校准终端任务中学到的能力可以有效地迁移到复杂的、长程的软件工程和仓库生成任务中。
多样性是多维度的： CalibForge 数据集不仅在领域覆盖上具有多样性，在能力标签、环境复杂度和验证逻辑上也具有多样性，避免了以往数据集存在的领域集中问题。

结果支持了以下结论：对抗性求解器校准比单纯的编写与验证或单一求解器反馈能产生更有效、更具迁移性的监督，为构建高质量终端智能体训练数据提供了一条可扩展的路径。