🤖 AI

Steer, Don't Solve: Training Small Critic Models for Large Code Agents

本文提出通过训练小型监督微调的评论家模型（critic models）来为大型代码智能体提供轨迹内的转向引导（intra-trajectory steering），证明了与端到端训练或事后评分相比，该方法在显著提升 SWE-bench Verified 等基准测试性能的同时，还降低了计算成本和轨迹长度。

原作者： Shubham Gandhi, Yiqing Xie, Atharva Naik, Ruichen Zhu, Carolyn Rose

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shubham Gandhi, Yiqing Xie, Atharva Naik, Ruichen Zhu, Carolyn Rose

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：GPS 与驾驶员

想象你正在尝试开车从纽约前往洛杉矶。你有一位非常出色的驾驶员（代码智能体/Code Agent），他知道如何转动方向盘、踩油门和换挡，动作非常完美。然而，这位驾驶员有时会对“大局观”感到困惑。他们可能会原地打转，或者因为看错了路标而转错弯，甚至会因为认为那是扇门而试图撞墙开过去。

通常，为了解决这个问题，人们会尝试从头开始重新训练驾驶员。但这既昂贵又耗时，而且驾驶员可能仍然会在同样的混乱道路上卡住。

本论文提出了一个不同的解决方案： 我们不是要重新训练驾驶员，而是雇佣一个小型且聪明的 GPS 导航仪（评论家模型/Critic Model）。

驾驶员（智能体/Agent）： 负责所有的实际工作（编写代码、运行命令）。他们保持原样；我们不改变他们的大脑。
GPS（评论家/Critic）： 不触碰方向盘。相反，它每隔几分钟观察一次驾驶员。如果驾驶员开始原地打转或正朝着悬崖驶去，GPS 会说：“嘿，你在循环！你在尝试修复错误的文件。停下来，重新思考你的策略。”

论文表明，雇佣这个小型 GPS 比雇佣一位超级聪明的真人导航员要便宜得多，并且能帮助驾驶员更快、更频繁地到达目的地。

问题所在：为什么仅仅“训练”是不够的

作者注意到，当你训练大型 AI 代码智能体来解决软件漏洞（bugs）时，它们在机械操作（输入代码、使用工具）方面变得非常出色。但它们往往在策略（构思正确的计划）方面失败。

这就像教学生写文章。你可以教他们完美的语法和拼写（机械操作），但如果他们不知道如何组织思想或如何紧扣主题（策略），文章依然会一团糟。

当你试图让 AI 同时学习这两者时，它会遇到一个“天花板”。它会陷入停滞。作者发现，大约 65% 的失败并不是因为 AI 写了糟糕的代码，而是因为其推理过程存在缺陷。

解决方案：一个“小型的评论家”

团队构建了一个系统，让一个小型的 AI 模型（评论家/Critic）坐在大型编码智能体旁边。

设置： 大型智能体尝试解决一个问题。每经过 5 或 10 个步骤，它就会暂停。
检查： 小型评论家查看智能体目前为止所做的工作。
建议： 评论家给出一个简短的高层级提示。
- 错误的建议： “删除第 42 行并在这里写一个循环。”（这是“后座驾驶/指手画脚”，论文指出这是错误的，因为小型模型并不比大型模型更懂代码）。
- 正确的建议： “你正在重复执行同一个命令三次。你陷入了循环。尝试一种不同的方法。”（这是“引导/转向”）。
恢复： 大型智能体阅读建议并继续工作。

他们是如何训练这个 GPS 的

为了教会小型评论家如何给出好的建议，他们并没有仅仅靠猜测。他们使用了一位“老师”（一个极其庞大且昂贵的 AI，名为 Claude-Opus-4.6）来预先生成建议。

老师： 这位昂贵的 AI 观察智能体的工作过程，并写下完美的、高层级的建议。
学生： 这个小型、廉价的 AI（Qwen3-8B）学习这些笔记。它学习模仿建议的风格（专注于策略，而非具体的代码行），而不需要像老师一样聪明。

关键发现： 论文发现建议的类型最为重要。

如果老师给出了具体的代码指令，小型学生就无法很好地学习。
如果老师给出的是高层级策略（例如，“你卡住了”、“检查你的假设”），那么小型学生就能完美地学习。

结果：更快、更便宜、更聪明

团队在 SWE-bench 上测试了该系统，这是一个著名的基准测试，包含了 500 个真实的软件漏洞。

适用于不同的驾驶员： 他们使用一种类型的编码智能体（CWM-32B）来训练评论家。然后，他们使用这个相同的评论家去帮助两个从未见过的不同编码智能体（Qwen 模型）。
- 结果： 这些新智能体通过聆听评论家的指导，在解决漏洞方面有了显著提升。
节省成本： “老师”（Claude-Opus）运行起来非常昂贵。“学生”（Qwen3-8B）则非常微小且廉价。
- 结果： 使用小型评论家的系统比使用昂贵的老师要便宜 30 到 92 倍。
确实节省了时间： 在其中一个大型智能体上，评论家不仅让智能体变得更聪明，还让智能体停止了浪费时间。智能体完成任务的速度更快了，这节省了更多的成本。事实上，整个系统（智能体 + 评论家）比智能体单独工作时还要便宜。

“秘诀”

论文强调了该方法奏效的两个主要原因：

关注点分离： 智能体专注于执行（编码），而评论家专注于思考（策略）。它们不会为了争夺控制权而产生冲突。
拒绝“后座驾驶”： 评论家被严格禁止说“写这一行特定的代码”。它只能说“你走错方向了”。这防止了小型模型给出错误的、具体的指令从而干扰大型模型。

总结

可以将这篇论文看作是构建一个团队而非一个超级英雄的蓝图。与其试图创造一个既能做所有事、又强大且昂贵的单一巨型完美 AI，不如构建一个由一个小型、专业化的教练来引导强大的工作者的系统。

教练不从事实际工作，但通过提供正确的、高层级的启发，工作者能够解决那些仅凭自身力量无法解决的问题，而且整个团队完成工作的速度更快，成本也更低。

技术摘要：引导而非解决 (Steer, Don't Solve)

问题陈述

端到端训练代码智能体（Code Agents）不仅资源密集，而且在解决复杂代码问题所需的策略级推理方面往往会遇到瓶颈。经验证据表明，虽然智能体可以学习低层级的实现技能（执行工具调用、编辑代码），但其高层级推理能力（故障排除、规划、搜索）在与执行过程进行联合优化时仍显得发育不足。大约 65% 的代码智能体失败源于推理缺陷，而非错误的动作。当前的后训练（Post-training）方法倾向于将策略级推理与实现行为耦合在一起，这会导致性能迅速饱和，使智能体无法有效地泛化模式。此外，现有的评论家模型（Critic Models）通常是**事后（Post-hoc）的，即对已完成的轨迹进行评分，而不是在执行过程中提供过程内（Intra-trajectory）**的指导，以引导智能体远离失败。

方法论

作者提出了“引导而非解决”（Steer, Don't Solve）范式：冻结代码智能体，并训练一个独立的、小型化的评论家模型，在其执行过程中提供高层级的、策略级的反馈。

核心架构

冻结的智能体 ( $\pi_A$ )： 代码智能体（如 CWM-32B、Qwen3 变体）在整个过程中保持冻结状态。它负责所有的具体动作、工具调用和代码编辑。
评论家干预： 每隔 $k$ 步（例如 $k=5$ 或 $10 $），评论家模型$ C $会检查部分轨迹$ \tau_{1:t}$ 和智能体的历史记录。
反馈循环： 评论家生成一段简短的文本评论 $f_t$ ，并将其附加到智能体的上下文之前，供其执行下一步骤。评论家不直接与环境交互。

评论家设计与训练

教师蒸馏： 一个前沿模型（Claude-Opus-4.6）充当教师评论家（ $C_T$ ）来生成训练数据。学生评论家（ $C_\theta$ ）是一个较小的模型（Qwen3-8B），通过在这些评论数据上进行有监督微调（SFT）而成。
简洁 vs. 详细提示词： 论文识别出了关于反馈格式的一个关键设计选择。
- 详细提示词（Detailed Prompt）： 允许教师提供具体的、动作级的指令（例如，“运行这个命令”、“编辑这个文件”）。虽然这对强大的教师模型很有效，但这会导致“后座驾驶”（Backseat Driving）现象，即智能体只是在简单地复制教师的解决方案，而不是进行推理。
- 简洁提示词（Concise Prompt）： 将教师限制在仅提供高层级反馈。它禁止具体的代码更改或技术路径，而是侧重于错误分类（例如，“步骤重复”、“任务偏离”）和策略性重定向。经过训练的学生评论家是从这种简洁提示词中蒸馏而来的，以确保它学习的是“引导”而非“指令”。
预算感知： 在推理期间，一旦智能体接近其步数限制（例如 150 步中的第 100 步），系统会将预算感知指令附加到评论家的输入中，提示其在智能体陷入僵局或已有修复方案时，优先建议提交（Submission）。
训练数据： 通过运行带有教师评论家干预的冻结智能体来收集轨迹。训练语料库使用“简洁”的监督信号。为了确保可迁移性，作者从一个智能体（CWM-32B）收集数据并测试在其他智能体上的表现，或者将目标智能体的轨迹混合到语料库中。

评估设置

基准测试： SWE-bench Verified（500 个经人工验证的 GitHub Issue）。
测试智能体： CWM-32B（Dense）、Qwen3-32B（Dense）以及 Qwen3-Next-80B-A3B（MoE）。
指标： 解决率（通过隐藏测试的比例）、定位率（Localized Rate）、非空率（Non-Empty Rate）以及成本（每实例美元费用）。
回退机制： 如果评论家引导的运行在预算内未能提交，则执行一次基础运行（无评论家）作为回退，以确保公平的成本比较。

关键结果

性能提升： 训练后的评论家显著提高了冻结智能体的解决率。
- 在 CWM-32B 上，仅在 CWM-32B 轨迹上训练的评论家将解决率提升了 +3.8 个百分点（29.2% $\to$ 33.0%）。
- 在 Qwen3-32B 上，同一个评论家（仅在 CWM-32B 数据上训练）将解决率提升了 +3.4 个百分点（9.6% $\to$ 13.0%）。
- 在 Qwen3-Next-80B-A3B 上，增益为 +3.0 个百分点（20.8% $\to$ 23.8%）。
- 将目标智能体的轨迹加入训练语料库后，增益进一步提高，在 Qwen3-32B 上达到 +5.2 个百分点，在 Qwen3-Next-80B-A3B 上达到 +4.4 个百分点。
可迁移性： 在单一智能体轨迹上训练的评论家能有效地迁移到具有不同架构（Dense vs. MoE）和规模的未见智能体上，这表明学习到的引导信号是与智能体无关的（Agent-agnostic）。
成本效率：
- 训练后的 8B 评论家成本比 Claude-Opus-4.6 教师低 30–92 倍。
- 至关重要的是，在 Qwen3-Next-80B-A3B 智能体上，评论家引导的系统比无引导的智能体更具端到端成本优势（$0.04 vs. $0.11）。这是因为评论家缩短了智能体的轨迹（减少了智能体计算量），从而抵消了评论家调用产生的成本。
消融研究发现：
- 训练至关重要： 一个现成的（未经训练的）8B 评论家相对于基准线没有提供任何性能提升。
- 提示词格式很重要： 虽然教师在详细提示词下表现更好，但训练后的学生在简洁提示词下表现更好。详细提示词会导致教师进行“后座驾驶”，这种行为 8B 学生无法忠实地复制或泛化，从而导致在蒸馏时性能较低。

意义与主张

该论文声称是首个专门针对代码智能体训练评论家模型的研究，将其作为扩展智能体本身的一种“关注点分离”（Separation-of-concerns）的替代方案。

实用的补充： 结果表明，一个小型且经过良好训练的评论家是扩展智能体训练的一个实用且具有成本效益的补充。它恢复了端到端训练中容易欠开发的策略级推理能力。
关注点分离： 通过将策略（评论家）与执行（智能体）解耦，系统可以学习到更简单、更通用的模式。评论家处理高层级的诊断与重定向，而智能体处理实现。
高效性： 该方法实现了帕累托最优的改进，与无引导智能体以及使用昂贵的前沿模型作为评论家的系统相比，提供了更高的准确率和更低的成本。

作者得出结论，训练评论家模型是提高代码智能体性能的一条可行路径，无需承担重新训练智能体的高昂成本，也无需在推理时依赖昂贵的黑盒教师模型。

核心理念：GPS 与 驾驶员