💻 computer science

Try Again, Don't Look Back: Blind Resampling Outperforms Self-Repair in Small Code Models

本文表明，对于小型代码模型，盲目重采样（在没有反馈的情况下重试）的效果优于或等同于标准的自我修复方法，同时使用的 Token 数量显著减少，因为基于模型自身失败尝试的条件化会导致其“锚定”在原始错误上，而非有效地利用执行反馈。

原作者： Yuvraj Verma

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuvraj Verma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人写计算机代码。你给机器人一个任务，比如“写一个程序来计算两个数字之和”，然后它尝试去完成它。有时，机器人会犯错，导致代码无法运行。在人工智能的世界里，有一个流行的概念叫作“自我修复”（self-repair）。这就像是告诉机器人：“嘿，你搞砸了。这是你出错的代码和错误信息。现在，观察它，思考哪里出了问题，然后尝试修复它。”这听起来像是从错误中学习的一种聪明方法，对吧？但这里有一个陷阱。当我们测试这种“修复”是否有效时，我们通常会将其与一个在失败后直接放弃的机器人进行比较。这有点不公平，因为获得第二次机会的机器人之所以成功率更高，仅仅是因为它多试了一次，而不是因为它真的从错误中学习了。为了真正知道“修复”是否是那个神奇的要素，我们需要将它与一个获得第二次机会但却看不见自己旧错误的机器人进行比较。这篇论文深入探讨了这样一个问题：是回顾失败并尝试修复它更好，还是忘掉失败并从头开始尝试一种全新的方法更好？

研究人员决定让一些小型 AI 模型玩一场“重试，但不回头看”的游戏。他们使用了一个巧妙的“安慰剂”实验设计，这通常是我们在医学中用来观察药物是否起作用，或者仅仅是由于服用药物的心理暗示起到了作用。在这里，他们对比了机器人尝试修复代码的四种不同方式：

盲目重采样（Blind Resampling）： 机器人获得了第二次机会，但它对第一次尝试一无所知。这就像要求一名学生重新参加数学考试，但不给他们看第一份卷子。
安慰剂（The Placebo）： 机器人看到了它出错的代码，以及一条简单的提示说：“这是错的”，但没有任何细节说明为什么错。
真实反馈（Real Feedback）： 机器人看到了出错的代码以及具体的错误信息（例如“你漏掉了一个分号”）。
反思（Reflection）： 机器人看到了错误，并被要求在尝试修复之前，先写一段话来解释哪里出了问题。

他们在三种不同规模的 AI 模型（小、中、稍大）上进行了这项测试，并观察了它们写对代码的次数。

这里有一个令人惊讶的转折：回顾错误实际上让小型机器人的表现变差了。

对于较小的模型（15 亿和 30 亿参数），“盲目重采样”策略是明显的赢家。它不仅准确率最高，而且在计算时间和能源消耗方面也最便宜。当研究人员强迫机器人查看自己失败的代码时（“安慰剂”或“反馈”组），机器人陷入了僵局。它们倾向于对错误的原始代码进行微小到几乎不可察觉的修改，而不是构思一个全新的解决方案。论文将这种现象称为**“锚定效应”（anchoring）**。这就像如果你试图画一只猫，画坏了，然后试图通过只擦掉坏画中的几条线来修复它。结果你会得到一只奇怪的、半成品式的猫。但如果你直接换一张新纸从头开始，你可能会画出一只完全不同的、更好的猫。

研究人员发现，当机器人查看自己的失败尝试时，它们会重复生成一个几乎一模一样的程序，频率高达 33% 到 68%。相比之下，当它们盲目尝试（不看之前的尝试）时，重复自身的概率仅为 2% 到 14%。错误信息中的“信息量”完全没有起到帮助；一个简单的“这是错的”提示与完整的错误报告一样糟糕。甚至要求机器人“大声思考”其错误（反思）也未能挽救局面；这只会让过程变得更加昂贵，而无法在结果上带来显著的提升。

然而，对于更大的“大脑”，仍有一线希望。当他们测试最大的模型（70 亿参数）时，回顾过去的惩罚几乎消失了。“盲目重采样”和“自我修复”的方法在统计学上不相上下。这表明，随着 AI 变得越来越聪明，它会变得更擅长不再被自己的错误所困扰。但这对于许多人实际使用的较小、较廉价的模型来说，建议很明确：不要回头看。

论文还排除了其他几种可能性。他们检查了是否是因为提示词（prompts）过长导致机器人感到困惑，但加入来自其他成功任务的代码并没有损害性能。这证明了问题不在于长度，而专门在于机器人看着它自己的失败。他们还检查了是否是由于计算机存储数字的方式（量化）导致的故障，但即使使用更高的精度，结果依然保持不变。

那么，结论是什么？如果你正在使用小型 AI 来编写代码，不要浪费时间向它展示它的错误并要求它修复。它很可能会陷入一个微小且无意义的修改循环中。相反，直接让它从头开始尝试。这更快、更便宜，而且出奇地效果更好。试图“修复”一个糟糕的第一尝试所付出的代价，仅仅是让你被困在那个糟糕的第一尝试中。有时候，前进最好的方式就是忘掉过去，重新开始。

技术摘要：盲目重采样优于小规模代码模型的自我修复

问题陈述

本文针对代码生成智能体中**自我修复（self-repair）**机制评估的一个根本性缺陷进行了研究。标准的评估方法将自我修复（利用执行反馈进行重试）与单次尝试（single-shot）基准进行比较。作者认为这种比较存在混淆：它将“反馈信息”的价值与“额外尝试次数”本身的价值混为一谈。在随机解码的情况下，即使没有信息引导，仅仅多次重试任务也会增加成功的概率。论文指出，如果不使用能够解释额外尝试成本的“安慰剂”对照组，那么自我修复所表现出的所谓收益可能是虚假的。

研究方法

本研究在 MBPP+ 基准测试（378 个任务）上采用了安慰剂对照实验设计，测试了三种模型规模（1.5B、3B 和 7B）的 Qwen2.5-Coder 模型。

实验条件

当程序测试失败时，系统会在原始指令后附加一种后缀，以触发修复尝试。所有条件共享相同的 Token 预算限制和解码参数（重试时温度为 0.8，初始尝试时为贪婪解码）：

重采样（盲目控制组，Resample）： 对原始提示词进行重新采样，而不参考失败的尝试。这隔离了增加一次抽样的价值。
安慰剂（Placebo）： 在失败的程序后附加一段无实际内容的通知，仅说明其不正确。这隔离了重新阅读自身尝试结果的价值。
反馈（Feedback）： 在失败的程序后附加实际的执行输出（失败的输入、预期值 vs 观测值）。这隔离了诊断信息的价值。
反思（Reflect）： 在失败的程序和执行输出之前，要求模型先用文字进行故障诊断，然后再重写。这测试了显式语言推理的价值。

评估指标

性能： 在 $k=8$ 次迭代下的 pass@1，通过针对 EvalPlus 参考实现的差异测试进行测量。
成本： 输出 Token 消耗量。
机制分析： 通过文本相似度（最长匹配子序列比例）衡量连续尝试之间的关系，以测量“锚定效应（anchoring）”。
统计严谨性： 使用 McNemar 精确检验进行配对对比，使用 Bootstrap 置信区间，并对多次比较进行 Holm 校正。实验经过预注册，并在单张消费级 GPU 上运行。

核心结果

1. 盲目重采样在小规模模型中占优

在 1.5B 和 3B 规模下，盲目重采样（在不查看失败情况的情况下重试）实现了最高的通过率，并且是最具 Token 效率的策略。

1.5B： 自我修复条件（安慰剂、反馈、反思）被盲目重采样完全帕累托支配（Pareto-dominated），不仅性能更差，且消耗的 Token 显著更多。具体而言，基于自身失败尝试的条件化（安慰剂）导致准确率下降了 6.1 个百分点（ $p=0.006$ ）。
3B： 呈现类似趋势；自我条件化的惩罚为 6.9 个百分点（ $p<0.001$ ）。
7B： 惩罚幅度缩小，盲目重采样与表现最好的自我修复条件在统计上持平。然而，“反思”条件仅比盲目重采样带来了 +0.8 个百分点的非显著提升，却消耗了 2.5 倍的 Token。

2. 执行反馈未增加可衡量的价值

执行反馈的信息内容与无内容的安慰剂在统计上是不可区分的。

“反馈”与“安慰剂”之间的差异在所有规模下均在统计学上不显著（差异分别为 +0.000、+0.026 和 +0.008）。
从实践者假设执行反馈是自我修复中的“活性成分”这一观点被驳回；仅仅向模型展示其失败的代码，才是导致性能变化的驱动因素。

3. 机制：锚定效应

论文指出锚定效应是导致自我修复性能下降的机制。

当被展示其失败的代码时，模型在重试过程中会复现几乎完全相同的程序，比例高达 33–68%，而在盲目重采样下该比例仅为 2–14%。
模型倾向于对失败程序进行局部修改，而非探索解空间的全新区域。
语言反思部分缓解了锚定效应（使相似度降低了 0.04–0.12），但在成本效益上仍不如盲目重采样。

4. 对自我条件化的特异性

跨任务经验： 在提示词中加入来自其他任务的检索解法（成功的范例）没有产生影响（波动范围在 ±3.5 个百分点内）。这证实了损害是特定于自我条件化（看到自己的失败）的结果，而非长上下文窗口带来的普遍后果。
复现性： 该效应在不同模型家族（DeepSeek-Coder）和精度（FP16 vs. Q4 量化）中均持续存在，排除了量化伪影或特定预训练分布的影响。

5. 基准能力的作用

锚定惩罚的大小受模型基准质量（ $r=0.96$ ）的强烈预测，而非仅仅取决于模型规模或家族。

这种惩罚即是“承诺一个糟糕的首个尝试”所付出的代价。
随着基准能力提升（例如在 7B 模型处），首次尝试出错的可能性降低，使得锚定成本变得微乎其微。因此，观察到的规模趋势实际上是一种能力效应。

意义与主张

本文声称从根本上改变了对代码智能体迭代自我修正的理解：

方法论修正： 作者认为，必须针对同样昂贵且无信息的对照组（如盲目重采样）来评估添加到智能体提示词中的能力，而不仅仅是与单次尝试基准进行比较。否则，所谓的“收益”往往只是坚持不懈带来的收益。
对小规模模型的实践指导： 对于 7B 以下的模型，最优策略是盲目重试，而不是尝试自我修复。智能体应将迭代预算限制在 $k \approx 2$ 附近，并将执行反馈视为一种昂贵的资源，而非默认机制。
经济影响： 对于小规模模型，采用盲目重采样而非自我修复，可以在获得相等甚至更好准确率的同时，显著降低 Token 消耗（减少 2.5–5.5 倍），从而直接降低计算和能源成本。
理论洞察： 研究表明，小规模模型中自我修复的“危害”并非源于推理能力的缺失，而是一种认知偏差（锚定效应），这种偏差阻止了模型放弃失败的路径。随着模型初始生成质量的提高，这种偏差会逐渐减弱。

作者总结道，对于小型代码模型，“重试，但不要回头”（Try Again, Don't Look Back）是更优策略；而自我修复变得可行的转折点，恰好是初始尝试的质量足以让锚定效应不再产生惩罚的时刻。