💻 computer science

DryRUN: On the Role of Public Tests in LLM-Driven Code Generation

本文提出了 DryRUN 框架，通过让大语言模型自主生成输入并模拟执行轨迹进行自我修正，从而在无需依赖人工提供的公共测试用例的情况下，实现了与现有最先进框架相当甚至更高效的代码生成性能。

原作者： Kaushitha Silva, Srinath Perera

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaushitha Silva, Srinath Perera

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何让 AI 写代码更靠谱的有趣故事。

想象一下，你正在教一个非常聪明但有点“死记硬背”的机器人（大语言模型，LLM）做数学题或写程序。

🎭 传统的做法：依赖“参考答案” (Standard Paradigm)

以前，大家教机器人写代码时，习惯给它看几道例题（Public Tests）。

场景：就像老师给学生发了一张试卷，上面有 3 道带答案的练习题。
过程：机器人做完题后，会拿着自己的答案去和这 3 道例题的答案比对。如果都对上了，老师（系统）就大喊：“完美！通过！”
问题：这就好比机器人为了考高分，拼命去死记硬背那 3 道例题的解法。它可能根本没理解背后的逻辑，只是刚好猜中了那 3 道题。
后果：一旦遇到试卷上没见过的、稍微难一点的“隐藏考题”（Private Tests），机器人就彻底懵了，因为它只会做那几道例题。这种现象被称为**“过度自信”**（Overconfidence Gap）——它以为自己全懂了，其实只是运气好。

🚀 新的方法：DryRUN (我们的主角)

这篇论文提出了一个叫 DryRUN 的新方法。它的核心理念是：“别依赖老师给的例题，你自己出题，自己当老师！”

1. 扔掉例题 (Zero-Example)

DryRUN 告诉机器人：“把那些例题都扔了，只看题目要求。”

比喻：就像让机器人去考驾照，不给他看任何模拟题库，只给他看交通规则。

2. 自己出题，自己模拟 (Autonomous Synthesis & Mental Trace)

既然没有例题，机器人该怎么办？DryRUN 让机器人做两件事：

自己出题：机器人根据题目要求，自己编造一些“假设的输入数据”。
- 比喻：机器人自己心里想：“如果输入是 10，输出应该是多少？如果输入是 100 呢？”
大脑模拟运行 (Mental Trace)：机器人不在电脑上真正运行代码，而是在脑子里一步步推演：“如果我输入 10，第一步变量变成 A，第二步变成 B……"
- 比喻：就像你在心里默念菜谱，想象切菜、炒菜的过程，而不是真的开火去炒。如果脑子里发现“哎呀，这里盐放多了”，它就立刻修正菜谱。

3. 反复打磨 (Iterative Refinement)

这个过程会重复几次。机器人不断出题、在脑子里模拟、发现漏洞、修改代码，直到它觉得自己逻辑通顺了，才输出最终答案。

🌟 为什么 DryRUN 更厉害？

论文通过实验发现，DryRUN 虽然没有看任何例题，也没有在电脑上真正运行过代码，但它的表现竟然和那些依赖例题的顶尖方法（如 CodeSIM）一样好，甚至在某些方面更好。

关键优势：

拒绝“死记硬背”：因为它没有例题可背，所以它被迫去真正理解题目逻辑，而不是去凑答案。
避免“过度自信”：传统方法看到例题对了就觉得自己行了；DryRUN 因为是自己出题、自己检查，它更清楚自己的代码在什么情况下会出错，所以更谨慎、更稳健。
省钱省力：它不需要在外部服务器上反复运行代码（这很贵且慢），全靠“大脑”模拟，所以消耗的计算资源更少。

📊 一个生动的比喻

传统方法 (CodeSIM) 就像是一个背题家。他手里拿着 3 道真题和答案，考试时只要题目像这 3 道，他就能拿满分。但题目一变，他就不会了。
DryRUN 就像是一个逻辑学家。他没有真题，但他会在脑子里构建各种可能的场景（出题），并在脑海里预演解题过程。他可能一开始也会犯错，但他通过不断的自我推演和修正，最终掌握了通用的解题逻辑。

💡 总结

这篇论文告诉我们：在让 AI 写代码时，人类提供的“例题”可能并不是必须的，甚至有时候是个陷阱。

AI 其实具备很强的自我反思和自我模拟能力。如果我们不再给它“拐杖”（例题），强迫它自己去思考、去模拟、去纠错，它反而能写出更通用、更不容易出错的代码。这就像教孩子骑车，与其一直扶着车把（给例题），不如让他自己找平衡（DryRUN），虽然刚开始可能摇摇晃晃，但学会后他就能骑得更远、更稳。

DryRUN：LLM 驱动代码生成中公共测试用例的作用研究

1. 研究背景与问题 (Problem)

在基于大语言模型（LLM）的自主代码生成领域，当前的主流方法（如 CodeSIM、AlphaCodium 等）高度依赖人工编写的公共测试用例（Public Test Cases）。这些测试用例通常作为问题规范的一部分提供给模型，用于指导代码生成、调试和验证。

然而，这种依赖存在以下核心问题：

现实脱节：在真实的软件工程场景中，在代码实现之前，通常很难获得全面、准确的输入 - 输出示例。过度依赖公共测试用例使得现有方法局限于特定的编程竞赛基准，难以推广到实际开发。
过拟合与“过度自信差距”（Overconfidence Gap）：公共测试用例往往过于简单，无法覆盖复杂的边缘情况。模型容易针对这些简单的公共测试用例过拟合，导致代码通过了公共测试，却在隐藏的私有测试集（Private Suites）上失败。这种现象被称为“过度自信差距”。
人工成本高昂：编写能够覆盖所有边缘情况的详尽公共测试用例是一个耗时且劳动密集型的过程，给开发者带来了不合理的负担。
未探索的假设：目前尚无研究系统性地评估在完全移除公共测试用例（Zero-Example）的情况下，LLM 是否仍能生成高质量代码。

2. 方法论：DryRUN 框架 (Methodology)

为了解决上述问题，作者提出了 DryRUN（Debugging and Refinement Under Non-execution，非执行下的调试与优化）框架。该框架的核心思想是完全移除对公共测试用例和外部执行沙箱的依赖，转而利用 LLM 自身的规划、输入合成和“思维模拟”（Mental Simulation）能力进行自我修正。

核心流程（Algorithm 1）

DryRUN 通过以下多阶段循环工作：

初始规划（Initial Planning）：
- 基于标准化的问题规范（不含任何示例），LLM 生成初始实施计划。
- 进行 $N_{plan}$ 次独立的计划细化，无需外部反馈，旨在消除初步的逻辑疏忽。
代码合成（Code Synthesis）：
- 基于细化后的计划生成初始代码草案。
思维模拟与基于轨迹的优化（Mental Simulation & Trace-Driven Refinement）：
- 自主输入合成：LLM 根据问题约束，自主合成非平凡的（non-trivial）假设输入，而非使用给定的公共测试用例。
- 思维模拟（Mental Dry Run）：LLM 在内部逐行模拟代码在合成输入上的执行过程，追踪变量状态，以暴露逻辑缺陷。
- 计划更新与代码再生：将模拟产生的执行轨迹（Trace）反馈给规划模块，更新实施计划以修复发现的错误，并重新生成代码。
- 此过程重复 $N_{sim}$ 次。
最终代码抛光（Final Code Polishing）：
- 在最后一轮中，LLM 审查最终计划和代码，修复可能因逻辑修正而引入的语法错误或风格问题，确保最终输出的准确性。

与现有方法（如 CodeSIM）的关键区别

无外部执行：DryRUN 从不将代码发送到外部沙箱执行，完全依赖 LLM 的内部推理。
自主输入：输入由 LLM 根据约束自主生成，而非依赖人工提供的公共测试用例。
主动规划：DryRUN 在模拟前强制进行多轮计划细化，而 CodeSIM 通常是在模拟失败后才进行修复。
避免过拟合：通过模拟 LLM 自己生成的、复杂度可控的输入，避免了模型对简单公共测试用例的过拟合。

3. 关键贡献 (Key Contributions)

挑战公共测试用例的必要性：首次系统性地论证了公共测试用例并非代码生成正确性的唯一驱动力。研究表明，移除公共测试用例对现代 LLM 的性能影响微乎其微。
提出 DryRUN 框架：开发了一个完全零样本（Zero-Example）、无执行（Execution-Free）的代码生成框架，利用 LLM 的自主输入合成和思维模拟能力实现自我修正。
揭示“过度自信差距”：量化分析了依赖公共测试用例导致的模型过拟合现象，证明现有 SOTA 方法在通过公共测试时往往掩盖了私有测试集的失败。
实证验证：在严格的数据污染控制下（使用 2025 年 3 月后发布的 LiveCodeBench v6 数据集），证明了 DryRUN 在无需公共测试用例的情况下，性能可与依赖公共测试用例的 SOTA 方法（CodeSIM）相媲美，且 Token 消耗更低。

4. 实验结果 (Results)

实验在 LiveCodeBench v6（2025 年 3 月后发布，确保无数据污染）的 80 个问题上进行，使用了 gpt-5-mini 和 gemini-3-flash 两个模型。

性能表现：
- DryRUN 在 gpt-5-mini 上比 CodeSIM 高出 3.3% 的 Pass@1 准确率。
- 在 gemini-3-flash 上，CodeSIM 略高 5.0%，但两者差异在标准差范围内，总体表现相当。
- 值得注意的是，移除公共测试用例的零样本基线（Direct w/o Public）甚至略微提升了基线准确率，进一步证明模型并不严格依赖这些示例。
过度自信差距（Overconfidence Gap）：
- CodeSIM 表现出较大的过度自信差距（即通过公共测试但失败于私有测试的比例高），表明其容易过拟合简单的公共测试用例。
- DryRUN 显著降低了这一差距，证明其生成的代码在逻辑上更稳健，不易受简单测试用例的误导。
效率与成本：
- DryRUN 的总 Token 消耗仅为 CodeSIM 的 70%，输出 Token 消耗仅为 50%。
- 这是因为 DryRUN 严格限制模拟轮数（ $N_{sim}=2$ ），而 CodeSIM 允许更多嵌套模拟。
消融实验：
- 单独的计划细化（Plan Refinement）带来了显著的性能提升（+15.31%）。
- 引入思维模拟（Mental Simulation）进一步提升了性能，且第二轮模拟有助于稳定修复过程。
- 最终抛光（Final Polish）阶段带来了额外的性能提升（+3.60%），修正了模拟过程中引入的细微错误。

5. 意义与结论 (Significance & Conclusion)

重新定义代码生成范式：DryRUN 证明了 LLM 具备在缺乏外部验证（如公共测试或沙箱）的情况下，通过内部推理和自我合成输入来解决复杂算法问题的能力。
缓解过拟合风险：通过强制模型在自主生成的、复杂度可控的输入上进行思维模拟，DryRUN 有效避免了模型对简单公共测试用例的过拟合，提高了代码在未知场景下的泛化能力。
对基准测试的启示：研究结果引发了对当前代码生成基准测试（Benchmarks）中是否应包含公共测试用例的深刻反思。过度依赖这些测试可能导致评估偏差，掩盖模型在实际应用中的缺陷。
未来方向：虽然当前框架在大型语言模型（LLM）上表现优异，但在小型语言模型（SLM）上仍面临挑战（如无法遵循复杂指令、产生语法错误）。未来的工作将致力于优化 SLM 的推理能力，并探索将思维模拟应用于更复杂的仓库级（Repository-level）任务。

总结：DryRUN 通过“去外部化”的策略，利用 LLM 内在的规划与模拟能力，成功在零样本条件下实现了与依赖公共测试用例的 SOTA 方法相当甚至更优的性能，同时降低了计算成本并减少了过拟合风险，为未来更贴近真实软件工程场景的代码生成提供了新的范式。