🤖 machine learning

Towards Functional Correctness of Large Code Models with Selective Generation

本文提出了“FuzzEval”，这是一种利用动态生成的单元测试来使选择性代码生成器能够放弃不确定输出的范式，从而在理论上控制错误发现率并提高大型代码模型的函数正确性。

原作者： Jaewoo Jeong, Taesoo Kim, Sangdon Park

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Jaewoo Jeong, Taesoo Kim, Sangdon Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常有才华但又有点过度自信的机器人助手，它的工作是为你编写计算机代码。你要求它：“写一个程序来对一组名字进行排序，”它便兴高采烈地吐出了一个解决方案。但问题在于，有时这个机器人会产生“幻觉”。它写的代码看起来像是能运行，但当你实际运行时，它可能会崩溃、给出错误答案，或者做出完全出乎意料的行为。

在软件世界中，这是非常危险的。你不能盲目地信任这个机器人。

这篇论文介绍了一种针对这些代码编写机器人的全新“安全检查员”系统。与其仅仅接受机器人生成的任何代码，该系统更像是一个严格的质量控制经理，它会说：“我只让好的代码通过；如果我不确定，我会承认我不知道。”

以下是该系统的运作方式，通过简单的概念进行拆解：

1. 问题所在：“黑盒”代码

通常，当我们检查一段代码是否优秀时，我们会依赖于一些预先写好的测试（就像一份清单）。但对于复杂的问题，清单可能会遗漏隐藏的漏洞。这就像是通过只检查汽车轮胎来判断汽车是否安全，却忽略了引擎。论文指出，由于代码如此复杂且对人类而言并不“自然”，仅凭肉眼很难判断两段代码是否在做完全相同的事情。

2. 解决方案：“模糊测试”机

为了解决这个问题，作者使用了一个名为**模糊测试（Fuzzing）**的工具。想象一下，你有一台机器，它接收一段代码，然后向其投掷数百万个随机的、奇怪的、极端的输入，只为了看看它是否会崩溃。

类比： 这就像是一个桥梁压力测试仪。与其只让一辆车驶过，不如让机器投掷沙袋、重型卡车，甚至是大象，以随机的模式横跨桥面，看看桥梁是否能承受住。
结果： 这台机器会自动生成数千个“单元测试”（用于检查代码的小场景），而这些场景是机器人从未见过的。

3. “选择性生成器”：诚实的机器人

论文提出了一种使用代码编写机器人的新方法。我们增加了一个“守门员”步骤。

流程： 机器人尝试编写代码。然后，“模糊测试机”立即针对数千个随机场景对其进行测试。
决策：
- 如果代码以高置信度通过了测试，守门员会说：“继续，这段代码很好！” 并将代码交给您。
- 如果代码失败或测试结果过于模糊，守门员会说：“我不知道，” 并拒绝提供代码。

这被称为选择性生成（Selective Generation）。机器人被允许在不确定时说“我不知道”，而不是通过猜测并给你一段糟糕的代码。

4. 保障机制：“错误发现率”

论文中最令人兴奋的部分是守门员背后的数学原理。作者不仅仅是希望系统有效，他们还从数学上证明了这一点。

他们设定了一条规则：“我们要确保在我们交付的代码中，出错的代码比例低于 30%（或你选择的任何数字）。”
他们称之为错误发现率（False Discovery Rate, FDR）。
该系统旨在确保，即使机器人的表现很差，守门员也会极其严格地过滤掉坏代码，从而保证你最终收到的代码批次在很大程度上是正确的。

5. FuzzEval：更好的成绩单

最后，作者建议未来使用这种相同的“模糊测试机”来为代码模型评分。与其仅仅检查代码是否通过了几个标准测试（比如只有 5 道题的学校考试），他们提议使用“模糊测试机”来生成数百个随机测试。这能为代码 AI 提供一份更准确、更严苛的成绩单。他们将这种新的评分方法称为 FuzzEval。

总结

简而言之，这篇论文教会了我们如何为 AI 代码生成器构建一个安全网。通过使用“压力测试”机（模糊测试）自动创建数百万个测试，我们可以创建一个这样的系统：

在代码到达你手中之前将其过滤掉。
当不确定时承认无知（“我不知道”），而不是通过幻觉给出一个错误的答案。
在数学上保证你拿到的代码是安全的。

它将一种“猜测并希望”的方法转变为一种“测试并验证”的方法，使 AI 生成的代码在实际应用中更加可靠。

技术摘要：迈向具有选择性生成的代码模型功能正确性

问题陈述

大语言模型（LLMs）在代码生成任务中表现出了显著的性能；然而，其在安全关键型系统中的应用受到“代码幻觉”的阻碍，即生成的代码无法满足预期的功能规范。缓解这一问题的关键瓶颈在于识别生成代码的功能正确性存在困难。与自然语言中可以通过人工标注语义蕴涵（semantic entailment）不同，代码具有复杂的、非自然的结构，使得人工验证功能等价性变得极具挑战性。现有的基准测试通常依赖于有限的人工策划单元测试，这些测试可能无法覆盖足够的执行路径以保证正确性。此外，当前控制幻觉的方法通常侧重于通过微调或排序来提高模型性能，缺乏在推理过程中直接控制错误输出率的、具有理论依据的机制。

方法论

作者提出了一个**选择性代码生成（Selective Code Generation）框架，该框架通过使用带有代码蕴涵的错误发现率（False Discovery Rate with Code Entailment, FDR-CE）**指标，在理论上控制幻觉率。该方法由三个核心部分组成：

1. $\alpha$ -代码蕴涵与模糊测试

为了解决定义功能正确性的困难，论文利用程序的执行特性重新定义了代码的蕴涵关系。

$\alpha$ -代码蕴涵： 作者并非要求精确的等价性，而是定义：如果代码片段 $\hat{y}$ 通过单元测试生成器 $F(x)$ 的测试概率至少为 $1-\alpha$ ，则称 $\hat{y}$ 被 $F(x)$ $\alpha$ -蕴涵。这允许对功能正确性进行概率性度量。
FuzzEval： 为了自动且严谨地生成必要的单元测试，作者采用了模糊测试（fuzzing）——一种动态代码分析技术。通过随机采样和变异输入种子，模糊测试可以探索广泛的执行路径以生成输入-输出对。这一过程被称为 FuzzEval，它有两个目的：
- 学习： 生成大量的单元测试，以估计用于训练选择性生成器的蕴涵集。
- 评估： 提供比静态、人工策划的测试更严谨的评估基准。

2. 选择性生成框架

该系统引入了一个选择性生成器 $\hat{S}(x)$ ，作为基础代码生成器 $G(x)$ 的后处理器。

弃权机制： 对于给定的提示词 $x$ ，系统计算一个得分 $f(x, G(x))$ （例如，长度归一化的对数概率）。如果该得分超过校准阈值 $\tau$ ，则返回代码；否则，系统选择弃权（返回“我不知道”）。
风险控制： 目标是确保所选代码功能不正确（即未满足 $\alpha$ -蕴涵）的概率保持在预设水平 $\epsilon_S$ 以下。这被形式化为控制 FDR-CE：
$R_\alpha(\hat{S}) := P\{ \hat{S}(x) \notin E_\alpha(x) \mid \hat{S}(x) \neq \text{IDK} \}$
其中 $E_\alpha(x)$ 是满足 $\alpha$ -蕴涵条件的候选代码片段集合。

3. 理论保证与算法 (ASCG)

作者提出了 ASCG（选择性代码生成算法）学习算法。

估计： 由于真实的蕴涵集 $E_\alpha$ 是未知的，算法使用从生成的单元测试中推导出的低二项尾部界限 $\hat{L}$ 来估计蕴涵集 $\hat{E}_{\alpha, \epsilon_E}$ 。
校准： 利用校准集，算法寻找最优阈值 $\tau$ ，在最大化选择效率（最小化阈值）的同时，确保 FDR-CE 的上界不超过目标值 $\epsilon_S$ 。
保证： 定理 4.3 提供了一个理论保证，即所学习的选择性生成器即使在没有人工标注蕴涵标签的情况下，也能以高概率（ $1-\delta_S$ ）满足所需的 FDR-CE 约束。

核心贡献

代码的选择性生成： 本文将选择性预测的概念（此前应用于自然语言）扩展到代码生成领域，引入了通过弃权来控制幻觉率的机制。
FuzzEval 范式： 提出使用模糊测试工具自动生成单元测试，用于学习选择函数和评估代码正确性，克服了小型人工测试集的局限性。
FDR-CE 的理论控制： 该工作提供了一种具有 PAC 式保证的学习算法，确保错误生成的代码率（在非弃权回答中）被限制在一个用户定义的参数之内。
$\alpha$ -代码蕴涵定义： 它形式化了一个适用于自动化分析的概率性代码正确性定义，弥合了 NLP 中的语义蕴涵与代码中的功能等价性之间的鸿沟。

实验结果

作者在多种设置下对该方法进行了评估，包括：

模型： 四种代码生成器（GPT-4o, Gemini 1.5 Pro, GPT-4.1, CodeLlama 13B, DeepSeek-R1）。
数据集： 四个基准测试（APPS, Mercury, HumanEval, MBPP），通过自动生成的单元测试转换为“Fuzz”版本（如 APPS-f 等）。
语言： Python, C++, Java, JavaScript 和 Perl。

主要发现：

可控性： 所提出的方法 (SCG) 成功地在各种模型和数据集上将 FDR-CE 控制在期望水平 ( $\epsilon_S$ ) 之内，而基准方法（如 SCG-EM, SCG-manual）要么无法控制风险，要么表现出平凡的效率（即过度弃权）。
效率： SCG 在保持安全性保证的同时，实现了合理的选择效率（非弃权回答的比例）。例如，在 GPT-4o 且 $\epsilon_S=0.3$ 的情况下，SCG 在保持约 33%-50% 的生成回答率的同时，将 FDR-CE 维持在目标值以下（取决于数据集）。
模糊测试的益处： 实验表明，使用模糊测试生成的单元测试 (SCG) 在风险控制和效率方面都显著优于使用有限人工测试 (SCG-small) 或不使用测试 (SCG-EM) 的方法。
对前作的扩展： 该方法作为一个后处理器，可以应用于现有先进模型（如经过 GRPO 微调的 DeepSeek-R1）或基于排序的方法之上，提供额外的统计安全性保障。

意义与主张

本文声称其主要贡献在于能够直接控制代码模型幻觉率的选择性生成学习算法。通过利用模糊测试体现的代码的可执行特性，作者认为可以超越启发式的性能提升，迈向受理论控制的安全。

该工作的意义在于为错误发现率提供了“可控性保证”，使代码生成器在需要更高安全标准的系统中更加可靠。作者也谦虚地指出，虽然该方法控制了幻觉率，但整体选择效率仍取决于底层代码生成器的质量，且用于理论保证的 i.i.d.（独立同分布）假设可能会限制其在分布偏移环境下的适用性。该工作并不声称消除幻觉，而是提供了一种以统计严谨性管理并限制幻觉的机制。