🤖 AI

Uncertainty Quantification for LLM-based Code Generation

本文介绍了 RisCoSet，这是一个新颖的框架，它利用多重假设检验为基于大语言模型的代码生成构建风险可控的预测集，通过容纳多个有效输出并显著减少不必要的代码剔除，同时保持对正确性的高度信心，从而有效克服了现有方法的局限性。

原作者： Senrong Xu, Yuhao Tan, Yanke Zhou, Guangyuan Wu, Zenan Li, Yuan Yao, Taolue Chen, Feng Xu, Xiaoxing Ma

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Senrong Xu, Yuhao Tan, Yanke Zhou, Guangyuan Wu, Zenan Li, Yuan Yao, Taolue Chen, Feng Xu, Xiaoxing Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你请一位才华横溢但偶尔过于自信的 AI 为你编写计算机程序。有时，AI 会写出完美的代码；而有时，它会“产生幻觉”，混入一些看似正确但实际上会导致程序崩溃的代码行。

问题在于：你如何知道 AI 代码的哪些部分是安全可保留的，哪些部分是危险的？

本文介绍了一种名为RISCOSET的新方法来解决这一问题。不妨将其视为 AI 生成代码的“安全网”。

旧方法的问题

此前，研究人员尝试使用一种称为PAC（即“概率近似正确”）的方法。

类比：想象你正在一个装满钥匙的巨大杂乱抽屉中寻找一把特定的钥匙。旧方法（PAC）有一条严格规则：“你只能查看比上一次挑选的钥匙更小的钥匙。”
缺陷：这条规则过于僵化。它迫使研究人员为了遵守规则而丢弃了太多潜在的好钥匙（或在此情境下，即代码行）。此外，它假设只有一个正确答案，但在编程中，往往存在许多种不同的方式来编写实现完全相同功能的程序。

新解决方案：RISCOSET

作者提出了RISCOSET，它采用了一种更智能的方法，称为LTT（先学习后测试）。

1. “部分程序”（骨架）
RISCOSET 不再试图猜测整个完美程序，而是构建一个“骨架”或“部分程序”。

类比：想象 AI 写了一个故事，但你不确定结局。RISCOSET 不会删除整个故事，而是高亮显示不确定的句子，并仅移除这些特定部分，从而为你留下一个你确信安全的坚实框架（部分故事）。
目标：该骨架被保证（具有高度的统计置信度）是正确解决方案的一部分。随后，你可以填补缺失的部分。

2. “多标签”优势
旧方法假设只有一个“正确”答案。RISCOSET 理解在编程中存在许多有效的解决方案。

类比：如果你要一份蛋糕食谱，并没有唯一“正确”的做法。你可以使用黄油或油；你可以用圆形烤盘或方形烤盘烘烤。RISCOSET 接受存在许多“正确”版本的事实，因此它不会仅仅因为代码看起来与第一个猜测略有不同就将其丢弃。

3. “选择性执行”（节省时间和金钱）
为了确保其“骨架”是安全的，系统需要测试代码。但测试每一行代码既缓慢又昂贵（就像为每一颗螺丝都进行完整的汽车引擎测试）。

类比：RISCOSET 采用“选择性执行”策略。这就像一位质检员检查产品。如果产品看起来非常干净且质量上乘（不确定性低），质检员就会跳过全面测试。如果它看起来杂乱无章（不确定性高），质检员就会进行完整测试。
结果：这在保持极低错误率的同时，节省了巨大的时间和计算资源。

他们发现了什么？

研究人员在三种不同的 AI 模型和三个不同的代码数据集上测试了该方法。

减少浪费：与现有最佳方法相比，RISCOSET 少删除了**24.5%**的代码行。这意味着你可以保留更多 AI 的有用工作成果。
安全第一：尽管保留了更多代码，他们仍保持了同样高水平的安全保证。他们构建的“骨架”包含正确解决方案的可能性与旧方法一样高，但避免了大量不必要的删除。

总结

RISCOSET是一种新工具，帮助我们更好地信任 AI 生成的代码。它不再因为害怕出错而丢弃大段代码，而是精心雕琢出一个安全的“骨架”，保证该骨架是可行解决方案的一部分。它更智能、更少浪费，并且尊重编写优质代码存在多种途径这一事实。

技术摘要：面向基于大语言模型的代码生成的不确定性量化 RISCOSET

问题陈述

大语言模型（LLM）日益被用于代码生成，但其存在幻觉以及生成有毒或偏见输出的问题，限制了其在高风险应用中的部署。虽然共形预测（CP）为具有分布无关保证的不确定性量化提供了一个框架，但将其适应于代码等结构化生成任务仍具挑战性。

现有方法，如用于代码的 PAC（可能近似正确）预测集（Khakhar 等人，2023），面临两个关键局限：

单调性约束：它们依赖于关于风险和预测集大小的强单调性假设。这限制了可接受部分程序的空间，往往导致次优解，即移除了过多的代码节点。
单标签假设：它们是为单标签分类设计的。然而，代码生成本质上是一个多标签问题，其中多个语法不同的程序可以拥有相同且正确的语义。现有方法无法适应这种多重性，严重限制了候选空间。

方法论：RISCOSET

作者提出了RISCOSET，该方法通过将问题重构为多标签分类任务并利用**先学习后测试（LTT）**框架（Angelopoulos 等人，2025），为基于大语言模型的代码生成构建风险控制预测集。

核心组件

多标签重构与结构化风险：
RISCOSET 不强制单调性，而是基于语义正确性定义结构化风险函数。对于给定输入，目标是生成一个预测集（表示为部分程序或抽象语法树子树），该集合包含增强标签集 $\tilde{Y}$ 中的至少一个正确程序。经验风险定义为校准实例中预测集未能与正确程序集合相交的比例。
部分程序优化：
为了生成预测集，该方法通过求解优化问题来剪枝生成代码的抽象语法树（AST）节点。
- 目标：在确保剩余部分程序的总不确定性（负对数概率）不超过阈值 $\lambda$ 的前提下，尽可能保留更多节点。
- 约束：解必须满足树连通性（如果父节点被移除，子节点也必须被移除）以及允许的子树移除数量限制（ $t_{max}$ ）。关键在于，此优化去除了 PAC 方法中发现的严格单调性约束，从而允许更大的可行标签空间。
多重假设检验（LTT）：
RISCOSET 采用 LTT 框架来选择控制风险的最优参数 $\hat{\lambda}$ 。
- 它将 $\lambda$ 的选择视为一个多重假设检验问题。
- 对于一组候选 $\lambda$ 值，它基于经验结构化风险计算 $p$ 值。
- 使用控制族错误率（FWER）的算法，它识别出一组有效的参数 $\Lambda_{valid}$ ，保证风险以高置信度（ $1-\delta$ ）保持在用户指定的容差 $\alpha$ 以下。
选择性执行策略：
由于代码生成是多标签的，校准过程需要采样多个候选程序并通过测试用例执行进行验证，这在计算上非常昂贵。为了缓解这一问题，RISCOSET 引入了一种选择性执行策略：
- 它使用不确定性分数（如困惑度）来决定哪些采样程序需要执行测试。
- 低不确定性的程序被直接接受为正确而无需执行，而高不确定性的程序则经过验证。
- 该策略利用重要性采样和霍夫丁不等式（Hoeffding's inequality）来估计误差上界，确保标签错误率保持在受控界限 $\epsilon$ 内，同时显著降低计算成本。

主要贡献

RISCOSET 框架：首次将 LTT 框架应用于结构化代码生成，将预测集构建重构为多标签问题，其约束条件弱于基于 PAC 的方法。
结构化风险优化：一种新颖的优化公式，用于生成部分程序（AST 子树），在满足风险控制保证的同时最大化保留信息，且不受限制性单调性假设的束缚。
高效校准：一种选择性执行策略，平衡了风险控制与标签验证计算成本之间的权衡，并辅以非渐近误差界限支持。
实证验证：全面的实验证明了该方法在三种大语言模型（Deepseek-Coder、Qwen2.5-Coder、Llama3.1）和三个数据集（HumanEval、MBPP、APPS）上的有效性。

实验结果

作者将 RISCOSET 与最先进的基线进行了评估，包括 PAC 预测集方法和一种贪婪变体。

节点移除减少：与基线相比，RISCOSET 显著减少了移除的 AST 节点数量，同时保持了相同水平的风险控制。例如，在 MBPP 数据集上，当 $\alpha=0.15$ 时，该方法与最佳竞争对手相比减少了 24.5% 的代码移除。
覆盖率保证：构建的预测集始终实现了超过目标界限（ $1-\alpha$ ）的覆盖率，验证了理论上的风险控制保证。
模型可扩展性：该方法在代码专用模型（Qwen2.5-Coder）和通用模型（Llama3.1）上均表现良好，表明随着生成模型能力的增强，性能也会提升。
选择性执行效率：选择性执行策略成功降低了需要执行测试用例的程序比例（例如，在标签错误率 $\epsilon=0.1$ 时，避免了约 30% 的程序执行），同时保持了高于目标阈值的覆盖率。

意义与主张

该论文声称是首个将 LTT 框架引入结构化代码生成任务的工作。其主要意义在于通过以下方式解决了现有基于 PAC 方法的局限性：

消除了对强单调性假设的需求，从而扩大了候选程序的空间并减少了不必要的代码移除。
自然地适应了代码生成的多标签特性（单个任务存在多个有效解）。
为生成代码集合的正确性提供了严格的统计保证，而无需依赖在代码等结构化领域中失效的独立性假设。

作者总结道，虽然他们的重点是代码生成，但所提出的方法可适应于其他不确定性量化至关重要的结构化预测问题。他们承认校准阶段的计算开销，但强调选择性执行策略有效地缓解了这一成本。