🤖 AI

Self-Improving Code Generation via Semantic Entropy and Behavioral Consensus

该论文提出了名为 ConSelf 的自改进框架，通过利用衡量程序行为功能多样性的代码语义熵来构建课程学习，并结合基于行为共识的偏好优化（Con-DPO）来减轻噪声监督的影响，从而在无需外部教师模型或测试预言机的情况下显著提升大语言模型的代码生成能力。

原作者： Huan Zhang, Wei Cheng, Wei Hu

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Huan Zhang, Wei Cheng, Wei Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 ConSelf 的新方法，它的核心目标是：让一个写代码的人工智能（AI）在没有老师教、也没有标准答案的情况下，自己学会“自我进化”，变得更强。

为了让你更容易理解，我们可以把 AI 写代码的过程想象成一个学生在参加“编程特训营”。

1. 传统的困境：没有老师，也没有标准答案

通常，AI 变强需要两样东西：

超级老师：一个比它更聪明的 AI 给出完美的代码（参考解）。
标准答案：一套严格的测试题和评分标准（测试用例），告诉它代码是对是错。

但在现实世界中，这两样东西往往很难得。就像学生想自学，但找不到名师，也没有老师批改作业。这时候，如果学生盲目地自己做题、自己改错，很容易陷入死胡同，甚至越学越差（因为自己产生的错误答案太多，把自己带偏了）。

2. ConSelf 的两大绝招

为了解决这个问题，作者提出了两个核心策略，我们可以把它们比作**“选课策略”和“复习策略”**。

第一招：智能选课（基于“语义熵”的筛选）

核心问题： 学生面对一堆题目，哪些该学？哪些不该学？

太简单的题：学生一眼就会，学了没进步。
太难的题：学生完全不会，瞎蒙了一堆错误答案，这时候如果强行学，只会把错误的思路刻在脑子里（这就是论文里说的“噪声数据”）。
刚刚好：学生有点思路，但还不确定，这时候学效果最好。

ConSelf 怎么判断？
它发明了一个叫**“代码语义熵”**的指标。

比喻：想象学生面对一道题，让他写 10 遍代码。
- 如果这 10 遍代码运行出来的结果五花八门、乱七八糟（有的报错，有的结果不同），说明学生心里非常迷茫，这道题对他来说太难了（高熵）。这时候不学，因为全是噪音。
- 如果这 10 遍代码运行出来完全一模一样（哪怕全是错的），说明学生已经“钻牛角尖”了，或者题目太简单（低熵）。这时候也不学，因为学不到新东西。
- 如果这 10 遍代码运行结果大部分一致，但有一两个小差异，说明学生掌握了大概，正在探索边界。这时候要学！

结论：ConSelf 就像一个聪明的教务主任，把那些“太乱”和“太死”的题目挑出去，只留下那些“有挑战性但能学会”的题目，组成一个精选课程表。

第二招：民主投票式复习（基于“行为共识”的优化）

核心问题： 在精选的题目里，学生自己写的答案里，哪个是对的？

因为没有标准答案，学生自己生成的答案里，可能大部分是错的，只有少数是对的。如果直接拿一个“看起来像对的”答案去教自己，可能会把错误当真理。

ConSelf 怎么解决？
它引入了**“共识驱动”**的机制。

比喻：学生针对同一道题，根据刚才的“精选课程”，又写了 10 个版本的答案。
- 如果这 10 个版本里，有 8 个都算出了同一个结果，只有 2 个算错了。那么，那个8 票通过的结果，大概率就是对的（或者至少是靠谱的）。
- 如果 10 个版本里，有 5 个结果 A，3 个结果 B，2 个结果 C，那就说明大家意见不统一，这个答案不可信。

ConSelf 的做法：
它给每个答案打一个**“信任分”**。

如果某个答案和大多数人的结果一致（共识度高），就给它高权重，重点学习它。
如果某个答案很另类（共识度低），就给它低权重，甚至忽略它。
这样，AI 在自我学习时，就不会被那些“少数派的错误”带偏，而是跟随“大多数人的智慧”来修正自己。

3. 实验结果：真的有用吗？

作者用了好几个著名的编程测试（就像高考、奥数题）来测试这个方法。

结果：ConSelf 让原本普通的开源 AI 模型（比如 CodeLlama, DeepSeek 等）在没有老师、没有标准答案的情况下，代码能力提升了 2.7% 到 3.9%。
对比：其他那些“盲目自学”的方法（比如直接拿所有生成的代码去练），反而让 AI 变笨了。

总结

这篇论文就像是在教一个**“自学成才”的 AI 学生**：

别瞎练：通过观察自己做题时的“混乱程度”，挑出那些真正值得练的题（语义熵筛选）。
听多数人的：在练习时，不要盲目相信某一个答案，要看大家“投票”的结果，跟着大多数靠谱的思路走（共识优化）。

通过这两步，AI 就能在没有外部老师的情况下，自己把自己“卷”得更好。这为未来开发更智能、更独立的编程助手提供了新的思路。

这是一篇关于大语言模型（LLM）在无监督环境下自我提升代码生成能力的论文总结。论文提出了名为 ConSelf 的框架，旨在解决在缺乏外部教师模型和可靠测试预言机（Test Oracles）的困难场景下，如何有效利用问题描述和测试输入进行自我优化的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

现有挑战：目前的代码生成模型提升主要依赖监督微调（SFT）或偏好优化（如 DPO），但这通常需要昂贵的资源：
1. 强大的教师模型：用于生成参考解（Reference Solutions）。
2. 可靠的测试预言机：用于判断代码正确性（Test Oracles）。
现实困境：在真实场景中，获取问题描述和测试输入（Test Inputs）相对容易，但获取参考解和可靠的测试预言机非常困难且昂贵（即“测试预言机问题”）。
核心问题：如果仅拥有问题描述和测试输入，而没有教师模型和测试预言机，代码语言模型能否实现自我提升？
主要难点：
- 噪声数据：对于模型当前能力无法解决的问题，其自我生成的解通常是错误且多样的（Noisy），直接训练会导致性能下降。
- 学习信号缺失：对于模型已掌握的问题，自我生成的解缺乏区分度，无法提供有效的学习信号。
- 不确定性度量失效：传统的内部置信度指标（如 Token 熵、负对数似然）无法准确反映代码的功能正确性。

2. 方法论 (Methodology)

ConSelf 提出了一种双管齐下的策略：“学什么”（课程构建） 和 “怎么学”（优化算法）。

2.1 观察引导的采样 (Observation-Guided Sampling)

为了获得多样化的候选代码，模型首先针对每个问题生成一组文本“观察”（Observations，如关键定义、潜在陷阱、策略提示），然后基于这些观察生成多个候选程序。这确保了候选池的多样性，为后续分析奠定基础。

2.2 课程构建：基于语义熵的过滤 (Curriculum Curation via Code Semantic Entropy)

为了解决“学什么”的问题，论文提出了 代码语义熵 (Code Semantic Entropy) 这一新指标。

核心思想：不依赖模型内部的置信度，而是基于可观察的程序执行行为。
计算过程：
1. 执行所有候选程序在测试输入上的运行，获取执行轨迹（输出结果）。
2. 根据执行结果将候选程序聚类（Behavioral Clustering）。
3. 计算聚类的香农熵。
指标含义：
- 高熵：模型行为混乱，功能分歧大，说明问题太难或模型完全不会（噪声大，应过滤）。
- 零熵：所有候选程序行为一致（要么全对，要么全错且模式固定），缺乏学习空间（应过滤）。
- 中等熵：模型能生成部分正确或多样化的解，是最佳的学习目标。
策略：通过设定阈值 $\tau$ ，过滤掉熵过高（不可解）和熵为零（已掌握或死循环）的问题，构建一个适合当前模型能力的“可学习课程”。

2.3 优化算法：共识驱动的偏好优化 (Consensus-Driven DPO, Con-DPO)

为了解决“怎么学”的问题，论文改进了直接偏好优化（DPO）。

问题：在无监督设置下，自我生成的“胜者”（Winner）和“败者”（Loser）标签本身带有噪声，标准 DPO 假设标签绝对可靠，这会导致过拟合噪声。
解决方案：引入 行为共识分数 (Behavioral Consensus Score)。
- 计算每个候选程序在测试用例上的输出与其他候选程序的一致性程度。
- 共识分数越高，说明该行为越可能是正确的（或至少是合理的）。
Con-DPO 目标函数：
$\mathcal{L}_{\text{Con-DPO}} = -\mathbb{E} [ R(y_w) \cdot \log \sigma(\hat{r}(y_w, y_l)) ]$
其中 $R(y_w)$ 是胜者样本的共识分数。该机制根据标签的可靠性动态调整损失权重：对高共识（高置信度）的样本学习更激进，对低共识样本学习更谨慎，从而抑制噪声的影响。

3. 主要贡献 (Key Contributions)

代码语义熵 (Code Semantic Entropy)：提出了一种基于程序执行行为的新型不确定性度量指标。实验证明，它比传统的内部置信度指标（如 Token 熵、NLL）更能准确区分问题的可解性，且对模型架构无关。
ConSelf 框架：构建了一个无监督自我提升框架，结合了基于熵的课程筛选（解决数据质量）和基于共识的偏好优化（解决标签噪声）。
实证结果：在多个基准测试和不同规模的开源模型上验证了该方法的有效性，证明了在无外部监督下实现显著性能提升的可行性。

4. 实验结果 (Results)

实验设置：在 HumanEval, MBPP, EvalPlus, LiveCodeBench 四个基准上测试，使用了 CodeLlama-7B, DeepSeek-Coder-6.7B, Qwen2.5-Coder-7B 三种基座模型。
性能提升：
- ConSelf 在所有模型上均取得了相对于基座模型的相对提升（CodeLlama: +3.30%, DeepSeek-Coder: +2.73%, Qwen2.5-Coder: +3.95%）。
- 相比之下，其他无监督基线方法（如 Self-SFT, Self-DPO, PFPO）大多导致性能下降或提升微乎其微。
数据效率：ConSelf 通过课程筛选，仅使用了极少量的训练数据（例如 DeepSeek-Coder 仅用 6,372 个样本，而 Self-DPO 用了 46,734 个），却取得了更好的效果，证明了“质量优于数量”。
消融实验：
- 移除课程构建（w/o CC）导致性能大幅下降，证明筛选可学习问题是关键。
- 移除共识加权（w/o CW）导致性能下降，证明处理剩余噪声是必要的。
指标对比：代码语义熵在区分“可解”与“不可解”问题上的 AUC 分数（最高 0.804）远高于内部指标（接近 0.5），且与通过率呈现强负相关。

5. 意义与影响 (Significance)

降低门槛：ConSelf 使得代码大模型可以在没有昂贵教师模型和人工编写测试用例的情况下进行自我迭代，极大地降低了代码生成模型优化的成本和门槛。
解决测试预言机难题：通过利用“执行行为”而非“测试预言机”来评估不确定性，巧妙地绕过了软件工程中经典的测试预言机问题。
方法论创新：提出了将“功能行为一致性”作为代码生成不确定性度量的新范式，为未来的无监督代码学习提供了新的理论视角。
实际价值：对于资源受限或需要快速适应特定领域（缺乏高质量标注数据）的场景，ConSelf 提供了一种高效、鲁棒的自我进化方案。

总结：ConSelf 通过引入“代码语义熵”来筛选高质量的学习目标，并利用“共识驱动”来抑制自我生成数据中的噪声，成功实现了在无外部监督条件下的代码生成模型自我提升，为开源代码大模型的持续进化提供了一条切实可行的路径。