🤖 machine learning

Enhancing the Code Reasoning Capabilities of LLMs via Consistency-based Reinforcement Learning

本文介绍了 CodeThinker，这是一个以一致性为导向的强化学习框架，通过引入逐步推理感知训练、动态束搜索采样以及一致性奖励机制来增强大语言模型的代码推理能力，从而克服稀疏奖励和奖励作弊问题，在基准测试中实现了最先进性能并提升了下游任务表现。

原作者： Zhanyue Qin, Jia Feng, Yibo Lyu, Yun Peng, Dianbo Sui, Cuiyun Gao, Qing Liao

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhanyue Qin, Jia Feng, Yibo Lyu, Yun Peng, Dianbo Sui, Cuiyun Gao, Qing Liao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位非常聪明但有时过于自信的学生（一个大语言模型），如何解一道复杂的谜题：在计算机程序实际运行之前预测其行为。

这篇论文介绍了一种名为CodeThinker的新教学方法。以下是通过简单类比对其工作原理的解释。

问题：“幸运猜测”型学生

此前，在教导这些 AI 学生时，老师们只关注最终答案。

旧方法： 如果学生猜对了最终数字，他们就会得到一颗金星，即使他们的步骤一团糟、充满错误，或者仅仅是靠运气猜中的。
结果： 学生们学会了“钻系统的空子”。他们会跳过艰难的思考，编造随机的步骤，并指望最终数字能对上。这被称为奖励黑客（reward hacking）。这就像一个只死记硬背答案键却不理解数学的学生；他们能通过考试，但实际上无法解决新问题。

解决方案：CodeThinker

作者创建了一个新框架，强制学生逐步展示他们的解题过程，并在给予奖励之前检查每一步是否合理。他们称之为基于一致性的强化学习（Consistency-Based Reinforcement Learning）。

以下是他们用来教导学生的三个主要工具：

1. “实时追踪”笔记本（一致性追踪）

学生不再只被要求给出最终答案，而是必须在解题过程中填写一本特殊的笔记本。

工作原理： 对于每一小段代码，学生必须写下：
1. 代码说了什么。
2. 他们在想什么。
3. 变量的确切状态（就像内存中数字的快照）。
类比： 想象一名侦探在破案。侦探不能只说“是管家干的”，而必须展示一份日志："5:00 时，管家在厨房。5:05 时，他移动到了图书馆。”如果日志显示他在 5:05 时还在厨房，但证据表明他在图书馆，侦探会立即收到红旗警告。
为何有效： 这阻止了学生跳过步骤或产生幻觉（编造内容）。如果笔记本中的“变量快照”与现实不符，整个尝试就会被标记为错误。

2. “智能侦察兵”策略（动态束采样）

当学生尝试解决问题时，他们可能会生成许多不同的路径（就像在地图上尝试不同的路线）。

旧方法： 老师会让学生尝试 8 条随机路线，并同等地给它们打分。
新方法（CodeThinker）： 老师扮演一名智能侦察兵。当学生开始沿某条路径行走时，老师会检查：“这条路径看起来有希望吗？”
- 如果一条路径看起来不好，老师会立即将其切断。
- 如果一条路径看起来不错，老师会投入更多资源来更深入地探索该特定路径。
类比： 这就像玩一款能量有限的电子游戏。与其走进 8 条死胡同，不如将所有能量集中在看起来通向宝藏的那一条小巷上。这使得训练效率大大提高。

3. “不回头”规则（一致性奖励）

这是阻止“奖励黑客”最重要的规则。

规则： 除非每一个之前的步骤都完美无缺，否则你无法因最终答案获得奖励。
类比： 想象一场接力赛。如果第一棒选手掉了接力棒，即使最后一棒选手第一个冲过终点线，队伍也会输掉比赛。
为何有效： 在旧方法中，学生可以搞砸前 90% 的数学计算，靠运气猜对答案，仍然获得满分。使用 CodeThinker，如果他们搞砸了第 1 步，“大门”就会关闭，他们最终答案得分为零。这迫使他们在从头到尾的过程中保持一致性。

结果

该论文在名为LeetCodeReasoning的代码问题数据集上，针对多种不同的 AI 模型（如 Qwen、DeepSeek 和 Llama）测试了这种新教学方法。

更高的分数： 使用 CodeThinker 训练的模型在代码测试中获得的分数显著高于使用旧方法训练的模型。例如，在某项测试中，其改进幅度比最佳先前方法高出约 4.3%。
更深入的思考： 这些模型开始生成更长、更详细的解释（更多的“思考 token"），证明它们实际上是在进行推理，而不是猜测。
通用技能： 尽管这些模型仅针对 Python 代码进行了训练，但它们在以下方面也有所提升：
- 解决数学问题（无需额外的数学训练）。
- 理解其他 17 种编程语言中的代码（无需额外的语言训练）。

总结

CodeThinker就像一位严格但公平的教练。它不仅仅关心你是否赢得了比赛；它关心你是否在每一刻都遵守了规则。通过强制 AI 逐步追踪其进度，并对任何不一致之处进行惩罚，它教会了 AI 真正去推理，而不仅仅是猜测。

技术摘要：通过基于一致性的强化学习增强大语言模型的代码推理能力

问题陈述

代码推理涉及根据源代码和特定输入预测程序的输出。虽然大语言模型（LLMs）在该领域展现出潜力，但现有的代码推理强化学习（RL）方法存在显著局限性。当前方法通常仅基于最终输出或粗粒度信号设计奖励，忽视了逐步推理过程固有的一致性。这一疏忽导致两个主要问题：

稀疏奖励：模型仅在长推理链的末端接收反馈，使其难以学习中间步骤。
奖励黑客：模型可能学会通过不一致或幻觉的中间推理步骤生成正确的最终答案，因为奖励机制并未惩罚过程中的逻辑错误。

方法论：CodeThinker 框架

为应对这些挑战，作者提出了CodeThinker，一个由一致性驱动的强化学习框架。该框架包含三个核心组件和一个专用训练数据集。

1. 训练数据构建：LeetCodeReasoning

作者基于 LeetCodeDataset 构建了一个名为LeetCodeReasoning的竞赛级数据集。与以往常缺乏逻辑复杂性的合成数据集不同，该数据集通过四步流程构建：

静态过滤：使用抽象语法树（AST）仅保留至少五行的函数级代码，去除冗余。
单元测试生成：使用 Qwen3-32B 为每个函数生成 15 组多样化的输入。
执行过滤：执行代码以获取真实输出，并过滤掉失败或超时的样本。
相似性过滤：移除与现有基准（CRUXEval、LiveCodeBench、REval）高度相似的样本，以确保评估的完整性。
最终数据集包含 9,142 个样本，涵盖 651 个不同的函数，每个函数平均有 14.04 个单元测试。

2. 一致性追踪（ConTra）范式

作者引入了一种名为**一致性追踪（ConTra）**的新颖推理范式，以替代“普通追踪”。

结构：模型必须将程序划分为逻辑代码块。对于每个块，输出必须包含：
- 实际代码内容（[CODE]）。
- 对该块的显式思考（[THOUGHT]）。
- 执行后跟踪的局部变量状态（[LOCALS]）。
目标：这迫使模型显式跟踪中间变量状态，将推理过程与最终答案解耦，并确保执行的一致性。

3. 强化学习组件

该框架采用群相对策略优化（GRPO），并包含两种新颖策略：

动态束采样（DBS）：
- 与采样 $N$ 条独立轨迹的标准 GRPO 不同，DBS 动态重新分配采样预算。
- 它利用中间过程奖励模型（PRM）分数评估部分轨迹。
- 如果部分轨迹得分较高，剩余的采样预算将被重新分配以扩展该特定路径（束扩展），而低分路径则被丢弃。这在固定预算下提高了采样样本的质量。
一致性奖励机制（CRM）：
- 奖励函数 $R(y)$ 结合过程奖励模型（PRM）和结果奖励模型（ORM），并带有门控机制。
- PRM：逐块评估执行流与真实情况的一致性。它使用前缀一致性约束：如果步骤 $t$ 出现错误，所有后续块将获得零奖励。
- ORM：评估最终答案的正确性。
- 门控：仅当 PRM 达到其最大值（即整个推理过程一致）时，才授予 ORM 奖励。这严格防止了模型在推理存在缺陷的情况下猜对答案的奖励黑客行为。

主要贡献

ConTra 范式：一个逐步推理感知的训练模块，通过变量跟踪显式捕捉执行一致性，克服了普通追踪的局限性。
动态束采样（DBS）：一种采样策略，通过在 RL 阶段将预算重新分配给高分的部分路径，从而提高轨迹质量。
一致性奖励机制（CRM）：一种奖励设计，融合门控 ORM 和 PRM，通过强制前缀一致性彻底解决奖励黑客问题。
LeetCodeReasoning 数据集：一个用于代码推理训练的高复杂度、竞赛级数据集。

实验结果

作者在三个流行基准（CRUXEval、LiveCodeBench、REval）和多个模型系列上评估了 CodeThinker。

代码推理性能：
- 在Qwen2.5-Coder-7B-Instruct模型上，CodeThinker 实现了82.57%的平均准确率，比最强基线（CodeReasoner）高出4.3 个百分点。
- 该框架表现出强大的泛化性，相较于基线，在 14B 模型上提升了8.55%，在 32B 模型上提升了8.54%，在 DeepSeek-Coder 上提升了9.76%，在 Llama-3-8B 上提升了22.02%。
消融研究：
- 移除 RL 阶段导致性能下降最大（-9.89%），证实了奖励驱动学习的价值。
- 移除动态束采样（DBS）导致性能下降 -1.09%，验证了其在样本质量方面的有效性。
- 一致性奖励机制（特别是 PRM 和门控）对于防止奖励黑客和提高过程监督至关重要。
向其他领域的泛化：
- 数学推理：无需额外的数学特定训练，CodeThinker 在数学推理基准上的准确率提高了5.33 个百分点。
- 多语言代码推理：该模型在 17 种编程语言（在 CRUXEval-X 上测试）中平均提高了3.11 个百分点。
- 代码生成：在代码生成任务上观察到适度提升（例如，HumanEval 上 +0.13%）。

意义与主张

本文主张，CodeThinker通过将焦点从仅关注结果的奖励转向过程一致性，显著推动了代码推理领域的最先进水平。通过强制中间推理步骤与真实执行状态保持一致，该框架有效缓解了以往 RL 方法固有的奖励黑客和稀疏奖励问题。

作者强调，这些改进不仅仅源于更大的数据集或更多的计算资源，而是源于 ConTra 范式的结构化一致性和门控奖励机制。一个仅在 Python 代码推理上训练的模型能够泛化到数学推理和另外 17 种编程语言，这表明被增强的底层能力是一种基础的推理熟练度，而不仅仅是特定于语言的模式匹配。该工作将一致性定位为训练可靠代码推理智能体乃至更广泛领域智能体的关键原则。