💻 computer science

ExecVerify: White-Box RL with Verifiable Stepwise Rewards for Code Execution Reasoning

本文提出了 ExecVerify 框架，通过构建多难度合成数据集并利用可验证的执行轨迹（如语句预测和变量状态）作为白盒奖励进行强化学习，显著提升了小模型（如 7B）的代码执行推理与生成能力，使其性能媲美更大的模型。

原作者： Lingxiao Tang, He Ye, Zhaoyang Chu, Muyang Ye, Zhongxin Liu, Xiaoxue Ren, Lingfeng Bao

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Lingxiao Tang, He Ye, Zhaoyang Chu, Muyang Ye, Zhongxin Liu, Xiaoxue Ren, Lingfeng Bao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ExecVerify 的新方法，旨在教人工智能（AI）如何更聪明地“思考”代码，而不仅仅是死记硬背代码的样子。

为了让你更容易理解，我们可以把写代码和运行代码想象成**“做一道复杂的数学题”或者“指挥一个机器人跳舞”**。

1. 现在的 AI 遇到了什么麻烦？（旧方法：SFT）

以前的训练方法（叫 SFT，监督微调）有点像**“死记硬背标准答案”**。

场景：老师（人类专家）给 AI 看一道题，然后直接告诉它：“第一步这样做，第二步那样做，最后答案是 42。”
问题：AI 为了拿高分，它学会了模仿老师的语言。它可能会背下“第一步把苹果切开”这句话，但它其实并不理解为什么切开后苹果会变成两半，也不关心切的时候手会不会滑。
后果：一旦题目稍微变一下（比如把苹果换成梨，或者切法稍微变一点），AI 就会因为“没真正理解过程”而胡编乱造（产生幻觉），因为它只是在背课文，没懂逻辑。

2. ExecVerify 是怎么做的？（新方法：白盒强化学习）

作者给 AI 换了一种训练方式，叫 ExecVerify。我们可以把它想象成**“带监控的实战演练”**。

核心概念一：白盒（White-Box）

以前的训练是“黑盒”：只看输入（题目）和输出（答案），中间过程是看不见的。
ExecVerify 是“白盒”：它给 AI 戴上了**“透视眼镜”**。在 AI 思考代码的过程中，它能看到每一步发生了什么：

变量 result 现在是多少？
下一个执行的代码行是哪一行？
循环有没有转错圈？

核心概念二：步步为营的奖励（Stepwise Rewards）

以前的训练是“只看结果”：最后答案对了才给糖吃。
ExecVerify 是“步步为营”：

如果 AI 能准确说出“第 3 行代码执行后，变量 x 变成了 5"，立刻给奖励。
如果它猜错了中间步骤，立刻扣分。
这就像教小孩学骑车：以前是等骑到终点才给奖励；现在是每蹬对一圈踏板、每保持住一次平衡，教练就立刻鼓掌。这样 AI 就学会了真正的控制感，而不是只盯着终点。

核心概念三：难度分级（Constraint-Based Synthesis）

作者发现以前的训练数据太乱了，有的太简单（像 1+1=2），有的太难（像让 AI 造火箭）。
他们像**“游戏设计师”一样，专门设计了一套“闯关地图”**：

先让 AI 练简单的（只用一个函数）。
再练中等难度的（嵌套循环）。
最后练高难度的（多层嵌套）。
并且，他们自动生成了大量这种题目，确保每一题都是**“有挑战但能解出来”**的，既不会让 AI 觉得无聊，也不会让它直接放弃。

3. 训练流程：两步走（Two-Stage）

这个方法分两个阶段，就像**“先练内功，再练招式”**：

第一阶段（练内功 - 代码推理）：
让 AI 在“透视眼镜”下，专门练习**“模拟代码运行”**。它不需要写新代码，而是回答：“如果运行到这行，变量是多少？”、“下一步会跳到哪？”
- 比喻：就像让一个演员在没上台前，先在脑海里把整场戏的每一个动作、每一句台词的走位都精准地排练一遍，确保逻辑通顺。
第二阶段（练招式 - 代码生成）：
当 AI 已经能精准模拟代码运行后，再让它去写代码。
- 比喻：这时候它去写代码，就像是一个**“懂行情的导演”**。因为它脑子里已经模拟过无数遍代码是怎么跑的，所以它写出来的代码逻辑严密，不容易出错。

4. 效果怎么样？

实验结果非常惊人：

以小博大：一个只有 70 亿参数（相当于中等身材）的 AI，用了这个方法后，在“代码推理”测试中，表现竟然能媲美 320 亿参数（相当于大胖子）的顶级 AI。
举一反三：它不仅推理变强了，写代码的能力也提升了（通过率提高了近 6%）。
跨语言：虽然主要用 Python 训练，但它学会的“逻辑推理能力”还能迁移到 Java、C++ 等其他语言上。

总结

简单来说，ExecVerify 就是不再让 AI 当**“背书机器”，而是把它培养成“代码侦探”**。

通过给它戴上“透视眼镜”（白盒），让它对每一步操作都进行“实时验尸”（验证中间状态），并设计一套“循序渐进的闯关游戏”（约束合成数据），AI 终于学会了真正理解代码是如何运行的。这就解释了为什么它现在能写出逻辑更严密、更不容易出错的代码。

论文技术总结：ExecVerify - 基于可验证白盒奖励的代码执行推理强化学习

1. 研究背景与问题 (Problem)

尽管大型语言模型（LLM）在代码生成任务上表现优异，但在代码执行推理（Code Execution Reasoning）方面仍存在显著短板，尤其是中小规模模型。现有的训练方法主要依赖监督微调（SFT），利用教师模型生成的解释性文本（如输入 - 输出推理链或执行轨迹的自然语言描述）进行训练。然而，这些方法存在以下核心缺陷：

缺乏中间步骤的可验证性：SFT 仅优化序列的交叉熵损失，模型只需模仿教师的文本解释，而无法在训练过程中显式验证中间执行步骤（如变量值、控制流）的正确性。这导致模型可能“死记硬背”解释，而未真正理解执行逻辑。
数据质量与难度控制不足：现有训练数据通常被动收集或生成，缺乏对任务难度的结构化控制，导致数据集中存在大量过于简单或无法解决的样本，缺乏循序渐进的课程学习（Curriculum Learning）机制。
泛化能力有限：仅基于文本模仿的训练难以将执行推理能力有效迁移到实际的代码生成任务中。

2. 方法论 (Methodology)

作者提出了 ExecVerify 框架，旨在通过基于约束的数据合成和**白盒强化学习（White-Box RL）**来提升代码执行推理能力。该方法包含两个核心阶段：

2.1 基于约束的数据合成 (Constraint-Based Data Synthesis)

为了构建高质量、难度可控的训练数据集，ExecVerify 采用主动合成策略：

结构化约束提示：迭代遍历 Python 内置类型和方法，通过提示词强制要求生成的代码包含特定的嵌套方法调用和控制流结构（如 if/for/while 的嵌套），确保代码结构的多样性。
难度分级与课程学习：从简单代码开始，逐步增加方法调用复杂度和控制流嵌套深度，形成从简单到复杂的课程。
输入合成与过滤：
- 输入合成：为每个代码片段生成多样化的输入（包括原始输入和基于类型的变异输入）。
- 执行过滤：剔除运行失败或输出异常的样本。
- 难度过滤：利用基座模型（Qwen2.5-Coder-7B）进行多次推理，仅保留那些模型难以一次性解决（通过率 $\le 30\%$ ）但理论上可解的样本，确保数据具有挑战性。

2.2 两阶段后训练流程 (Two-Stage Post-Training)

阶段一：白盒强化学习（White-Box RL for Code Reasoning）
- 目标：增强模型对中间执行状态的理解。
- 白盒问题构建：利用解释器（Interpreter）获取代码执行的真实轨迹（Trace），将其转化为两类可验证的“白盒问题”：
  1. 控制流问题：预测下一条执行的语句。
  2. 数据流问题：预测执行后变量的值和类型。
- 奖励机制：设计混合奖励函数 $R_{white-box}$ ，结合输入 - 输出（I/O）正确性和白盒问题预测的准确性。模型不仅要对最终结果负责，还要对每一步的中间状态（变量值、类型、控制流跳转）负责。
- 算法：使用 GRPO（Group Relative Policy Optimization）进行强化学习。
阶段二：代码生成强化学习（RL for Code Generation）
- 目标：将推理能力迁移到代码生成任务。
- 方法：在阶段一的基础上，利用单元测试（Unit Tests）作为奖励信号，进一步微调模型以生成功能正确的代码。

3. 关键贡献 (Key Contributions)

提出白盒奖励机制：突破了传统 SFT 仅依赖文本模仿的局限，首次将解释器提供的可验证执行轨迹转化为强化学习的奖励信号，强制模型在每一步执行中保持语义正确性。
构建课程式合成数据集：通过约束驱动的代码合成和难度过滤，构建了一个涵盖多种数据类型、控制流模式且难度分级的数据集，解决了现有数据难度分布不均的问题。
两阶段训练范式：验证了“先通过白盒 RL 强化执行推理，再通过单元测试 RL 优化代码生成”的两阶段策略的有效性，实现了从推理到生成的无缝迁移。
显著的性能提升：证明了在 7B 参数量的模型上，通过 ExecVerify 训练可以达到甚至超越 32B 模型在代码推理基准上的表现。

4. 实验结果 (Results)

实验在多个基准测试中进行了验证：

代码执行推理：
- 在 CRUXEval、LiveCodeBench-Exec 和 REval 等基准上，经过 ExecVerify 训练的 7B 模型（Qwen2.5-Coder-7B）平均得分达到 80.8，显著优于基座模型（60.8），并媲美 32B 的 Qwen2.5-Coder-32B-Instruct（77.9）。
- 消融实验表明白盒奖励（控制流 + 数据流）比单纯的 I/O 奖励更有效，且两者互补。
代码生成：
- 在 EvalPlus、LiveCodeBench 和 BigCodeBench 上，两阶段训练后的模型在 Pass@1 指标上比强基线（Pure-GRPO）提升了 5.9%。
- 证明了细粒度的执行推理知识（如变量状态跟踪）能有效迁移并提升代码生成的逻辑正确性。
泛化性与效率：
- 跨语言泛化：在 CRUXEval-X（多语言）基准上，ExecVerify-7B 在 Java、C++ 等多种语言上均优于基座模型，并接近 32B 模型表现。
- 数据效率：在相同训练数据量（15K）下，ExecVerify 合成的数据在性能上优于现有的 SEMCODER、CODEI/O 等数据集。
- 库依赖代码：在涉及外部库的 I/O 预测任务中，ExecVerify 也展现了显著的提升。

5. 意义与影响 (Significance)

范式转变：ExecVerify 将代码 LLM 的训练从“文本模仿”转向了“语义执行验证”，为提升模型对程序逻辑的深层理解提供了新的技术路径。
小模型潜力：证明了通过高质量的白盒奖励和课程学习，中小参数量的模型（7B）可以具备与超大模型（32B+）相匹敌的复杂推理能力，降低了高性能代码模型的部署门槛。
可解释性与可靠性：通过强制模型预测中间变量状态和控制流，增强了模型决策过程的可解释性，减少了“幻觉”执行步骤的发生，提高了代码生成的可靠性。
未来方向：该方法为未来构建更复杂的代码理解系统（如项目级代码执行、多文件推理）奠定了基础，同时也指出了当前在库覆盖率和多文件项目级推理方面的局限性。

总结：ExecVerify 通过引入可验证的白盒奖励和结构化的数据合成，成功解决了代码 LLM 在执行推理上的痛点，不仅大幅提升了推理基准成绩，还显著增强了代码生成任务的逻辑正确性，是代码大模型训练领域的一项重要进展。