💻 computer science

CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction

本文介绍了 CoRE，这是一个细粒度的代码推理基准，用于评估大语言模型在实现不变性和过程透明度方面的表现，结果表明当前模型往往缺乏跨等价代码实现的鲁棒性，且依赖表面执行而非真正的中间状态推理。

原作者： Jun Gao, Yun Peng, Qian Qiao, Changhai Zhou, Yuhua Zhou, Shiyang Zhang, Shichao Weng, Zhenchang Xing, Xiaoxue Ren

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Jun Gao, Yun Peng, Qian Qiao, Changhai Zhou, Yuhua Zhou, Shiyang Zhang, Shichao Weng, Zhenchang Xing, Xiaoxue Ren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于CoRE论文的解读，已用通俗易懂的语言并辅以生动的类比进行翻译。

核心理念：AI 程序员真的在“思考”吗？

想象你雇佣了一位天才学生来解决一道数学题。他们写下了最终答案，并且是正确的。你给了他们一颗金星。

但随后，你要求他们解释是如何得出这个答案的。他们开始编造数字，混淆步骤，对中间过程感到困惑。然而，不知何故，他们最终还是得出了那个正确的最终数字。

问题所在： 当前对人工智能（大语言模型或 LLM）的测试就像那颗金星。它们只检查最终答案。如果 AI 输出了正确的结果，我们就假设它“理解”了代码。这篇论文的作者认为这是一个陷阱。AI 可能只是在猜测或使用捷径（启发式方法），而不是真正在其“脑海”中模拟代码的运行过程。

解决方案：CoRE（代码的“诚实测试”）

作者们创建了一个名为CoRE（代码推理）的新基准测试。CoRE 不再仅仅问“答案是什么？”，而是提出了两个更难的问题：

提问的方式重要吗？（实现不变性）
你知道中间发生了什么吗？（过程透明度）

类比 1：“同样的蛋糕，不同的食谱”（实现不变性）

想象你请一位厨师烘焙巧克力蛋糕。

标准测试： 你给他们一份特定的食谱（食谱 A）。他们烘焙了蛋糕。味道不错。通过。
CoRE 测试： 你给他们四份不同的食谱，用来制作完全相同的巧克力蛋糕。
- 食谱 1：使用可可粉。
- 食谱 2：使用融化的巧克力棒。
- 食谱 3：使用不同的搅拌碗顺序。
- 食谱 4：使用不同的烤箱温度。

如果这位厨师真的是大师，无论使用哪份食谱，他们都应该能烤出完美的蛋糕。
论文的发现： AI 模型未能通过此测试。当使用看起来像它们自己通常编写的食谱（它们自己的“风格”）时，它们非常擅长烘焙蛋糕。但是，当面对由不同 AI 编写的食谱（不同的“风格”）时，它们经常出错，尽管数学逻辑完全相同。它们是“风格痴迷者”而非“逻辑痴迷者”。

类比 2：“电影导演”与“剧透者”（过程透明度）

想象你正在看电影。

标准测试： AI 被问到：“谁赢得了电影？”它回答：“英雄赢了。”正确！
CoRE 测试： AI 被问到：“在第 45 分钟，当英雄躲在衣柜里时，反派手里拿着什么？在第 60 分钟，英雄的得分是多少？”

这是在检查中间状态。
论文的发现： AI 模型通常能答对“谁赢了？”这个问题，但它们幻觉了中间的细节。它们根据模式猜测结局，但实际上并没有“一步步观看”电影。它们只是在表面上执行代码，而没有真正理解这段旅程。

CoRE 是如何构建的

为了使这项测试公平且具有挑战性，研究人员主要做了两件事：

生成多个版本： 他们利用不同的 AI 模型为相同的 60 个问题编写代码。这创建了一个包含 255 个不同代码版本的库。有些代码冗长杂乱，有些则简短巧妙。但它们做的都是完全相同的事情。
创建“小测验”问题： 对于每一段代码，他们生成了关于中间过程的问题。
- 算术： “此刻这个变量里的确切数字是多少？”
- 逻辑： “这个条件是真还是假？”
- 状态： “到目前为止这个循环运行了多少次？”
- 边界： “循环刚好停止时会发生什么？”

他们的发现（结果）

他们使用这个新基准测试了 8 个最智能的可用 AI 模型（如 GPT-5、Claude、DeepSeek 等）。结果令人惊讶：

“风格偏见”差距： 模型在理解由自己“家族”编写的代码（例如，OpenAI 模型最擅长理解 OpenAI 编写的代码）方面，远胜于理解由其他方编写的代码。这表明它们是在记忆风格，而不是学习通用的逻辑。
“表面执行”差距： 许多模型虽然得出了最终答案，但在关于中间步骤的“小测验”中却失败了。它们是在不知道路径的情况下猜测目的地。
"RCS"分数： 作者们创建了一个名为**推理一致性分数（Reasoning Consistency Score, RCS）**的新指标。这个分数会惩罚那些因错误原因而得出正确答案的模型。如果你答对了答案但未能通过中间步骤的测试，你的分数将降至零。

结论

该论文得出结论：仅仅得到正确的答案是不够的。 仅仅因为 AI 能够预测代码片段的最终输出，并不意味着它理解代码是如何工作的。

当前的 AI 模型就像那些背熟了剧本最后一句台词却忘记了中间对话的演员。CoRE 是一项新的测试，它迫使它们展示解题过程，证明它们实际上是在通过代码进行“思考”，而不仅仅是在猜测结局。

简而言之： CoRE 揭示出，当今最聪明的代码编写 AI 往往通过依赖模式和风格来“伪装”，而不是进行真正的、一步步的推理。

以下是论文《CoRE：超越输出预测的细粒度代码推理基准》的详细技术总结。

1. 问题陈述

尽管大语言模型（LLMs）在代码生成方面取得了快速进展，但这些模型究竟是真正理解了代码执行逻辑，还是仅仅依赖表面启发式方法来预测正确输出，目前仍不清楚。现有的基准测试（例如 CruxEval、LiveCodeBench-O、REval）存在两个关键缺陷：

缺乏实现不变性：它们通常针对单一的“标准”代码实现来评估模型。这无法测试模型是否能在功能等价但结构或词汇不同的代码变体之间进行一致的推理。
缺乏过程透明度：它们几乎完全关注最终输出的正确性。模型往往能产生正确的最终答案，同时却幻觉出中间执行状态，这表明缺乏真正的逐步推理能力。

作者认为，仅基于输出的评估不足以评估稳健的代码推理能力，并引入了 CoRE 来解决这些差距。

2. 方法论：CoRE 基准

CoRE 由从 HumanEval 和 LiveCodeBench 中精选的 60 个编程问题构建而成，旨在评估两个核心维度：实现不变性和过程透明度。

A. 构建流程

多样化的代码实现（阶段 I）：
- 作者使用七个多样化的大语言模型为每个问题生成多个解决方案。
- 清洗过程：解决方案经过执行验证以确保功能等价。为了确保多样性，它们针对同一问题的不同实现之间的高环路复杂度（Cyclomatic Complexity）和低1-gram Jaccard 相似度（词汇多样性）进行了过滤。
- 结果：在 60 个问题中共有 255 个独特的代码实现（平均每个问题 4.3 个实现）。
中间状态探测（阶段 II）：
- 利用 Python 执行追踪，作者捕获了所有变量的真实运行时值。
- 他们提出了针对四个推理维度的中间探测问题：
  - 算术：复杂运算中的数值精度。
  - 逻辑：嵌套布尔条件和控制流的解析。
  - 状态：跟踪深执行路径中的变量历史。
  - 边界：关键转换点（例如循环终止）。
- 结果：共 243 个中间探测（平均每个问题 4.1 个），每个探测平均涵盖 2.2 个推理维度。

B. 评估协议与指标

作者提出了一种超越简单准确性的整体评估协议：

严格输出一致性（ $I$ ）：一个二元指示器（1 或 0），要求模型必须为问题的每一个多样化实现预测正确的输出。
过程保真度权重（ $W_s$ ）：正确回答的中间状态探测的比例。
推理一致性分数（RCS）：定义为主要指标 $RCS = I \times W_s$ $R C S = I \times W_{s}$ 。
- 该公式确保如果模型未能通过实现不变性（即答错了一个变体）或依赖表面启发式方法（ $W_s$ 较低），最终分数将受到严厉惩罚或归零。

3. 主要贡献

CoRE 基准：一个包含 1,978 个样本的严格基准，联合评估实现不变性和过程透明度，具有比现有基准更高的复杂度（平均环路复杂度为 5.0）和多样性。
根本性局限的识别：该研究揭示了前沿大语言模型中的两种关键失败模式：
- 鲁棒性差距（风格过拟合）：模型在由自身家族或熟悉风格生成的代码上（例如 OpenAI 模型在 OpenAI 代码上）的表现显著优于来自其他风格的功能等价代码。
- 表面执行：模型经常得出正确的最终输出，同时却幻觉出中间状态，证明它们依赖输入 - 输出映射而非真实的执行模拟。
整体评估协议：引入**推理一致性分数（RCS）**提供了一种区分真实推理与启发式捷径的方法。

4. 实验结果

作者使用各种提示策略（IO、思维链、代码链、RHDA）评估了八个前沿大语言模型（包括 GPT-5、o3、Claude-4.5、DeepSeek-V3.2 和 Qwen-3）。

性能差距：最终输出准确性与中间推理之间存在巨大脱节。例如，在标准提示下，GPT-5 的严格输出准确率（ $I$ ）达到 84.62%，但过程保真度（ $W_s$ ）仅为 18.96%。
风格偏差：热力图分析（图 5）显示出强烈的对角线主导性，即模型在由自身家族生成的代码上得分最高。这证实了风格过拟合。
提示的影响：虽然思维链（CoT）和代码链（CoC）提高了过程保真度，但它们并未完全消除鲁棒性差距或表面执行问题。
维度弱点：模型在算术（数值精度）和状态（维护变量历史）方面表现最为吃力，在 IO 设置下，平均过程保真度分数通常低于 50%。
RCS 的有效性：RCS 指标有效地过滤掉了那些仅凭输出看似胜任但在推理一致性上失败的模型。

5. 意义

该论文从根本上改变了代码推理评估的范式。它证明了正确的输出并不意味着正确的推理。通过揭示当前大语言模型的脆弱性——特别是它们对风格偏差的易感性以及无法跟踪中间状态的能力——CoRE 为开发真正理解代码执行的模型提供了一个必要的标准。研究结果表明，未来的大语言模型训练和评估必须优先考虑忠实的逐步推理和跨多样化实现的鲁棒性，而不仅仅是优化最终输出的准确性。