💻 computer science

What Makes a Programming Problem Hard for a Language Model? An Empirical Study of Item Difficulty Across Code LLMs on Two Benchmarks

本文通过一项实证研究表明，代码生成基准测试中的问题难度是一个稳定的、可迁移的指标，其由 HumanEval 中的规范特征（如示例和提示词长度）以及 MBPP 中的解法复杂度所驱动，这为在模型聚合评分趋于饱和时改进基准测试、自动评分和教育工具设计提供了关键见解。

原作者： TANZIM ISLAM KHAN

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： TANZIM ISLAM KHAN

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座巨大的、充满魔法的谜题图书馆，你还邀请了一整个由不同 AI“解题者”组成的动物园来尝试破解这些谜题。有些解题者是拥有大脑袋的小仓鼠（小模型），而另一些则是巨大的、超级智能的大象（比如 GPT-4）。通常，当我们检查这些 AI 有多聪明时，我们只会给它们一个单一的分数，就像学校里的期末成绩一样。但这篇文章认为，单一的成绩既枯燥又具有误导性。这就像是在说一场数学测试很“难”，仅仅是因为你得了 C，却不去询问：哪些问题才是棘手的？是那些长篇大论的文字应用题，还是那些没有示例的问题？

作者 Tanzim Islam Khan 决定不再盯着最终成绩看，而是开始观察谜题本身。他们选取了两套著名的编程谜题集（称为 HumanEval 和 MBPP），并进行了一场大规模实验。他们收集了 31 种不同 AI 模型（从微小的 10 亿参数模型到巨大的 GPT-4）的答案，并在一个安全、隔离的沙盒中重新运行了每一个答案，以观察它是否真的有效。这可是整整 13,400 次执行！

重大发现：是什么让谜题变得困难？

研究发现了一些令人惊讶的现象，这改变了我们对“难度”的认知。

在 HumanEval 集（带有长描述和大量示例答案的谜题）上，难度的关键并不取决于解决方案代码的复杂程度。它完全取决于谜题是如何编写的。

魔法线索： 如果谜题包含了已完成的示例（比如向 AI 展示：“这是输入 A，这是输出 B”），AI 就能轻松解决它。示例越多，难度就越低。
陷阱： 如果谜题冗长且啰嗦，或者缺乏这些有用的示例，AI 就会感到吃力，即使实际需要编写的代码非常简单。
证据： 作者构建了一个预测机器。当他们仅向其输入谜题的文本（提示词）时，该机器可以预测谜题的难度，其交叉验证的 $R^2$ 为 0.45，这与完整模型的表现相匹配。但当他们仅输入解决方案代码的复杂度（如计算循环或变量数量）时，它几乎一无所知（ $R^2$ 仅为 0.11）。

转折点：另一本谜题书

接着他们观察了 MBPP 集。这些谜题与众不同；它们非常短促，就像是一句句简短的耳语，而且没有任何示例。

在这里，规则反转了！由于每个谜题看起来都一样（短小且模糊），文本无法告诉 AI 该做什么。相反，难度取决于解决方案本身的难度。
如果代码需要复杂的逻辑，AI 就会失败。如果代码很简单，AI 就会成功。
教训： 一个问题对 AI 来说是否困难，取决于指令中最具变数的部分。如果指令变化很大（如在 HumanEval 中），那么指令起主导作用。如果指令都大同小异（如在 MBPP 中），那么答案的复杂度起主导作用。

这篇文章澄清了什么

论文明确地反对了“更难的代码总是等于更难的问题”这一观点。

他们测量了参考解决方案的复杂度（使用诸如“圈复杂度”和“Halstead 体积”等指标），并发现，在 HumanEval 上，这些数值对难度的预测能力远弱于提示词特征。如果指令清晰且充满示例，即使是复杂的解决方案，也不一定意味着生成过程更难。
他们也排除了难度仅仅是由于测试了哪些 AI 模型而产生的偶然性的想法。他们证明了难度是问题本身的一种稳定属性。无论你测试的是仓鼠大小的 AI 还是大象大小的 AI，同样的谜题依然是同样难或同样易的。他们甚至通过每次移除一个模型来进行检查，结果发现排名并未改变（相关性 $\rho \ge 0.99$ ）。

我们的确定程度有多高？

作者们非常有信心，但措辞也非常谨慎。

他们通过在沙盒中运行代码 13,400 次直接测量了这一点。
他们通过针对“强化版”测试（对于 HumanEval 有 80 倍更多的检查，对于 MBPP 有 35 倍更多）来证明了稳定性。即使在这些更严苛的测试下，难题与易题的排名也几乎保持不变（相关性 $\rho = 0.88$ ）。
他们通过改变设置（例如改变“温度”使 AI 变得更随机）来模拟（或者说重新运行）了结果，发现难度排名保持一致（ $\rho = 0.87$ ）。
他们建议，随着 AI 变得越来越聪明并开始解决几乎所有这些旧测试中的问题（饱和），观察哪些特定的问题仍然难以解决将变得更加重要。

未来的背景

论文还窥探了“未来”（根据论文时间线为 2026 年 6 月）。它指出，最先进的、超级强大的 AI（如 GPT-5.x 和 Claude Opus 4.8）基本上已经不再使用这些旧谜题了，因为它们对这些 AI 来说太简单了。前沿已经转移到了更难的、现实世界的编程任务。但教训依然存在：随着简单的题目逐渐消失，理解为什么剩下的难题之所以难，将成为构建更好工具的关键。

总而言之

如果你想知道一个编程问题对 AI 来说是否困难，不要只看它需要编写的代码。要看指令！

指令丰富且带有示例？ 无论代码多么复杂，AI 都会轻松应对。
指令模糊或没有示例？ 即使代码很简单，AI 也会感到吃力。
短促、单句式的指令？ 那么代码本身的复杂度就是难度的来源。

这篇论文为我们提供了一张无需运行 AI 即可预测其困境的地图，只需阅读问题陈述即可。它为老师构建更好的练习提供了工具，也为工程师构建更好的基准测试提供了工具，确保我们不仅是在测试 AI 是否能猜出答案，而是在测试它是否真的理解了谜题。

技术摘要：是什么让编程问题对语言模型变得困难？

问题陈述

当前评估代码生成大语言模型（LLM）的实践过度依赖于 HumanEval 和 MBPP 等基准测试中的聚合指标（如 pass@k）。这种方法将所有问题视为同等对待，掩盖了哪些特定问题是困难的以及为何困难。因此，它无法区分模型的通用能力与其所解决的具体条目特征。本文旨在解决将“问题（条目）”作为分析单位的需求，将条目难度与模型能力分离，以理解代码生成任务中难度的决定因素。

研究方法

本研究采用了一种基于项目反应理论（IRT）和预测模型的驱动数据经验方法。

数据来源： 作者利用了 EvalPlus 项目公开发布的贪婪解码补全结果（greedy completions）。研究涵盖了 31 个不同的模型（规模从 ~1B 到 GPT-4 级别），涉及 HumanEval（164 个问题）和 MBPP（378 个问题）。
执行环境： 作者并未直接信任预计算的分数，而是在沙盒化的 Python 环境中重新执行了所有 13,400 次补全过程，并设置了 12 秒的超时限制。这生成了二元响应矩阵（31×164 用于 HumanEval；22×378 用于 MBPP）。
难度操作化：
- 经验难度： 定义为 $1 - \text{解决率}$ （即模型失败特定问题的比例）。
- IRT 验证： 拟合了一个单参数逻辑斯谛模型（Rasch 模型），以将模型能力 ( $\theta$ ) 与条目难度 ( $b$ ) 分离。作者确认，原始的跨模型失败率与 Rasch 导出的难度几乎完美相关 ( $\rho \approx 1.00$ )，从而验证了使用该简化指标的有效性。
特征提取： 每个问题提取了 36 个静态特征，分为以下类别：
- 提示词特征（Prompt Features）： 长度、可读性、工作示例数量、类型提示的存在性等。
- 参考解法特征（Reference-Solution Features）： 代码复杂度指标（McCabe 圈复杂度、Halstead 体积、AST 节点计数、嵌套深度等）。
- 测试套件特征（Test Suite Features）： 断言数量、字符计数。
分析： 研究使用了相关性分析（带有 Benjamini-Hochberg 校正的 Spearman/Pearson 相关分析）和机器学习（岭回归、随机森林、梯度提升）进行 10 折交叉验证，以预测难度。通过留一模型法（leave-one-model-out）、自助重采样（bootstrap resampling）、跨能力层级迁移以及针对强化测试集（HumanEval+/MBPP+）和温度采样进行鲁棒性测试。

核心结果

1. 难度是一个稳定且可测量的属性

分布： 难度分布广泛，而非集中。在 HumanEval 上，31 个模型面板的平均解决率为 0.29，其中一些问题被 0% 的模型解决，另一些则被 100% 的模型解决。
稳定性： 难度排名高度稳健。移除任何单个模型都会使排名几乎保持不变 ( $\rho \ge 0.99$ )。该排名也跨越了能力层级（弱模型 vs. 强模型）进行迁移，Spearman 相关系数分别为 0.78 (HumanEval) 和 0.79 (MBPP)。
Rasch 一致性： Rasch 模型证实了难度是条目的潜在属性，独立于所使用的特定求解器面板。

2. 预测信号取决于规范风格

研究发现，预测难度的因素在两个基准测试之间存在关键分歧：

HumanEval（丰富的提示词）： 难度主要由提示词特征预测 ( $R^2 = 0.45$ $R^{2} = 0.45$ )，这与全特征集的表现一致 ( $R^2 = 0.46$ $R^{2} = 0.46$ )。
- 最强预测因子： 输入-输出工作示例的数量（与难度负相关）以及类型提示的存在使得问题变得更容易。较长的提示词和文档字符串（docstrings）与高难度相关。
- 解法复杂度： 参考解法的复杂度特征本身解释的方差极小 ( $R^2 = 0.11$ )。
MBPP（简洁的提示词）： 难度主要由解法复杂度特征预测 ( $R^2 = 0.13$ $R^{2} = 0.13$ )。
- 背景： MBPP 的提示词统一较短，仅为单句描述，没有工作示例。因此，提示词特征的方差很小，无法做出贡献。
- 最强预测因子： AST 节点计数和 Halstead 体积是主要的关联因素。仅使用提示词特征时， $R^2$ 为负值。
综合： 什么是“难”的问题取决于其规范中最具变化性的部分。如果提示词在变化（HumanEval），则提示词驱动难度；如果提示词是静态的（MBPP），则算法复杂度驱动难度。

3. 鲁棒性与泛化

强化测试： 使用 HumanEval+ 和 MBPP+（分别增加了 80 倍和 35 倍的测试）进行重新评分，虽然降低了整体通过率，但保留了难度排名 ( $\rho = 0.88$ 和 $0.82$) 以及“提示词 vs. 解法”的预测拆分。
解码机制： 从贪婪解码切换到温度为 0.8 的采样，保留了难度排名 ( $\rho = 0.87$ ) 和预测信号分布。
2026 年背景： 对 2026 年 6 月 EvalPlus 排行榜（125 个模型）的分析显示，HumanEval 正在趋于饱和（顶尖模型 >96%）。前沿模型（如 GPT-5.x, Claude Opus 4.8）已基本转向仓库级基准测试（SWE-bench），在这些测试中，单实例难度的建模变得至关重要，因为聚合得分正在压缩。

核心贡献

可复现的执行研究： 一个经过验证的数据集，包含约 68,000 次执行，将公开的补全结果转化为二元响应矩阵和难度量表。
稳定性证据： 提供了经验性证据，证明条目难度是一个与模型无关的属性，能够经受住模型移除、重采样和能力层级迁移的考验。
预测性分析： 证明了难度可以从静态特征中预测，并提出了一个关键的跨基准测试发现：预测信号会根据提示词的变化程度，从自然语言规范（HumanEval）转向解法复杂度（MBPP）。
语境化： 将这些发现映射到 2026 年的模型格局中，表明随着基准测试趋于饱和，具备难度意识的分析变得比以往任何时候都更加重要。

意义与启示

本文认为，随着聚合得分的压缩，具备难度意识的基准测试评估变得至关重要。

对于基准测试设计： 报告应超越单一的聚合得分，转而包含难度剖面（例如，易/中/难条目的分布），以检测饱和情况并确保基准测试具有辨别力。静态难度预测器提供了一种低成本的方法，用于在不运行大规模模型集群的情况下策划平衡的基准测试。
对于自动评分与教育： 静态难度估计可以作为 LLM 辅助教学的置信度信号。如果一个规范被标记为“难”（例如，缺乏示例或复杂度较高），助手可以请求人工审核或要求澄清。
教育对齐： “工作示例”和“类型提示”使问题对 LLM 变得更容易这一发现，符合认知负荷理论中的“工作示例效应”。这表明，对初学者编程有益的支架式教学（scaffolding）对 LLM 同样有益，但也产生了一个权衡：旨在让助手更容易处理的练习（富含示例）可能对学生学习而言过于简单，而简洁的练习则可能同时挑战两者。

研究结论指出，难度不仅是算法本身的固有属性，还取决于规范中变化最显著的维度。这一洞察为理解和预测 LLM 在不同问题设置下的表现提供了一个框架。