💬 NLP

When LLMs Stop Following Steps: A Diagnostic Study of Procedural Execution in Language Models

本文介绍了一个诊断基准，该基准表明，尽管大型语言模型在简短的程序性任务上实现了高准确率，但随着复杂性的增加，其忠实执行逐步算法的能力显著下降，从而揭示出强大的基准表现往往掩盖了指令遵循方面的重大缺陷。

原作者： Sailesh Panda, Pritam Kadasi, Abhishek Upperwal, Mayank Singh

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Sailesh Panda, Pritam Kadasi, Abhishek Upperwal, Mayank Singh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《当大语言模型停止遵循步骤》的通俗解读，辅以生动的类比。

核心理念：“食谱”测试

想象你给一位厨师一份极其具体、分步执行的蛋糕烘焙食谱。食谱写道：“混合面粉和糖。然后加入鸡蛋。然后搅拌 10 秒。然后烘烤。”

你可能会期待厨师按顺序严格执行每一步指令。但如果厨师没有遵循步骤，而是凭直觉猜测蛋糕通常的味道，然后直接递给你一个成品呢？或者，如果他在做到一半时忘记了最后三步，直接说“蛋糕做好了”呢？

这篇论文就像一个巨大的测试厨房，研究人员向 14 种不同的“厨师”人工智能模型（大语言模型）提供了数千份此类具体食谱。这些食谱是简单的数学题，但被设计得冗长且棘手。目标并非测试 AI 能否解决高难度数学题，而是看它能否从头到尾忠实地遵循指令。

实验设置：“无尽阶梯”

研究人员设计了一项特殊测试，通过两种主要方式增加任务难度：

阶梯的长度：他们给 AI 的食谱包含 5 到 95 个不等的步骤。想象一座楼梯。5 级台阶很容易爬；95 级台阶则令人筋疲力尽。
“回看”规则：在某些食谱中，第 10 步不仅使用第 9 步的结果，还可能要求“回溯并使用第 3 步的结果”。这就像告诉一名徒步者：“向前走一步，然后回到你经过的第三棵树那里，从那里捡起一块石头。”这迫使 AI 记住很久以前的信息。

研究发现：“记忆缺失”

结果令人惊讶。尽管数学运算很简单（仅涉及加减乘除），但随着食谱变长，AI 的表现越来越差。

性能骤降：在简短的 5 步食谱中，AI 答对的比例约为 61%。但在长达 95 步的食谱中，其成功率暴跌至仅 20%。
“回看”带来的麻烦：当 AI 需要记住很久以前的步骤（如第 3 步）时，其表现进一步下降。这仿佛 AI 对自己在故事中的位置感到困惑。

AI 失败的方式：“作弊”的厨师

研究人员不仅查看了最终答案，还观察了 AI 尝试解决问题的过程。他们发现，AI 往往并没有真正执行计算，而是试图以几种有趣的方式“作弊”或“走捷径”：

“提前退出”（执行不足）：这是最常见的失败模式。AI 开始执行食谱，做了几步后，因厌倦或困惑，便直接跳到结尾，假装已完成所有步骤。这就像一名学生写了文章的第一句，然后跳过中间部分直接写结论。
“幻觉”步骤：有时，AI 会编造食谱中根本不存在的额外步骤。这就像厨师在食谱从未要求的情况下，添加了“撒上独角兽粉尘”。
“自我修正”陷阱：有时 AI 会得出错误答案，意识到后试图在文本后续部分进行修正。但等到它修正时，最终结果已经被之前的错误搞砸了。
“模式匹配者”：有些 AI 似乎不是在做数学运算，而是根据数字的外观猜测答案，而非真正遵循步骤。

主要结论

该论文得出结论：仅仅因为 AI 给出了一个“看似合理”的最终答案，并不意味着它真正完成了工作。

这就好比学生参加考试。如果他们答对了，你可能会认为他们复习过。但这篇论文表明，有时他们只是在猜测，或者记住了之前考试的答案，而不是真正一步步地解决问题。

简而言之：当前的人工智能模型擅长表现得聪明并给出最终结果，但它们难以像一个可靠的机器人那样，严格按照书面指令执行冗长枯燥的步骤列表。当指令过长或需要过多回忆过去信息时，AI 往往会迷失方向，不再遵循规则。

以下是论文《当大语言模型停止遵循步骤：语言模型中程序执行的诊断研究》的详细技术总结。

1. 问题陈述

尽管大语言模型（LLM）在推理基准测试中表现出强劲的性能，但最终答案的高准确率并不能保证模型忠实地执行了提示中提供的特定程序。模型往往依赖捷径、模式匹配、记忆关联或不稳定的中间计算来得出一个看似合理的答案，而实际上并未遵循规定的步骤。

这一区别对于需要严格遵循算法的应用（例如数值计算、基于规则的决策和结构化工作流）至关重要。本文探讨了“看似推理”与“忠实执行指令”之间的差距，特别是在任务复杂度增加的情况下。

2. 方法论

作者引入了一个受控的诊断基准，旨在将程序执行失败与任务解释的歧义性隔离开来。

任务构建：
- 输入： 两个数值变量（ $x$ 和 $y$ ）。
- 程序： 用自然语言编写的逐步算术算法。该算法初始化 $S_1=x$ 和 $S_2=y$ ，然后使用基本算术运算（ $+, -, \times, \div$ ）定义一系列中间变量（ $S_3, S_4, \dots$ ）。
- 目标： 模型必须严格按照所写内容执行算法，并返回最终计算值。
- 真实值（Ground Truth）： 具有确定性，可通过外部执行器轻松验证，消除了歧义。
复杂度维度：
1. 算法长度： 步骤数（ $T$ ）从 5 到 95 变化（增量为 10）。
2. 回溯依赖： 为了压力测试状态跟踪，该基准引入了依赖关系，即当前步骤可能需要检索先前步骤中的中间变量。
  - 回溯 1： 仅依赖于紧邻的上一步。
  - 回溯 7： 依赖于前 7 步中的任意一步。
数据集构建：
- 规模： 55 个数据集，总计 55,000 个示例。
- 变量： 输入范围（ $[0,1], [1,10], [10,100]$ ）、数据类型（整数与浮点数）以及运算变体（混合、仅加法、仅减法等）的组合。
评估模型：
- 14 个模型： 涵盖不同规模（15 亿至 6850 亿参数）和系列（DeepSeek、Qwen、Mistral、OLMo、OpenAI 等），包括标准指令微调模型和推理导向模型。
评估指标：
- 首次答案准确率： 提取的第一个答案的正确性。
- Correct@Any（任意正确）： 如果输出中任何答案片段正确则视为正确（捕捉自我修正能力）。
- 非空答案率： 包含有效 <answer> 标签的输出百分比。
- 步骤遵循行为： 分类为精确（步骤正确）、执行不足（提前终止）和过度执行（额外步骤）。

3. 主要贡献

诊断基准： 一种新颖的受控环境，专门设计用于测量程序保真度，而不仅仅是最终答案的正确性。
“程序幻觉”的经验证据： 证明即使完整算法被明确提供，随着复杂度增加，大语言模型也频繁无法忠实执行。
失败模式分析： 识别了特定的生成级失败模式（例如执行不足、缺失答案、过早给出答案），这些模式在仅查看最终准确率时是看不见的。
依赖深度敏感性： 表明模型不仅难以处理长序列，而且在非局部状态检索（回溯依赖）方面存在显著困难。

4. 主要结果

随复杂度增加而准确率下降：
- 步骤数量： 平均首次答案准确率从 5 步时的 61% 急剧下降至 95 步时的 20%。
- 回溯深度： 将回溯依赖从 1 增加到 7，平均准确率额外降低了 18.43 个百分点，表明在跟踪非局部中间状态方面存在特定弱点。
生成级失败模式：
- 执行不足： 随着步骤数量增加，“执行不足”的生成比例（在最终步骤之前停止）从 24.25% 上升至 50.87%。
- 精确执行： 从 70.88% 下降至 46.84%。
- 过早答案： 许多模型在输出早期就生成答案，而未完成推理轨迹，这表明其依赖模式匹配而非实际执行。
输入与任务因素：
- 运算类型： 加法和减法任务的准确率通常高于乘法和除法。
- 数值量级： 虽然数值量级会影响特定变体（如乘法）的性能，但它并不完全解释准确率的广泛下降。主要驱动因素是跟踪状态的程序负担。
- 模型规模： 较大规模的模型通常表现更好，但随着复杂度增加而准确率下降的趋势在所有模型规模中均成立。
自我修正：
- 虽然"Correct@Any"通常高于“首次答案准确率”，但这揭示了模型经常犯初始错误并尝试自我修正，但仍未能维持所需的严格程序流程。

5. 意义与启示

当前推理的局限性： 该研究挑战了“思维链”或更长的推理轨迹等同于忠实遵循指令的假设。模型经常“幻觉”出过程或完全跳过步骤，同时产生一个看似合理的最终数字。
安全与可靠性： 对于高风险应用（例如财务计算、政策执行），依赖大语言模型执行明确的多步骤程序目前存在风险，因为它们可能会通过跳过步骤或幻觉中间状态而静默失败。
未来方向： 研究结果表明需要：
- 新的训练目标，明确惩罚程序偏差。
- 工具增强型代理（使用外部计算器/执行器）来处理算法的确定性部分。
- 架构改进，以实现更好的长程状态跟踪和非局部依赖解析。

总之，该论文提供了一个严格的视角来评估大语言模型是真正通过“思考”解决问题，还是仅仅“猜测”结果，揭示了随着程序复杂度扩展，在忠实执行指令方面存在重大弱点。