技术摘要：超越自回归地平线

1. 问题陈述：自回归瓶颈

本文指出了当前用于软件工程的大型语言模型（LLMs）中存在的一个根本性的结构性限制：即**自回归（Autoregressive, AR）**下文标记（next-token）预测范式的统治地位。虽然这种范式对于线性自然语言非常有效，但它对代码生成施加了“序列依赖陷阱”，导致了三个关键瓶颈：

1. 不可逆性与错误传播： AR 模型严格按照从左到右的顺序生成代码。早期的决策（例如库的选择、函数签名）会约束后续的标记。如果早期出现错误，模型无法回溯或修改之前的标记，从而被迫在“被污染”的上下文基础上进行后续生成。这会导致级联错误和幻觉，即模型会为最初的错误编造理由。
2. 无法维持长程依赖： 编程语言需要跨越巨大距离的严格语法规则（例如匹配的大括号、头文件中的类型定义与循环中的使用）。虽然 AR 模型使用了注意力机制，但在上下文窗口被无关信息填满时，它们难以维持精确的长程依赖。它们无法原生地将前缀和后缀视为一个共同可编辑的表示，这阻碍了“中间填空”（Fill-in-the-Middle, FIM）等任务。
3. 语义脱节： AR 模型纯粹将代码视为文本，缺乏对执行语义的内在理解。它们可能会生成语法正确但在运行时失败的代码，因为它们没有对程序执行的因果动力学进行建模。

作者认为，AR 推理的“一次性写入”性质排除了人类开发者所使用的非线性、迭代反馈循环（起草、草拟、精炼）。

2. 方法论：新兴的非自回归范式

本文调研了三种旨在克服 AR 模型局限性的新兴架构范式，这些范式提供了替代下文标记预测的选择：

A. 扩散模型（迭代精炼）

扩散模型（Diffusion Models, DMs）将生成从序列生成转向全序列的迭代精炼。

• 机制： 受非平衡热力学的启发，DMs 将生成公式化为一个去噪过程。它们从一个噪声序列（通常是掩码标记）开始，逐步将其转化为连贯的输出。
• 核心动态：
  • 并行解码： 同时更新所有标记，实现双向上下文感知和多标记预测。
  • 迭代精炼： 允许模型在多个去噪步骤中纠正不一致之处（例如变量不匹配），从而创建一种自我修正机制。
  • 全局优化： 与优化条件概率的 AR 不同，DMs 优化整个序列的联合概率，从而实现对语法约束（如匹配括号）的全局满足。
• 代码应用： 本文重点介绍了 CODEFUSION（集成 AST）、TreeDiff（AST 引导生成）和 Block Diffusion（混合 AR-Diffusion）等框架。这些模型通过将代码演化视为通往清晰全局状态的有结构路径，在代码生成、编辑、测试用例生成和漏洞检测方面展现出潜力。

B. 用于长上下文的状态空间模型（SSMs）

SSMs 解决了 AR 模型在处理大规模上下文时的计算效率低下问题。

• 机制： 起源于控制理论，SSMs 将序列表示为潜在动力系统的演化（$h_{t+1} = Ah_t + Bx_t$）。它们维护一个持久的隐藏状态来总结过去的信息。
• 优势：
  • 线性复杂度： 不同于自注意力机制的二次方（$O(N^2)$）缩放，SSMs 每次处理一个标记时更新一次潜在状态，提供了线性时间效率。
  • 长程记忆： 它们可以捕捉跨越数千个标记的全局程序上下文和依赖关系，而不会产生注意力机制那样的内存开销。
• 应用： 虽然目前在代码理解（检索、漏洞检测）方面比全量合成更为普遍，但像 Mamba 和 CodeSSM 这样的架构已展示出竞争力的性能。本文指出，目前出现了将 SSMs 与扩散模型结合（例如 SSSD）以实现高效迭代去噪的研究工作。

C. 代码世界模型（CWMs）

CWMs 旨在弥合文本预测与执行语义之间的鸿沟。

• 机制： CWMs 不仅仅预测下一个标记，而是模拟在给定当前状态（$s$）和动作（$a$）的情况下，下一个世界状态（$s'$）的变化。它们对代码执行的因果动力学进行建模。
• 训练： 这些模型在执行轨迹（记录程序执行期间的内存状态）和智能体交互轨迹（智能体在类似 SWE-bench 的环境中解决软件任务的多步轨迹）上进行训练。
• 目标： 通过学习代码如何更新局部变量以及如何影响更广泛的仓库状态，CWMs 将生成过程锚定在可执行语义中，使智能体能够预判其行为的后果并对运行时行为进行推理。

3. 核心贡献

本文提出了一个结构化的综述和对比分析，具有以下具体贡献：

1. 系统性综述： 这是首批专门针对代码合成和软件工程领域讨论扩散模型、状态空间模型和代码世界模型的著作之一，超越了以 AR 为中心的文献。
2. 对比分析： 作者分析了这些范式在计算效率、长上下文可扩展性和结构一致性方面的权衡。
   • 扩散模型 在全局结构精炼和迭代编辑方面表现出色。
   • SSMs 为大规模上下文提供了线性时间效率。
   • CWMs 提供了执行感知的推理能力。
3. 认知对齐： 本文将这些架构的发展与认知神经科学联系起来。作者认为，人类编码依赖于“系统 2”推理（深思熟虑的分析、错误纠正和规划），而非 AR 模型所模仿的“系统 1”（快速、线性）处理过程。该综述将这些新范式框架化为构建符合人类认知过程（例如使用扩散进行“起草-评审-精炼”循环，使用 SSMs 作为工作记忆）的 AI 智能体的必要步骤。

4. 结果与基准测试趋势

本文回顾了这些范式的实证评估，指出基准测试实践已随着建模方法的演进而演进：

• 自回归模型： 在片段级生成的基准测试（HumanEval, APPS）中占据主导地位，使用 pass@k 指标。
• 扩散模型： 在包括代码修复、编辑和单元测试生成在内的多样化任务上进行评估。指标不仅限于 pass@k，还包括执行匹配度、结构相似度和工作流层面的性能。
• 状态空间模型： 主要在代码理解任务（检索、克隆检测）中进行评估，使用 MRR 和 F F1 分数，其在全量合成方面的生成能力仍有待大量探索。
• 世界模型： 在仓库规模的基准测试（SWE-bench, Terminal-Bench）中进行评估，使用基于执行的指标（如“解决率”），侧重于多步推理和环境交互。

作者指出，尽管扩散模型在代码任务中已达到一定成熟度，但 SSMs 和世界模型仍处于探索阶段。

5. 意义与未来方向

本文声称其意义在于识别了下一代代码智能所需的范式转变。作者认为，将代码纯粹视为顺序文本对于复杂的软件工程任务是不够的。

• 混合架构： 作者提出，未来不在于完全取代 AR 模型，而在于合成多种范式。他们建议开发混合系统，利用 AR 强大的后训练创新，同时集成：
  • 扩散模型用于全局规划和迭代式的“原地编辑”重构。
  • 世界模型将代码锚定在可执行语义和因果效应中。
  • SSMs用于在长上下文中高效维护持久的程序状态。
• 认知对齐： 最终目标是开发具有“系统 2”能力的编码智能体，模仿人类的认知过程——规划、调试和精炼——而不仅仅是预测下一个标记。

最后，本文承认了局限性，特别是由于不同范式之间基准测试实践的分散，导致难以进行直接的实证比较。作者呼吁建立统一的评估框架，以衡量长上下文推理、迭代编辑和执行感知的软件工程能力。