🤖 machine learning

The Alignment Problem in Constrained Code Generation

本文揭示了语言模型与不完整的约束解码器之间的失配会通过扭曲概率分布并导致超时，从而严重降低代码生成性能，这往往使得无约束解码在功能正确性方面更为有效。

原作者： Matteo Biagiola, Jahrim Gabriele Cesario, Luca Di Grazia, George Zakhour, Guido Salvaneschi

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Matteo Biagiola, Jahrim Gabriele Cesario, Luca Di Grazia, George Zakhour, Guido Salvaneschi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《受限代码生成中的对齐问题》（The Alignment Problem in Constrained Code Generation）的解释，通过日常类比将其拆解为简单的概念。

核心思想： “过度保护型家长”问题

想象一下，你正在教一个非常有天赋但有点混乱的孩子（AI 模型）如何写故事（代码）。

通常情况下，你会让孩子随心所欲地写。有时他们会犯拼写错误或使用错误的语法，但他们通常能把故事写对。这就是无约束解码（Unconstrained Decoding）。

为了修正这些错误，你决定扮演一名严格的编辑（约束器/Constrainer）。你告诉孩子：“你只能写符合特定语法规则的词。如果你试图写一个违反规则的词，我会立即阻止你，并让你重新选择另一个。”

论文指出，虽然这听起来是防止错误的好主意，但往往会适得其反。如果你的编辑规则是不完整的（意味着你并不了解语言的所有规则，或者你屏蔽了一些合法的表达方式），你最终会迫使孩子以一种怪异、不自然的方式来写作，仅仅是为了满足你有限的规则。结果呢？故事变得荒诞不经，孩子感到沮丧并提前停止了写作，最终的故事甚至比你让他们自由写作时还要糟糕。

三个关键角色

论文确定了三个需要“和谐相处”的要素：

模型（孩子）： 生成代码的 AI。它从训练数据中学习了大量关于代码“通常长什么样”的知识。
目标（目标）： 我们真正想要的完美、正确的代码（例如，有效的 TypeScript）。
约束器（编辑）： 在 AI 写作过程中，试图强迫其遵循规则（如检查类型或语法）的工具。

问题在于： “编辑”通常是不完整的。它并不了解每一种合法的写法。它可能会因为还没学到某个特定特性（例如“前向引用”，即在定义一个词之前就使用它）而屏蔽掉一个合法的句子。

“失配”类比

把 AI 的大脑想象成一张它非常熟悉的城市地图。

目标是你想要到达的目的地。
约束器是你设置的一系列路障，以确保驾驶员留在“正确”的道路上。

如果你的路障是完美的，驾驶员会走在最好的路上并安全抵达。
但如果你的路标是不完整的（你因为不知道某个快捷方式的存在而把它封死了），驾驶员就会被迫绕道经过沼泽（低概率区域）。他们可能会陷入泥潭（超时）、耗尽燃料（用尽 Token），或者到达了一个看起来像目的地但其实并不是正确房屋的地方（语法正确，但代码无法运行）。

研究人员的发现

团队使用几种 AI 模型和两种类型的代码（TypeScript 和 TOML）进行了实验。以下是他们的发现：

1. “严格的编辑”往往会让情况变糟 (RQ0)
当他们使用一种标准的“不完整”编辑（即会屏蔽一些合法代码的编辑）时，AI 的表现比自由写作时更差。

结果： AI 生成的代码在技术上是“安全”的（没有语法错误），但并没有完成要求的任务。
类比： 这就像强迫一位厨师只能使用一个极其微小且不完整的储藏室里的食材。厨师可能会做出一个看起来很完美的菜肴，但吃起来味道很差，因为他被迫使用了奇怪的替代品。

2. “偏差” (RQ1)
研究人员发现，“不完整的编辑”会迫使 AI 选择它平时绝不会选择的词。

结果： AI 开始生成“不太可能出现”的代码。这就像强迫一位爵士乐手只能演奏他讨厌的特定音阶。音乐变得僵硬且不自然。
后果： AI 经常会彻底放弃（超时），因为它找不到一条既能满足编辑那不完整规则的路径。

3. 我们能修复它吗？ (RQ2)
他们尝试通过**微调（Fine-tuning）**来“教导”AI 更好地理解编辑有限的规则。

结果： 这起到了一定的作用。AI 不再那么容易卡住，代码也变得稍微好了一点。
症结： 但这并没有完全解决问题。AI 仍在与编辑那不完整的规则作斗争。这就像是在教孩子成为更好的作家，但他们仍然被迫使用一支坏掉的笔在写作。

4. “完美的编辑” (RQ3)
最后，他们测试了如果编辑是完整的（它知道所有有效的规则，并且不会屏蔽任何实际上是正确的代码）会发生什么。

结果： 当编辑是完美的时候，AI 的表现比自由写作时好得多。
类比： 如果你给孩子一套涵盖一切的完美规则，他们可以写出一篇杰作。
令人惊讶的是： 研究人员发现，即使是规则中极小的缺失细节（比如忘记允许在等号前加一个空格），也会导致 AI 的性能暴跌高达 97%。AI 对这些微小的缺口极其敏感。

总结

论文得出结论：约束解码（在 AI 写作时强迫其遵循规则）只有在规则与 AI 已知内容以及最终代码需求完美对齐时，才是个好主意。

如果规则是不完整的，它们就像一个糟糕的过滤器，扭曲了 AI 的自然能力，使代码变得更糟。
要让这套机制奏效，我们要么需要让规则完全完整，要么需要重新训练 AI 以使其完美匹配那些不完美的规则。

简而言之：不要给一台强大的引擎配上一个半成品的过滤器；否则，它只会弄坏这辆车。

技术摘要：受限代码生成中的对齐问题

问题陈述

大语言模型（LLMs）在代码生成方面展现了强大的能力，但经常产生包含语法或类型错误的输出，导致编译失败。在 TypeScript 等静态类型语言中，大约 94% 的编译错误源于类型系统违规而非语法错误。为了缓解这一问题，**受限解码（constrained decoding）**被提出作为一种在 token 生成过程中强制执行形式化规则（如语法文法、类型系统）的技术，理论上可以保证结构的有效性。

然而，作者观察到一个反直觉的现象：在初步研究中，无约束解码在功能正确性方面通常优于受限解码。论文指出，这种失败并非受限于约束的概念本身，而是源于三个核心实体之间的严重失配（misalignment）：

模型语言 ( $L_M$ )： 基于其训练分布，LLM 可能生成的程序集合。
目标语言 ( $L_T$ )： 根据规范（例如 TypeScript 编译器规则）定义的有效程序集合。
受限语言 ( $L_C$ )： 在解码过程中，由用户定义的约束器（例如增量解析器/类型检查器）所允许的程序集合。

本文的核心论点是，当约束器是不完备的（拒绝了 $L_T$ 中的有效程序）或不健全的（允许了无效程序）时，受限解码是有害的。一个不完备的约束器会迫使模型进入低概率的程序区域，导致“不完备性偏差”（incompleteness bias）、文本退化以及频繁的超时。

研究方法

作者提出了一个**对齐（Alignment）**框架来分析 $L_M$ 、 $L_T$ 和 $L_C$ 之间的关系。他们将对齐定义为这三个集合之间的 Jaccard 相似度。研究围绕三个研究问题（RQs）展开，旨在调查失配的代价及其潜在的缓解措施：

RQ0（有效性）： 一项大规模实证研究，对比了六种 LLM（参数量从 2B 到 80B 不等）、两个基准测试（HumanEval 和 MBPP）以及三种温度设置下的受限与无约束解码表现。
RQ1（失配的代价）： 通过测量生成程序的归一化负对数似然（Normalized Negative Log-Likelihood, NLL）来量化“不完备性偏差”。研究分析了一个不完备的约束器（具体为一个缺乏对前向引用和用户定义类型支持的 TypeScript 类型约束器）如何扭曲模型的分布。
RQ2（恢复对齐）： 评估通过**微调（fine-tuning）**使 LLM 符合约束器的特定约束是否可以减轻偏差。作者使用了基于通过增量类型检查器作为奖励函数的组相对策略优化（GRPO）。
RQ3（完全对齐）： 使用 TOML（一种具有严格上下文无关文法的语言）作为沙盒，系统地测试完整性的影响。他们将一个完整的语法约束器与移除特定特征的变体（如可选空格、注释、点键）进行对比，以隔离模型对不同程度不完备性的敏感度。

关键结果

1. 无约束解码通常优于受限解码 (RQ0)

在所有配置（HumanEval 和 MBPP 基准测试）中，无约束解码在**功能正确性（Functional Correctness, FC）**方面始终高于类型约束解码。

超时： 受限解码的超时率显著升高（超过 token 或时间限制），尤其是在较小的模型和较低的温度设置下。
类型-语法 vs. 功能性： 虽然受限解码提高了类型-语法正确性（TSC），但这并未转化为更好的功能正确性。事实上，约束往往迫使模型生成语法有效但功能错误的程序，或者导致生成循环。

2. 失配导致分布偏差 (RQ1)

研究证实，不完备的约束器会将 LLM 推向低概率区域。

NLL 分析： 与无约束解决方案相比，受限解决方案表现出显著更高的 NLL（表明它们在其自然分布下概率较低）。
失效机制： 当模型尝试使用约束器不支持的特性（例如 TypeScript 中的前向引用）时，约束器会拒绝该 token。模型随后被迫选择替代方案，这通常会导致进入“低概率路径”，使得生成的代码在语义上变得荒谬，或者陷入重复循环直到发生超时。

3. 微调可以缓解但不能消除偏差 (RQ2)

通过微调 LLM 以使其符合约束器的分布（使用 GRPO）取得了虽有提升但效果有限的结果：

减少超时： 微调使超时率降低了 53–73%（token 限制）和 74–94%（时间限制）。
收敛： 在某些情况下（例如 HumanEval 上的 Gemma-2-2B），微调使得受限解码与无约束解码的功能正确性趋于等同。
局限性： 尽管对齐有所改善，但一些不完备性偏差仍然存在。受限解码在功能正确性方面仍表现不佳或仅能匹配无约束解码，这表明微调本身无法完全补偿本质上不完备的约束器所带来的问题。

4. 完整性至关重要 (RQ3)

通过使用 TOML，作者证明了完整的约束器显著优于无约束解码，尤其是对于较小的模型。

性能增益： 拥有完整约束器时，2B 模型（Gemma-2-2B）的精确匹配得分比无约束解码提升了 53%。
对不完备性的敏感度： 移除特定特征会导致性能剧烈下降。例如，禁止等号前的可选空格（c-space=）使 80B 模型的函数正确性下降了 97%。这表明模型会对即使是微小的语法结构（如空格）赋予显著的语义权重。
特征敏感性： 并非所有特征都同样关键；移除注释或点键的影响很小，而移除空格选项则是灾难性的。

意义与贡献

本文为社区做出了以下贡献：

失效的实证证据： 提供了一项大规模研究，表明目前的受限解码方法在功能正确性方面一致地逊于无约束解码，挑战了“约束会自动提高代码生成质量”的假设。
对齐框架： 引入了模型语言、目标语言和约束语言之间的对齐概念。该框架解释了受限解码为何失效（不完备性偏差），并为诊断这些问题提供了理论基础。
关于缓解措施的定量洞察： 证明了虽然微调可以减轻失配的负面影响（通过使模型分布与约束器和谐一致），但它并不是万灵药。最有效的解决方案是确保约束器的完整性。
设计指南： 为设计约束器提供了定量见解，强调即使是微小的语法限制（如空格）也可能对生成质量产生巨大的负面影响。

结论

本文得出结论：只有当模型、目标和约束之间存在严格对齐时，受限解码才是受益的。不完备的约束器作为一个偏差源，会扭曲 LLM 的分布，导致生成失败。为了在不牺牲功能正确性的情况下实现形式化保证，从业者必须要么设计完整的约束器，要么通过微调使模型的分布与约束对齐，但必须承认后者可能无法完全弥补由不完备性造成的性能差距。