🤖 machine learning

Learning the Error Patterns of Language Models

本文介绍了“前缀过滤器”和"Palla"算法，用于高效地学习和应用特定领域的约束，以捕捉并纠正大语言模型常见的错误模式，从而显著提升输出有效性，例如 TypeScript 编译通过率。

原作者： Jinwoo Kim, Taylor Berg-KirkPatrick, Loris D'Antoni

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinwoo Kim, Taylor Berg-KirkPatrick, Loris D'Antoni

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常有天赋但略显笨拙的机器人助手。它擅长编写代码、总结故事或设计化学分子，但它有一些特定且重复的坏习惯。有时，它会使用一种它本应使用的语言中根本不存在的单词；其他时候，它会在本该保密的情况下意外泄露某人的名字。

论文《学习语言模型的错误模式》介绍了一种新方法，可以在无需从头重新训练机器人或雇佣人类持续监督的情况下修复这些问题。

以下是他们解决方案的分解，使用简单的类比：

1. 问题：机器人的“坏习惯”

当这些 AI 模型尝试执行特定任务（例如编写必须编译的程序）时，它们的失败并非随机发生，而是以集群形式出现。

类比：想象一位试图烤蛋糕的厨师。他们并非每次都以不同的方式失败。相反，他们总是忘记加糖，或者因为烤箱温度设置过高而总是把底部烤焦。他们拥有特定的“错误模式”。
现实：研究人员发现，如果你让 AI 编写 TypeScript 代码，它可能会在 50% 的情况下失败，但这些失败中的 80% 仅由三到四个特定的错误引起（例如尝试重新分配常量变量，或将导入语句放在错误的位置）。

2. 解决方案：“前缀过滤器”（门卫）

作者提出了创建“前缀过滤器”的想法。可以将这些过滤器想象成俱乐部门口的门卫，但他们检查的不是身份证件，而是机器人所写内容的开头。

工作原理：当机器人开始输入句子或代码行时，门卫（过滤器）会查看前几个单词。
决策：如果门卫看到匹配已知“坏习惯”的模式（例如：“哦，你正在函数体内以 import 开头？这是我们见过上千次的错误。停下。”），他们会立即切断机器人的操作。
结果：机器人被迫重试，但这次它必须换一种方式开始。这就像老师在学生甚至还没写完段落之前就说：“不，那个句子的开头不对。再试一次。”

3. 算法：PALLA（侦探）

你怎么知道机器人的坏习惯是什么？你不需要猜测。这篇论文介绍了一种名为PALLA（用于学习和适应大语言模型的前缀过滤器）的算法。

过程：
1. 让机器人自由发挥：PALLA 让 AI 在没有任何规则的情况下生成数百个样本。
2. 捕捉失败：它使用一个“裁判”（例如用于代码的编译器或用于总结的安全检查器）来找出错误的输出。
3. 分组错误：它注意到失败并非随机，而是聚集在一起。
4. 询问更聪明的机器人：PALLA 请求一个更大、更聪明的 AI 来查看这些错误集群，并编写一个简单的“规则”（一个 Python 函数）来捕捉它们。
5. 测试规则：它检查规则是否公平。它是否捕捉到了坏东西？它是否意外地阻止了机器人编写好的内容？如果规则太严格，它会对其进行调整。

4. 结果：巨大的提升

研究人员在四个不同的任务（编写 MLIR 代码、设计分子、总结人力资源对话以及编写 TypeScript）上，对五个不同的 AI 模型测试了这种方法。

“神奇”数字：他们发现，对于许多模型来说，仅需132 条简单规则（过滤器）就足以阻止几乎所有错误的输出。
类比：这就像教学生避免最常见的 5 种数学错误。突然间，他们的考试成绩从 D 跃升至 A，这并不是因为他们学习了新的数学知识，而是因为他们停止了总是犯的那些愚蠢错误。
结果：
- 代码：一个通常有 84% 概率无法编译代码的小型 AI 模型（Qwen-1.5B），突然开始有 70% 的概率成功编译。有了这些过滤器，它的表现与完全没有过滤器的更大、更昂贵的 AI 模型（Llama-8B）一样好。
- 安全性：在总结人力资源对话时，过滤器成功阻止了 AI 泄露姓名和电话号码，同时没有让总结听起来像机器人或遗漏重要细节。

5. 局限性（注意事项）

这篇论文诚实地指出了这种方法在哪些方面无法完美运作：

“已经很好”的问题：如果 AI 在某个任务上已经非常出色（例如 Gemma-12B 处理 TypeScript），就没有足够的错误可供学习，因此过滤器帮助不大。
“尾部”问题：有时机器人会在长句子的末尾犯错。过滤器只能捕捉开头。如果错误发生得较晚，过滤器可能会错过它，或者机器人可能会浪费大量时间试图修复它。
可迁移性：在一个 AI 模型（如 Qwen）上训练的过滤器，并不总是能完美地应用于另一个模型（如 Llama）。每个机器人都有自己独特的坏习惯。

总结

该论文认为，与其试图让 AI 模型变得完美（这很难），不如只学习它们特定的、重复的坏习惯，并建立简单的“门卫”在它们完成坏句子之前将其阻止。这是一种廉价、快速且有效的方法，可使 AI 在特定工作上更加可靠。

技术摘要：学习语言模型的错误模式

问题定义

大型语言模型（LLM）经常生成违反其应用领域特定有效性约束的输出，例如无法编译的代码、化学上无效的分子，或泄露隐私信息的摘要。虽然存在如语法约束解码等技术，但它们往往无法捕捉无法通过语法精确定义的复杂有效性属性（例如类型安全或语义正确性）。相反，微调方法需要大量的计算资源和数据。

本工作的核心观察是：LLM 的错误在无效输出的空间中并非均匀分布。相反，特定模型在特定领域上倾向于以少量重复、聚集的方式失败（例如使用不存在的运算符或在无效位置插入字符）。本文探讨是否可以通过学习和抑制这些特定的错误模式，从而有效地约束模型输出。

方法论

前缀过滤器

作者提出了前缀过滤器，这是针对特定领域和特定 LLM 的符号函数（例如 Python 函数），用于分析生成样本的前缀。如果前缀表明样本已经出错，或者无论后续如何完成都极有可能失败，则过滤器被触发（返回 false）。

完备性与分布完备性：理想情况下，过滤器应是“完备的”（即绝不拒绝有效的完成）。然而，强制执行严格的完备性通常不可判定。因此，作者引入了分布完备性：如果过滤器在有效生成上误触发的概率低于一个小阈值 $\epsilon$ ，则该过滤器是可接受的。这允许通过牺牲罕见、低概率的有效案例，来构建更简单、可学习的过滤器，以近似有效与无效输出之间的边界。

PALLA 算法

本文介绍了PALLA（语言模型的模式学习），这是一种无需大量领域知识或人工干预即可学习这些前缀过滤器的算法。该过程包含四个步骤：

采样：无条件地对目标 LLM 在特定领域任务上进行采样，生成一组输出。
验证：使用外部预言机（例如编译器、化学有效性检查器或泄露检测器）将样本分类为有效或无效。
聚类：根据预言机提供的具体错误原因，对无效样本进行分组。
合成：使用一个独立的、更大的“合成器”LLM（例如 GPT-5.4-mini），输入分组的无效样本和有效样本，以提炼出能够捕捉错误模式的具体前缀过滤器（Python 代码）。
验证：验证候选过滤器是否符合分布完备性和有效性。如果过滤器未能通过验证，则向合成器重新查询，并提供失败原因的反馈。

约束生成

一旦学习到一组前缀过滤器，本文在推理阶段采用约束自适应拒绝采样（CARS）。随着模型生成 token，当前前缀会与所有已学习的过滤器进行检查。如果过滤器被触发，则立即拒绝该样本，更新概率树以禁止该违规前缀，并重新开始采样。这使得模型能够动态地避免聚集的错误模式。

主要贡献

前缀过滤器：提出针对特定领域和特定 LLM 的符号函数作为捕捉和抑制特定错误模式的机制，在僵化的语法和繁重的微调之间提供了中间方案。
PALLA：一种利用外部合成器从非约束样本中自动学习这些过滤器的算法，无需手动规则工程。
实证评估：在 4 个领域（MLIR 代码生成、化学分子生成、对话摘要、TypeScript 生成）和 5 个 LLM（Qwen2.5 变体、Llama3.1-8B、Gemma3-12B）上进行了全面评估。

结果

评估表明，PALLA 可以从少量非约束样本中学习到有效的前缀过滤器：

错误聚类：“聚类假设”得到验证；少量过滤器（通常是前 3 个）捕捉了大部分错误。例如，在 MLIR 生成中，Qwen-7B 的前 3 个过滤器捕获了 51.7% 的所有错误。
有效性提升：
- TypeScript：PALLA 将 Qwen2.5-1.5B 的编译率提高了 60% 以上，使得 1.5B 模型能够达到与无约束的 8B Llama3.1 模型相当的性能。
- MLIR：语法约束解码未能防止普遍存在的错误（如使用未定义的运算符），而前缀过滤器显著提高了编译率（例如，Qwen-14B 从 27.5% 提升至 71.0%）。
- 摘要：过滤器成功减少了对话摘要中的信息泄露，同时并未显著降低非敏感信息的包含率。
可迁移性：过滤器的可迁移性取决于领域。对于具有通用错误模式的领域（例如摘要中的名称泄露），过滤器在不同模型间表现良好；但对于错误模式具有模型特定性的领域（例如 MLIR 和分子），其表现较差。
开销：大多数领域的每个样本 token 成本适度增加（例如，分子约 30%，MLIR 约 60%），但在 TypeScript 任务中使用较弱模型时开销显著更高（Qwen-1.5B 高达 900%），这是由于对尾部错误的反复拒绝所致。

意义与局限性

本文声称，前缀过滤器提供了一种实用且高效的方法，通过针对给定模型特定的、重复的失败模式来约束 LLM 输出。这种方法提供了关于不同 LLM 如何失败的定量见解，并提供了一种无需重新训练即可提高可靠性的机制。

作者承认的局限性：

能力阈值：对于在特定领域已经高度胜任的模型，该方法效果不佳，因为缺乏足够的无效示例来学习有效的过滤器。
非前缀错误：如果错误无法表示为前缀约束（例如，由于全局约束导致有效前缀产生无效后缀），PALLA 无法为其学习过滤器。
可迁移性：过滤器通常特定于其训练模型，并不总是能迁移到其他模型，特别是在代码生成等复杂领域。
开销：在模型频繁出错或在生成过程后期出错的案例中，拒绝采样的开销可能变得巨大。

作者总结道，虽然前缀过滤器不能解决所有约束生成问题，但它们为分析和缓解 LLM 中特定的、聚集的错误模式提供了强有力的工具。