💬 NLP

Even GPT-5.2 Can't Count to Five: The Case for Zero-Error Horizons in Trustworthy LLMs

本文引入了零误差边界（Zero-Error Horizon, ZEH）指标来评估大语言模型最大无误差推理范围，揭示了即使是像 GPT-5.2 这样的最先进系统也会在基础任务上失败，同时展示了 ZEH 在分析算法涌现方面的效用，并提出了用于扩展其评估的高效计算方法。

原作者： Ryoma Sato

发布于 2026-01-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ryoma Sato

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位才华横溢、超级智能的助手来帮你管理核电站、经营银行或进行手术。这位助手可以编写复杂的计算机代码，解释量子物理学，还能谈论艺术。但问题在于：这个助手有时会在一些连 5 岁小孩都能做成的事情上栽跟头。

这篇名为《甚至 GPT-5.2 也无法数到 5》的论文介绍了一种测试这些 AI 助手的新方法，称为零错误边界（Zero-Error Horizon, ZEH）。请不要把 ZEH 看作是一个测试分数，而要把它看作是一个**“安全围栏”**。

以下是利用简单类比对该论文研究结果的拆解：

1. “安全围栏”概念（什么是 ZEH？）

大多数人测试 AI 的方式是给它一些简单和困难的问题，然后计算它答对了多少（比如 95% 的成绩）。作者认为，对于安全性至密的工作来说，这是危险的。如果一个 AI 在 99% 的数学题中都答对了，但在某个特定的数字上失败了，这一个失败就可能导致灾难。

ZEH 是围绕 AI “完美区域”的“围栏”。

围栏内部： AI 被保证是 100% 正确的。
围栏外部： AI 可能会犯错。
围栏高度： 如果一个 AI 在乘法任务上的 ZEH 是 10，这意味着它可以完美地完成 10 以内的任何乘法。但一旦你要求它计算 11 的乘法，它就可能出错。

2. 令人震惊的发现（“愚蠢”的错误）

作者测试了一个非常先进的模型（GPT-5.2），发现其“围栏”在处理简单任务时低得令人惊讶。

奇偶校验测试： AI 能否判断像 11000 这样的数字字符串中 1 的个数是奇数还是偶数？AI 在这个 5 位数的字符串上失败了。它的围栏位于 4。
括号匹配测试： AI 能否判断 ((((()))))) 是否括号平衡？它在实际为“否”的情况下回答了“是”。
数学测试： 该 AI 可以编写复杂的物理模拟程序，却在简单的数学题 127 × 82 上出错。

类比： 想象一位大师级厨师，他能烹饪出包含 10 道菜的高级美食，但在做三明治时却不小心掉落了一粒盐。在普通的厨房里，你会忽略这一粒盐；但在核反应堆或银行里，这一粒盐（或错误的数字）可能会造成灾难性的后果。

3. 为什么 ZEH 比“成绩单”更好

论文指出，标准的准确率评分就像是在**“挑拣菜单”**。

陷阱： 研究人员可能会说：“我们的新 AI 非常出色！它答对了 99% 的乘法题！”但他们可能只测试了 20 以内的数字。如果你测试 100 以内的数字，AI 可能会表现得一塌糊涂。
ZEH 的解决方案： ZEH 不允许你挑选菜单。它强迫 AI 证明自己能够处理所有直到某个点为止的任务。如果 AI 在数字 13 上失败了，那么围栏就设在 12。无论“平均分”有多高，ZEH 都会告诉你危险区究竟从哪里开始。

4. AI 如何“学习”（记忆 vs. 理解）

作者研究了一个不同规模的 Qwen2.5 模型家族，以观察它们是如何改进的。

小模型（复印机）： 小型 AI 模型依赖于记忆。它们在训练数据中“见过”答案 2 × 2 = 4。但如果它们没见过 2 × 3，它们可能会猜错。它们的“围栏”是摇摆不定且充满漏洞的。
大模型（数学家）： 随着模型规模的增大，它们不再仅仅是记忆，而是开始学习规则（算法）。
- 线索： 作者发现，大型模型会犯“结构化”错误。例如，如果正确答案是 986，大型模型可能会说 1006。两者的差值正好是 20。这看起来非常像人类在做长乘法时的“进位”错误。
- 结果： 这证明了大型模型实际上是在进行数学运算，而不仅仅是在猜测。因为它们在使用规则，所以其“安全围栏”（ZEH）会稳定且可预测地增长。

5. 检查围栏的成本

作者承认，检查这个“围栏”是非常昂贵的。为了找到 AI 失败的确切点，你必须测试每一个问题，从 1, 2, 3... 一直测试到它失败为止。

解决方案： 他们开发了一套“加速”工具包（使用树状结构和智能缓存），使这一测试过程快了高达 10 倍。这就像是一个机器人可以在几秒钟内检查完每一级台阶，而不是一步一步走上去。

总结

论文认为，对于安全性至密的工作（如金融或医疗），我们不应该只问：“这个 AI 有多聪明？”我们应该问：“这个 AI 在哪里停止变得完美？”

零错误边界（Zero-Error Horizon） 就是那条线。它揭示了即使是最聪明的 AI 在处理极其简单的任务时也会存在“盲点”，并为我们提供了一种具体的、数学化的方法，让我们在开始犯错之前，确切地知道能在多大程度上信任它们。

技术摘要：可信大语言模型中的零错误边界（Zero-Error Horizons）

1. 问题陈述

大语言模型（LLMs）正越来越多地被部署在医疗、金融和核能系统等安全至上的领域。尽管它们表现出看似强大的推理能力，但 LLMs 在其能力范围内存在“漏洞”，会在简单的任务上出现难以解释的错误（例如，计算 $127 \times 82$ 、判断短二进制字符串的奇偶性或检查括号是否平衡）。

目前的评估指标（主要是准确率）对于安全至上的应用而言是不充分的，原因如下：

规模任意性： 准确率取决于评估者对问题范围的选择（例如，测试最高到 $50 \times 50$ 的乘法与测试最高到 $99 \times 99$ 的乘法）。一个模型在有限范围内可能表现出极高的准确率，但在面对略大的输入时却可能发生灾难性的失败。
缺乏安全保证： 高平均准确率并不能排除“漏洞”的存在。在安全至上的场景中，单个错误就可能导致致命后果。
饱和现象： 固定规模的基准测试会随着模型的改进而趋于饱和，从而失去区分最先进性能的能力。

本文认为，需要一种能够定义保证安全边界而非平均性能得分的指标。

2. 方法论：零错误边界 (Zero-Error Horizon, ZEH)

作者提出了零错误边界（ZEH），这是一个代表在确定性贪婪解码下，模型能够无误解决所有实例的最大问题规模 $n$ 的指标。

定义

给定一个固定模型、问题类型和提示词：

令 $B_n$ 为规模为 $n$ 的问题集合。
令 $T_n = \bigcup_{i=1}^n B_i$ 为所有规模至多为 $n$ 的问题集合。
令 $C$ 为模型回答正确的题目集合。
ZEH 定义为：
$\text{ZEH} = \max \{ n \mid T_n \subseteq C \}$

本质上，一个 $\text{ZEH} = k$ 的模型可以正确解决从规模 $1 $到$ k $的每一个实例，但在规模为$ k+1 $的某个实例上至少会犯一个错误。模型首次失败的那个规模为$ k+1$ 的特定实例被称为 ZEH 限制器 (ZEH Limiter)。

评估任务

作者在四个任务上评估了 ZEH：

乘法： 整数乘法 ( $a \times b$ )，其中规模定义为 $\max(a, b)$ 。
奇偶校验： 判断二进制字符串的奇偶性（1 的个数），其中规模为字符串长度。
括号平衡： 判断括号字符串是否平衡，其中规模为字符串长度。
图着色： 寻找简单无向图的色数，其中规模为节点数量。

效率优化

评估 ZEH 需要详尽的验证，这在计算上非常昂贵。论文提出了四种加速技术：

教师强制 (Teacher Forcing)： 不使用自回归解码，而是将完整序列（例如 $28 \times 43 = 1204$ ）输入模型，并配合因果掩码（causal mask），以并行方式逐个 token 验证正确性。
前瞻（批处理）(Look-Ahead/Batching)： 将不同规模的实例组合成批进行并行处理，以最大化 GPU 利用率，而不是按规模逐一处理。
提示词预填充 (Prompt Prefilling)： 对通用的提示词前缀进行一次性处理，并在所有实例之间共享其键值（KV）缓存。
FlashTree： 一种使用 Trie 树结构的方案，用于在具有共同前缀的实例间共享 KV 缓存（例如 $1 \times 1, 1 \times 2, 1 \times 3$ ）。该方法利用了受 FlashAttention 启发的在线 Softmax 实现，避免了 $O(N^2)$ 的注意力掩码瓶颈，实现了比原生自回归快达 10 倍的加速。

3. 关键结果

3.1 尖端模型的惊人失败

对 GPT-5.2（论文背景下的假设模型，日期为 2026 年 1 月）的评估揭示了显著的能力差距：

奇偶校验： ZEH = 4。模型在 5 个字符的字符串 11000 上失败。
括号平衡： ZEH = 10。模型在 11 个字符的字符串 ((((()))))) 上失败。
乘法： ZEH = 126。模型在 $127 \times 82$ 上失败。
这些结果表明，即使是能够生成复杂代码（如流体力学）的模型，也会在基础算术和逻辑任务上出错。

3.2 Qwen2.5 系列分析

作者分析了 Qwen2.5 系列（0.5B 至 72B）在乘法任务上的表现：

与准确率的相关性： 虽然 ZEH 和准确率通常随模型规模增大而增加，但它们并非一一对应。例如，72B 模型在 $99 \times 99$ 上的准确率为 98.6%，但其 ZEH 仅为 42。
记忆 vs. 算法推理：
- 小型模型 (0.5B - 3B)： 显示出训练数据频率（C4 语料库）与准确率之间高度相关，这表明其依赖于记忆。它们的 ZEH 低且停滞不前，因为记忆是随机性的，训练数据中随机存在的“漏洞”阻止了连续的无错边界。
- 大型模型 (14B - 72B)： 显示出与训练频率的相关性降低，表明其转向了算法推理。
结构化错误： 随着模型变大，错误变得更加“结构化”。对于大型模型，预测值与正确答案之间的差异通常是 10 的倍数（例如，预测 1006 而不是 986）。这表明模型理解乘法算法（例如，正确处理个位数），但在执行过程中出现了错误（例如，进位错误），而非随机幻觉。
进位敏感度： 逻辑回归分析显示，相比小型模型，大型模型对“进位”操作（即数字乘积 $\ge 10$ ）更为敏感。这一反直觉的结果支持了以下假设：大型模型试图执行算术规则而非检索记忆答案；因此，它们容易受到其试图执行的规则的计算难度影响。

3.3 提示词稳定性

ZEH 对提示词的变化具有相对鲁棒性。对于 Qwen2.5 模型，不同提示词表述下的 ZEH 标准差约为 3。但出于安全至上的考虑，作者建议使用多次提示词观察到的最低 ZEH 值。

4. 重要性与主张

论文声称 ZEH 为可信 LLM 提供了优于传统准确率指标的独特优势：

安全保证与预警信号： ZEH 提供了一个清晰的界限：边界内的题目是“安全的”（保证正确），而边界外的题目则是“危险的”。这对于平均性能不足以衡量可靠性的安全至上领域至关重要。
具体证据 (ZEH 限制器)： 与抽象的准确率得分不同，ZEH 提供了具体的、可复现的失败案例（限制器）。这有助于调试并提供了关于能力差距的无可辩驳的证据。
客观指标： ZEH 消除了准确率的“规模任意性”。边界是由模型内在能力决定的，而不是由评估者的测试范围选择决定的。
对涌现性的洞察： ZEH 是从记忆向算法推理转变的敏感指标。ZEH 的增长与模型可靠执行规则的能力相关，即使整体准确率已进入平台期。
面向未来： 与会趋于饱和的固定基准测试不同，ZEH 是开放式的，并能随着模型的改进持续作为一项指标发挥作用。

作者总结道，虽然 ZEH 会带来计算成本，但所提出的优化技术（如 FlashTree 等）使其具有可行性。他们强调，ZEH 应作为准确率的补充指标，特别是在验证高风险应用中的可靠性时。