🤖 AI

Cliff Tokens: Identifying Single-Token Failure Triggers in LLM Mathematical Reasoning

本文引入了“悬崖标记”（cliff tokens）作为大语言模型数学推理失败的精确单标记触发器，提出了这些标记的分类法，并证明通过 Cliff-DPO 对其进行优化可以显著提高模型在各种基准测试中的准确率。

原作者： Jaeyong Ko, Pilsung Kang, Yukyung Lee

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Jaeyong Ko, Pilsung Kang, Yukyung Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个大型语言模型（LLM）尝试解决数学问题，就像一名登山者试图登上山顶。大多数时候，登山者沿着一条清晰、安全的路径走向顶峰。然而，有时即使是在同一座山上，拿着同样的地图，登山者也会走错路，最终坠入山谷，永远无法到达顶峰。

长期以来，研究人员知道这些“错误的转向”确实存在，但他们并不清楚登山者究竟是在哪里偏离了路径。是一个错误的段落？一个错误的句子？还是仅仅因为一个特定的词改变了一切？

这篇论文引入了一个新概念，称为**“悬崖标记”（Cliff Token）**。

悬崖隐喻

将登山者的旅程想象成沿着悬崖边缘的小径。在旅程的大部分时间里，地面都是坚实的。但随后，会出现一个特定的脚步，地面突然塌陷，坠入深渊。一旦登山者踏出那一步，通往顶峰的路径就消失了。无论他们之后如何努力想要爬回去，都无法到达顶峰。

作者将这一个灾难性的步骤称为**“悬崖标记”**。

他们是如何发现悬崖的

此前，研究人员观察的是整个旅程的大块部分（如整个句子），或者等到登山者已经迷路后才去查看出了什么问题。这篇论文使用了一种更精确的工具：一个统计学上的**“跳板”**。

他们模拟登山者从每一个单词开始，在每一步都进行 64 次不同的路径尝试。如果在某个特定单词之后，到达顶峰的概率显著下降（就像掉下悬崖一样），他们就会将该单词标记为“悬崖标记”。他们使用一种特殊的数学测试（z-检验）来确保这是一个真实的跌落，而不仅仅是随机的波动。

重大发现：一个词就能毁掉一切

研究人员在七个不同的 AI 模型和三个数学基准测试上进行了测试。他们发现了一些令人惊讶的事实：

触发器： 在许多失败的尝试中，恰好有一个单词导致模型迷失了方向。
修复方法： 如果你删除这个“悬崖标记”，并要求模型从该单词之前的那个词重新开始，模型几乎总是能再次找到正确答案（在他们的测试中实现了 100% 的恢复）。
陷阱： 如果你强迫模型保留这个坏词，即使你让它尝试 64 次去恢复，它通常仍然会失败。这一个词将模型锁死在了死胡同里。

三种类型的“悬崖”

研究人员将这些坏词分为三类，就像不同类型的危险地形一样：

自信悬崖（确定性）： 模型 100% 确定这是正确的词，但实际上它是错的。这就像登山者因为以为那是座桥，而自信地踏向悬崖边缘。这发生是因为模型存在根深蒂固的习惯或偏见。即使你换成更大、更聪明的模型，它也会犯完全相同的错误。
不确定悬崖（不确定性）： 模型感到困惑。它站在一个分叉路口，不知该往哪走，然后选错了路。这发生是因为模型缺乏特定的知识。更大的模型可能不会犯这种错误，因为它们知道得更多。
运气好猜悬崖（采样偏差）： 模型知道正确的路径，但被大脑中的随机噪声分散了注意力，偶然选了一个奇怪且不太可能的词。这就像登山者被一颗松动的石头绊倒了。这纯粹是运气不好。

修复登山者（Cliff-DPO）

作者不仅发现了这些悬崖，还尝试修复它们。他们专门针对如何避免这些“悬崖标记”来教导 AI 模型。

有效的方法： 教导模型避免不确定型和运气好猜型悬崖，使模型的数学能力大幅提升。这就像教导登山者在困惑时要更加仔细观察，或者忽略随机的干扰。
无效的方法： 教导模型避免自信型悬崖并没有起到作用。由于这些是根深蒂固的习惯，仅仅告诉模型“不要那样做”不足以改变其本质属性。

核心结论

这篇论文表明，AI 的数学推理失败并不总是因为模型整体“笨拙”。通常，是因为单个单词充当了陷阱。通过识别并移除仅仅这一个词，或者通过专门训练模型来避开这类陷阱，我们可以显著提高这些 AI 系统解决问题的能力。

这项研究仅限于数学问题，并且需要大量的计算能力来寻找这些“悬崖”，但它提供了一种非常具体的新方法，来理解并修复 AI 何时会陷入困境。

技术摘要：Cliff Tokens：识别大语言模型数学推理中的单 Token 失效触发器

问题陈述

大语言模型（LLMs）在数学推理任务中表现出极高的综合准确率，然而对于同一个问题，其不同的推理轨迹往往会发生分歧，有些能得出正确答案，而另一些则会失败。现有的失效分析方法多在粗粒度层面（步骤、块、句子）运行，或者仅在失效已经发生后（例如成功概率降至零时）才识别 Token。至关重要的是，此前的工作尚未识别出将推理状态从可恢复状态转变为错误结果的精确单 Token 触发器，也未能利用自适应阈值将统计显著的失效触发器与采样噪声区分开来。

方法论

1. Cliff Token 的形式化定义

作者引入了 cliff token（悬崖 Token）的概念，定义为推理轨迹中导致向正确答案达成的概率（逐 Token 潜力）显著下降的特定 Token 位置。

Token 级潜力 ($pot$)： 通过从特定 Token 位置 $t$ 到轨迹结束的展开采样（Rollout Sampling, $N=64$ ）进行估计。它代表 $P(y = y^* | c_{\le t}, x)$ ，其中 $y^*$ 是地面真值答案。
自适应阈值： 为了将真实的失效触发器与随机噪声区分开来，作者在 95% 置信水平下采用了单侧两比例 z 检验。如果位置 $t$ 的潜力降幅 $\Delta_t = pot_{t-1} - pot_t$ 满足以下条件，则该 Token 为 cliff token：
$\Delta_t > 0.1 + 1.645 \cdot SE_t$
其中 $SE_t$ 是潜力估计的标准误差。这种自适应机制考虑了局部方差，与固定阈值方法相比，在高方差区域施加了更严格的标准。

2. Cliff 分类法

根据 Token 熵 ( $H_t$ ) 和贪婪选择状态，cliff token 被分为三种不同类型：

确定性悬崖 (Deterministic Cliff)： 一个具有低熵（ $H_t < 0.0561$ nats，对应 $p_{greedy} \ge 0.99$ ）的贪婪 Token。模型以近乎绝对确定的方式采样该失效 Token。
不确定性悬崖 (Uncertain Cliff)： 一个具有高熵（ $H_t \ge 0.0561$ ）的贪婪 Token。模型尽管存在显著的局部不确定性，仍选择了该失效 Token。
采样偏离悬崖 (Sampled-off Cliff)： 一个具有高熵（ $H_t \ge 0.0561$ ）的非贪婪 Token。失效 Token 是从低概率候选集中随机采样得到的。

3. 实验设置

模型： 七种不同规模和家族的指令微调模型（Qwen3-8B/4B/0.6B, Llama-3.1-8B, Llama-3.2-3B/1B, Gemma-3-4B）。
基准测试： GSM1K, MATH500, 以及 AIME 2025。
干预： 作者分析了“Cliff-del”（从第一个 cliff token 之前的前缀进行重采样）与“Cliff-keep”（包含该 cliff token 的前缀进行重采样）以衡量恢复率。
训练 (Cliff-DPO)： 应用了一种针对 cliff 位置的直接偏好优化（DPO）变体，将非 cliff token 视为“被选中（chosen）”的 Token，将 cliff token 视为“被拒绝（rejected）”的 Token。

核心结果

1. Cliff Token 作为失效触发器

普遍性： 在大多数模型中，cliff token 在错误轨迹中出现的频率显著高于正确轨迹。
恢复能力： 删除第一个 cliff token 并进行重采样（Cliff-del）可以将所有评估设置下的成功率恢复至 pass@64 = 1.0。相比之下，保留 cliff token（Cliff-keep）的恢复率仅限于 0.71–1.00，这表明 cliff token 是一个关键的失效触发器，它将推理轨迹锁定在错误的路径上。

2. 分类法的概率特征

确定性悬崖： 表现出接近 1.0 的概率质量。它们具有规模不变性；在给定相同前缀的情况下，小模型（0.6B）和大型模型（8B）会选择相同的确定性 cliff token，这表明存在共同的家族级偏差或预训练先验。
不确定性悬崖： 表现出广泛的概率质量分布。它们是模型特异性的，反映了独特的知识差距而非共享的推理瓶颈。
采样偏离悬崖： 表现出规模不对称性。在跨模型迁移中，被大模型识别为采样偏离悬崖的位置往往成为小模型的高概率候选，反之亦然，这表明了随机采样噪声的存在。

3. Cliff-DPO 训练效能

针对性优化： 针对不确定性和采样偏离 cliff 子集进行训练，能显著提高各项基准测试的推理性能（在结合变体下，GSM8K 的准确率提升高达 +6.6%）。
确定性悬崖的无效性： 在确定性 cliff 子集上进行训练对留出集基准测试几乎没有改进或没有改进，这表明这些 token 反映了难以通过单 Token 偏好优化来纠正的固有模型偏差。
效率： “不确定性 + 采样偏离”的 Cliff-DPO 变体所实现的性能与完整的句子级 cDPO 相当甚至更好，但其使用的损失贡献 Token 位置大约减少了 177 倍。

意义与主张

本文声称提供了一个Token 级的视角来诊断推理失效，超越了宏观结构分析，能够识别推理路径崩溃的精确时刻。

诊断价值： 该框架将统计显著的推理失效与采样噪声区分开来，验证了单个 Token 可以作为错误结果的确定性触发器。
可操作信号： 研究表明并非所有的失效点都是平等的。通过对 cliff 进行分类，作者展示了不确定性和采样偏离型 cliff 能为偏好优化提供有效的信号，而确定性 cliff 则不能。
效率： Cliff-DPO 证明了在特定的失效触发器处进行单 Token 监督是一种极其高效的提升数学推理能力的方法，其所需的训练更新次数远少于传统的轨迹级或句子级偏好优化。

作者指出了一些局限性，包括基于展开（rollout）的潜力估计具有高计算成本（需要数千 GPU 小时），以及目前分析仅限于数学推理。他们建议未来的工作应致力于开发高效的、无需展开的预测器，以实现实时解码干预。