🤖 AI

Calibrated e-CUSUM Decoding for Quantized Reasoning Models: Why Token Log-Probability Is the Wrong Observable for Decoding Monitors

本文认为，由于中心化标记对数概率（centered token log-probability）具有内在的鞅属性且在自信重复期间保持沉默，它并非监测量化推理模型（quantized reasoning models）的有效观测指标，并据此提出了一种无需训练且经过校准的 e-CUSUM 解码器，该解码器通过融合标记不确定性与逐字重复信号，成功检测出失效轨迹。

原作者： El Hassane Ettifouri (Novelis Research, Paris, France), Ayoub Belfatmi (Novelis Research, Paris, France), Mahaman Sanoussi Yahaya Alassan (Novelis Research, Paris, France), Walid Dahhane (Novelis Rese

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： El Hassane Ettifouri (Novelis Research, Paris, France), Ayoub Belfatmi (Novelis Research, Paris, France), Mahaman Sanoussi Yahaya Alassan (Novelis Research, Paris, France), Walid Dahhane (Novelis Research, Paris, France)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个微型、超智能的机器人大脑（一个“推理模型”），你把它挤进了一个微小的、低功耗的盒子（量化）里，以便它能在普通的笔记本电脑上运行，而不是依赖巨大的超级计算机。它非常擅长数学，但当你把它挤压得这么紧时，它有时会开始出现故障。它可能会陷入循环，一遍又一遍地重复同一句话；或者它可能只是没完没了地唠叨，却永远给不出答案。

核心问题是：我们如何能在机器人失控之前抓住它？

错误的警报铃

起初，研究人员认为监控机器人的最佳方式是听它听起来有多“自信”。他们设想了一个特殊的警报铃，如果机器人的信心动摇，警报就会响起。他们构建了一个数学工具（一种“鞅”，martingale）来追踪机器人的对数概率——基本上就是它对即将说的下一个词有多确定。

转折点在于： 这个警报铃完全没用。事实上，它对他们想要捕捉的精确问题视而不见。

把它想象成一个只有在空气变得“不确定”或有烟雾时才会响起的烟雾探测器。但如果机器人陷入了一个充满信心的循环——极其笃定地重复着“答案是42，答案是42，答案是42”——对于探测器来说，空气感觉依然完美清晰。机器人虽然在自信地犯错，但警报却保持沉默。论文证明了这种“信心监测器”是错误的工具。这就像试图通过听声音来寻找一个安静的窃贼；如果窃贼很安静，你永远也抓不住他。

新的侦探：“退化”雷达

于是，团队构建了一种新型监测器。他们不再仅仅听取信心，而是给了机器人一个雷达，专门寻找两件事：

困惑： 机器人是否突然变得犹豫不决？
结巴： 机器人是否在不断重复完全相同的词汇？

他们将这两者结合成了一个单一的“警报分数”。如果机器人开始结巴（即使它对这种结巴非常有信心），分数就会上升。

但这里有一个陷阱。如果他们把警报设置得过于灵敏，每当机器人思考难题时，警报就会误报（“虚假警报”）。如果设置得太宽松，它又会漏掉那些故障。

校准的魔力

秘诀不仅在于雷达，还在于校准（Calibration）。

想象你在设置一个机场的金属探测器。如果你设置成只要有金属就响，那么皮带扣和硬币都会让它尖叫；如果你设置成只有检测到坦克才响，那么它会漏掉小刀。研究人员提取了一些“健康”的机器人运行记录（即机器人得出正确答案的情况），并测量了它们的警报分数。他们找到了第90百分位数——即90%的优秀运行记录都保持在之下的分数。他们将新的警报设置为：只有当分数高于该值时才会触发。

结果如何？

校准前： 旧的、未经校准的版本在所有生成过程中触发了 93% 的次数。这是一个毫无用处、不停尖叫的警报。
校准后： 新版本变成了一个聪明的侦探。它只标记那些真正糟糕的运行。它捕捉到了大约 46% 的失败轨迹（召回率），同时仅在 20% 的优秀运行中出现了失误。

它真的起作用了吗？

研究人员在著名的数学数据集 GSM8K 上测试了这个方法，使用的是一个小模型（DeepSeek-R1-Distill-Qwen-1.5B）。

循环问题： 他们曾希望机器人是陷入了循环。他们发现循环其实很罕见（在坏的运行中，只有 1% 存在严重的循环）。
真正的反派： 真正的难题是非终止（non-termination）。机器人会一直说话，直到耗尽时间或内存，却永远不会说出“答案是……”。
修复效果： 这个控制器帮助减少了这些“结巴”式的循环（在他们的测试中从 1% 降至 0%），并稍微缩减了那些无休止的唠叨。

它让机器人变得更聪明了吗？
准确率略有提升（对于低功耗版本，从 63% 升至 69%），但论文非常诚实地指出：这还不是一个被证实的胜利。 由于测试题目只有 100 道，这种提升可能仅仅是运气。统计测试显示结果是“不确定的（inconclusive）”。这是一个有希望的暗示，而非最终的胜利。

此外，还有一个代价。为了获得这种额外的安全性，机器人使用了 28% 更多的“Token”（词元），并且思考时间变长了。

核心启示

该论文的主要教训是一个“负面结果”，它为我们节省了时间：不要信任“信心”监测器。 它对自信的错误是盲目的。

相反，他们提供了一个经过校准的新工具，通过观察重复和困惑来工作。它比旧方案表现更好，但仍处于开发阶段。研究人员正在发布所有的代码和数据，以便他人可以在更难的数学问题上测试它，看看它是否真的能解决那种似乎是这些微型、被挤压的机器人大脑之敌的“无休止唠叨”问题。

简而言之：旧的警报器坏了。新的警报器经过了调优且正在发挥作用，但我们需要看到它能否在真正困难的谜题面前拯救局面，才能宣布它是一位英雄。

技术摘要：用于量化推理模型的校准 e-CUSUM 解码技术

问题陈述

低比特量化（如 INT4）使得在通用硬件上部署小型推理模型成为可能，但它显著降低了这些模型的思维链（chain-of-thought）能力。这些模型面临早期级联错误、推理长度膨胀以及“过度思考”或无法终止的倾向。一个直观且常见的补救措施是在生成过程中监控解码器，并在轨迹表现出失败迹象时进行干预。

本文指出，最自然的候选监控器——基于Token 对数概率（ $X_t = \log p(w_t | w_{<t})$ ）构建的鞅（martingale）存在一个关键缺陷。

缺陷： 在模型自身的采样定律下，增量 $D_t = \log p(w_t) + H_t$ （其中 $H_t$ 为香农熵）在构造上是一个均值为零的鞅。
后果： 该观测值衡量的是采样的自洽性（self-consistency），而非轨迹的健康度。在“自信重复循环”（一种常见的失效模式，即模型以高概率重复 Token）中， $p(w_t) \approx 1$ 且 $H_t \approx 0$ ，导致 $D_t \approx 0$ 。因此，当模型处于“自信地犯错”状态时，该鞅会保持沉默。此外，由于它会对高方差（高熵）片段做出反应，会导致在虽不确定但可能正确的推理路径上触发警报，从而导致极高的误报率（在未校准测试中为 93–95%）。

方法论

作者提出了一个由退化感知警报分数和校准顺序检测器组成的替代控制器。

1. 警报分数 ( $a_t$ )

控制器不再仅仅依赖熵，而是计算一个有界的评分 $a_t \in [0, 1]$ ，它融合了两个信号：
$a_t = \min(1, w_{rep} r_t + w_{ent} u_t)$

$u_t$ (不确定性)： 标记相对于近期历史的香农熵峰值。
$r_t$ (重复性)： 通过测量滑动窗口内重复 n-gram 的覆盖率来标记逐字重复。至关重要的是， $r_t$ 在即使熵接近于零的自信循环期间也会趋向于 1，从而解决了对数概率鞅的盲点问题。
权重： 经验性地设定为 $w_{rep} = 0.7$ 且 $w_{ent} = 0.3$ 。

2. 校准后的 e-CUSUM 检测器

论文利用了一种博弈构造（Shafer, 2021）来监控 $a_t$ 。

原始 e-过程： 一个非负乘积过程 $E^{raw}_n = \prod (1 + \lambda(a_t - \mu_0))$ 。在生成过程健康的条件零假设下（ $E[a_t | \mathcal{F}_{t-1}] \le \mu_0$ ），该过程满足维尔不等式（Ville's inequality），提供了一个时间一致的误报保证。
实现（CUSUM 有底限版本）： 部署的统计量是一个带有底限的对数 CUSUM： $S_n = \max(0, S_{n-1} + \log(1 + \lambda(a_n - \mu_0)))$ 。当 $S_n \ge \tau$ 时触发警报。
校准： 由于 $a_t$ 具有强烈的历史依赖性和自相关性，理论上的条件零假设难以认证。作者通过将基准 $\mu_0$ 设置为在健康（FP16，正确）参考轨迹上观察到的 $a_t$ 的第 90 百分位数来进行离线校准。这使检测器从一个无差别的警报器转变为一个选择性的检测器。

3. 补救措施

当触发警报时：

回溯（Backtracking）： 截断最后 $k$ 个 Token，并重建键值（KV）缓存。
重采样（Resampling）： 模型以调整后的参数恢复生成：
- 扩大或收紧 Min-p 采样（而不是通过增加温度来增加随机性）。
- 在重复报警时，注入修正标记（如“等等，让我重新检查一下……”）。
预算： 设置硬性上限以限制干预次数，防止无限循环。

关键结果

实验在 GSM8K 数据集上针对 DeepSeek-R1-Distill-Qwen-1.5B 的 FP16 和 INT4 量化版本进行。

失效模式分析： 与“自信循环是主要失效原因”的直觉相反，研究发现对于 GSM8K 上的 INT4 模型，无法终止是主要的失效模式（高达 49% 的错误轨迹耗尽了 Token 预算）。逐字循环较为罕见（即使在失败的轨迹中，也仅占 $\le 4\%$ 的 Token）。
通过校准实现的辨别力：
- 未校准的监控器（ $\mu_0 = 0.15$ ）会在 93–95% 的生成过程中触发，使其失去作用。
- 校准后的监控器（ $\mu_0 = 0.41$ ）在基准率为 0.38 的坏轨迹背景下，实现了约 0.6 的精确率（precision）和约 0.46 的召回率（recall）（F1 $\approx 0.3$ ）。
退化指标： 控制器将 INT4 的连续重复率从 0.010 降至 0.003，并消除了严重的循环（从 1% 降至 0%）。同时，它也略微降低了截断率（从 22% 降至 19%）。
准确率：
- FP16： 准确率从 68% 提升至 72%（McNemar $p=0.48$ ）。
- INT4： 准确率从 63% 提升至 69%（McNemar $p=0.18$ ）。
- 成本： 干预增加了 28% 的 Token 使用量和 30% 的墙钟时间（wall-clock time）。
- 结论： 准确率趋势是正向的，但在 $n=100$ 时在统计学上尚无定论。作者明确表示他们并不声称实现了准确率的提升，指出收益可能归功于增加了 Token 预算，而非控制器本身。

重要性与主张

本文将其定位为一项初步的方法论研究，具有以下具体贡献：

负面结果： 提供了一个清晰的、分析性的及实证性的证明，表明 Token 对数概率鞅在本质上不足以作为解码监控器，因为它们对“自信退化”视而不见。
方法论替代： 提出了一种无需训练、经过校准的 e-CUSUM 控制器，通过结合熵与显式的重复信号，成功检测到了退化。
诚实的评估： 作者强调，所部署的统计量是一个经验性的变化检测器，而非在所述 $\delta$ 下严格有效的 e-过程，这是由于警报分数具有历史依赖性以及校准的边际性质。
对失效模式的洞察： 发现对于量化模型在 GSM8K 上的主要失效模式是“无法终止”而非“循环”，这一发现挑战了该方法的最初动机，并表明补救策略必须处理“喋喋不休”（rambling）而不仅仅是“重复”。

作者发布了所有代码、校准工具和轨迹数据，以促进更大规模的研究，从而能够更确定地回答准确率问题。他们提醒注意，该方法增加了计算成本，并且任何未来关于准确率提升的说法都必须针对计算量匹配的基准（例如，具有相同 Token 预算的自一致性方法）进行评估。