🤖 machine learning

Predictable Compression Failures: Order Sensitivity and Information Budgeting for Evidence-Grounded Binary Adjudication

本文引入了一个利用量化鞅违规界限（Quantified Martingale Violation bounds）和期望级解压缩定律（Expectation-level Decompression Law）的理论框架，用于量化并缓解证据驱动型二元判别中的指令诱发压缩失效，从而实现一个能够使幻觉率接近于零且在不同问答基准测试中实现受控弃权行为的固定信息充分性比率（Information Sufficiency Ratio）门控。

原作者： Leon Chlon, Ahmed Karim, Maggie Chlon, MarcAntonio Awada

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Leon Chlon, Ahmed Karim, Maggie Chlon, MarcAntonio Awada

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对该论文进行的解释。

核心问题：“座位表”问题

想象你是一位法官，正试图判定一名被告是否有罪。你面前有一叠证据文件。在理想的世界里，无论你是从头到尾读、从底到顶读，还是随机打乱顺序读，都不应该影响你的判决；判决结果应当是一致的。

然而，这篇论文发现，现代人工智能模型（称为 Transformer）就像是对“座位表”极其敏感且容易困惑的法官。如果你打乱证据的顺序，AI 可能会改变主意。有时它说“有罪”，但如果你交换了两份文件的位置，它突然又说“无罪”。这使得 AI 变得不可靠，因为它的答案取决于你如何把事实递给它，而不仅仅取决于事实本身是什么。

核心理念：“预期 vs. 现实”

作者解释说，AI 模型在训练时被要求在“平均水平”上表现出色。如果将证据打乱一百万次并计算平均结果，AI 会非常聪明。但在现实世界中，我们得到的只是一个特定的证据顺序。

预期： AI 知道所有可能打乱顺序后的“平均真相”。
现实： AI 必须基于一个特定的打乱顺序给出答案，而这个顺序可能是一个会让 AI 感到困惑的“糟糕”顺序。

这种 AI 应该知道的内容（平均值）与它实际表达的内容（特定顺序）之间的差距，就是“预期—实现差距”（Expectation–Realization Gap）。

解决方案：三种新工具

为了解决这个问题，作者创建了一个“安全工具包”，包含三种特定的工具，用于决定何时可以信任 AI，以及何时它应该保持沉默。

1. “打乱测试”（量化鞅违规，Quantified Martingale Violation）

首先，作者从数学上证明了这种困惑感会随着证据的增加而缓慢增长。

类比： 想象一长队人在传递消息。如果队伍很短，一点点混乱无关紧要；如果队伍巨大，消息就会变得模糊不清。论文表明，对于 AI 而言，这种信息的模糊程度是以证据数量的**对数（logarithm）**级别增长的。这是可以预测的。如果你知道有多少件证据，你就能预测如果打乱它们，AI 会产生多大的波动。

2. “信任预算”（比特对信任 & 信息充分性）

作者意识到，要 100% 确定一个答案，AI 需要一定量的“信息能量”（或预算）。

类比： 把 AI 的信心想象成一块电池。
- B2T (Bits-to-Trust，比特对信任)： 这是安全回答“是”或“否”所需的“最低电池电量”。如果答案很罕见或很棘手，你需要更大的电池。
- ISR (Information Sufficiency Ratio，信息充分性比率)： 这是一个简单的数学检查：我们的电池够用吗？
  - 如果 当前电量 / 所需电量 大于 1，则 AI 可以安全回答。
  - 如果 小于 1，则电池电量过低。AI 应该弃权（说“我不知道”），而不是靠猜测并可能导致编造事实（幻觉）。

3. “幻觉风险”计量器

他们还创建了一种衡量 AI 凭空捏造事实风险的方法。

类比： 如果 AI 试图在电池电量微弱的情况下强行给出答案，就像一个疲惫的司机试图在浓雾弥漫的夜晚开车。撞车（产生幻觉）的风险会随之上升。论文的数学模型显示，如果你遵循“ISR > 1”的规则，你可以将幻觉风险控制在极低的水平（在他们的测试中处于 0% 到 0.7% 之间）。

他们是如何测试的

研究人员不仅做了数学推导，还在现实世界的问题上进行了测试（例如“谁赢得了超级碗？”或“这个医学事实是否正确？”）。

打乱： 他们对数千个问题进行了处理，针对每个问题将证据进行了 16 种不同的打乱。
结果： 他们发现 AI 的答案确实存在波动（离散度），但这种波动遵循他们计算出的可预测模式。
守门员： 他们使用“ISR”规则作为守门员。
- 当规则说“通行”时，AI 几乎每次都是正确的。
- 当规则说“停止”时，AI 保持沉默。
- 至关重要的一点是： 在一项严格的测试中（即没有为了迎合数据而调整规则的测试），该系统将幻觉率保持在接近于零的水平，证明了其数学逻辑在现实世界中是有效的。

总结

这篇论文为我们提供了一种方法，防止 AI 在感到困惑时自信地瞎猜。我们不再仅仅是“希望” AI 能答对，而是可以使用一个简单的数学检查（ISR 闸门）来查看 AI 是否拥有足够的“信息燃料”来回答。如果没有，我们就让它停止并请求更多证据，从而防止它捏造事实。

简而言之： 不要仅仅因为 AI 说话语气自信就信任它。先检查它的“电池电量”。如果电量过低，就让它保持安静。

技术摘要：可预测的压缩失效

1. 问题陈述

本文探讨了在使用 Transformer 模型进行基于证据的二元判定（evidence-grounded binary adjudication）时，一个关键的可靠性问题。在支持/反驳分类、是/否决策或由验证器支持的通过/失败判定等任务中，模型的输出往往对交换证据块（exchangeable evidence chunks）的呈现顺序非常敏感。

虽然证据集在理论上是可交换的（重排序不应改变真值），但带有位置编码的 Transformer 会为相同证据的不同排列（ $\pi$ ）产生不同的概率（ $q_\pi$ ）。这种“顺序敏感性”导致了预测的离散化，从而导致不可靠的答案或不一致的弃权率。作者认为，次标记训练（next-token training）最小化了所有排序下的期望条件描述长度，这使得模型在平均意义上是贝叶斯最优的，但在任何固定的排序下都会显著偏离排列不变预测器（permutation-invariant predictor）。这种期望（对排序求平均）与实现（固定排序）之间的差距构成了“可预测的压缩失效”。

2. 方法论与理论框架

论文通过两个主要的理论视角将这一现象形式化：量化鞅违规（Quantified Martingale Violations, QMV）和期望层级解压缩定律（Expectation-level Decompression Law, EDFL）。

2.1 量化鞅违规 (QMV)

作者将证据顺序视为一个干扰变量（nuisance variable），并对位置敏感性引起的离散进行建模。

假设： 伯努利预测的 Logit 表现出具有特定衰减剖面的局部相邻秩敏感性（例如，敏感度 $\propto t^{-\alpha}$ 的调和衰减）。
定理 1 & 2： 在这些假设下，期望绝对离散度（ $E_\pi |R_\pi|$ $E_{π} ∣ R_{π} ∣$ ）受 Logit 对秩变化的累积敏感度约束。
- 如果衰减是调和的（ $\alpha=1$ ），离散度按 $O(\log n)$ 增长。
- 如果衰减较慢（ $\alpha < 1$ ），则呈多项式级增长（ $O(n^{1-\alpha})$ ）。
- 如果衰减较快（ $\alpha > 1$ ），则离散度是有界的（ $O(1)$ ）。
命题 2： 提供了一个使用 Jensen-Shannon 散度（JSD）通过 Pinsker 不等式来界定离散度的无假设证书。

2.2 期望层级解压缩定律 (EDFL)

EDFL 将理论界限转化为用于二元判定的可操作部署指标。它将 KL 凸性和数据处理界限特化为伯努利谓词。

核心概念： 它确立了将概率从先验质量（ $\bar{q}$ ）转移到目标后验质量（ $p$ ）所需的最小信息预算（ $\bar{\Delta}$ ）。
稀有事件缩放： 对于稀有事件，所需的预算按 $\log(1/\bar{q})$ 缩放。
操作规划器： EDFL 生成了闭式指标：
- 信任所需比特数 (Bits-to-Trust, B2T)： 在目标可靠性 $p^\star = 1 - h^\star$ 下，信任一个答案所需的最小信息预算。计算方式为 $KL(Ber(p^\star) \| Ber(q_{lo}))$ ，其中 $q_{lo}$ 是排列混合的保守下界。
- 幻觉风险 (Risk-of-Hallucination, RoH)： 由测得的预算所暗示的残余风险。
- 信息充足度比率 (Information Sufficiency Ratio, ISR)： 可用预算与所需预算的比值（ $\bar{\Delta} / B2T$ ）。

2.3 部署机制

作者提出了一个固定的 ISR 门控规则（算法 1）：

决策规则： 若 $ISR \ge 1$ 则回答；否则弃权或获取更多证据。
实现： 这涉及对证据进行 $m$ 次排列采样，计算模型对每次排列的概率，计算平均预算 $\bar{\Delta}$ （通过 KL 散度），并将其与 B2T 阈值进行比较。
参考分布： 该方法需要谓词 $g$ 的参考分布 $P_{ref}$ 。这可以通过确定性预言机（例如数据库查询、单元测试）、评估中的金标准标签或经过校准的验证器来实现。

3. 核心贡献

量化顺序敏感性： 论文证明了一个 QMV 界限，显示在调和位置敏感性下，排列诱导的离散遵循 $O(\log n)$ 的缩放规律，并为这种增长提供了显式常数。
作为可操作特化的 EDFL： 它推导了期望层级解压缩定律，将抽象的凸性界限转化为闭式规划器（B2T、RoH、ISR）以及一个固定的、可审计的 $ISR=1$ 决策边界。
可部署的“回答/弃权”接口： 作者定义了一个实用的程序（算法 1），利用排列混合来估计信息充足度，从而允许模型在信息预算不足以保证目标可靠性时拒绝回答。

4. 经验验证

该理论在来自 FEVER、HotpotQA、NQ-Open、PopQA 和自定义控制基准的 3,059 个落地条目上得到了验证，使用了 Qwen2-7B 和 Llama3.1-8B。

离散度缩放（实验 1）：
- 观察到平均绝对残差遵循预测的 $a + b \log n$ 缩放律。
- Qwen2-7B 显示出的离散度斜率（ $b \approx 0.377$ ）明显高于 Llama3.1-8B（ $b \approx 0.147$ ），表明其具有更强的位置敏感性。
- 一致的排列混合产生了正向的 Jensen 间隙（交叉熵的改进），证实了对排序求平均可以降低损失。研究发现一致混合接近于 MDL 最优，其最优性间隙小于 $10^{-4}$ nats/token。
因果剂量-响应（实验 2）：
- 一项在保持提示长度不变的情况下，改变“支持剂量”（支持性证据块的数量）的随机化研究。
- 结果显示了因果联系：增加支持剂量会降低信息预算估计值（ $\bar{\Delta}$ ）并减少幻觉率。拟合斜率表明，每增加一个 nat 的信息预算，大约减少 12.7 次幻觉。
留出审计（实验 3）：
- 使用 Gemma-2-9B 微调模型对 528 个留出条目进行的预设审计。
- 使用分析固定的 $ISR=1$ 门控（无需事后微调），系统实现了 0.0–0.7% 的幻觉率，同时 弃权率为 20.6–27.9%（95% 置信区间）。
- 这证明了该操作点在不进行普遍校准声明的情况下，通过权衡覆盖范围来换取高可靠性的能力。

5. 意义与主张

本文声称为基于证据的 AI 提供了一个可证伪的、样本外（out-of-sample）的操作点。其意义在于：

调和训练与部署： 它解释了为什么旨在最小化交叉熵（期望）的模型在特定排序（实现）下仍可能失败，并提供了一种弥合这一差距的方法。
超越校准： 它不依赖于可能无法泛化的学习型置信度阈值，而是从信息论原理（KL 散度）出发推导出 ISR 门控。
可验证的可靠性： 该框架适用于相对于验证器的谓词。作者明确指出，其保证是相对于由规范、确定性工具或校准验证器诱导的参考分布而言的。他们并不声称对于不受限制的生成或没有此类验证原语的模型具有普遍校准性。

这项工作定位为一种“面向部署”的解决方案，提供了一个具体的规则（若 $ISR \ge 1$ 则回答），允许系统在信息预算不足以支持目标可靠性时选择弃权，从而控制落地任务中的幻觉风险。