📊 statistics

LLMs as Implicit Imputers: Uncertainty Should Scale with Missing Information

本文认为，作为隐式插补器的大型语言模型应表现出随缺失信息增加而增大的不确定性，研究发现基于采样的置信度无法反映上下文质量的逐渐下降，而响应熵能有效追踪缺失程度并更好地预测准确率。

原作者： Stef van Buuren

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Stef van Buuren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名试图解开谜团的侦探。通常，你拥有一整份证据文件（即“上下文”）来帮助你找出罪魁祸首。但有时，这份文件被撕碎了，你只剩下几张纸片。

这篇论文提出了一个简单却至关重要的问题：当你的侦探（一个 AI 语言模型）在证据缺失的情况下工作时，它是否知道自已应该有多不确定？

作者认为，AI 应该像一名“统计侦探”，承认“我这是在猜测，因为我没有足够的线索”。相反，他们发现当前的 AI 往往表现得像过度自信的侦探，胡乱猜测却坚称自己有 100% 的把握。

以下是他们研究发现的分解，使用了简单的类比：

1. 核心理念：“缺失线索”测试

研究人员将 AI 视为一种多重插补器。在统计学中，当数据缺失时，专家不会只猜测一个答案；他们会生成许多可能的情景，以观察答案可能产生多大的变化。

测试方法：他们提出问题，并逐步撕碎背景信息（即上下文），直到 AI 除了问题本身外一无所有可读。
规则：随着线索消失，AI 的“不确定性”应当上升。如果没有线索，它应该非常不确定；如果拥有所有线索，它应该非常确定。

2. 衡量“不确定性”的两种方式

研究人员考察了两种衡量 AI 不确定性的方法，即当它们被连续询问同一个问题 10 次时：

“大声的声音”（置信度）：这衡量 AI 每次给出相同答案的频率。如果它在 10 次中有 10 次都说“丹佛野马队”，那听起来就非常自信。
“人群嘈杂声”（熵）：这衡量答案的差异程度。如果 AI 一次说“丹佛野马队”，一次说“新英格兰”，一次说“爱国者队”，还有七次说“我不知道”，那就有很多“嘈杂声”或多样性。这就是高熵。

3. 重大发现：“大声的声音”是个骗子

研究发现“大声的声音”（置信度）存在一个主要问题：

发生了什么：即使 AI 拥有零上下文（没有线索），它也经常连续 10 次给出相同的错误答案。尽管它完全是基于训练记忆中的内容进行猜测，但它听起来却极其自信。
类比：想象一个忘记带课本的学生参加考试。他对每一道题都猜"C"。他 100% 一致（高置信度），但他 100% 错误。AI 正是这样做的。

4. 赢家：“人群嘈杂声”（熵）

“人群嘈杂声”（熵）的表现要好得多：

发生了什么：随着研究人员移除上下文，AI 的答案开始分散。它不再连续 10 次说“丹佛野马队”，而是开始说“丹佛”、“野马队”、“那支球队”、“我不知道”等等。
类比：这就像房间里的一群侦探。当他们拥有所有证据时，他们都指向同一个嫌疑人。当你拿走证据时，他们开始指向不同的方向。他们越困惑，指向的方向就越分散。
结果：“人群嘈杂声”的指标随着 AI 准确性的下降而上升。这是一个真正的困惑信号。

5. “分辨率比率”（线索起了多大作用？）

作者创建了一个名为分辨率比率的简单分数。

把它想象成电灯泡的调光开关。
无上下文（关）：房间是黑暗的（高不确定性）。
完整上下文（开）：房间是明亮的（低不确定性）。
分数：这衡量了“光”（上下文）在多大程度上关闭了“黑暗”（不确定性）。他们发现，拥有完整上下文解决了约 80% 的不确定性，这很合理。

论文主张总结

问题：当前的 AI 模型往往是“不当的插补器”。当它们缺乏信息时，会抑制自身的不确定性，给出一个单一的、自信的但往往错误的回答。
解决方案：我们应该关注 AI 答案的变化程度（熵），而不是它重复相同答案的频率（置信度）。
证据：当移除上下文时，AI 的准确性下降，但其“置信度”却保持高位（对我们撒谎）。而其“熵”（答案的多样性）上升，正确地发出了它迷失方向的信号。
启示：如果你想了解 AI 是否因为缺少信息而在猜测，不要问它听起来有多确定。要问：“如果我问你 10 次，你会给我 10 个不同的答案吗？”如果是，它知道自己不确定。如果它给你 10 次相同的错误答案，那就是过度自信。

该论文得出结论，熵是比我们要通常看到的标准“置信度”分数更好的“黑盒”工具，能告诉我们 AI 何时是在盲目飞行。

技术摘要：大语言模型作为隐式填补器

问题陈述

大语言模型（LLMs）越来越多地被部署在输入上下文不完整、被截断或退化的场景中（例如检索增强生成（RAG）系统中的部分检索）。尽管在这些信息缺失的情况下运行，大语言模型通常会生成具有高度表面确定性的单一答案。这引发了一个关键问题：大语言模型的不确定性估计是否恰当地反映了缺失信息的数量？

当前的评估通常侧重于静态校准（在固定输入下将置信度与准确性相匹配）。然而，对于不确定性估计是否随着输入信息量的减少而动态缩放，目前尚缺乏理解。本文认为，一个良好的预测系统应表现出随着缺失信息比例增加而增加的不确定性，这一原则基于贝叶斯深度学习与缺失数据理论。

方法论

理论框架：隐式多重填补

作者通过将评估大语言模型不确定性的过程类比于多重填补（Multiple Imputation, MI） [Rubin, 1987] 来对其进行具体化。在多重填补中，不确定性源于未观测变量，并通过多个完整数据集之间的变异性来量化。

类比： 在不完整上下文下对大语言模型进行重复采样，被视为生成缺失信息的“隐式补全”。
标准： 一个良好的填补器（因此也是一个良好的大语言模型）必须表现出随缺失信息量增加而增加的不确定性。如果移除上下文，生成答案的变异性（不确定性）应当增加。

实验设置

数据集： SQuAD（阅读理解），利用从上下文段落中提取的短答案片段。
证据条件： 一个受控框架，通过参数 $\alpha \in [0, 1]$ $α \in [0, 1]$ 改变上下文可用性。上下文 $C(\alpha)$ $C (α)$ 通过保留原始上下文字符的前 $100 \cdot \alpha$ $100 \cdot α$ 百分比来构建。
- $\alpha = 1$ ：完整上下文。
- $\alpha = 0$ ：无上下文。
采样： 使用 gpt-4o-mini，温度 $T=0.7$ ，每个输入 $(q, C)$ 生成 $m=10$ 个随机响应。为最小化相关性，每个样本均通过单独的 API 调用获取。
归一化： 对响应进行归一化以处理微小的词汇差异（例如冠词省略），但不进行语义泛化。

不确定性度量

从 $m$ 个采样答案的经验分布中估计了两个黑盒度量：

基于采样的置信度（ $c$ ）： 最常见答案的经验频率（ $c = \max_k p_k$ ）。这衡量了模态集中度。
响应熵（ $H$ ）： 归一化答案分布的香农熵（ $H = -\sum p_k \log p_k$ ）。这衡量了竞争答案之间的离散程度。
解析率（ $\rho_R(\alpha)$ ）： 一种诊断指标，用于估计由上下文水平 $\alpha$ 解决的基线不确定性比例。
$\rho_R(\alpha) = \frac{[H_0 - H(\alpha)]_+}{H_0}$
其中 $H_0$ 是无上下文时的熵。 $\rho_R = 0$ 意味着上下文未提供任何不确定性降低； $\rho_R = 1$ 意味着不确定性已完全解决。

信息依赖指数（IDI）

定义为 $\Delta = Acc_1 - Acc_0$ ，该指标量化了预测准确性在多大程度上依赖于上下文的出现。

主要贡献

评估框架： 一个原则性的框架，用于评估部分可观测性下的大语言模型不确定性，其基础是随着信息减少，不确定性必须增加的要求。
MI 类比： 明确将大语言模型的重复采样与多重填补联系起来，论证熵作为由缺失信息引起的预测不确定性的黑盒代理。
诊断工具： 引入解析率 $\rho_R(\alpha)$ ，这是一种启发式方法，用于衡量上下文解决的基线不确定性比例，仅可通过黑盒采样进行估计。
实证验证： 定量证据表明，熵比置信度更忠实地跟踪缺失信息的不确定性，在解释方差方面具有显著优势（二次 $R^2$ 差距高达 0.057）。

结果

模型行为分类

对 400 个上下文的分析揭示了在移除上下文时存在的三种不同机制：

记忆型： 无论有无上下文，准确性都很高；熵接近零（ $H_0 \approx 0$ ）。模型依赖于参数化知识。
偏差型： 有上下文时准确性高，但无上下文时准确性高且答案错误；熵接近零（ $H_0 \approx 0$ ）。当缺失上下文时，模型会确定性地给出错误答案。
不确定型： 有上下文时准确性高，但无上下文时准确性低且熵高。这种机制反映了由缺失信息引起的真正不确定性。

分布： “不确定型”机制占比最大（43.8%），表明大多数问题需要上下文，且在缺失上下文时允许多样化的回答。

不确定性度量的表现

熵与置信度： 随着上下文被移除（ $\alpha$ $α$ 减小），准确性单调下降。
- 熵（ $H$ ）： 随着上下文被移除而单调增加，紧密跟踪准确性的损失。
- 置信度（ $c$ ）： 下降速度慢得多，即使准确性崩溃，仍保持高位。在上下文敏感子集中，准确性降至 0.05，而置信度仍保持在 0.52。
预测能力： 回归分析显示，在所有证据水平下，熵始终比置信度能解释更多的准确性方差。
- 在 $\alpha = 0.5$ （完整样本）时，熵解释了 24.3% 的方差，而置信度为 18.6%（ $\Delta R^2 = 0.057$ ）。
- 在此水平下，熵比置信度多解释了约 31% 的方差。
校准： 校准图（准确性 vs. 置信度）揭示了显著的过度自信，且随着上下文被移除而恶化。相反，熵的行为与多重填补标准一致。

解析率

解析率 $\rho_R(\alpha)$ 显示，在完整样本中，完整上下文解决了约 80% 的基线不确定性。在上下文敏感子集中， $\rho_R(\alpha)$ 单调地预测准确性，而置信度则表现出由“偏差型”机制驱动的非单调模式。

意义与主张

本文主张，响应熵是在不完整上下文下比基于采样的置信度更具响应性的黑盒不确定性度量。

理论一致性： 熵的行为符合贝叶斯要求，即不确定性应随缺失信息而缩放。置信度系统地未能满足这一要求，即使底层分布是弥散的（在这种情况下，一个良好的填补器应发出高不确定性信号），置信度往往仍保持高位。
实际效用： 所提出的指标（熵和 $\rho_R$ ）无需访问模型内部（权重、logits）或蕴含分类器。它们适用于任何可通过 API 访问的大语言模型。
对大语言模型设计的影响： 作者指出，在“偏差型”机制中观察到的“过度自信”可能源于 softmax 操作，该操作将概率质量集中在模态响应上。他们提出，预测均值匹配（Predictive Mean Matching, PMM）——从隐式捐赠池而非通过 softmax 进行采样——可能产生校准更好的不确定性，使大语言模型的行为与良好的填补理论保持一致。

本文结论认为，将多重填补标准引入大语言模型环境，为评估不确定性提供了一个受理论启发的标准，独立于特定任务或模型，并在统计缺失数据文献与大语言模型不确定性研究之间开辟了一条通道。