💬 NLP

Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering

本文认为，当前大语言模型的不确定性量化方法从根本上存在缺陷，因为它们仅通过无监督聚类来衡量内部生成的一致性，而非外部事实的正确性，从而制造出一种无法识别自信幻觉的虚假安全感。

原作者： Tiejin Chen, Longchao Da, Xiaoou Liu, Hua Wei

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Tiejin Chen, Longchao Da, Xiaoou Liu, Hua Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对该论文的解读。

核心理念：“回声室”问题

想象一下，你试图核实一条谣言是否真实。你问一群朋友：“这条谣言是真的吗？”他们异口同声地大喊：“是的！”你可能会想：“哇，他们都同意，所以这一定是真的！”

本文认为，当前用于检测 AI 是否自信或困惑的方法，恰恰在做同样的事情。 它们让 AI 以不同方式重复自己，检查答案听起来是否一致（内部一致性），并假设如果答案一致，它们就一定是正确的。

作者声称这是一种范畴错误。他们指出，这些方法实际上并没有衡量“真理”；它们只是在聚类（分组）听起来相似的答案。如果 AI 自信地犯了错，并且五次重复了同样的错误，系统会想：“太棒了！高置信度！”而它本该尖叫：“危险！幻觉！”

三大主要问题（“病理”）

该论文指出了这种“聚类”方法失效的三种具体方式：

1. “旋钮敏感”陷阱（超参数敏感性）

类比： 想象一个金属探测器，只有当你以非常特定的角度拿着它并以特定速度行走时，它才会发出哔哔声。如果你倾斜一度或快走一步，它就会停止工作。
现实： 当前的 AI 安全检查对微小的设置（例如允许 AI 有多“随机”）极其敏感。如果研究人员微调这些设置，安全评分会发生剧烈变化。这使得这些工具在现实世界中无法被信任，因为我们不知道哪个“旋钮设置”才是正确的。

2. “回声室”陷阱（内部评估）

类比： 想象一个学生写了一篇假的历史论文。如果他把同一个假故事连续写三遍，他可能会感到非常自信。但如果你问老师，老师会说：“虽然内容一致，但这仍然是谎言。”
现实： 当前方法假设如果 AI 是一致的，它就是正确的。但 AI 模型经常陷入“自信的幻觉”——它们一遍又一遍地重复同一个谎言。安全检查看到了重复，认为“高置信度”，从而批准了这个谎言。它将稳定性（说同样的话）与真理混淆了。

3. “橡皮尺”陷阱（缺乏真实基准）

类比： 想象试图用橡皮筋作为尺子来测量桌子的长度。如果橡皮筋被拉伸，你的测量结果就会改变。更糟糕的是，如果你用另一根橡皮筋来检查第一根，你只是在比较两个有弹性的东西。
现实： 要判断 AI 是否不确定，我们需要知道“正确答案”。但对于开放式问题，通常没有单一的“正确答案”可供核对。因此，研究人员使用其他 AI 模型来检查第一个 AI。这是循环论证：用橡皮筋测量另一根橡皮筋。本文认为，这制造了一种虚假的安全感，因为没有坚实的“真实基准”来锚定测量结果。

proposed 解决方案：新路线图

作者建议我们停止试图修复“聚类”方法，转而建立一个真正对照现实进行检查的系统。他们提出了一个三步计划：

1. 测试最坏情况，而非平均水平

类比： 不要只在风平浪静的一天测试降落伞。要在狂风呼啸、降落伞缠绕时进行测试。
计划： 停止根据 AI 在“简单”问题上的表现来评判其安全性。相反，专门针对它最有可能自信犯错的时刻进行压力测试。如果安全系统未能捕捉到自信的谎言，即使它在 99% 的简单问题上有效，它也失败了。

2. 将不确定性植入 AI 的 DNA

类比： 不要等汽车已经超速后，再问它“你确定能开这么快吗？”，而是将速度表硬连线到引擎中，在驾驶员开得太快之前就发出警告。
计划： 不要只在 AI 完成输出后分析其结果。训练 AI 本身，让它知道何时不确定。教它说“我不确定”或“这只是猜测”，而不是仅仅自信地猜测。

3. 使用“原子事实”检查

类比： 不要问朋友“整个故事是真的吗？”，而是将故事分解为微小的事实：“这件事发生在周二吗？”“那个人戴红帽子了吗？”将每个微小事实与图书馆或数据库进行核对。
计划： 不要让 AI 自我评判。将其答案分解为微小的、不可分割的事实，并将这些具体事实与现实世界的数据库、代码执行或搜索引擎进行核对。这将 AI 的置信度锚定在客观现实中，而不仅仅是它自己的内部感受。

结论

该论文总结道，我们目前正使用无监督聚类（对相似答案进行分组）来试图解决一个需要监督验证（对照真理进行检查）的问题。

只要我们要依赖仅检查 AI 是否“与自身一致”的方法，我们就将对自信的幻觉视而不见。为了让 AI 在法律和医疗等高利害领域安全可用，我们必须停止信任 AI 的内部回声室，转而将其置信度锚定在客观的外部现实中。

技术摘要：大语言模型中的不确定性量化本质上只是无监督聚类

1. 问题陈述

本文指出，大语言模型（LLM）的不确定性量化（UQ）领域存在一个根本性的范畴错误。尽管 UQ 被广泛视为在高风险领域（如医疗、法律）部署 LLM 的主要安全保障，但主流方法在机制上同构于无监督聚类算法。

核心问题在于，这些方法量化的是模型生成的内部一致性，而非其外部事实正确性。因此，它们无法检测“自信的幻觉”——即模型以高置信度生成稳定、自洽但事实错误的答案的情况。这造成了一种欺骗性的安全感，因为当前的指标无法区分模型是“自信地错误”还是“自信地正确”。

2. 方法论分析：聚类机制

作者提供了机制性分解，证明现有的 UQ 方法可归结为无监督聚类的三种变体：

语义熵（显式聚类）： 语义熵（SE）及其变体（SAE、SEN、KLE）等方法利用自然语言推理（NLI）模型，将连续生成的文本空间离散化为离散的“答案类别”。它们计算这些簇上的熵。从机制上看，这是一种聚类算法，其中 NLI 模型定义簇成员资格，熵衡量簇的纯度。它衡量的是数据点的分离度，而非其语义真实性。
基于图的量化（隐式聚类）： 利用图结构的方法（如星型图、图不确定性、拉普拉斯算子的谱分析）从采样响应中构建相似性图。不确定性分数源自谱属性（特征值），用于估计连通分量或语义模式的数量。这被识别为谱聚类的直接实例，其中分数反映了响应集分解为连贯语义组的碎片化程度，而不论其事实有效性如何。
言语化信念（潜在置信度聚类）： 如 $P(\text{true})$ 之类的方法要求模型自我评估其输出的正确性。作者认为，这实际上是对模型潜在空间的软聚类。高置信度表明生成的答案在几何上靠近模型内部“信念簇”的质心，而低置信度则将其标记为异常值。模型并非在判断真理，而是在计算输出与其自身参数化置信中心之间的几何距离。

3. 识别出的关键病理

对无监督聚类的依赖导致了三个危及安全的关键失效：

超参数敏感性危机： UQ 分数对超参数（如采样温度、NLI 阈值、样本数量）表现出脆弱的敏感性。类似于聚类算法中 $K$ 值或距离度量的选择会改变结果，UQ 分数也会根据这些设置剧烈波动。这使得部署变得不安全，因为最优参数未知，且往往由下游约束决定，从而基于参数过拟合产生安全假象。
内部评估陷阱： 当前的评估规范将自洽性与正确性混为一谈。AUROC 等指标奖励那些能识别稳定生成的方法。然而，在自信幻觉的情况下，模型是一贯错误的。高一致性仅表明收敛到了稳定状态，而非事实状态。
缺乏真实标签（“裁判问题”）： 对于“真实不确定性”没有直接的真实标签。评估依赖于将不确定性与答案正确性相关联的代理指标。然而，为开放式任务获取客观的正确性标签本身就不稳定，通常依赖其他 LLM 作为裁判。这形成了一个递归循环：用一个不稳定的尺子（裁判）来验证系统，从而使安全保证失效。

4. 主要贡献与拟议路线图

本文主张从无监督启发式方法向监督保障进行范式转变。作者提出了一个三支柱路线图：

A. 评估：从平均性能到最坏情况鲁棒性

尾部风险评估： 将重点从聚合指标（如全局 AUROC）转向最坏情况鲁棒性。作者建议将 UQ 视为主动预警系统（拒绝机制）。评估应测量在严格低的假阳性率（FPR）下的真阳性率（TPR），以确保系统能捕捉灾难性的自信幻觉，而不仅仅是区分简单的正确/错误对。
敏感性报告： 引入稳定性曲线下的面积（AUSC）。作者将 exhaustive 超参数调优后的峰值性能报告比作 P-hacking（P 值操纵），研究人员必须报告在超参数（如温度）连续扫描下的性能概况，以证明分布鲁棒性。

B. 机制：从事后启发式到原生保障

共形预测（CP）： 超越原始置信度分数。在共形预测框架内将 UQ 方法用作非一致性分数。这迫使不确定性估计直面现实，通过生成具有保证覆盖率的预测集。如果模型在自信地产生幻觉，为了维持覆盖率，预测集的大小必须爆炸式增长，从而提供一种内部一致性所缺乏的、感知真理的指标。
原生不确定性对齐： 从标准的指令微调转向通过训练后（如 RLHF）进行的不确定性对齐。模型应被明确训练以表达置信度水平（例如，“我确信……"与“有可能……"），将内部表征锚定在明确的效度主张上，而非潜在的几何伪影。

C. 落地：确立客观真理

强制性单元测试： 量化方法必须在可验证的环境（如代码执行、具有固定常数的数学推理）中通过金标准单元测试，然后才能应用于开放式生成。这确保该方法能在确定性设置中区分真伪。
原子事实验证： 用原子事实验证取代主观的基于 LLM 的裁判。复杂的叙述应分解为原子主张，并根据外部权威（搜索引擎、结构化知识库、Lean4 等形式定理证明器）进行验证，以打破模型对模型评估的循环依赖。

5. 意义与主张

本文声称，当前 UQ 研究的轨迹存在根本缺陷，因为它试图使用为内部结构设计的工具来解决外部现实的问题。

欺骗性的安全感： 这项工作的主要意义在于发出警告：当前的 UQ 方法制造了一种“欺骗性的安全感”。它们可能会过滤掉明显的错误，但无法检测最危险的失效：稳定且自信的幻觉。
范式转变的必要性： 作者认为，社区必须放弃追求更好的无监督启发式方法。如果不将验证锚定在客观真理上并转向监督保障，关键领域的 LLM 将保持不可靠。
重构该领域： 通过将 UQ 识别为一个无监督聚类问题，本文将该领域的局限性重新定义为并非需要调整的工程挑战，而是需要评估、机制和落地发生根本性变革的结构性病理。

本文结论指出，为了使 AI 系统在高风险领域可靠运行，模型置信度必须作为事实正确性的可靠代理，而不仅仅是内部一致性的度量。