💬 NLP

Geometry-Calibrated Conformal Abstention for Language Models

本文提出了一种几何校准的共形 abstention 后处理框架，该框架利用表示几何来校准预测置信度，使语言模型能够选择性地 abstention 回答查询，并在参与率和响应正确性上提供有限样本保证，从而在不需重新训练的情况下有效缓解幻觉问题。

原作者： Rui Xu, Yi Chen, Sihong Xie, Hui Xiong

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rui Xu, Yi Chen, Sihong Xie, Hui Xiong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、博览群书的朋友（即大型语言模型），他热衷于聊天。有时，这位朋友能立刻回答你的问题；而另一些时候，他完全一无所知，但出于取悦你的强烈愿望，他会编造一个听起来 plausible 的故事，而不是承认自己不知道。这种现象被称为“幻觉”。

你分享的这篇论文提出了一种新方法，教导这位朋友何时该说“我不知道”，而无需重新训练其整个“大脑”。他们将此系统称为共形拒绝（Conformal Abstention, CA）。

以下是其工作原理，拆解为简单的概念和类比：

1. 问题：“猜谜游戏”

目前，如果你问 AI 朋友一个它不知道的问题，它会感到必须给出一个答案的压力。在学校里，如果在多项选择题中猜答案，你可能碰巧得分；但如果写上“我不知道”，就得零分。因此，AI 学到：猜测总比承认无知要好。这导致了听起来很自信的谎言。

2. 解决方案：“信心检查”

作者构建了一个事后（after-the-fact）系统，它就像 AI 答案出口处的保安。在 AI 的答案展示给你之前，这位保安会检查：“这位 AI 对此真的自信且 knowledgeable 吗？还是仅仅在虚张声势？”

如果 AI 在虚张声势，保安就会拦截答案并说“我不知道”。如果 AI 确实自信，答案才会放行。

3. 核心秘诀：“几何信号”

保安如何知道 AI 是否在虚张声势？它不仅仅看最终输出的文字，而是观察 AI 在“思考”过程中其“大脑”内部的变化。

把 AI 的“大脑”想象成一个拥有多条装配线（层）的工厂。为了生成答案，AI 将一条信息（一个“词元”）沿着装配线向下传递。

知识注入（MLP）： 工厂里有一台特定的机器叫MLP（多层感知机）。把它想象成 AI 存储事实的图书馆。
几何检查： 新系统观察“图书馆”机器在信息通过时如何改变它。它利用几何学（形状和角度）测量三件事：
1. 接近度（变化有多近？）： “图书馆”机器是否真的对信息做了处理，还是信息原封不动地通过了？如果图书馆确实触碰了它，这就是好迹象。
2. 旋转（方向改变了吗？）： “图书馆”是否将信息转向了新方向？如果信息剧烈旋转，可能意味着 AI 很困惑；如果它平滑地转向一个已知事实，那就是好现象。
3. 对齐度（是否在正确的路径上？）： 想象 AI 所有的“好”知识都存在于一个特定的圆锥形隧道内。如果信息保持在这个隧道内，它很可能是一个正确、可靠的事实；如果它 wander 到隧道外，那很可能就是幻觉。

类比：
想象你正在向一位导游询问关于某个城市的情况。

好的回答： 导游指向一个具体的地标，身体转向该地标，并自信地沿着主街走去（高接近度、良好的旋转、与“游客路径”对齐）。
坏的回答（幻觉）： 导游含糊地挥手，原地打转，并指向一片不存在的空地（低接近度、混乱的旋转、偏离“游客路径”）。

该系统利用这些几何“肢体语言”信号来判断答案是否可信。

4. “保证”（安全网）

论文使用了一种名为共形预测（Conformal Prediction）的数学方法。这可以看作是一个统计承诺。

该系统不仅仅是猜测；它计算出一个阈值。它承诺：“如果我们只放行那些通过几何检查的答案，我们保证你看到的回答中有 75% 是正确的。”

它还保证 AI 不会过于害羞。它承诺：“我们不会频繁地说‘我不知道’，以至于 90% 的时间都不再回答。”它在安全性与实用性之间取得了平衡。

5. 结果

作者在六种不同类型的问题上（从简单事实到复杂推理）测试了该方法。他们发现，他们的几何“肢体语言”检查比以前的方法更能识破谎言。

旧方法就像检查 AI 是否听起来自信（而说谎者也能做到这一点）。
他们的方法检查 AI 内部的“肢体语言”，以判断它是否真的知道答案。

总结： 这篇论文为大型语言模型内置了一种新的“测谎仪”，基于其内部的几何结构。它使 AI 在不确定时能够承认无知，从而确保当它们确实开口说话时，更有可能是在陈述事实。

以下是论文《几何校准的置信度拒绝语言模型》的详细技术总结。

1. 问题陈述

大型语言模型（LLM）往往无法识别自身的知识边界。当面对训练分布之外或知识库中不存在的问题时，它们倾向于生成听起来合理但事实错误的回答（幻觉），而不是选择拒绝回答（即说“我不知道”）。

训练局限性：由于缺乏明确惩罚猜测并奖励“无知”的基准测试，重新训练模型以奖励拒绝回答变得十分困难。此外，此类干预可能导致过拟合或模型行为过于保守，即使模型知道答案也拒绝回答。
现有事后方法：传统的共形预测（CP）为不确定性提供了有限样本保证，但依赖于“非一致性分数”。在开放式文本生成中，定义一个真实分数函数是不可行的，因为正确答案可以有无数的语义等价形式。
核心问题：能否为大型语言模型配备一种事后机制，使其在不重新训练的情况下，能够在不确定时可靠地拒绝回答，同时提供关于正确性的理论保证？

2. 方法论：共形拒绝（CA）

作者提出了共形拒绝（Conformal Abstention, CA），这是一个将共形预测理论与一种新颖的基于表示几何的校准策略相结合的框架。

A. 理论框架（共形拒绝）

CA 通过关注预测置信度而非非一致性分数，将共形预测（CP）适配到语言生成场景中。它建立了两个有限样本保证：

参与保证：限制模型提供回答（即不拒绝）的概率。
条件正确性保证：限制在模型选择参与的前提下，所提供的回答是正确的概率。

该框架使用不确定性分数 $r(\hat{y}|x)$ （例如困惑度）。通过基于校准集设定阈值 $\tau$ ，当分数超过 $\tau$ 时，模型将拒绝回答。理论证明（定理 3.1，引理 3.2）表明，如果输入 - 输出对是可交换的，则保留答案的条件正确性下限由用户指定的置信水平界定。

B. 基于表示几何的校准

为了确保不确定性分数能忠实反映模型的内部状态（知识 vs. 无知），作者引入了一种基于 Transformer 层间Token 表示几何结构的校准策略。他们假设，当模型利用内部知识时，多层感知机（MLP）的更新会在隐藏状态中引发特定的几何变换。

他们从最后一个查询 Token 嵌入的轨迹中提取了三个几何信号：

邻近度（ $\omega$ ）：衡量 MLP 更新的贡献。它计算 MLP 更新前与更新后嵌入之间的距离。较小的距离（高邻近度）表明 MLP 积极塑造了该表示。
嵌入旋转（ $\theta$ ）：衡量由 MLP 更新引起的旋转角度。大幅度的旋转表明预测方向发生了显著偏移，通常与检索特定知识相关。
对齐度（ $\phi$ ）：衡量 Token 嵌入与分布内数据的主导各向异性方向之间的角度。高对齐度表明模型在其学习到的分布内运行；偏差则表明进行了外推（不确定性）。

已验证的假设：

H1：正确的预测与强烈的知识贡献（高 $\omega$ ）相关，这会引发显著的旋转（高 $\theta$ ）。
H2：正确的预测保持与分布内各向异性锥体对齐（低 $\phi$ ），而错误的预测则发生偏离。

C. 校准流程

特征提取：对于每个 Token，模型计算一个特征向量 $(\Omega, \Theta, \Phi_{in}, \Phi_{out})$ ，捕捉所有层中的几何信号。
距离计算：系统计算这些特征相对于正确和错误预测分布的马氏距离。
校准器训练：训练一个 XGBoost 模型，将这些几何特征（结合原始困惑度）映射为 refined 的不确定性分数。
决策：最终的不确定性分数根据共形阈值决定是否拒绝回答。

3. 主要贡献

共形拒绝框架：一种事后方法，为开放式生成中的参与率和条件正确性提供严格的有限样本保证，规避了非一致性分数的不可行性。
基于几何的校准：一种新颖的不确定性量化方法，利用 Transformer 层的内部几何动力学（MLP 贡献、旋转和各向异性），使置信度与实际正确性更好地对齐。
理论保证：证明了在用于推导不确定性分数的确定性变换下，可交换性得以保持，从而确保了共形边界的有效性。
全面评估：在六个多样化的数据集（NQ, TruthfulQA, GSM8K 等）和多种模型规模（Gemma-3, LLaMA-3）上进行了广泛的实验。

4. 实验结果

性能：所提出的方法在所有数据集上显著优于强基线（包括困惑度、语义熵、基于注意力的方法以及语言化置信度）。
条件正确性：在共形拒绝下，该方法实现了平均75.0% 的条件正确率。这意味着当模型决定回答时，其正确率为 75%，相比通常在 50-60% 徘徊的基线有了显著提升。
鲁棒性：该方法在不同的参与率（从回答 10% 到 90% 的查询）下均保持高性能。
消融研究：打乱几何信号（ $\omega, \theta, \phi$ ）会导致性能出现相当的下降，表明这三个信号都至关重要且互补。
基线校准：作者表明，简单地将他们的校准器应用于现有基线往往会降低性能（由于在低维信号上过拟合），而它们的高维几何特征则从校准中显著受益。

5. 意义

这项工作解决了大型语言模型部署中的一个关键可靠性差距。通过使模型能够选择性地拒绝回答并提供理论保证，CA 降低了在高风险领域（医疗、法律、科学）出现幻觉的风险，且无需昂贵的重新训练。将表示几何作为“知识参与”的代理指标，为不确定性量化提供了新范式，超越了表面概率，深入到了模型处理信息的内部机制。这使得该系统在现实世界应用中更加可信和可操作，因为在这些场景中，承认无知优于提供错误信息。