📊 statistics

Domain-Shift-Aware Conformal Prediction for Large Language Models

本文提出了一种领域偏移感知符合预测（Domain-Shift-Aware Conformal Prediction, DS-CP）框架，该框架通过根据校准样本与测试提示词的接近程度对其进行系统性重加权，从而在保持有效的覆盖保证的同时提高适应性，增强了大语言模型在领域偏移下的不确定性量化可靠性。

原作者： Zhexiao Lin, Yuanyuan Li, Neeraj Sarna, Yuanyuan Gao, Michael von Gablenz

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhexiao Lin, Yuanyuan Li, Neeraj Sarna, Yuanyuan Gao, Michael von Gablenz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、博学多才的图书管理员（即大语言模型，或 LLM），他花费多年时间研究了一套特定的书籍（训练数据）。这位管理员非常擅长回答关于这些书的问题。然而，如果你突然问他一个他从未见过的完全不同的话题（“领域偏移”/domain shift），他可能仍会充满自信地回答，即便他在胡编乱造。这就是所谓的“幻觉”（hallucination），如果你的要求是答案必须 100% 正确，这就会变得非常危险。

为了解决这个问题，统计学家使用了一种被称为符合预测（Conformal Prediction）的安全网。你可以把它想象成一个“信心网”。它不仅仅是给你一个答案，而是给你一个包含多个可能答案的小列表。其目标是确保正确答案在 90% 的情况下（或你选择的其他安全水平）都在这个列表中。

问题所在：当世界发生变化时，网会失效
标准安全网在向管理员询问其学习过的同一世界的问题时表现完美。但在现实世界中，问题是在变化的。如果这位管理员学习的是 19 世纪的历史，而你问的是现代人工智能，标准的安全网就会失效。它会变得过于狭窄，认为自己知道答案，而实际上却并不知情，导致正确答案从漏洞中溜走了。

解决方案：DS-CP（“智能翻译器”网）
作者提出了一种名为领域偏移感知符合预测（Domain-Shift-Aware Conformal Prediction，简称 DS-CP）的新方法。以下是它的工作原理，使用简单的类比：

1. “语义地图”（嵌入/Embeddings）

LLM 处理的是文字，这就像一个庞大且混乱的图书馆，拥有数十亿本书。直接比较每一本书与其他所有书是不可能的。

类比： 想象将每一个问题都转化为一张巨大且简化地图上的一个坐标。在这张地图上，“猫”相关的问题彼此靠近，而“量子物理”相关的问题则相距甚远。
做法： 他们使用一种工具将复杂的提问转化为这些坐标（称为“嵌入”）。这使得观察新问题与管理员学习过的问题之间有多“接近”成为可能。

2. “加权人群”（密度比/Density Ratio）

现在，系统需要决定：“对于这个特定的新问题，我们应该在多大程度上信任管理员过去的回答？”

类比： 想象管理员站在一群曾帮助过他训练的人群中。如果你问一个关于“猫”的问题，人群中了解“猫”的人应该声音很大（高权重），而那些只了解“汽车”的人应该低声细语（低权重）。
做法： 系统观察地图。如果新问题靠近“猫”这一集群，系统就会更多地倾听训练数据中“猫专家”的声音。如果新问题远离管理员所知的一切，系统就会意识到：“这里没有足够的专家，”并变得非常谨慎。

3. “安全制动器”（正则化/Regularization）

存在一种风险：如果新问题与管理员所知的一切都非常不同，系统可能会陷入混乱并说：“好吧，既然我们对此一无所知，那么答案可能是任何东西！”这会产生一个毫无用处的、巨大的答案列表。

类比： 这就像汽车的定速巡航。如果路面变得太陡，引擎无法承受，汽车不会直接失控，而是会平稳地减速到一个安全且保守的速度。
做法： 作者添加了一个“制动器”（正则化）。如果系统检测到新问题与管理员已知知识之间存在巨大的鸿沟，它会自动将安全网扩大到足以保证安全，但又不会宽到变得毫无用处。

结果：更好的安全网

作者在一组大规模的常识问答集（MMLU）上测试了该方法，涵盖了 17 个不同学科（如法律、生物学和历史）。他们在一个学科上训练了管理员，并在另一个学科上对其进行测试。

标准方法： 当学科发生变化时，安全网经常失效，导致正确答案溜走（覆盖率不足）。
DS-CP 方法： 新方法察觉到了学科的变化。它没有惊慌失措，而是仅仅适度地扩大了安全网，从而再次捕捉到了正确答案。
权衡： 有时网必须稍微大一些（列出更多的可能性），但为了保证 90% 的准确率而不是自信地犯错，这是一个微小的代价。

总结
本文介绍了一种更聪明的 AI 安全网使用方法。DS-CP 不再盲目信任 AI 的置信度，而是观察新问题与 AI 已学习内容的相似程度。如果问题很熟悉，它会给出紧凑、精确的答案。如果问题很陌生，它会轻轻地拓宽安全网，以确保答案仍能被捕捉，从而防止 AI 进行自信的幻觉。

技术摘要：面向大语言模型的领域偏移感知符合预测

问题陈述
大语言模型（LLMs）经常产生过度自信但事实错误的输出（幻觉），这在医疗和金融等高风险领域构成了重大风险。虽然符合预测（Conformal Prediction, CP）提供了一个基于有限样本、分布无关的覆盖率保证，为不确定性量化（UQ）提供了原则性的框架，但标准的 CP 依赖于可交换性假设（exchangeability assumption）。该假设要求校准数据与测试数据必须来自同一分布。在实际部署中，**领域偏移（domain shift）是普遍存在的；由于用户行为或输入分布的演变，测试提示词（promts）往往与历史校准数据显著不同。在这种偏移下，标准 CP 经常会出现覆盖不足（under-coverage）**的问题，即生成的预测集过窄，无法包含真实答案，从而无法提供可靠的不确定性保证。

方法论：DS-CP 框架
作者提出了领域偏移感知符合预测（Domain-Shift-Aware Conformal Prediction, DS-CP），这是一个旨在使 CP 在存在领域偏移的 LLM 环境下仍能发挥作用的框架，且无需目标领域的标签数据。该方法通过以下步骤解决了在高维、非结构化提示空间中估计密度比（density ratios）的不可行性问题：

语义嵌入（Semantic Embedding）： 该框架并非在原始 Token 空间中运行，而是使用预训练嵌入模型 $h: \mathcal{X} \to \mathcal{Z}$ 将提示词投影到低维语义空间。这捕捉了跨领域的相似性，使得领域偏移可以通过嵌入分布的变化来表征。
密度比估计（Density Ratio Estimation）： 在嵌入空间中，训练一个领域分类器来区分源域（校准）和目标域（测试）提示词。该分类器用于估计密度比 $\tilde{r}(z) = \frac{dP'_Z}{dP_Z}(z)$ ，该比例作为权重，根据校准样本与目标域的接近程度对校准样本进行加权。
正则化加权（Regularized Weighting）： 为了防止预测集退化为整个输出空间（当由于巨大的偏移或样本量较小导致密度比极度不平衡时，存在这种风险），作者引入了一个正则化步骤。分配给测试点的权重被替换为一个仅取决于校准数据的正则化参数 $\lambda$ $λ$ 。
- 经验得分分布构建如下：
  $\hat{\mu}_n = \sum_{i=1}^n \frac{\hat{w}_i}{\sum \hat{w}_j + \lambda} \delta_{S_i} + \frac{\lambda}{\sum \hat{w}_j + \lambda} \delta_{\infty}$
  其中 $\hat{w}_i$ 是估计的校准样本密度比， $\lambda$ 的选择（通常取 $\max_i \hat{w}_i$ ）旨在平衡有效性（validity）与适应性（adaptivity）。
预测集构建： 新提示词的最终预测集由该加权经验分布的 $(1-\alpha)$ -分位数定义。

理论保证
本文为 DS-CP 建立了有限样本覆盖率界限：

下界： 覆盖概率被保证至少为 $1 - \alpha$ 减去一个间隙项。该间隙取决于归一化权重以及嵌入空间中得分分布的总体变差距离（total variation distance）。
平滑条件（Smoothness Condition）： 作者表明，如果非符合性得分（nonconformity score）随语义嵌入平滑变化，即使原始提示分布不同，覆盖率间隙仍能保持较小。
保守性（Conservativeness）： 文中提供了一个上界，表明当相关校准数据的有效样本量较低时，正则化项 $\lambda$ 会引入受控程度的保守性（即过度覆盖）。
回归标准 CP： 在满足可交换性条件（无领域偏移）的情况下，该方法精确还原为标准 CP，确保在理想设置下不会损失有效性。

实验结果
该框架在 MMLU 基准测试上进行了评估，将不同的学科类别视为不同的领域以模拟领域偏移。实验涵盖了来自 9 个模型家族的 16 个开源 LLM。

覆盖率： 标准 CP 经常无法达到 90% 的目标覆盖率，当校准域与测试域发生分歧时，覆盖率往往会显著下降。DS-CP 则持续改进了覆盖率，在所有模型和领域对中都能使其更接近目标水平。
集合大小（Set Size）： 虽然为了补偿偏移，DS-CP 生成的预测集比标准 CP 略大，但增幅很小。这证明了在恢复有效性与保持效率之间取得了成功的权衡。
适应性： 分析显示，DS-CP 有选择性地纠正了困难情况下的覆盖不足问题（即标准 CP 失效的情况），同时在标准 CP 已有效的情况下仅做极小调整，证明其并非仅仅是统一的集合扩大。

意义与主张
该论文声称为 LLM 在现实部署中的可靠不确定性量化提供了一个实用的步骤。其主要意义在于：

将 CP 扩展到可交换性之外： 它提供了一种系统化、有理论依据的方法来处理 LLM 中的领域偏移，而这正是标准 CP 失效的场景。
语义适配： 通过利用语义嵌入而非原始文本，它使得高维 LLM 输入的密度比估计变得可行。
平衡的可靠性： 它实现了统计有效性（保留覆盖率保证）与适应性（针对特定目标领域定制预测集）之间的平衡，解决了安全关键型应用中预测不可靠的关键问题。

作者指出了局限性，包括对嵌入质量和密度比估计器的依赖、需要无标签的目标提示词，以及目前侧重于多项选择任务而非开放式生成。然而，他们认为 DS-CP 代表了一种专门针对高维、非结构化 LLM 提示词在分布偏移下特征而设计的、具有原则性的符合预测适配方法。

1. “语义地图”（嵌入/Embeddings）

2. “加权人群”（密度比/Density Ratio）

3. “安全制动器”（正则化/Regularization）

结果：更好的安全网

技术摘要：面向大语言模型的领域偏移感知符合预测

类似论文