🤖 machine learning

When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation

本文通过证明高风险场景下的不可行性界限，展示了自适应界限与分布偏移下推理带来的显著增益，并提供了一个能够识别在各种模型和任务中何时可实现认证的部署框架，从而确立了用于认证结构化大语言模型输出的符合风险控制（conformal risk control）在理论上的可行性与实践中的局限性。

原作者： Varun Kotte

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Varun Kotte

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明但有时过于自信的机器人助手（一个大语言模型，简称 LLM），它帮助你整理文档、从文本中提取名称或回答问题。你想使用这个机器人，但你担心它会犯错。你想要一个保证：“如果机器人给了我答案，我希望能确保它至少有 90% 的时间是正确的。”

这篇论文就像是一本为构建该机器人的安全检查员编写的手册。它在问：我们能否通过数学方法证明这个机器人足够安全，值得信赖？如果不能，为什么？

以下是使用简单类比对他们研究结果的拆解：

1. “不可能”的地板（不可避免的真相）

最重要的发现是一个“硬性限制”。想象一下机器人有一个天然的错误率（我们称之为基础风险）。

场景： 如果机器人天生有 40% 的概率出错（基础风险 = 40%），而你要求它出错的概率只能为 10%（目标 = 10%），没有任何魔术可以解决这个问题。
类比： 把机器人想象成一个投掷飞镖的人，他天生不擅长击中红心。如果你告诉他：“只有当你确定自己能击中红心时才投掷，”那么他必须扔掉几乎所有的飞镖。
论文中的规则： 作者证明了一个公式：如果机器人的自然错误率高于你的目标值，机器人必须在特定且不可避免的比例的问题上拒绝回答（弃权）。你无法在不放弃大量工作量的情况下，仅通过“认证”来保证机器人的安全性。
- 例子： 如果机器人有 40% 的错误率，而你要求 10%，它必须在约 42% 的情况下拒绝回答。如果你试图强迫它回答更多，安全保证就会失效。

2. 三种级别的安全检查员

论文测试了三种不同的“安全检查员”（数学方法），以观察哪一个最擅长找出安全的答案。

检查员 A (Hoeffding)： 最基础、最谨慎的检查员。它总是假设最坏的情况。它很安全，但也非常严格，经常会对好的答案说“不”。
检查员 B (Bernstein)： 更聪明的检查员。它会观察机器人的置信度波动情况。如果机器人通常表现得很一致，这个检查员就不会那么严格，从而让更多的优质答案通过。这是最大的改进，它让大约 37% 的配置通过了安全测试。
检查员 C (e-CRC)： 专家赌徒。它使用一种“投注”策略。如果机器人的表现良好，它就会赌它很安全。这是最敏锐的检查员，尤其是在你没有太多测试数据来测试机器人时。即使另外两个检查员认为“不可能”，它也能认证安全性。

3. “放宽目标”策略

论文发现，对于非常困难的任务（如复杂的医疗名称提取），机器人的错误率往往过高，以至于无法达到严格的 10% 错误率目标。

解决方案： 如果你放宽目标，接受 30% 或 40% 的错误率（这对于制作初稿或分诊系统仍然有用），机器人突然变得可以被认证了。
启示： 你并不总能得到一个“完美”的保证。但如果你愿意接受一个“足够好”的保证，你就能获得一个经过数学证明的安全网。

4. 当机器人迷失方向时（适应性）

如果机器人是在新闻文章上训练的，但随后被要求分析社交媒体帖子，它就会感到困惑（这被称为“分布偏移”）。

问题： 一个静态的安全检查员（即设定好规则后就不再更改的检查员）在这里会表现得很糟糕。它可能会放行 70% 的错误答案，因为规则不再适用于新环境。
修复方案 (ACI)： 作者测试了一种“活的”检查员，它可以实时调整其规则。如果机器人开始犯更多错误，检查员会立即说：“停！要更小心！”如果机器人表现良好，它则会放宽规则。这把失败率从 71% 降低到了 21%。

5. 信号融合 (Score Fusion)

机器人会给出许多关于它有多自信的不同信号（例如，“我对这个词很有把握”或“我见过这个”）。

发现： 论文建议不要只听一种信号，而是将它们全部混合在一起（就像厨师混合香料一样）。这种“融合”后的信号在识别机器人错误方面，比任何单一信号都要出色。

部署的最终“配方”

作者为任何想要安全使用这些机器人的人提供了一个简单的三步指南：

检查地板： 在开始之前，计算机器人的自然错误率。如果它高于你的安全目标，请意识到你必须接受机器人会拒绝许多回答的事实。不要浪费时间试图寻找神奇的解决方法。
选择合适的检查员： 不要使用基础款。使用“Bernstein”或“e-CRC”检查员，尤其是在你没有大量测试数据时。
观察并调整： 如果机器人正在处理不同类型的数据（例如从新闻转向社交媒体），请使用能够动态调整的“活的”检查员 (ACI)。

简而言之： 你无法强迫一个笨拙的机器人变得完美而不让它停下来思考。但如果你了解它的极限，使用正确的数学工具，并让它能够适应新情况，你就可以获得一个经过数学保证的输出安全网。

技术摘要：共形风险控制何时能为 LLM 输出提供认证？

1. 问题陈述

大语言模型（LLMs）正越来越多地被部署于结构化生成任务中——例如命名实体识别（NER）、JSON 提取、问答（QA）和分类——这些任务的输出必须遵循特定模式，并能根据地面真值（ground truth）进行评估。然而，这些模型缺乏形式化的可靠性保证。标准的确定性量化方法（如 token 概率、熵阈值）在处理结构化损失时往往存在校准偏差，且启发式弃权策略经常无法达到用户指定的风险目标，偏差达 7.5–12.5%。

核心问题在于确定**何时共形风险控制（Conformal Risk Control, CRC）**能够正式认证 LLM 的结构化输出满足用户定义的风险目标 $\alpha$ （例如，“错误率 $\le 10\%$ ”），以及何时这种认证在理论上是无论使用何种方法都无法实现的。

2. 方法论

2.1. 问题设置

作者定义了一个选择性预测器（selective predictor）：如果置信分数 $s(x, \hat{y}) \ge \lambda$ ，则输出预测 $\hat{y}$ ，否则弃权。目标是找到一个阈值 $\lambda^*$ ，使得条件风险满足：
$E[R_{task}(\hat{Y}, Y) \mid s(X) \ge \lambda^*] \le \alpha$
且概率 $\ge 1-\delta$ ，其中 $R_{task}$ 是特定任务的风险（例如，对于 NER 为 $1 - F_1$ ，对于 QA 为 $1 - \text{Exact Match}$ ）。

2.2. 认证层级

论文分析了用于选择 $\lambda^*$ 的一系列界限层级：

Hoeffding 界限： 标准的上置信界限（UCB），忽略了方差。
经验 Bernstein 界限： 结合了样本方差 $\hat{\sigma}^2$ ，在方差较低（ $\hat{\sigma}^2 < 1/4$ ）时提供更紧凑的界限。
e-CRC（基于投注）： 使用基于测试投注（testing-by-betting）的框架（e-values）来构建财富过程（wealth process）。它通过序列化投注完全适应经验分布，提供最紧凑的界限，特别是在数据稀缺的情况下。

作者证明了认证阈值的严格排序关系： $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$ 。

2.3. 不可能性结果（可行性测试）

一个核心理论贡献是关于弃权率的闭式下界。作者证明，如果部署群体的基础风险 $\mu = E[R]$ 高于目标 $\alpha$ ，那么任何分布无关的方法都必须在至少一定比例的样本上进行弃权：
$\text{Abstention} \ge \frac{\mu - \alpha}{1 - \alpha}$
这作为一个可行性测试：如果 $\mu > \alpha$ ，则只有通过拒绝相当一部分输入才能实现认证。

2.4. 自适应共形推理（ACI）

为了应对分布偏移（即测试分布与校准集不同），论文评估了 ACI。该方法根据观察到的风险在线更新阈值：
$\lambda_{t+1} = \lambda_t + \gamma(r_t - \alpha)$
这提供了偏移下的渐近控制，尽管它不提供有限样本的保证。

2.5. 分数融合

作者提出通过在不相交的校准数据上进行逻辑回归，学习一个融合后的置信分数 $\tilde{s}(x)$ ，将多种信号（如自一致性、Token 边际、语义熵）结合起来。他们证明，如果融合函数是固定的且独立于 CRC 校准样本，则 CRC 的有效性保证得以保持。

3. 核心贡献

不可能性结果与可行性表征： 论文确立了当基础风险 $\mu > \alpha$ 时，没有任何分布无关的方法能在弃权率 $\ge (\mu - \alpha)/(1 - \alpha)$ 的情况下实现认证。这为预部署检查提供了依据，以确定风险目标是否可实现。
认证层级： 作者建立了并实证验证了 $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$ 的层级关系。他们表明，从 Hoeffding 转向 Bernstein 在低方差机制中带来了最大的增益（+37% 的认证配置），而 e-CRC 在数据稀缺阶段（例如，在 20% 数据下实现 10% 认证，而 Hoeffding 为 0%）提供了关键价值。
对偏移的适应性： 研究验证了 ACI 在跨数据集迁移下的表现，证明了风险目标违规率从 71%（静态 CRC）降低到 21%。残余的失败恰好发生在不可能性界限预测需要大量弃权的地方。
经验基准： 对六个开源模型（3B–72B 参数）、八个数据集、四种任务和六种非共形分数进行了全面评估。研究发现，困难的 NER/QA/CLS 配置在严格的 $\alpha=0.10$ 下通常是不可认证的，但将 $\alpha$ 放宽到 0.30–0.40 则可以实现实际的认证（NER 为 47%，QA 为 40%，CLS 为 60%）。

4. 结果

误校准： LLM 在结构化任务中表现出显著的误校准现象。虽然平均置信度很高（74–97%），但实际风险范围很广（从 JSON 的 3% 到 NQ Open QA 的 80%）。
可行性限制： 在 $\alpha=0.10$ 时，NER/QA/CLS 的认证率接近于零，因为 $\mu \gg \alpha$ 。例如，NQ Open QA 的 $\mu \approx 0.80$ ，若要达到 10% 的风险目标，需要 $\ge 78\%$ 的弃权。
界限性能：
- Hoeffding： 认证了 8.7% 的配置。
- Bernstein： 认证了 11.9%（比 Hoeffding 提升了 37%）。
- e-CRC： 认证了 12.2%，在低数据量机制下优势最为显著。
- 所有方法在已认证的配置中均保持了接近于零的违规率。
模型规模效应： 增加模型规模会降低基础风险 $\mu$ 。对于 CoNLL NER， $\mu$ 从 3B 模型的 0.42 降至 72B 模型的 0.24，使得 72B 模型能够在 14B 模型失败的情况下实现 $\alpha=0.25$ 的认证。
分数融合： 校准后的融合在 89% 的配置中提高了 AUROC，在单个分数较弱的分类和 NER 任务中增益最大。

5. 意义与主张

该论文声称提供的是一种面向部署的表征，而非仅仅是一种新的共形原语。其主要意义在于将从业者的提问从“哪个界限最紧凑？”转向“认证是否可行？”

可行性优先： 不可能性界限允许从业者在运行任何 CRC 程序之前计算最小弃权率。如果所需的弃权率难以接受，论文建议扩大模型规模、放宽风险目标 $\alpha$ 或接受高强度的弃权。
实践方案： 作者提出了一个三步走的部署框架：
1. 检查可行性： 计算 $\mu$ ；如果 $\mu > \alpha$ ，计算弃权底线。
2. 选择界限与分数： 使用 Bernstein 或 e-CRC（绝不要使用 Hoeffding），并采用分数融合或自一致性。
3. 缓解偏移： 如果测试分布可能与校准集不同，则部署 ACI。
现实的预期： 该研究明确了对于困难任务（高 $\mu$ ）和严格目标（低 $\alpha$ ），认证本质上受限于模型的基准性能，而非统计方法本身。将 $\alpha$ 放宽到现实水平（例如 0.30–0.40）使许多结构化任务的认证变得切实可行。

论文得出结论：虽然 CRC 提供了形式化保证，但其效用受限于基础风险与目标风险之间的基本权衡，这一约束是任何统计界限都无法逾越的。