Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models

这是一份关于论文《Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models》（用于提升大语言模型生成事实性的自适应共形预测）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题： 大型语言模型（LLM）虽然表现优异，但容易产生“幻觉”，即生成流畅但事实错误的输出。这在医疗等高风险领域尤为危险。

现有方法的局限性：

• 缺乏提示词适应性（Prompt-Adaptivity）： 现有的共形预测（Conformal Prediction, CP）方法通常使用全局统一的校准分位数（Global Quantile）来处理所有测试提示词。
• 覆盖度失衡： 由于不同提示词的难度、歧义性或稀有度不同，统一阈值会导致：
  • 过度覆盖（Over-coverage）： 对简单任务过滤过少，导致输出集合过大，效率低下。
  • 覆盖不足（Under-coverage）： 对复杂任务过滤过多，导致无法保留正确答案，甚至无法提供有效预测。
• 条件覆盖差： 虽然现有方法能保证边际覆盖（Marginal Coverage）（即平均而言满足置信度），但在特定类别或特定提示词层面的**条件覆盖（Conditional Coverage）**往往表现不佳。

2. 方法论 (Methodology)

作者提出了一种**自适应共形预测（Adaptive Conformal Prediction, ACP）**框架，旨在通过输入依赖的校准来改善条件覆盖，同时保持边际覆盖的统计保证。

2.1 核心思想

该方法基于非一致性分数变换（Nonconformity Score Transformation）。其核心逻辑是：

1. 利用提示词的嵌入表示（Embedding）来估计该特定输入下的“难度”或“不确定性分布”。
2. 根据估计的条件分位数对原始非一致性分数进行归一化（变换）。
3. 在变换后的分数空间上应用全局阈值，从而实现针对不同输入动态调整过滤标准。

2.2 具体流程

1. 分数定义：

   • 长文本生成（Long-form QA）： 将生成内容分解为原子事实声明（Atomic Claims）。定义非一致性分数 $V(x, y)$ 为：在保留的所有声明都事实正确的前提下，允许的最大不确定性阈值。
   • 多项选择题（MCQA）： 使用最小模糊分类器（LAC）分数，即 $1 - p(y)$（正确类别的概率）。
   • 事实性函数 $w(c, y)$： 用于验证声明是否基于参考答案正确（作为 Oracle）。
   • 不确定性分数 $s(c)$： 模型自身对声明不确定性的估计（如 Token 概率、熵等），用于排序和过滤。

2. 自适应校准（两阶段校准）：

   • 数据集划分： 将校准集分为 $D_{cal1}$ 和 $D_{cal2}$。
   • 条件分位数估计（$D_{cal1}$）： 提取提示词的嵌入向量 $e(x)$，训练一个条件分位数回归器 $\hat{\tau}(x)$，预测原始分数 $V(x, y)$ 在给定 $x$ 下的 $(1-\alpha)$ 分位数。
   • 分数变换与阈值校准（$D_{cal2}$）：
     • 计算变换后的分数：$\tilde{V}(x, y) = \frac{V(x, y)}{\hat{\tau}(x)}$（乘法归一化）。
     • 在 $D_{cal2}$ 上计算变换后分数的 $(1-\alpha)$ 分位数 $\hat{q}_{1-\alpha}$ 作为最终阈值。

3. 测试阶段：

   • 对于新提示词 $x$，计算其变换后的分数 $\frac{s(c)}{\hat{\tau}(x)}$。
   • 保留所有满足 $\frac{s(c)}{\hat{\tau}(x)} \le \hat{q}_{1-\alpha}$ 的声明或答案。

2.3 理论保证

论文证明了该方法在交换性数据假设下，依然满足有限样本边际覆盖保证（即 $P(\text{正确} \in \text{预测集}) \ge 1-\alpha$），同时显著提升了条件覆盖。

3. 主要贡献 (Key Contributions)

1. 提出新的自适应框架： 首次将基于嵌入的条件分位数回归引入 LLM 的共形预测中，实现了提示词级别的自适应校准。
2. 理论保证与性能提升： 证明了该方法在保持标准共形预测的边际覆盖 guarantees 的同时，显著改善了异构提示词下的条件覆盖。
3. 广泛的实验验证： 在长文本生成（8 个领域）和多项选择题（MMLU 的 16 个类别）任务上，使用多个白盒模型（Mistral-7B, Llama-3.1-8B, Gemma-3-12B）进行了验证。
4. 支持选择性预测： 该方法天然支持过滤不可靠的声明或选项，适用于下游高风险应用。

4. 实验结果 (Results)

4.1 长文本生成 (Long-form QA)

• 设置： 在 8 个类别（如传记、发明、艺术品等）上评估。
• 发现：
  • 全局阈值（Baseline）： 导致不同类别间覆盖度差异巨大。例如，在“发明”类（较难）出现过度覆盖（保留太多错误），在“传记”类（较易）出现覆盖不足。
  • 自适应方法（Ours）： 显著缩小了不同类别间的覆盖度差异，使所有类别的实证覆盖度更接近目标值（如 0.80）。
  • 过滤效率： 在提升覆盖一致性的同时，通常减少了被错误过滤掉的声明数量（即提高了召回率）。
• 最佳不确定性度量： 实验表明，Claim Conditioned Probability (CCP) 作为不确定性评分指标表现最佳。

4.2 多项选择题 (MCQA)

• 设置： 使用 MMLU 数据集的 16 个类别。
• 发现：
  • 在混合校准（Joint Calibration）场景下，全局方法在“专业医学”等类别上过度保守，在“临床知识”等类别上覆盖不足。
  • 自适应方法通过 Dolan-Moré 性能曲线分析显示，其在绝大多数问题实例上的校准误差更小，且曲线始终优于基线，证明了其在异构数据分布下的鲁棒性。

5. 意义与影响 (Significance)

1. 解决 LLM 事实性评估的痛点： 为 LLM 生成内容提供了更可靠、更细粒度的不确定性量化方案，特别是针对输入难度变化大的场景。
2. 平衡安全与效率： 通过自适应调整，避免了“一刀切”带来的过度过滤（浪费计算资源或丢失信息）或过滤不足（引入幻觉风险），在高风险领域（如医疗、法律）具有极高的应用价值。
3. 方法论扩展： 将原本主要用于回归或小规模数据集的自适应共形预测技术，成功扩展到了复杂的长文本生成和大规模 LLM 应用中，为未来的可信 AI 研究提供了新的技术路径。

总结： 该论文提出了一种通过“提示词嵌入指导的分数变换”来实现自适应共形预测的方法。它在不牺牲统计理论保证的前提下，有效解决了现有 LLM 共形预测方法在处理多样化输入时条件覆盖度不均的问题，显著提升了生成内容的可信度评估能力。