🤖 machine learning

PASC: Pipeline-Aware Conformal Prediction with Joint Coverage Guarantees for Multi-Stage NLP and LLM Pipelines

本文介绍了 PASC，这是一种感知流水线的共形预测方法，通过将问题简化为单个标量分位数计算，确保多阶段自然语言处理和大型语言模型系统的有限样本联合覆盖保证，从而在准确性和效率上显著优于独立校准和保守的邦费罗尼界。

原作者： Varun Kotte

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Varun Kotte

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文"PASC"的解释。

问题：AI 的“断裂链条”

想象你在建造一台复杂的机器来分拣邮件。它有三个步骤：

步骤 A：一个机器人扫描信封并找到地址。
步骤 B：第二个机器人在数据库中查找该地址以获取邮政编码。
步骤 C：第三个机器人根据该邮政编码将信件放入正确的分拣箱。

在人工智能领域（特别是自然语言处理和大型语言模型），这些被称为流水线。论文指出了一个大问题：如果你确保步骤 A 的准确率为 90%，步骤 B 的准确率为 90%，步骤 C 的准确率也为 90%，那么整个机器的准确率并非90%。

因为这些步骤是依次发生的，错误会累积。如果步骤 A 犯了一个小错误，步骤 B 就会收到错误的输入，而步骤 C 则会完全失败。等到信件到达分拣箱时，即使每个单独的机器人都“有 90% 的可靠性”，整个系统的运行效率可能只有 73%。

旧方案：猜测或过度保护

论文指出，现有的解决方法存在缺陷：

“独立”方法：这种方法将每个机器人单独对待。它声称：“我有 90% 的把握步骤 A 是正确的，也有 90% 的把握步骤 B 是正确的。”
- 缺陷：它忽略了如果步骤 A 失败，整个链条就会断裂的事实。这给最终结果带来了一种虚假的安全感。
“邦费罗尼”方法：这是一种“偏执”的方法。为了保证整个链条 90% 的时间都能正常工作，它强制每个机器人的准确率必须达到 99%（将误差预算平均分配）。
- 缺陷：它过于保守。它迫使简单的步骤（如查找地址）付出远超必要的努力，这会拖慢整体速度并降低系统效率，尽管最终结果是安全的。

新方案：PASC（“最弱环节”策略）

作者引入了PASC（流水线感知分裂共形预测）。

核心理念：
PASC 不再单独检查机器人 A 是否好、机器人 B 是否好、机器人 C 是否好，而是提出一个单一问题：“整个链条中最严重的错误是否足够小？”

想象一条由金属链环组成的链条。链条的强度不是所有链环的平均值，而是由最弱的一环决定的。

如果链环 1 很强，链环 2 很强，但链环 3 很弱，那么整个链条会在链环 3 处断裂。
PASC 完全专注于整个过程中那个最弱的环节（即“最大误差”）。

工作原理：

系统在大量练习样本上运行该流水线。
对于每个样本，它计算每一步的“误差分数”。
它从该次运行中挑选出最高的误差分数（即“最弱的环节”）。
它根据这些“最弱环节”的分数设定一个单一的安全阈值。

如果在新出现的真实世界示例中，“最弱的环节”低于该阈值，系统就会说：“我们是安全的！”如果最弱的环节过高，它就会说：“不要相信这个结果。”

为什么 PASC 更好？

论文声称 PASC 是一个“金发姑娘”式的解决方案——恰到好处。

比“独立”方法更安全：它实际上保证了整个流水线 90% 的时间（或你设定的任何目标）都能正常工作，而不仅仅是各个部分。
比“偏执”方法更聪明：它不会强迫简单的步骤做到完美。它意识到如果步骤 A 很简单而步骤 C 很难，系统的安全性就取决于步骤 C。PASC 会自动调整以适应链条中最困难的部分，而旧的“偏执”方法则浪费精力去让简单的部分变得超级完美。

结果（“证明”）

作者在现实世界的文本处理流水线（查找名称、将其链接到事实并进行分类）上测试了这种方法。

准确率：PASC 实现了整个流水线**96.4%**的成功率。“偏执”方法获得了 93.4%，而“独立”方法仅获得 86.5%。
效率：PASC 与其他方法一样高效（它没有产生庞大且无用的猜测列表）。
速度：由于 PASC 只需要计算一个安全数值，而不是三个独立的数值，其设置速度快 1.7 倍。
鲁棒性：当数据发生变化时（例如从新闻文章转移到推特帖子），PASC 保持了可靠性，而“独立”方法则崩溃并未能保护用户。

总结

PASC 是一种信任具有多个步骤的 AI 系统的新方法。它不是单独信任每个步骤，也不是对每个步骤都过度谨慎，而是审视整个链条，并确保最弱的环节足够强大。这为用户提供了针对最终结果的数学保证的安全网，同时不会拖慢系统速度。

技术摘要：PASC（感知流水线的共形预测）

1. 问题陈述

现代自然语言处理（NLP）和大语言模型（LLM）系统日益被部署为多阶段流水线（例如：命名实体识别 $\to$ 实体消歧 $\to$ 实体类型分类，或规划器 $\to$ 工具 $\to$ 批评家链）。这些系统面临的一个关键挑战是端到端（E2E）不确定性量化。

虽然各个阶段可以单独校准以提供边际覆盖保证（例如， $P(\text{stage}_k \text{ covered}) \ge 1-\alpha$ ），但这些保证无法转化为整个流水线的保证。

独立校准： 将每个阶段独立地校准到 $1-\alpha$ 水平，会导致联合覆盖概率最多为 $(1-\alpha)^K$ （在独立假设下），随着阶段数 $K$ 的增加，该概率会显著下降。对于 $K=3$ 且 $\alpha=0.1$ ，联合覆盖降至 $\approx 72.9\%$ ，远低于 $90\%$ 的目标。
邦费罗尼校正（Bonferroni Correction）： 通过将每个阶段校准到 $1-\alpha/K$ 来应用并集界限，可以保证联合覆盖（ $\ge 1-\alpha$ ），但这过于保守。它无论阶段难度如何都均匀分配误差预算，导致在简单阶段产生不必要的巨大预测集（过度覆盖），而联合可靠性并未获得成比例的增益。
现有替代方案： 如 MC Dropout 或深度集成（Deep Ensembles）等方法提供启发式的不确定性估计，但缺乏有限样本、分布无关的保证，且通常忽略跨阶段依赖关系。

核心问题在于缺乏一种能够为整个流水线提供正式的、有限样本的、分布无关的联合覆盖保证的方法，同时保持效率（即不必要地膨胀预测集大小）。

2. 方法论：PASC

作者提出了PASC（感知流水线的拆分共形预测），该方法将多阶段联合校准问题简化为标准的标量共形预测问题。

核心洞察

“所有 $K$ 个阶段同时被覆盖”的事件在数学上等价于“所有阶段的最大非共形分数不超过阈值”的事件。
$\bigcap_{k=1}^K \{s_k \le q\} \iff \left\{ \max_{k} s_k \le q \right\}$
其中 $s_k$ 是阶段 $k$ 的非共形分数。

算法

分数定义： 对于流水线样本，计算每个阶段的非共形分数（ $s_1, \dots, s_K$ $s_{1}, \dots, s_{K}$ ）。
- NER： $s_{NER} = \max_t (1 - p_{BIO, t})$ （softmax 概率）。
- NED： $s_{NED} = 1 - \text{score}(e^*)$ （排名最高的实体分数）。
- 实体类型分类： $s_{typing} = 1 - \max_c \min_{\text{span}} p_{RoBERTa}$ 。
联合最大分数： 计算每个样本的标量最大分数： $s_{\max} = \max_k s_k$ 。
校准： 使用校准集，计算 $s_{\max}$ 分布在 $1-\alpha$ 水平下的共形分位数 $\hat{q}$ 。
预测： 对于测试输入，计算每个阶段的分数。如果 $s_{\max} \le \hat{q}$ ，则接受该流水线。每个阶段 $k$ 的预测集为 $C_k(x) = \{y_k : s_k(x, y_k) \le \hat{q}\}$ 。

理论保证

在校准数据与测试数据之间满足可交换性的假设下，PASC 提供有限样本、分布无关的保证：
$P\left( \bigcap_{k=1}^K \{s_k(x_{n+1}, y_{k,n+1}) \le \hat{q}\} \right) \ge 1 - \alpha$
该保证几乎是紧的，界限为 $1 - \alpha + \frac{1}{n+1}$ 。与使用最坏情况并集界限的邦费罗尼方法不同，PASC 适应分数的经验联合分布，自动为“简单”阶段（低分数）分配更紧的预算，为“困难”阶段分配更宽松的预算。

3. 主要贡献

PASC 算法： 一种感知流水线的校准程序，将多阶段联合覆盖简化为对联合最大非共形分数进行单次标量分位数计算。
形式化保证： 一个定理证明了在可交换性假设下的有限样本、分布无关的联合覆盖（ $\ge 1-\alpha$ ），并给出了近紧性结果。
全面评估： 在三种分布偏移场景（同分布、Twitter NER、Wikipedia NER）下进行的实验，变化校准集大小，并将规模从 $K=1$ 扩展到 $K=6$ 个阶段。
合理性检查： 置换测试和负面对照实验证实，有效性并非源于实现错误、数据泄露或过宽的阈值。

4. 实验结果

作者在三个阶段的流水线（NER $\to$ NED $\to$ 实体类型分类）上评估了 PASC，使用了 CoNLL-2003、WNUT-17 和 WikiNEuRal 数据集。

覆盖与效率： 在 $\alpha=0.1$ $α = 0.1$ 且 $K=3$ $K = 3$ 时：
- PASC： 实现了 96.4% 的端到端覆盖。
- 邦费罗尼： 实现了 93.4% 的端到端覆盖。
- 独立共形预测（Independent CP）： 实现了 86.5% 的端到端覆盖。
- 关键在于，所有方法保持了相同的平均预测集大小 1.083，证明了 PASC 在将覆盖概率转化为集合大小方面的卓越效率。
分布偏移： 当在 CoNLL-2003 上校准并在偏移域（WNUT-17, WikiNEuRal）上测试时：
- 独立共形预测崩溃至 59.0% 的覆盖。
- PASC 和邦费罗尼保持了 100% 的覆盖（由于保守的阈值提供了应对偏移的缓冲）。
扩展到 $K$ 个阶段： 在扩展到 $K=6$ $K = 6$ 的合成实验中：
- 独立共形预测的覆盖降至 0.53（乘积性崩溃）。
- PASC 保持在目标覆盖附近，避免了乘积性衰减。
条件覆盖： PASC 在“困难”子群体（例如，最困难的 NER 置信度五分位）上显示出显著优势，实现了 82.0% 的覆盖，而邦费罗尼为 67.0%，独立共形预测仅为 30.0%。
运行时间： PASC 校准比邦费罗尼和独立共形预测快 1.7 倍，因为它只需要计算一个分位数而不是 $K$ 个。

5. 意义与主张

本文主张 PASC 解决了多阶段 NLP 系统部署中的一个根本性差距：

直接认证： 与独立共形预测（仅认证局部阶段但全局失败）或邦费罗尼（保证全局但支付“保守主义税”）不同，PASC 直接认证确切的部署目标事件（联合接受）。
最小化简化： 从多阶段问题到标量问题的简化在数学上很简单（使用最大值），但它代表了联合接受事件的最小充分单调标量化。
实际适用性： 该方法可立即应用于任何多阶段流水线（包括复合 LLM 系统和代理工作流），无需修改模型或带来沉重的推理开销。
鲁棒性： 虽然理论保证依赖于可交换性，但实证结果表明，PASC 在分布偏移下比独立共形预测更好地保持了覆盖，尽管作者指出将其扩展到加权共形预测以处理鲁棒偏移是未来的工作。

作者将 PASC 定位为阶段特定校准的补充而非替代品，它是确保整个流水线输出可靠性的必要聚合层，而这正是高风险应用中下游决策所关注的指标。