🤖 machine learning

Robust Conditional Conformal Prediction via Branched Normalizing Flow

本文介绍了分支归一化流（BNF），这是一种新颖的方法，它利用可逆传输来界定并减轻分布偏移下共形预测中的条件覆盖率误差，从而显著提升在不同数据集上的鲁棒性。

原作者： Rui Xu, Xingyuan Chen, Wenxing Huang, Minxuan Huang, Weiyan Chen, Sihong Xie, Hui Xiong

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Rui Xu, Xingyuan Chen, Wenxing Huang, Minxuan Huang, Weiyan Chen, Sihong Xie, Hui Xiong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名天气预报员。你希望告诉人们的不仅仅是“明天会下雨”，而是“明天降雨量将在 1 到 3 英寸之间”。这个范围就是你的预测集。

在人工智能领域，这被称为共形预测（Conformal Prediction, CP）。它的主要任务是保证实际降雨量落在你预测范围内的概率达到某个特定百分比（例如 90%）。

问题：“老一套”的失误

通常，人工智能模型是在“校准数据”（过去的天气）上进行训练，并在“测试数据”（未来的天气）上进行测试。如果未来与过去完全一致，标准方法的效果会非常好。

但如果气候发生了变化呢？如果“测试”日的天气突然比“校准”日更热或风更大呢？这被称为分布偏移。

现有方法试图通过查看平均误差来解决这个问题。它们会说：“平均而言，我们的 90% 保证是成立的。”但这就像说：“平均而言，我的雨伞能帮我挡雨。”如果你正站在一个雨水横倾、而你的雨伞又太小的特定位置，这种说法毫无帮助。

该论文指出，虽然平均保证可能仍然成立，但在特定、棘手的情况下，保证会失效。如果人工智能对某种特定类型的日子（例如突如其来的热浪）感到不确定，它可能会给出一个过小的预测范围，从而无法捕捉到真实答案。

解决方案：“变形翻译器”

作者提出了一种名为分支归一化流（Branched Normalizing Flow, BNF）的新方法，具体是其增强版。

将人工智能的预测过程想象成一条工厂流水线：

输入： 一个新奇、怪异的天气日到来（测试数据）。
问题： 这一天与工厂训练过的日子截然不同。如果我们尝试直接预测，工厂会感到困惑并给出一个糟糕的范围。
翻译器（BNF）： 在工厂看到新的一天之前，BNF 充当一个变形翻译器。它将这个怪异的新日子在数学上“扭曲”，使其看起来与工厂熟悉的旧日子完全一样。
- 类比： 想象你试图把一个方形 peg 塞进一个圆孔里。与其强行塞入，你拥有一个魔法工具，可以暂时将方形 peg 变成圆形，使其完美契合。
预测： 既然这一天对工厂来说看起来“正常”了，工厂生成的预测范围就能保证是正确的（90% 的覆盖率），因为它是在处理熟悉的数据。
反向翻译器： 这里是魔法所在。BNF 是可逆的。一旦工厂给出了“正常”的预测范围，BNF 就会反向使用其“魔法工具”，将该范围扭曲回以适配原始那个怪异的天气日。

由于该工具是可逆的且经过精心设计，针对怪异日子的最终预测范围与针对正常日子的预测范围一样可靠。

为何是“分支”和“增强”？

该论文引入了两个特殊功能来确保此方法有效：

分支： 翻译器拥有两个独立的臂。一个臂处理特征（温度、风力等），另一个臂处理结果（降雨量）。
- 原因： 当你为明天做预测时，你知道温度（特征），但还不知道降雨量（结果）。“分支”设计允许翻译器在无需预先知道答案的情况下修正特征。这就像在拍照前调整相机镜头，而无需事先知道照片会是什么样子。
增强（“噪声”成分）： 原始想法有点过于僵化。为了使翻译器足够灵活，能够处理复杂、混乱的现实世界数据，作者加入了一点随机噪声（就像在食谱中撒入少许盐）。
- 类比： 想象试图匹配两个截然不同的黏土雕塑。如果你只是拉伸黏土，它可能会撕裂。但如果你加入一点“魔法粉尘”（噪声），让黏土流动得更自由，你就可以在不破坏它的情况下将其重塑完美。这种噪声有助于模型学习那些僵化模型无法处理的复杂形状。

结果

团队在九个不同的现实世界场景中测试了该方法，包括：

自行车租赁： 预测一天中不同时段人们租赁自行车的数量。
交通： 预测不同城市的交通速度。
医疗保健： 预测患者可能在重症监护室（ICU）停留的时间。
流行病： 预测大流行不同阶段的流感病例数。

在所有这些数据发生“偏移”（模式改变）的情况下，他们的方法都保持了预测范围的可靠性。它不仅维持了平均成功率，还确保了人工智能不会在那些最困难、最不寻常的日子里专门失效。

一句话总结

该论文指出：“不要仅仅信任平均值。如果你的人工智能将面临怪异的新情况，请给它一个可逆翻译器，使其能将那些怪异情况转化为熟悉的情况，进行预测，然后将答案转换回来。这样，即使你脚下的地面发生变化，你的安全网依然坚固。”

技术摘要：基于分支归一化流的鲁棒条件共形预测

1. 问题陈述

共形预测（CP）在校准数据与测试数据独立同分布（i.i.d.）的假设下，提供具有边际覆盖率保证的预测集。然而，在存在分布偏移（即测试分布 $Q_{XY}$ 与校准分布 $P_{XY}$ 不同）的情况下，现有方法通常仅对齐边际共形得分分布。虽然这保留了边际覆盖率，但无法控制单个测试输入处的条件覆盖率误差。因此，在条件得分分布不匹配的具体区域，共形预测集可能变得不可靠，导致特定输入出现覆盖率不足或过度覆盖。核心挑战在于，在不依赖推理过程中真实测试标签的情况下，确保联合分布偏移下的鲁棒条件覆盖率保证（ $Pr(Y \in C(X) | X=x) \ge 1-\alpha$ ）。

2. 方法论

提出的解决方案引入了一个将分布偏移与条件覆盖率退化联系起来理论框架，以及一种用于缓解该问题的新颖架构。

理论框架：

条件覆盖率间隙（CCG）： 作者定义了 CCG，用于衡量测试输入在 $Q_{XY}$ 下的条件覆盖率与在 $P_{XY}$ 下的保证之间的差异。
集成覆盖率间隙（ICG）： 定义为 CCG 在测试特征分布 $Q_X$ 上的期望，作为整体鲁棒性指标。
Wasserstein 界： 本文推导了 ICG 的上界，该上界利用联合校准分布与测试分布（ $P_{XY}$ 和 $Q_{XY}$ ）之间的 Wasserstein 距离（ $W$ ）。具体而言， $ICG(P, Q) \le \sqrt{2\kappa L} (\eta \cdot W(P_{XY}, Q_{XY}) + 1/4)$ 。该界限表明，最小化分布之间的 Wasserstein 距离在理论上可以促进鲁棒的条件覆盖率。

算法：分支归一化流（BNF）
为了将 Wasserstein 界付诸实践，作者提出了分支归一化流（BNF），这是一种可逆映射 $f_\theta(x, y) = (f_{\theta_X}(x), f_{\theta_Y}(y))$ ，旨在将测试分布 $Q_{XY}$ 转换以匹配校准分布 $P_{XY}$ 。

架构： BNF 利用两个独立的分支。 $X$ 分支（ $f_{\theta_X}$ ）对测试输入进行归一化，而 $Y$ 分支（ $f_{\theta_Y}$ ）转换标签。关键在于，分支不共享参数，确保 $X$ 的转换不依赖于未观测到的测试标签 $Y$ 。
推理过程：
1. 将测试输入 $X_{n+1}$ 转换为归一化输入 $\bar{X}_{n+1} = f_{\theta_X}(X_{n+1})$ 。
2. 利用校准分布 $P_{XY}$ （例如通过共形化分位数回归）构建条件预测集 $CC(\bar{X}_{n+1})$ 。
3. 使用 $f_{\theta_Y}^{-1}$ 将集合逆变换回测试空间，以获得最终的鲁棒预测集 $C_{BNF}(X_{n+1})$ 。
增强型 BNF： 为了处理单变量单调变换（简单逆映射所必需）不足以应对的复杂分布，作者引入了增强型 BNF。该变体在 $Y$ 分支转换中添加了随机噪声分量 $\epsilon \sim \mathcal{N}(0,1)$ （即 $f_{\theta_Y}^{aug}(y; \epsilon)$ ）。这增加了表达能力，但在推理过程中需要求解根查找问题（或网格搜索）以构建预测集，因为转换不再严格单调。
多源域泛化（MSDG）： 在测试分布是 $K$ 个源分布混合物的场景中，该方法最小化校准集与转换后的源集之间的平均 Wasserstein 距离，假设混合权重均匀。

3. 主要贡献

鲁棒性量化： 条件覆盖率间隙（CCG）和集成覆盖率间隙（ICG）的定义提供了一种理论指标，用于评估分布偏移下的条件覆盖率鲁棒性。
理论界限： 推导了 ICG 关于联合分布之间 Wasserstein 距离的上界，建立了传输最小化与条件覆盖率保持之间的理论联系。
分支归一化流（BNF）： 引入了一种双分支可逆架构，能够在不需要测试标签的情况下将测试输入转换为类校准分布，从而在逆变换后保留条件保证。
增强型 BNF： 利用随机增强扩展以改进对复杂分布的拟合能力，并配合一种方法，在失去单调性的情况下恢复条件保证。

4. 实验结果

该方法在九个数据集上进行了评估，涵盖合成偏移和现实世界挑战（销售预测、交通预测、医疗决策和流行病建模），并在多源域泛化（MSDG）设置下进行。

指标： 性能使用边际覆盖率、最坏切片覆盖率（WSC）以及提出的最坏切片覆盖率间隙（WSCG）进行衡量，后者对覆盖率不足和过度覆盖均施加惩罚。
发现：
- 鲁棒性： 增强型 BNF 与共形化分位数回归（CQR）结合，在所有数据集和置信水平下始终实现了最低的 WSCG，优于包括 Split CP、重要性加权 CP、最坏情况 CP 和 Wasserstein 正则化 CP 在内的基线方法。
- 覆盖率： 该方法保持了接近目标置信水平（ $1-\alpha = 0.9$ ）的边际覆盖率和 WSC，同时显著减少了条件切片中相对于目标的偏差。
- 效率： 虽然标准增强型 BNF 为了应对源不确定性生成了更大的预测集，但“增强条件化”变体（在推理期间基于已知源进行条件化）在保持覆盖率的同时显著减小了集合大小。
- 泛化性： 该方法在不同样本量、源域数量（ $K$ ）和不同置信水平下均表现出鲁棒性。

5. 意义与主张

本文声称其主要意义在于解决共形预测在分布偏移下的条件覆盖率退化问题，而现有以边际为中心的方法在很大程度上未解决此问题。通过将条件无效性以 Wasserstein 距离为界，并通过可逆分支流实现这一目标，该工作提供了一种理论扎实且实证有效的机制，确保即使在数据分布发生偏移时，不确定性量化对单个测试输入依然可靠。作者将此定位为迈向关键领域（如医疗、交通、流行病建模）更安全 AI 应用的一步，在这些领域中分布偏移不可避免，且条件可靠性至关重要。

本文承认了局限性，包括增强型 BNF 中根查找的计算成本、预测集的随机性质，以及要求多变量输入的架构限制。此外，文章指出，虽然校准数据被重复用于训练流（可能存在潜在的调优偏差），但消融研究表明这种影响在实践中微乎其微。