Distribution-Aware Conformal Prediction: A Framework for generating efficient prediction intervals for time series

本文介绍了分布感知共形预测（DCP），这是一个模块化框架，它将多样化的概率预测器与评分无关的校准相结合，以生成适用于时间序列的有效且高效的预测区间，并通过一种新颖的数值反演方法和改进的温克勒评分，有效地适应不同的不确定性机制。

要点

以下是用简单语言和日常类比对论文《分布感知共形预测》的解释。

核心问题：没有安全网的猜测

想象你是一名天气预报员。标准的计算机模型可能会告诉你：“明天气温将是 75 华氏度。”这是一个点预测。它是一个单一的数字。但如果实际气温是 60 华氏度或 90 华氏度呢？在能源电网、交通控制或金融等高风险领域，仅仅猜测确切数字是不够的；你需要知道可能性的范围以避免灾难。

如果你说：“气温将在 70 华氏度到 80 华氏度之间”，但你 30% 的时候都猜错了，那么你的安全网就毫无用处。你需要一个既准确（覆盖真实答案）又紧凑（不是像 0 华氏度到 100 华氏度那样无用且巨大的范围）的预测。

解决方案：即插即用的安全 harness

作者介绍了一个名为分布感知共形预测（DCP）的新框架。将 DCP 想象成一个通用的安全 harness，你可以将其扣在几乎任何预测机器上。

以下是其工作原理，分解为简单的步骤：

1. “水晶球”（预测器）

首先，你有一个预测模型（如神经网络）。有些模型是“笨”的，只猜测一个数字。另一些模型是“聪明”的，可以猜测整个分布（可能性的云团）。

• 类比：想象一个掷飞镖的人。一个“笨”的掷镖者只会说：“我会击中靶心。”一个“聪明”的掷镖者会说：“我可能会击中中心，但根据我手的晃动程度，我可能会偏左或偏右。”
• 论文使用了像蒙特卡洛 Dropout（随机多次晃动“手”以观察分布范围）和分位数回归（直接学习目标区域的边缘）这样的“聪明掷镖者”。

2. “校准卷尺”（共形预测）

即使是聪明的掷镖者也可能过于自信。他们可能认为自己的范围是 70–80 华氏度，但实际天气是 65 华氏度。

• 解决方法：论文使用了一种称为共形预测的技术。想象你有一卷胶带。你查看模型过去的错误（在“校准”数据集上），并精确测量需要额外增加多少胶带到两侧，以便在 90% 的情况下捕捉到真实答案。
• 创新点：旧方法使用固定大小的胶带。如果模型不稳定，胶带的尺寸与模型稳定时相同。这导致区间要么太宽（浪费），要么太窄（有风险）。
• DCP 的诀窍：DCP 使用有弹性的、聪明的胶带。它会观察模型在特定时刻的“晃动程度”。如果模型非常不确定，胶带就会拉伸变宽。如果模型很自信，胶带就会收缩变紧。

3. “通用适配器”（与分数无关的设计）

这是该论文最大的技术突破。

• 问题：通常，如果你更改预测模型，你就必须重写如何衡量其错误的数学公式。这就像每换一个品牌的充电器，你就必须买一个新的适配器。
• DCP 解决方案：作者构建了一个通用适配器。他们创建了一个“黑盒”系统，可以接受任何类型的智能模型和任何衡量错误的方式，并自动计算出正确的区间。
• 如何实现？ 他们不是为每个新模型做复杂的数学运算，而是使用数值搜索（就像盲人摸索门框）。他们从预测值开始，向左和向右步进，直到找到“错误分数”刚好达到限制的精确位置。这既适用于简单模型，也适用于复杂、形状奇怪的模型。

4. “成绩单”（修正后的 Winkler 分数）

你怎么知道你的安全 harness 是否好用？

• 旧方法：你检查真实答案是否在框内（有效性）以及框有多宽（锐度）。
• 论文的新指标：他们创建了一个名为**修正平均 Winkler (MMW)**的新分数。
• 类比：想象一个学生参加考试。
  • 如果答对了，很好。
  • 如果答错了，惩罚取决于错得有多离谱。
  • 转折：论文说，“如果你错过了目标，这是巨大的惩罚。”但是，“如果你只是稍微太宽（安全），惩罚很小。”
  • 然而，如果模型开始过于频繁地错过目标（覆盖率不足），惩罚就会爆炸。这迫使系统将不错过置于完美紧凑之上。

他们发现了什么？

作者在时间序列数据（如能源使用量、股票价格和行人数量）上测试了这一点。

1. 将工具与任务匹配：

   • 如果不确定性来自随机噪声（如收音机里的静电），学习特定“边缘”的模型（分位数回归）效果最好。
   • 如果不确定性来自模型不知道某些事情（如交通模式的突然变化），通过“晃动”手来观察分布的模型（蒙特卡洛 Dropout/集成模型）效果最好。
   • 关键要点：没有单一的“最佳”模型。你必须将不确定性类型与正确的预测工具相匹配。

2. “即插即用”有效：
   该系统成功地将不同模型与不同的评分方法结合起来。它发现使用“聪明胶带”（自适应区间）几乎总是比使用“固定胶带”更好。

3. 局限性：
   如果世界发生剧烈变化（“分布偏移”，如大流行病改变行人行为），即使最好的安全 harness 也无法修复一个坏掉的指南针。如果模型的基础预测是错误的，安全 harness 只会制造一个巨大、安全但无用的盒子。系统可以告诉你这种情况何时发生（通过标记高错误分数），但它无法神奇地修复模型的无知。

总结

分布感知共形预测（DCP）是一个通用框架，它将任何概率预测模型包裹在一个智能、有弹性的安全网中。它根据模型在特定时刻的不确定性自动调整安全网的大小。它使用一种新的评分系统，确保安全网既紧凑到有用，又宽到安全，使其成为高风险决策的强大工具，在这些决策中，出错是不可接受的。

技术摘要

技术摘要：分布感知共形预测（DCP）

问题陈述

标准神经网络提供缺乏内在预测不确定性度量的点预测，这在能源、交通和金融等高风险领域是一个关键局限。校准不良的预测区间（PIs）可能比完全没有不确定性信息更具误导性。虽然概率预测器（例如蒙特卡洛 Dropout、深度集成、分位数回归）能够生成预测分布，但其原始区间往往缺乏正式的覆盖率保证。相反，标准共形预测（CP）提供了严格的边际覆盖率保证，但在应用于确定性点预测器时，通常会产生保守且非自适应的区间。现有的将 CP 与概率预测器相结合的混合方法通常是权宜之计，固定了特定的预测器 - 分数配对，缺乏一个统一的框架来比较它们，或根据潜在的不确定性机制（偶然性 vs. 认知性）指导选择。

方法论：分布感知共形预测（DCP）

作者提出了分布感知共形预测（DCP），这是一个将分布生成预测器（DGPs）与分数无关的共形校准相结合的统一框架。该框架在四个概念步骤中运行：

1. 训练分布生成预测器（DGP）： 该框架将任何输出预测分布的模型（例如分位数回归、蒙特卡洛 Dropout、Bootstrap 集成、深度集成）视为黑盒。它为每个输入从预测分布中生成固定数量的样本（抽取）。
2. 选择分布感知分数： 选择一个实值非共形分数 $s(y, \hat{y}(x))$，用于衡量候选结果相对于预测分布的异常程度。本文评估了三类分数：
   • 基于误差的： 绝对残差（对称、非自适应基线）。
   • 基于区间违反的： 衡量与预计算边界（例如条件分位数或最高密度区间）的距离。
   • 基于密度的： 利用预测输出空间中的 K 近邻（KNN）距离，以充分利用分布形状（偏度、多峰性）。
3. 校准全局阈值： 使用保留的校准集，计算非共形分数的经验 $(1-\alpha)$ 分位数（$\hat{q}$）。这确保了在交换性假设下的有限样本边际覆盖率。
4. 通过数值反演定位区间： 不依赖需要特定代数形式的解析反演，DCP 采用括号和二分求根算法。对于测试输入，它求解 $f_i(y) = s(y, \hat{y}_i) - \hat{q} = 0$ 以找到区间边界。这种方法与分数无关，能够处理任意、非对称或非单调的分数，并在数值容差范围内复现闭式解的情况。

为了解决时间序列数据的非交换性问题，作者采用了在线滑动窗口变体的分裂共形预测。该方法用最近的测试目标更新校准集，使阈值 $\hat{q}$ 能够适应分布漂移。

主要贡献

1. 统一框架（DCP）： 一个通用架构，将任意 DGPs 与任意非共形分数耦合在单一的共形校准流程下，实现了对预测器 - 分数配对的系统比较。
2. 分数无关的数值反演： 一个求根后端，无需针对特定分数的代数推导即可构建区间边界，促进了即插即用的实验。
3. 修正的均值 Winkler（MMW）指标： 一种新的效率指标，结合了区间宽度和缺失距离。关键在于，它引入了覆盖率不足惩罚，当经验覆盖率低于最小可接受阈值时，会放大未命中目标的成本，从而在有效性和锐度之间取得平衡。
4. 广泛的基准测试： 在合成数据（隔离偶然性与认知性不确定性）和六个真实世界时间序列数据集（能源、金融、移动性）上进行了评估，涵盖了三种神经网络架构（TCN、LSTM、TFT）。

结果

• 不确定性机制对齐： DCP 的效率很大程度上取决于 DGP 的不确定性信号与数据机制之间的对齐程度。
  • 在**偶然性（异方差）**机制中，分位数回归（QR）与基于区间或基于密度的分数配对产生了最锐利的区间，因为 QR 直接学习了条件散布。
  • 在**认知性（分布偏移）**机制中，蒙特卡洛 Dropout（MCD）和集成方法的表现优于 QR。MCD 的输入依赖性分散性允许自适应分数在分布外（OOD）偏移期间适当加宽区间，而 QR 未能捕捉认知性不确定性，导致覆盖率不足。
• 自适应性与基线对比： 当 DGP 提供有信息量的局部分散信号时，分布感知分数（KNN、QIS）通常比非自适应残差基线提高了效率。然而，如果 DGP 的不确定性信号与测试时的误差不对齐（例如在异方差噪声中使用 MCD），自适应性可能导致过度自信且覆盖率不足的区间。
• 失效模式： 在严重分布偏移的情况下（例如 COVID-19 期间的行人数据集），如果基础点预测器无法跟踪新机制，没有任何 DGP-分数配对能够完全恢复有效性或效率。高 MMW 分数与波动的覆盖率相结合，可作为此类机制变化的指标。
• 实践指导： 作者建议了一个选择规则：保留达到可接受覆盖率的方法，然后选择 MMW 最低的配对。对于偏态或受限数据，首选带有自适应分数的 QR；对于噪声大且规格明确的时间序列，基于区间的分数是稳健的默认选择。

意义与主张

本文声称，DCP 为时间序列中的分布感知不确定性量化提供了一个灵活且理论扎实的起点。通过将概率深度学习与严格的共形校准相连接，DCP 使得不确定性估计不仅在统计上有效，而且高效且具备情境感知能力。

作者将 DCP 定位为一种工具，能够协调技术严谨性与新兴的监管要求（如欧盟《人工智能法案》），后者要求披露准确性和性能局限性。该框架将现有的方法（如共形化分位数回归 CQR 和共形化蒙特卡洛 CMC）概括为特例，同时将其扩展以允许以前权宜之计的组合（例如在集成预测器上使用基于密度的分数）。作者谦逊地指出，由于时间依赖性，DCP 针对的是时间序列中的近似边际覆盖率，且其有效性依赖于底层 DGP 的质量；共形校准无法补偿本质上缺乏信息的不确定性信号。未来的方向包括将该框架扩展到多变量预测、多步预测范围，以及显式地为多峰分布输出不相交的区间组件。