🤖 machine learning

Conformalised imprecise inference for robust extrapolation under limited data

本文提出了一种与模型无关的共形化不精确推断框架，该框架生成有效的概率框，以稳健地处理分布偏移并在外推过程中（特别是在数据稀缺场景中）保持可靠的覆盖率。

原作者： Yu Chen, Scott Ferson

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yu Chen, Scott Ferson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对该论文的解读。

核心难题：过度自信的 AI

想象一下，你正在教一个孩子预测天气。你向他展示了 40 天的数据，这些数据表明气温在 70°F 到 80°F 之间时总是晴天。孩子完美地学会了这个规律。

现在，你让孩子预测气温为 100°F（一个他们从未见过的数值）那一天的天气。

标准 AI 模型往往像那个过度自信的孩子。他们可能会说：“气温将是 75°F"，并附带一个极小的误差范围，尽管他们完全不知道 100°F 是什么感觉。当超出训练数据范围时，他们会变得过度自信。
目标：我们需要一种系统，它能说：“我从未见过 100°F，所以我不确定。气温可能在 60°F 到 120°F 之间的任何地方。”当远离其已知范围时，它需要承认自己的无知。

解决方案：“共形化不精确推断”（CII）

作者提出了一种名为CII的新框架。你可以将其视为 AI 预测的“安全网”系统。它不再给出一个单一数值（如"75°F"），而是给出一个范围（一个“概率框”）。

以下是其工作原理，分为三个简单步骤：

1. “距离分数”（GPS）

首先，系统检查新问题与其训练数据之间的距离。

类比：想象你正在一片熟悉的森林（你的训练数据）中行走。如果你留在小径上，你就是安全的。如果你偏离小径走进深林，你就进入了“分布外”（OOD）区域。
CII 系统计算一个距离分数。如果你在小径上，分数很低；如果你在深林中，分数很高。

2. “膨胀规则”（气球）

这是神奇的部分。系统利用该距离分数来决定其安全网应该有多宽。

在小径上（分布内）：系统很自信。它给出一个紧密、狭窄的范围。“气温可能在 74°F 到 76°F 之间。”
在深林中（外推）：随着距离分数变高，系统像气球一样膨胀其范围。“由于你远离我们的训练数据，为了安全起见，我将把范围扩大到 60°F–120°F。”
为什么？ 这确保了即使 AI 在胡乱猜测，其宽泛的范围也保证能包含正确答案。它用精度换取了安全性。

3. “不精确概率”（P-Box）

系统不再绘制单条概率线，而是绘制一个框（称为 p-box）。

类比：想象标准预测是地图上的单条线。CII 则在该线周围绘制一条厚实、模糊的带状区域。
带状区域的上边缘是“最坏情况”的猜测，下边缘是“最好情况”的猜测。
这条带状区域代表了认知不确定性（由于缺乏知识而产生的不确定性）。带状区域越宽，AI 知道得越少。

他们如何测试

研究人员在两种类型的场景下测试了该方法：

玩具示例：他们使用了一条简单的数学曲线（三次函数）。他们在曲线的一小段上训练 AI，然后让它预测其余部分。
- 结果：旧方法在曲线延伸到远处时未能捕捉到真实曲线。CII 方法成功地在未知区域将其“安全带”包裹在真实曲线周围。
真实数据（UCI 基准）：他们在现实世界的数据集（如预测房价或混凝土强度）上进行了测试，且数据有限。
- 结果：当数据稀缺或测试数据与训练数据不同时，其他方法变得过度自信且错误。CII 保持了可靠性。它不承诺精确，而是通过在有风险时扩大其范围来承诺正确性。

关键要点

鲁棒性：当看到新事物时，系统不会崩溃；它只是变得更“宽”、更谨慎。
无需魔法：它适用于任何现有的 AI 模型。它就像你套在模型外面的一个包装层，使其更安全。
权衡：在安全区域，它是精确的；在危险（未知）区域，它变得不精确（宽泛），以保证不会错过真相。

总结

这篇论文介绍了一种方法，教导 AI 了解它不知道什么。通过测量新问题与其所学内容之间的距离，它自动扩展其答案范围，以确保在陌生领域时绝不会自信地给出错误答案。这之间的区别在于：一种 AI 在猜测时说“我 100% 确定”，而另一种则说“我不确定，所以这里有一系列广泛的可能性”。

技术摘要：数据受限下稳健外推的共形化不精确推断

问题陈述
机器学习系统在超越训练域进行泛化时面临重大挑战，特别是在数据有限且存在分布偏移（外推）的场景中。尽管近期不确定性量化（UQ）的进展已区分了偶然性（不可约减）不确定性和认知性（基于模型）不确定性，但现有方法在应用于分布外（OOD）数据时往往缺乏严格的保证。标准概率方法在 extrapolation regimes 中经常无法保持覆盖率，导致预测过于自信且不可靠。所解决的核心问题是需要一个统一的框架，该框架在明确考虑数据稀缺性以及测试输入偏离训练流形（manifold）的同时，为泛化提供严格的统计保证。

方法论
作者提出了一种**共形化不精确推断（CII）**框架，这是一种与模型无关的方法，将距离感知与不精确概率表示（具体为概率框，即 p-boxes）相结合。该方法论通过四个关键阶段进行：

距离感知校准：
该框架利用一个标量距离分数 $r(x)$ ，定义为测试输入与训练数据分布之间的马氏距离。该分数刻画了测试点相对于训练数据流形的偏离程度。使用校准子集构建一个区间预测模型（IPM），将该距离分数映射到差异范围 $[d, \bar{d}]$ 。该模型旨在严格刻画未见输入（特别是边界区域）的差异范围。
距离依赖的差异调整：
根据距离 $r(x)$ 对共形分数应用一种新颖的调整规则。在训练支持范围内（ $r(x) \leq r_0$ ），该方法保持以准确性为导向的界限。然而，对于外推区域（ $r(x) > r_0$ ），该方法通过选择差异区间的上界来自适应地膨胀不确定性。这确保了随着输入远离训练数据，不确定性随之扩大，从而在不显式建模测试分布的情况下，弥合了共形预测与分布偏移之间的差距。
AsCloseAs 界限构建：
为了生成最终预测，该框架从基础假设中恢复出计算面积度量（解释为 Wasserstein 距离）内的所有概率分布集合。这是通过求解一个优化问题来实现的，旨在找到"as close as"界限（最紧的上界和下界累积分布函数），这些界限在满足差异预算的同时包围基础预测。这产生了一个共形化 p-box 预测 $C(x^*) = [G(x), \bar{G}(x)]$ ，它代表了可能预测的 credal 集。
处理不精确观测：
该框架设计用于处理“多态不确定性”，其中观测值可能是精确值、区间或分布。它采用随机面积度量来计算预测 p-box 与经验观测 p-box 之间的差异，从而实现对测量不确定性和模型不确定性的统一处理。

主要贡献

统一的外推框架： 本文引入了一种共形化不精确推断框架，该框架与底层预测模型（如贝叶斯神经网络、集成模型）无关，但通过分布偏移下的严格覆盖率保证增强了它们。
自适应不确定性膨胀： 与假设交换性的标准共形预测不同，CII 明确区分了分布内（ID）和分布外（OOD）数据。它利用距离依赖机制在外推区域自适应地扩展不确定性界限，确保在传统方法失效的地方保持有效性。
不精确概率表示： 该方法输出概率框（p-boxes），而非点估计或单一分布。这种结构自然地将偶然性不确定性和认知性不确定性混淆在一起，提供了一种通过界限宽度来表示“无知程度”的原则性方法。
严格的评估指标： 作者提出并使用了特定的评估指标，包括距离分层覆盖率（用于评估距离谱上的有效性）、分位数缩放的预测宽度（用于测量独立于尺度的不精确度）以及通过 u-pooling 实现的合并准确率。

实验结果
作者在合成数据（三次函数回归）和多个 UCI 回归基准（如 Boston、Concrete、Energy、Naval Propulsion）上评估了 CII，测试了不同的数据比例（ $\epsilon$ ）和分布偏移。

覆盖率与有效性： 在外推设置（OOD）中，CII 始终实现了完美或接近完美的经验覆盖率（ $\xi \approx 1.0$ ），而高斯混合模型（MoG）和均值 - 方差估计（MVE）等基线方法则遭受了显著的覆盖率下降。
对有限数据的鲁棒性： 随着训练数据比例的减少，CII 在保持高覆盖率的同时，自适应地增加了预测宽度（ $\gamma_n$ ）。这证明了该方法能够编码与数据稀缺相关的增加的认知不确定性。
距离分层性能： 分析表明，虽然覆盖率在不同距离箱中保持稳定，但预测宽度随距离分数 $r(x)$ 系统地增加。这证实了该方法能够根据外推程度调节不确定性。
比较： 在固定数据比例的跨数据集比较中，CII 始终保持了覆盖率，而基线方法在分布偏移下未能保持有效性。与基线相比，CII 还表现出更低的合并校准误差（ $d_p$ ）。

意义与主张
本文主张 CII 框架提供了一种原则性机制，将共形预测与分布偏移联系起来，即使在数据有限的情况下也为泛化提供严格的保证。通过利用距离感知和不精确概率，该方法确保预测保持有效（覆盖真实值），同时自适应地膨胀不确定性以反映外推风险的增加。作者强调，这种方法避免了对测试分布的显式建模，使其成为在过度自信危险的严肃场景中的稳健解决方案。这项工作突出了将分布感知直接纳入预测集几何结构以有效管理认知不确定性的重要性。未来的工作 noted 将探索更严格地处理测量不确定性的扩展以及提高可扩展性。