📊 statistics

Approximate full conformal prediction in an RKHS

本文提出了一种在再生核希尔伯特空间（RKHS）框架内近似全共形预测区域的通用且计算高效的策略，同时基于损失函数和评分函数的平滑度提供了关于近似紧密性的理论保证。

原作者： Davidson Lova Razafindrakoto, Alain Celisse, Jérôme Lacaille

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Davidson Lova Razafindrakoto, Alain Celisse, Jérôme Lacaille

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图猜出秘密序列中下一个数字的侦探。你有一个水晶球（你的预测器）能给你一个最佳猜测，但你知道它并不完美。为了保险起见，你不仅仅给出一个数字；你还在你的猜测周围画了一个“置信网”。这个网足够宽，使得在统计学上，真实的数字有 90% 的概率（或你选择的其他安全水平）会落在其中。

这就是**符合性预测（Conformal Prediction）**的世界。这是一种非常可靠的方法，让你无需了解宇宙的确切规则（无分布限制）就能构建出这些网。

不可能的梦想：“全量”网

这种最完美的网被称为全量符合性预测（Full-Conformal Prediction）。它就像一名侦探，对于每一个可能的答案（即任何可能的结果），都会从头开始重新进行整场调查，以观察那个数字是否符合线索。

问题在于：如果答案可以是任何实数（比如 3.14159...），那么就有无数个可能性。为了构建这个完美的网，你必须进行无数次调查。这是不可能实现的。这就像是为了找到建造沙堡的最佳位置而去数清海滩上的每一粒沙子一样。你永远也数不完。

通常的折衷方案：将海滩一分为二

因为“全量”方法是不可能的，大多数侦探会使用一种叫做**拆分符合性预测（Split-Conformal）**的捷径。他们把线索分成两半，用一半来建造沙堡，用另一半来测试网。

论文指出，这个捷径有一个缺陷：你会丢失信息。 通过为了测试网而扔掉一半的线索，你的网会变得更宽、更模糊。它很安全，但不够精确。这就像是试图仅凭昨天一个城市的数据来预测天气，却忽略了世界其他地方的情况。

论文的核心思想：“魔镜”

作者 Davidson Lova Razafindrakoto 及其同事提出了一种新策略。他们没有将海滩一分为二，也没有尝试去数那无限的沙粒，而是使用了一面魔镜（在数学上称为 RKHS 或再生核希尔伯特空间）。

你可以把预测器想象成一张有弹性的、橡胶质感的薄片。当你增加一个新的线索（一个新的数据点）时，这张薄片就会拉伸并改变形状。“全量”方法会问：“如果答案是这个特定的数字，这张薄片看起来会是什么样？”

论文的突破在于意识到，对于某些特定类型的平滑橡胶片（特别是使用核岭回归的类型），你不需要为每一个数字都从头开始拉伸薄片。相反，你可以使用魔函数（称为影响函数）来预测薄片会如何根据微小的扰动而发生拉伸。

三层魔法

论文测试了三种使用这面镜子的不同方式，效果由好到优递增：

粗糙的镜子（一致稳定性/Uniform Stability）： 这是第一次尝试。它认为：“无论数字是什么，薄片都不会拉伸得太厉害。”这是一个稳妥的赌注，但有点过于保守。它创造出的网比“拆分”法要小，但仍然比必要的宽度要宽。
局部的镜子（局部稳定性/Local Stability）： 这面镜子更聪明。它认为：“如果数字接近我们已知的范围，薄片就不会怎么拉伸。如果它离得很远，它可能会拉伸更多。”通过观察局部邻域，网变得更紧凑、更精确。
超级镜子（影响函数/Influence Functions）： 这是主角。它使用了一种高科技数学技巧（要求橡胶片非常平滑且是“二阶可微”的）来极其精确地计算拉伸情况。它就像一面镜子，不仅能显示反射，还能告诉你光线是如何弯曲的。

他们的发现（结果）

作者不仅提出了这些想法，还使用合成数据（特别是“Friedman1”数据集）进行了计算机模拟测试。

“先知”测试： 由于他们无法构建不可能的“全量”网，他们构建了一个虚假的“先知”网（一个预先知道答案的完美网）来作为标尺。
胜出者： 影响函数方法（超级镜子）创造了所有测试方法中最小、最紧凑的网。
权衡： 超级镜子的计算时间稍长（在他们的测试中比“先知”慢约 1.41 倍），但这是值得的。它们产生的网在保持安全保证（90% 覆盖率）的同时，最具信息量（最窄）。
“拆分”失败者： 传统的“拆分”法产生的网要宽得多（缺乏精确度），因为它扔掉了半数的数据。

他们排除了什么

论文非常明确地说明了哪些做法是无效的或不是重点：

他们拒绝了必须拆分数据的观点。 他们展示了如果你使用他们的近似技巧，可以通过使用所有数据来获得更好的结果。
他们拒绝了需要无限次重新训练的观点。 他们的法只需要训练预测器一次（或极少数几次），然后利用数学镜像来模拟剩余的部分。
他们反对“最坏情况”界限。 之前的方法通常假设最坏的情况（一致稳定性），导致产生了巨大且无用的网。他们的新方法则能适应特定情况，使网更紧凑。

他们有多确定？

作者对他们的数学逻辑非常有信心。他们通过（严谨的定理）证明了他们的新网是安全的（包含真实答案的概率至少为 90%），并且他们也证明了随着数据的增加，他们的“超级镜子”网会变得越来越紧凑，收敛速度比旧方法更快。

在模拟中，“超级镜子”网始终是最小的，其改进速率的估计值与他们的数学预测相吻合（图表中的斜率约为 -1.20，意味着随着数据的增长，网缩减得很快）。

总结

如果你想用安全网来预测未来，不要扔掉一半的线索（拆分法），也不要试图去数那无限的可能性（全量法）。相反，使用一面魔镜（影响函数）来观察你的预测工具会对每一个可能的结果做出何种反应。它比那个“不可能的梦想”更快，比“捷径”更安全，并且能给你提供最紧凑、最精确的网。

技术摘要：RKHS 中的近似全共形预测 (Approximate Full-Conformal Prediction in an RKHS)

问题陈述
全共形预测（Full-conformal prediction）是一种分布无关的框架，能够为广泛的估计量构建具有覆盖率保证的置信预测区域。然而，其在实际应用中受到计算不可行性的严重限制。为了计算新输入 $X_{n+1}$ 的全共形预测区域，必须对每一个可能的候选输出 $y \in \mathcal{Y}$ 评估非共形得分（non-conformity score）。由于底层的预测器 $\hat{f}_{D_y}$ 必须针对每个候选 $y$ 进行重新训练（其中 $D_y$ 包含新点 $(X_{n+1}, y)$ ），当 $\mathcal{Y} = \mathbb{R}$ 时，这需要训练无数个估计器。

现有的替代方案，如拆分共形预测（split-conformal）和交叉共形预测（cross-conformal），通过训练固定数量的预测器来降低计算成本。然而，这些方法通过丢弃训练或拆分过程中的数据，会导致信息损失，从而产生更大、信息量更低的预测区域。其他依赖于闭式解（例如岭回归）或特定 p 值形状的方法仅限于狭窄的设定，无法推广到任意损失函数或再生核希尔伯特空间（RKHS）。

方法论
作者提出了一种在不拆分数据的情况下高效近似全共形预测区域的通用策略。该方法的核心包括：

近似预测器： 为了避免为每个候选 $y$ 重新训练预测器，该方法使用一个固定的预测器 $\hat{f}_{D_z}$ （在固定点 $z$ 上训练）或基于影响函数（influence functions）的一阶修正来近似 $\hat{f}_{D_y}$ 。
近似非共形得分： 利用近似预测器，作者定义了近似非共形得分 $\tilde{S}_{D_y}$ 。
界定近似误差： 至关重要的是，该方法推导出了真实得分与近似得分之间差异的显式上界 ( $\tau$ )。这些界限取决于损失函数的平滑度和核函数的性质。
夹逼区域（Sandwiching the Region）： 通过将这些误差界限纳入共形 p 值计算中，作者构建了一个“上”近似区域 ( $\hat{C}^{up}$ ) 和一个“下”近似区域 ( $\hat{C}^{lo}$ )。真实的全文共形区域被保证位于该夹逼区域内 ( $\hat{C}^{lo} \subseteq \hat{C}^{full} \subseteq \hat{C}^{up}$ )。
厚度量化： 引入了一个名为“厚度”（thickness）的新指标，用于量化近似区域与全共形区域之间对称差的体积，从而提供一种衡量近似紧凑程度的度量，而不仅仅是覆盖概率。

根据损失函数的平滑性假设，本文开发了三个层级的近似：

第 0 层（一致稳定性/Uniform Stability）： 使用损失函数和得分函数的一致 Lipschitz 常数。这恢复了类似于一致稳定性方法的界限，但允许使用通用的 RKHS 损失函数。
第 1 层（局部稳定性/Local Stability）： 利用损失函数的可微性来推导随 $y$ 变化的局部稳定性界限，从而使近似常数更加紧凑。
第 2 层（影响函数/Influence Functions）： 利用高阶平滑性（二阶及三阶可微损失）和影响函数（Bouligand 影响函数），创建一个通过一阶泰勒展开与 $y$ 相关联的预测器近似。这产生了更快的近似误差收敛速率。

核心贡献

通用近似策略： 本文提供了一个在 RKHS 设置下，针对一般（非二次）损失函数（包括 Logcosh、Pseudo-Huber 和平滑 Pinball 等鲁棒损失）近似全共形区域的分布无关且通用的框架。
非渐近保证： 不同于以往仅提供渐近保证的基于影响函数的方法，本研究为近似质量提供了非渐近界限，并确保生成的区域是有效的置信区域（覆盖率 $\geq 1-\alpha$ ）。
厚度指标： “厚度”的引入使得能够以体积（勒贝格测度）而非仅仅是覆盖概率来量化近似区域与全共形区域之间的差异。
改进的收敛速率： 通过利用影响函数和高阶平滑性假设，作者证明了近似误差的下降速率（ $O(n^{-1+r+\min(-1+2r, 0)})$ ）比一致稳定性界限（ $O(n^{-1+r})$ ）更快，尤其是在正则化参数 $\lambda$ 衰减缓慢的情况下。

结果

理论界限： 理论分析表明，近似的厚度受限于与核属性、正则化参数及损失函数平滑度相关的项。对于平滑损失函数，随着样本量 $n$ 的增加，界限会显著收紧。
经验性能： 在合成数据（Friedman1）上的实验对比了四种策略：拆分共形预测、一致稳定性（第 0 层）、局部稳定性（第 1 层）和影响函数（第 2 层）。
- 覆盖率： 所有提出的方法均实现了接近目标水平（ $1-\alpha = 0.9$ ）的经验覆盖率。
- 区域大小： 基于影响函数的方法产生的预测区域最窄（信息量最大）且方差较低，优于拆分共形预测和基于稳定性的方法。
- 计算量： 虽然影响函数方法需要更多的计算时间（由于 Hessian 矩阵求逆），但它仍然是可控的。局部稳定性方法在精度和计算成本之间提供了良好的权衡。
可视化： “厚度”间隙与样本量之间的对数-对数图证实了理论收敛速率，显示出影响函数方法的收敛速度快于一致稳定性方法。

意义与主张
作者声称，其工作弥合了全共形预测的理论最优性与拆分共形预测的计算可行性之间的鸿沟。通过避免数据拆分，所提方法利用了全量数据集进行训练，从而保留了信息并产生了更紧凑的预测区域。该框架的意义在于，它将全共形近似扩展到了广泛的损失函数和 RKHS 设置中，并为生成的区域的覆盖率和“紧凑度”（厚度）提供了严格的非渐近保证。论文强调，尽管这种近似在计算上是高效的（仅需一次或几次预测器评估），但它保持了全共形框架的分布无关有效性。