Non-Asymptotic Analysis of Efficiency in Conformalized Regression

本文针对基于 SGD 训练的共形化分位数和中位数回归，在温和假设下建立了预测集长度与最优区间长度偏差的非渐近界，揭示了效率对训练集大小、校准集大小及误覆盖率的联合依赖关系，并识别了不同覆盖率区间下的收敛率相变现象，从而为数据分配提供了理论指导。

要点

这篇论文探讨了一个非常实际的问题：当我们让 AI 做预测时，如何给它画一个“安全圈”，既保证这个圈能罩住正确答案，又不会画得太大而失去参考价值？

想象一下，你正在玩一个猜数字的游戏，AI 是你的助手。

• 传统做法：AI 直接猜一个数（比如"50"）。但这很危险，万一错了怎么办？
• 共形预测（Conformal Prediction）的做法：AI 不再只猜一个数，而是画一个范围（比如"45 到 55"）。它承诺：“我保证 95% 的情况下，真实答案就在这个圈里。”

这篇论文的核心就是研究：这个“圈”到底该画多大才合适？ 画得太小，可能盖不住答案（不安全）；画得太大，虽然安全，但就像告诉你“答案在 1 到 100 之间”一样，毫无信息量（效率低）。

1. 核心比喻：画圈的艺术

想象你要给一个正在移动的靶子（真实答案）画一个保护圈。

• 训练集（Training Set, $n$）：这是 AI 用来学习怎么画圈的“练习册”。练习得越多（$n$ 越大），AI 对靶子移动规律的理解就越深，画圈的位置就越准。
• 校准集（Calibration Set, $m$）：这是用来“试画”的“草稿纸”。AI 在草稿纸上试画几个圈，看看画多大才能刚好罩住 95% 的靶子。草稿纸越多（$m$ 越大），它对这个“圈的大小”估计得越精准。
• 误报率 $\alpha$：这是你允许 AI 犯错的概率。比如 $\alpha=0.05$，意味着你允许 5% 的情况圈没罩住靶子。如果你要求极其严格（$\alpha$ 非常小，比如 0.001），AI 为了保险起见，可能会把圈画得巨大无比，甚至大到包含整个宇宙，这就失去了意义。

2. 论文发现了什么？（三大发现）

作者通过数学推导（非渐近分析），发现画圈的大小（效率）取决于三个因素的微妙平衡，就像做菜的配方：

A. 练习册和草稿纸的“配比”很重要

以前大家认为，只要练习册（$n$）够多，圈就画得好。但作者发现，草稿纸（$m$）的数量同样关键。

• 如果你只有一本厚厚的练习册，但只有一张草稿纸去试错，AI 可能根本不知道圈该画多大。
• 如果你有一堆草稿纸，但练习册很薄，AI 连靶子怎么动都搞不清楚，画出来的圈也是歪的。
• 结论：你需要把数据合理分配给“学习”和“校准”。如果 $\alpha$ 设得很小（要求极高），你需要更多的草稿纸（$m$）来校准，否则圈会画得离谱。

B. “严格程度” ($\alpha$) 是个双刃剑

这是论文最精彩的发现之一。

• 当 $\alpha$ 比较大（比如 0.1，允许 10% 犯错）时：圈的大小主要取决于你有多少数据（$n$ 和 $m$）。数据越多，圈越小、越精准。
• 当 $\alpha$ 变得非常小（比如 0.001，要求 99.9% 准确）时：情况变了！圈的大小会突然“爆炸式”增长。
  • 比喻：就像你要求天气预报“绝对”准确（100% 不下雨），预报员为了保险，可能会说“明天可能下雨，也可能不下雨，甚至可能下冰雹”，范围直接覆盖全天。
  • 论文发现：存在一个“临界点”。如果你把 $\alpha$ 设得太小，而数据量（$n, m$）不够大，AI 为了达到那个极高的安全标准，不得不把圈画得无限大，导致预测完全失效。

C. 不同的“画圈”策略

论文比较了两种画圈方法：

1. 分位数回归（CQR）：像是一个灵活的裁缝，能根据衣服（数据）的不同部位，画出不对称的、贴合身形的圈。
2. 中位数回归（CMR）：像是一个做标准尺码的工厂，画出来的圈左右对称，大小固定。

• 结论：在数据分布比较均匀（像正态分布）时，这两种方法效果差不多；但在数据分布复杂时，灵活的裁缝（CQR）通常能画出更小的圈，效率更高。

3. 给普通人的启示（怎么做？）

这篇论文不仅仅是给数学家的，它对实际使用 AI 的人有指导意义：

1. 不要盲目追求“绝对安全”：如果你把安全标准（$\alpha$）定得太高（比如 99.99%），而你的数据量又有限，AI 给出的预测范围会大得毫无用处。有时候，接受一点点风险（比如 95% 或 90%），能换来更精准、更有用的预测。
2. 数据分配有讲究：不要把所有数据都拿去训练模型。留出一部分专门用来“校准”（试画圈），效果会更好。特别是当你要求很高的准确率时，校准数据（$m$）的比例应该适当增加。
3. 理解“相变”：就像水在 0 度结冰一样，预测的精度在某个 $\alpha$ 值会发生突变。在设定 AI 的安全参数时，要避开那个会让预测范围突然变大的“陷阱区”。

总结

这篇论文就像给 AI 的“安全圈”画了一张精密的地图。它告诉我们：想要既安全又精准的预测，不能只靠堆数据，更要懂得如何分配数据以及如何设定合理的容错率。它提醒我们，在追求“万无一失”时，往往要付出“一无是处”的代价；而找到那个平衡点，才是高效智能的关键。

技术摘要

这是一篇关于**共形化回归（Conformalized Regression）**效率的非渐近分析论文，发表于 ICLR 2026。该研究填补了现有文献中关于训练集大小、校准集大小以及误覆盖水平（miscoverage level）对预测集长度影响之间关系的理论空白。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：在医疗、金融和自动驾驶等安全关键领域，机器学习模型不仅需要准确的点预测，还需要可靠的不确定性量化。共形预测（Conformal Prediction, CP）提供了一种分布无关的框架，能够生成具有覆盖率保证的预测集。
• 核心问题：共形预测的效率（Efficiency）通常由预测集的大小（回归任务中为区间长度）来衡量。在覆盖率保证（Validity）固定的前提下，预测集越小，信息量越大。
• 现有局限：
  • 以往关于共形化回归效率的研究多关注渐近性质（即样本量趋于无穷大时的收敛性）。
  • 现有的非渐近（Non-asymptotic，即有限样本）分析通常将误覆盖水平 $\alpha$ 视为固定常数，或者仅关注校准集大小 $m$ 的影响。
  • 开放问题：在分裂共形化回归（Split Conformal Regression）中，训练集大小 $n$、校准集大小 $m$ 和误覆盖水平 $\alpha$ 如何共同影响预测集长度的偏差？目前缺乏明确的理论界限。

2. 方法论 (Methodology)

论文针对两种主流的共形化回归方法进行了理论分析：

1. 共形化分位数回归 (CQR)：估计条件上下分位数，构建自适应的非对称预测区间。
2. 共形化中位数回归 (CMR)：估计条件中位数，结合绝对残差构建对称预测区间（假设同方差或对称性）。

核心设定：

• 模型：假设数据服从未知分布，使用线性模型，并通过随机梯度下降 (SGD) 进行训练。
• 目标：推导预测集长度 $|C(X)|$ 与“神谕区间”（Oracle Interval，即基于真实条件分位数的最优区间 $|C^*(X)|$）之间长度偏差的非渐近上界。
• 假设：
  • 数据分布满足有界性、协方差矩阵正定、条件概率密度函数连续且有界（$f_{min} \le f \le f_{max}$）。
  • 模型设定正确（Well-specified），即真实分位数函数属于线性函数类。
  • 对于 CMR，额外假设了分位数的对称性。

3. 主要贡献 (Key Contributions)

1. CQR 的有限样本界限：
   推导了 CQR-SGD 算法的预测集长度偏差上界，阶数为：
   $$O\left(\frac{1}{\sqrt{n}} + \frac{1}{\alpha^2 n} + \frac{1}{\sqrt{m}} + \exp(-\alpha^2 m)\right)$$
   其中 $n$ 是训练集大小，$m$ 是校准集大小，$\alpha$ 是误覆盖水平。

   • 创新点：该界限直接基于数据分布假设，而非中间量的假设；明确揭示了 $\alpha$ 在效率中的关键作用。

2. CMR 的有限样本界限：
   在满足对称性假设的同方差任务中，推导了 CMR-SGD 的类似上界，证明了其收敛速率与 CQR 同阶。

3. 理论指导与相变分析 (Phase Transitions)：
   论文首次明确了 $\alpha$ 不同取值区间下的收敛速率相变：

   • $\alpha$ 较大时：主导项为 $O(1/\sqrt{n} + 1/\sqrt{m})$，收敛速率与 $\alpha$ 无关。
   • $\alpha$ 较小时：主导项变为 $O(1/(\alpha^2 n))$ 和 $O(\exp(-\alpha^2 m))$。如果 $\alpha$ 衰减过快（例如 $\alpha = o(n^{-1/4})$），偏差将不再收敛或收敛极慢。
   • 数据分配建议：理论结果指导了如何在训练集和校准集之间分配数据。例如，当 $\alpha$ 较小时，需要显著增加校准集大小 $m$ 以控制指数项，或者增加训练集 $n$ 以控制 $1/(\alpha^2 n)$ 项。

4. 实验结果 (Results)

论文通过合成数据和真实世界数据集（如 MEPS, California Housing, Abalone 等）验证了理论发现：

• 训练集大小 ($n$) 的影响：在固定校准集大小下，随着 $n$ 增加，长度偏差 $\Delta$ 下降。对数回归斜率随 $\alpha$ 变化：当 $\alpha$ 较小时，斜率接近 -1（对应 $1/(\alpha^2 n)$主导）；当$\alpha$较大时，斜率接近 -0.5（对应$1/\sqrt{n}$ 主导）。
• 校准集大小 ($m$) 的影响：随着 $m$ 增加，偏差以 $O(1/\sqrt{m})$ 的速度下降，且指数项 $\exp(-\alpha^2 m)$ 在 $m$ 较小时迅速衰减。
• $\alpha$ 的影响：验证了理论预测的 $\alpha^{-2}$ 缩放关系。
• 优化器与模型泛化：实验表明，尽管理论基于 SGD，但使用动量 SGD、AdamW 以及非线性模型（神经网络）时，观察到的相变现象和收敛趋势依然一致，证明了分析框架的鲁棒性。
• 数据分配策略：在真实数据上，发现存在“肘部点”（Elbow points），即 $\alpha$ 减小到一定程度后，区间长度会急剧增加。这提示在实际应用中，过小的 $\alpha$ 会导致预测集过大而失去实用性。

5. 意义与结论 (Significance)

• 理论突破：这是首个针对共形化分位数/中位数回归（SGD 训练）建立关于 $(n, m, \alpha)$ 三元组显式上界的非渐近分析。它打破了以往将 $\alpha$ 视为常数的局限。
• 实践指导：
  • 为数据分配提供了量化依据：在追求高覆盖率（小 $\alpha$）时，必须显著增加校准集或训练集规模，否则效率将急剧下降。
  • 揭示了相变机制：帮助 practitioners 理解为什么在某些 $\alpha$ 设置下，增加数据量带来的收益会突然改变。
• 通用性：分析框架不依赖于特定的优化器，只要替换相应的估计误差率即可推广到其他优化算法。

总结：该论文通过严谨的数学推导和广泛的实验验证，建立了共形化回归效率与样本量及置信水平之间的精细关系，为在安全关键应用中合理设计共形预测系统（特别是数据划分和 $\alpha$ 选择）提供了坚实的理论基础。