技术摘要：针对无界协变量偏移的鲁棒共形推断的权重截断

1. 问题陈述

共形预测（CP）提供具有严格覆盖率保证的无分布预测集，但这些保证从根本上依赖于训练（校准）数据和测试数据的交换性。在实践中，由于协变量偏移，这一假设经常被违反，即输入的边缘分布在训练（$P_X$）和测试（$Q_X$）之间发生变化，而条件标签分布保持不变（$P(Y|X) = Q(Y|X)$）。

加权共形预测（WCP）通过利用密度比 $w^*(x) = dQ_X/dP_X$ 对校准样本进行重加权来解决这一问题。然而，当真实的密度比是无界的或必须从数据中学习时，WCP 面临两种关键的失效模式：

1. 高方差：无界的比率导致非共形分数阈值的估计方差极高，极大地降低了“有效样本量”。
2. 过拟合与泛化能力差：当 $w^*$ 被学习时（例如通过最小二乘重要性拟合，LSIF），泛化界通常取决于权重估计的 $L_1$ 误差。如果真实比率具有重尾（无界的高阶矩），标准估计量可能会遭受灾难性的过拟合，即使在大数据集下也会导致显著的覆盖率不足。

本文探讨以下问题：当真实密度比无界或必须从数据中学习时，我们能否在协变量偏移下获得可靠的、基于数据集条件的共形覆盖率保证？

2. 方法论

作者提出了一个名为**截断加权共形预测（CWCP）**的框架，该框架将一种新颖的密度比估计技术与偏差校正机制相结合。

2.1. 截断最小二乘重要性拟合（CLISF）

作者提出学习一个截断的比率 $\hat{w}$，将其限制在 $[0, B]$ 范围内，其中 $B \ge 1$ 为某个阈值，而不是学习无界的密度比。

• 机制：该算法在截断函数类 $\mathcal{W}_B = \{x \mapsto \min(w(x), B) : w \in \mathcal{W}\}$ 上最小化标准的 LSIF 目标函数。
• 偏差 - 方差权衡：截断引入了可控的偏差（真实比率与截断比率之间的差异），但显著降低了估计量的方差。
• 理论优势：与先前工作中使用的后验截断启发式方法不同，CLISF 将截断直接集成到估计步骤中。这使得有限样本泛化界成为可能，其中样本复杂度取决于截断参数 $B$ 和截断类的 Rademacher 复杂度，而不是真实无界比率的高阶矩。

2.2. 偏差估计与校正

截断不可避免地导致覆盖率不足，因为截断权重低估了高密度区域的真实重要性。

• 偏差量化：偏差定义为 $\Delta_B = \mathbb{E}_P[(w^*(X) - B)_+]$。
• 估计：作者表明，$\Delta_B$ 可以利用学习到的截断比率 $\hat{w}$ 和偏差估计样本从数据中准确估计。具体而言，$\hat{\Delta}_B = 1 - \frac{1}{m}\sum \hat{w}(X_i)$。
• 膨胀的覆盖率目标：为了恢复有效的覆盖率，CWCP 以膨胀的目标覆盖率水平 $1 - \alpha + \hat{\Delta}_B + \text{误差项}$ 运行 WCP。这一校正考虑了由截断引起的系统性覆盖率不足。

2.3. 用于参数选择的结构风险最小化（SRM）

选择截断参数 $B$ 至关重要。标准的交叉验证不可靠，因为 CLISF 目标函数本身可能具有高方差。作者提出使用**结构风险最小化（SRM）**来选择 $B$，通过最小化真实风险的上界来实现，该上界包括经验风险和源自截断类 Rademacher 复杂度的复杂度惩罚项。

3. 主要贡献

1. 新颖的估计技术（CLISF）：本文介绍了 CLISF，这是第一种为共形推断中的权重截断提供有限样本理论的方法。它在截断类上学习比率，减少了方差和过拟合，同时为估计的密度比提供了可证明的泛化保证。
2. 基于数据集条件的保证：作者证明了 CWCP 实现了基于数据集条件的边际覆盖率。关键在于，实现这些保证所需的样本复杂度不会随着真实密度比的高阶矩而爆炸式增长（这是先前工作的一个关键局限性）。
3. 双向保证：与许多仅提供单向（下界）覆盖率保证的先前工作不同，CWCP 提供了双向保证。这确保了该方法不会通过 trivially 过度覆盖（产生过大的预测集）来实现目标覆盖率。
4. 偏差估计：本文提供了一种从数据中准确估计截断偏差的方法，使得能够精确膨胀覆盖率目标以恢复有效性。

4. 结果

理论结果

• 定理 3.4：建立了 CLISF 的 $L_2$ 误差泛化界，该界取决于 $B$ 和 Rademacher 复杂度，独立于 $w^*$ 的高阶矩。
• 定理 4.4：证明了 CWCP 以高概率实现基于数据集条件的覆盖率。覆盖率下界为 $1 - \alpha - 2\sqrt{2\Delta_R}$（其中 $\Delta_R$ 是误设误差），上界为涉及偏差 $\Delta_B$ 和估计误差的项。
• 推论 4.5：结合上述内容，为完整流程（学习 $\hat{w}$、估计偏差和构建预测集）提供了端到端的保证。

实证结果

作者在合成数据和现实世界基准上验证了他们的方法：

• iWildCam 数据集：在具有协变量偏移（不同相机位置）的野生动物图像分类任务中，与标准 WCP 和分割共形（Split Conformal）相比，CWCP 在名义 0.8 水平附近表现出更紧密且更稳定的覆盖率。分割共形由于未考虑偏移而遭受显著的覆盖率不足，而 WCP 则表现出高方差。
• 社区与犯罪数据集：在具有基于人口统计的协变量偏移的犯罪率预测任务中，CWCP 保持了低方差的稳定覆盖率，而 WCP 则显示出非常高的方差，特别是在西班牙裔和亚裔人口偏移上。
• 合成数据：针对偏移高斯分布的实验证实，当真实密度比遵循重尾（幂律）分布时，CWCP 平衡了 WCP（考虑偏移）和分割共形（低方差）的优势。

5. 意义与主张

本文声称提供了共形推断中权重截断的首个理论保证。其主要意义在于解决了无界协变量偏移下 WCP 的不稳定性，而无需假设密度比或有界矩。

• 鲁棒性：该方法对传统 WCP 灾难性失效的重尾偏移具有鲁棒性。
• 实用性：通过从数据中估计必要的膨胀因子，该方法避免了为补偿未知偏差而手动调整覆盖率目标的需求。
• 理论进步：这些结果代表了现实场景中共形预测的定性进步，在这些场景中密度比可能是无界的，其样本复杂度随截断参数 $B$ 缩放，而不是随真实比率潜在无限的矩缩放。

作者指出，虽然该方法侧重于边际覆盖率，但未来的工作可以将此框架扩展到类条件或组条件保证。他们还承认，CLISF 优化问题通常是非凸的，建议未来研究针对特定函数类的凸代理或高效优化策略。