Shape-Adaptive Conditional Calibration for Conformal Prediction via Minimax Optimization

1. 研究背景与问题 (Problem)

核心挑战：
共形预测（Conformal Prediction, CP）旨在构建一个预测集，以预定的置信水平覆盖真实标签。传统的共形预测仅保证边际覆盖（Marginal Coverage），即 $P(Y \in C(X)) \ge 1-\alpha$。然而，在高维或异质数据分布下，边际覆盖无法保证对特定子群或特定协变量 $X$ 的条件覆盖（Conditional Coverage），即 $P(Y \in C(X) | X) \ge 1-\alpha$。

现有方法的局限性：

1. 几何刚性（Geometric Rigidity）： 现有的条件校准方法（如 Gibbs et al., 2025 的 CC 框架）通常基于固定的得分函数 $s(x, y)$，仅通过调整阈值 $f(Z)$ 来改变预测集的大小（Volume），而无法改变预测集的**形状（Shape）**或方向。这在处理多维标签（Multivariate Labels）时尤为致命，因为无法捕捉局部数据的异方差性（Heteroscedasticity）和相关性。
2. 敏感属性缺失（Masked Sensitive Attributes）： 许多方法要求条件变量 $Z$（如敏感属性：种族、性别）在测试时可见。但在实际公平性应用中，$Z$ 在测试阶段往往是不可见的（Masked），导致基于 $Z$ 的阈值函数无法直接应用。
3. 理论困难： 在有限样本下满足逐点（Pointwise）条件约束在理论上极其困难，通常只能追求近似或渐近覆盖。

目标：
提出一种新的框架，能够：

• 在校准阶段动态调整预测集的几何形状（如椭圆的方向、长宽比）。
• 利用校准阶段可见的敏感属性 $Z$ 来指导预测集构建，即使 $Z$ 在测试阶段不可见。
• 在理论上保证条件覆盖误差的最小化。

---

2. 方法论 (Methodology)

作者提出了 极小极大优化预测推断（Minimax Optimization Predictive Inference, MOPI） 框架。

2.1 核心思想：从条件到边际的松弛

利用 Andrews and Shi (2013) 的思想，将条件覆盖约束转化为一系列边际矩限制（Marginal Moment Restrictions）：
$$E [f(Z) (1\{Y \notin C(X)\} - \alpha)] = 0, \quad \forall f \in \mathcal{F}$$
其中 $\mathcal{F}$ 是定义在条件域 $Z$ 上的权重函数类。

2.2 极小极大优化问题

为了找到满足上述条件的最优预测集，MOPI 将问题构建为一个极小极大（Minimax）优化问题：
$$\min_{C \in \mathcal{C}} \max_{f \in \mathcal{F}} E \left[ f(Z)(1\{Y \notin C(X)\} - \alpha) - f^2(Z) \right]$$

• 外层最小化 ($\min_C$)： 寻找最优的集合值映射 $C(X)$。$\mathcal{C}$ 是一个结构化的集合类，例如：
  • 子水平集： $C(x) = \{y : s(x, y) \le h(x)\}$
  • 几何结构化集： 如盒状集（Box）或椭球集（Ellipsoid），其中 $C(x)$ 的形状参数（如均值 $\mu(x)$ 和协方差 $\Sigma(x)$）由神经网络 $h(x)$ 学习得到。
  • 关键创新： 允许 $h(x)$ 动态调整预测集的几何结构（旋转、缩放），而不仅仅是调整阈值。
• 内层最大化 ($\max_f$)： 寻找最坏情况下的权重函数 $f(Z)$，以最大化覆盖误差的惩罚项。$f^2(Z)$ 项用于正则化，确保内层问题有闭式解且强凹。

2.3 处理“测试时不可见”的敏感属性

MOPI 巧妙地解耦了覆盖约束的强制执行与预测映射：

• 校准阶段： 利用包含 $Z$ 的数据进行极小极大优化，学习出能够适应 $Z$ 的几何结构 $h(x)$。
• 测试阶段： 预测集 $C(X)$ 仅依赖于 $X$。由于 $h(x)$ 是在校准阶段通过 $Z$ 的信息“训练”出来的，因此即使测试时 $Z$ 缺失，模型依然能保持针对 $Z$ 的条件覆盖特性。

2.4 数值实现

由于指示函数 $1\{Y \notin C(X)\}$ 不可导，MOPI 使用平滑代理函数（如 Sigmoid 或误差函数）替代，将问题转化为可微的极小极大优化问题，并通过随机梯度下降（SGD）求解。

---

3. 主要贡献 (Key Contributions)

1. 框架创新 (MOPI)：

   • 提出了 MOPI 框架，超越了传统的仅调整阈值的条件校准方法。它允许预测集的几何形状与局部数据密度共同演化，显著提升了形状自适应能力。
   • 解决了敏感属性在测试时缺失的问题，实现了在 $Z$ 不可见情况下的有效条件推断。

2. 理论保证 (Theoretical Guarantees)：

   • 统计解释： 证明了在权重函数类 $\mathcal{F}$ 足够丰富时，MOPI 的目标函数等价于最小化均方覆盖误差（Mean Squared Coverage Error, MSCE）。
   • 非渐近 Oracle 不等式： 建立了经验 MOPI 预测集的 MSCE 上界。
   • 收敛速率： 证明了在正则条件下，覆盖误差的收敛速率达到了最优阶（对于有限维 $\mathcal{F}$ 为 $O(\sqrt{d/n})$，对于 RKHS 为 $O(\sqrt{\log n / n})$）。

3. 实用性与灵活性：

   • 提供了针对不同条件域 $Z$（有限维或无限维）选择权重函数类 $\mathcal{F}$ 的指导原则。
   • 对于有限维 $Z$，内层最大化问题有闭式解，极大简化了优化过程。

4. 实证性能：

   • 在合成数据和真实数据集（Households, Communities and Crime, FashionMNIST）上进行了广泛实验。
   • 结果表明，MOPI 在保持边际覆盖的同时，显著降低了 MSCE，并生成了比基线方法（CC, RLCP, SCP）更紧凑（Efficient）的预测集。

---

4. 实验结果 (Results)

4.1 合成数据实验

• 多维标签与几何形状： 在多维回归任务中，MOPI 能够学习自适应的椭球或盒状预测集。相比基线方法（仅调整标量阈值），MOPI 生成的预测集体积更小，且在最坏情况下的条件覆盖更接近名义水平（90%）。
• 敏感属性（Equalized Coverage）： 在 $Z$（敏感属性）于测试时不可见的设置下，MOPI 利用校准阶段的 $Z$ 信息，实现了不同组别间覆盖率的平衡。相比之下，CC 和 RLCP 等方法因无法利用 $Z$ 而表现较差。
• 相关性分析： 实验验证了理论结论：当协变量 $X$ 与敏感属性 $Z$ 的相关性越强，MOPI 的条件覆盖误差越小。

4.2 真实数据实验

• Households 数据集： 在构建住房与健康支出的椭球预测集时，MOPI 在不同收入水平（局部覆盖）和不同支出组别（组条件覆盖）上均表现出更均匀的覆盖性能。
• Communities and Crime 数据集： 在预测犯罪率时，针对种族（敏感属性）的公平性测试显示，MOPI 在“未屏蔽”和“屏蔽”两种设置下，均能实现各种族群体间更平衡的覆盖率，而基线方法在屏蔽设置下会出现明显的覆盖偏差。
• FashionMNIST： 在图像分类任务中，MOPI 在边际覆盖、最坏情况条件覆盖以及聚类/类别条件覆盖差距上均优于现有方法。

---

5. 意义与影响 (Significance)

1. 突破几何限制： 该工作打破了共形预测中预测集形状固定的传统，首次将形状自适应引入条件校准，使得预测集能更好地拟合复杂的多维数据分布。
2. 公平性与隐私的平衡： 提供了一种在测试时无法获取敏感属性（如种族、性别）的情况下，依然能实现公平性（Equalized Coverage）的解决方案，这对算法公平性（Algorithmic Fairness）的实际落地至关重要。
3. 理论深度： 将条件覆盖问题形式化为极小极大优化，并建立了与非渐近 Oracle 不等式的联系，为后续研究提供了坚实的理论基础。
4. 应用广泛： 该方法适用于医疗诊断、自动驾驶安全规划等高风险领域，能够提供更可靠、更高效的不确定性量化。

总结：
MOPI 通过极小极大优化框架，成功解决了共形预测中条件覆盖难、形状不灵活以及敏感属性缺失三大难题。它不仅提供了理论上的最优收敛保证，还在实际应用中展现了卓越的效率和公平性，是共形预测领域的一项重要进展。