Weighted Bayesian Conformal Prediction

1. 研究背景与问题定义

1.1 核心问题：共形预测中的“元不确定性”缺失

共形预测（Conformal Prediction, CP）是一种提供分布无关（distribution-free）预测区间的方法，能保证在有限样本下的覆盖率（Coverage Guarantee）。然而，现有的 CP 方法存在两个层面的不确定性未被同时解决：

1. 预测不确定性（Level 1）：真实值 $Y$ 偏离预测值 $\hat{f}(X)$ 的风险。标准 CP 通过构建区间 $[\hat{f}(X) \pm \hat{q}]$ 来解决，其中 $\hat{q}$ 是校准集上的分位数阈值。
2. 元不确定性（Level 2）：阈值 $\hat{q}$ 本身的不确定性。即：这个区间宽度是由校准数据可靠确定的，还是因为数据稀疏或分布偏移而高度不确定的？
   • 现状：标准 CP 和加权 CP（Weighted CP）只输出一个确定的阈值点估计，无法反映该阈值的可靠性。
   • 贝叶斯共形预测（BQ-CP）：Snell & Griffiths (2025) 提出将 CP 重构为贝叶斯求积（Bayesian Quadrature），利用 Dirichlet 分布生成阈值的全后验分布，从而量化元不确定性。
   • 局限性：BQ-CP 严格依赖**独立同分布（i.i.d.）**假设。一旦数据存在分布偏移（如协变量偏移、空间异质性），其基于均匀 Dirichlet 分布的假设失效，无法直接应用。

1.2 现有方法的不足

• 加权共形预测（Weighted CP）：通过重要性权重处理分布偏移（如空间预测中的距离权重），保证了覆盖率，但仍然是频率学派方法，仅输出点估计，缺乏元不确定性信息。
• BQ-CP：提供元不确定性，但无法处理非均匀权重（分布偏移）。
• 缺口：目前没有任何方法能同时提供分布偏移下的覆盖率保证和基于权重的阈值后验分布。

---

2. 方法论：加权贝叶斯共形预测 (WBCP)

作者提出了 WBCP，将 BQ-CP 推广到任意重要性加权设置中。

2.1 核心思想

WBCP 的核心洞察是：加权共形预测中用于保证覆盖率的重要性权重，可以自然地映射到贝叶斯 Bootstrap 的 Dirichlet 分布的浓度参数上。

• 传统 BQ-CP：假设数据 i.i.d.，校准间隔服从均匀 Dirichlet 分布 $Dir(1, \dots, 1)$。
• WBCP 创新：将 Dirichlet 分布替换为加权 Dirichlet 分布：
  $$V \sim Dir(n_{eff} \cdot \tilde{w}_1, \dots, n_{eff} \cdot \tilde{w}_n)$$
  其中：
  • $\tilde{w}_i$ 是归一化的重要性权重。
  • $n_{eff}$ 是 Kish 有效样本量（Kish's effective sample size），计算公式为：
    $$n_{eff} = \frac{(\sum w_i)^2}{\sum w_i^2}$$

2.2 算法流程 (Algorithm 1)

1. 输入：校准分数 $\{\rho_i\}$，权重 $\{w_i\}$，目标分位数 $q=1-\alpha$，置信度 $\beta$。
2. 计算：计算有效样本量 $n_{eff}$，设定 Dirichlet 参数 $\alpha_i = n_{eff} \cdot \tilde{w}_i$。
3. 采样：从 $Dir(\alpha_1, \dots, \alpha_n)$ 中采样 $M$ 次，得到间隔向量 $u^{(m)}$。
4. 阈值确定：对于每次采样，计算累积权重达到 $q$ 时的阈值 $\lambda^{(m)}$。
5. 输出：
   • HPD 阈值 ($\lambda_{HPD}$)：后验分布的 $\beta$ 分位数（提供数据条件保证）。
   • 元不确定性指标：后验标准差 $\sigma_{post}$ 和有效样本量 $n_{eff}$。

2.3 理论依据

• 加权贝叶斯 Bootstrap：该构造等价于 Newton & Raftery (1994) 提出的加权贝叶斯 Bootstrap 后验。
• 方差匹配：选择 $c = n_{eff}$ 作为浓度参数，使得贝叶斯后验方差与频率学派的加权估计量方差渐近匹配（Calibration Consistency）。
• 无需新假设：WBCP 继承了加权 CP 的“加权交换性”（Weighted Exchangeability）假设，未引入额外的分布假设。

---

3. 主要理论贡献

论文证明了四个关键理论结果：

1. 校准一致性 (Calibration Consistency)：

   • 证明了 $n_{eff}$ 是连接贝叶斯后验方差与频率学派采样方差的唯一浓度参数。它回答了“有多少个 i.i.d. 样本能产生与当前加权样本相同的估计方差？”这一问题。

2. 后验收敛率 (Posterior Concentration)：

   • 证明了后验标准差 $\sigma_{post}$ 的衰减速度为 $O(1/\sqrt{n_{eff}})$。
   • 意义：在有效样本量 $n_{eff}$ 高的区域（数据密集），后验分布集中，区间窄且可靠；在 $n_{eff}$ 低的区域（数据稀疏），后验分布弥散，区间宽且诚实反映不确定性。这是 BQ-CP（固定 $n$）无法做到的。

3. 加权随机占优 (Weighted Stochastic Dominance)：

   • 将 BQ-CP 的随机占优保证推广到加权设置。证明了对于任意权重分布，WBCP 的 HPD 阈值能提供数据条件（Data-conditional）的置信保证，即给定特定的校准集和权重分布，风险被控制在 $\beta$ 水平。

4. 条件覆盖率界限 (Conditional Coverage Bound)：

   • 证明了 HPD 阈值相比边际覆盖率 $\alpha$，提供了 $O(1/\sqrt{n_{eff}})$ 的条件覆盖率提升。
   • 自适应保守性：当 $n_{eff}$ 较小时（标准加权 CP 最不可靠的地方），WBCP 自动提供更保守（更宽）的区间，从而在数据稀缺区域显著提升可靠性。

---

4. 应用与实验结果

4.1 地理贝叶斯共形预测 (GeoBCP)

作者将 WBCP 应用于空间预测，利用高斯核函数生成基于距离的权重：

• 诊断工具：
  • 有效样本量图 ($n_{eff}$ map)：可视化每个位置有多少等效校准样本支持预测。
  • 后验标准差图 ($\sigma_{post}$ map)：区分“窄且自信”的区间和“窄但不可靠”的区间。
• 自适应带宽：引入自适应带宽机制，防止在数据稀疏区域 $n_{eff} \to 0$ 导致后验崩溃。

4.2 实验验证

• 合成数据：在具有非均匀噪声和空间相关性的数据上，WBCP 变体（GeoBCP, AdaGeoBCP）在保持覆盖率（>90%）的同时，其 $\sigma_{post}$ 与已知噪声结构高度相关（Pearson $r < -0.9$），准确反映了数据质量。
• 真实世界数据 (西雅图房价)：
  • 在 3000 条房产数据上，GeoBCP 实现了 95.33% 的覆盖率（目标 90%），区间宽度略增但可接受。
  • 关键发现：城市中心区域 $n_{eff}$ 高（>240），区间可靠；边缘区域 $n_{eff}$ 低（<120），$\sigma_{post}$ 显著增大，揭示了标准 CP 和 GeoCP 无法识别的“元不确定性”。

---

5. 总结与意义

5.1 核心贡献

• 理论统一：首次将贝叶斯共形预测（BQ-CP）与加权共形预测（Weighted CP）统一，解决了分布偏移下的元不确定性量化问题。
• 参数设计：提出了基于 Kish 有效样本量 $n_{eff}$ 的 Dirichlet 浓度参数选择，具有严格的理论支撑（方差匹配）。
• 可解释性：提供了 $n_{eff}$ 和 $\sigma_{post}$ 等诊断指标，使预测系统能够自我评估其可靠性。

5.2 实际意义

• 高风险决策：在医疗、金融、自动驾驶等高风险领域，不仅要知道预测区间，还要知道该区间是否“可信”。WBCP 能自动识别数据稀疏或分布偏移严重的区域，并给出更保守的估计。
• 数据收集指导：通过 $n_{eff}$ 地图，可以精准定位哪些区域缺乏数据支持，指导针对性的数据收集。
• 通用性：该方法不仅适用于空间预测，也适用于任何存在协变量偏移、领域自适应或公平性约束的场景。

5.3 局限性

• 假设残差在重加权后近似独立（若存在强空间自相关，$n_{eff}$ 可能被高估，需设计效应修正）。
• 计算成本随蒙特卡洛采样次数 $M$ 线性增加（但易于并行化）。

一句话总结：WBCP 通过引入有效样本量加权的 Dirichlet 后验，成功将共形预测从“点估计”升级为“分布估计”，在解决分布偏移问题的同时，赋予了模型自我评估预测可靠性的能力。