技术摘要：无参数且分组条件的在线符合预测

1. 问题设定与动机

机器学习模型正越来越多地部署在高度敏感且非平稳的环境中（例如医疗分诊、自动驾驶），在这些环境中，数据分布随时间发生偏移，违反了标准符合预测（Conformal Prediction, CP）所要求的可交换性假设。在线符合预测（Online Conformal Prediction, OCP）通过为对抗性数据流生成一系列预测集来解决这一问题。然而，标准的 OCP 方法通常仅保证边际覆盖率（即整体误差率趋于 $1-\alpha$）。这种边际保证可能会掩盖特定子群体的系统性欠覆盖问题，从而导致公平性和安全性问题。

虽然前人的工作提出了分组条件 OCP（Group-Conditional OCP, G-OCP）以确保特定群体的覆盖保证，但现有方法（如 GCACI）依赖于必须手动调优的学习率（步长）。在对抗性或偏移的数据环境中，调优学习率是存在问题的，因为：

1. 没有可用于调优的验证集。
2. 任意的数据偏移可能使之前“良好”的学习率变得不再适用。
3. 现有的无参数 OCP 方法（如 UP-OCP）仅能实现边际覆盖，无法实现分组条件保证。

核心要解决的问题是设计一种无参数的 OCP 算法，该算法能够在不需要手动调节超参数的情况下，同时提供严谨的分组条件覆盖保证。

2. 方法论：POGO

作者提出了 POGO（Portfolios for Online Group Conformal，在线分组符合组合投资），这是第一个用于分组条件 OCP 的无参数算法。该方法基于**通用组合投资（Universal Portfolio, UP）**优化概念，该概念此前已被应用于边际 OCP（UP-OCP），并将其扩展到处理多个重叠分组的情况。

2.1 问题公式化

给定数据流 $(X_t, Y_t)$ 和预测器 $\hat{Y}_t$，目标是学习一系列半径序列 $\tau_t$，使得预测区间 $I_t = [\hat{Y}_t - \tau_t, \hat{Y}_t + \tau_t]$ 满足：
$$\lim_{T \to \infty} \left| \frac{1}{T_j} \sum_{t=1}^T \mathbb{1}\{Y_t \in I_t\} c_j(X_t) - (1-\alpha) \right| = 0$$
对于所有 $k$ 个组，其中 $c_j(X_t) \in [0, 1]$ 是组成员身份的软指示函数，$T_j$ 是第 $j$ 组的累计计数。

2.2 线性参数化

与学习标量半径的标准 OCP 不同，POGO 学习一个 $k$ 维参数向量 $\theta_t \in \mathbb{R}^k$。半径被参数化为组成员身份向量 $c(X_t)$ 的线性函数：
$$\tau_t(X_t) = \langle \theta_t, c(X_t) \rangle$$
这使得算法能够根据样本的具体组别成员身份分配不同的半径，同时确保生成一个统一的预测区间。

2.3 组合投资优化机制

POGO 将 $\theta_t$ 的学习视为一个组合投资优化问题。

1. 作为误差的次梯度： 算法为每个组定义了一个分位数损失（pinball loss）。每个组的累计次梯度和 $\sum g_{t,j}$ 的第 $j$ 个分量对应于该组的欠覆盖误差。
2. 财富过程： 对于每个组 $j$，POGO 构建了一个包含两种股票的“市场”。这些股票的收益取决于当前的预测是否覆盖了真实标签：
   • 如果预测未覆盖（欠覆盖），一种股票会产生高收益。
   • 如果预测覆盖，另一种股票则产生适度的收益。
3. 通用组合投资 (UP)： POGO 采用通用组合投资算法为每个组 $j$ 学习一系列组合权重 $\lambda_{t,j}$。目标是最大化与每个组相关的“财富” $W_{t,j}$ 的对数增长。
4. 参数更新： 参数 $\theta_{t,j}$ 直接从财富过程 $W_{t,j}$ 和组合权重 $\lambda_{t,j}$ 中导出，从而确保累计次梯度增长缓慢。这种缓慢的增长直接转化为受限的分组条件欠覆盖。

至关重要的是，这一过程是无参数的；它不需要学习率 $\eta$ 或步长，而是依赖于通用组合投资算法的内在属性。

3. 核心贡献

1. 首个无参数 G-OCP 算法： 引入了 POGO，它提供了无需手动调优学习率的分组条件覆盖保证。
2. 严谨的有限时间保证： 作者建立了 POGO 的理论覆盖界限。第 $j$ 组的欠覆盖率受限于：
   $$\text{MisCov}_T(c_j) \leq \frac{1}{T_j} \left[ U_T(k) + \sqrt{2T_j \alpha(1-\alpha) U_T(k)} \right]$$
   其中 $U_T(k)$ 随组数 $k$ 和时间 $T$ 对数级缩放。这代表了目前已知的最佳有限时间分组覆盖结果。
3. 卓越的可扩展性： 理论分析表明，POGO 的误差界限随组数呈对数级增长（$O(\ln k)$），而现有的参数化方法（如 GCACI）则随 $\sqrt{k}$ 缩放，且严重依赖于学习率的选择。
4. 单区间输出： 与为每个组运行独立 OCP 算法（产生 $k$ 个不同半径）的朴素方法不同，POGO 为每个样本生成单个半径 $\tau_t$，从而避免了冲突区间以及潜在的关于组别成员身份的隐私泄露问题。

4. 实验结果

作者在合成数据集和真实世界数据集上对 POGO 进行了评估，并将其与 GCACI（当前分组条件 OCP 的标准方法）和 UP-OCP（无参数边际 OCP）进行了对比。

4.1 合成实验

• 有界且逐渐变化的得分： POGO 在所有组别中均实现了目标覆盖率，误差在 3% 以内，并且产生的平均半径最小（相比于 GCACI 变体）。它保持了极高的适应性，其最长连续欠覆盖事件序列与经过最佳调优的 GCACI 相当。
• 突发偏移： 当数据分布发生突发偏移时，POGO 表现出很强的鲁棒性。相比之下，具有固定学习率（即使是经过良好调优的 $\eta=0.01$）的 GCACI 适应性较差，会出现长时间的欠覆盖，直到学习率被数据有效地“重新调优”。
• 无界增长得分： 在特定组别的非符合性得分呈二次方增长的场景下，大多数 GCCl 变体无法达到目标覆盖率。POGO 始终能实现更接近目标水平的覆盖，特别是在高覆盖要求（$1-\alpha \in [0.9, 0.95]$）的情况下。

4.2 真实世界数据

• MIMIC-IV（ICU 住院时长）： 使用患者数据（种族、保险、性别作为分组），POGO 实现了与 GCACI 相当的覆盖率，但预测集大小（半径）更小。
• 股市数据（苹果、达美航空、波音）： 在每日价格预测任务中，POGO 再次展示了竞争力的表现，以比 GCACI 更小的集合尺寸实现了目标覆盖。
• 权衡： 虽然在特定的静态机制下，POGO 有时会表现出比经过最佳调优的 GCACI 稍长的连续欠覆盖序列，但在无法进行调优的动态或偏移机制中，它的表现显著优于 GCACI。

5. 意义与主张

本文声称 POGO 为在偏移环境下的公平且鲁棒的不确定性量化奠定了基础。通过将分组条件覆盖与无参数在线学习相结合，该方法消除了手动调整超参数的需求，而这正是对抗性或非平稳设置中的一个关键瓶颈。

作者强调：

• POGO 提供了已知最佳的有限时间分组覆盖界限。
• 它在无需担心学习率选择的脆弱性的情况下实现了这些保证。
• 它为需要跨子群体公平性且无法假设数据分布是静态或可交换的高风险应用提供了切实可行的解决方案。

论文最后指出，虽然 POGO 在半径计算上使用了线性规范，但未来的工作可以探索更丰富的半径模型，并将这些工具扩展到其他形式的在线不确定性量化（如校准）。