技術要約：パラメータフリーかつグループ条件付きのオンライン・コンフォーマル予測

1. 問題設定と動機

機械学習モデルは、医療のトリアージや自動運転車両など、データ分布が時間とともに変化し、標準的なコンフォーマル予測（CP）が要求する交換可能性の仮定が崩れるような、高リスクかつ非定常な環境への導入が進んでいます。**オンライン・コンフォーマル予測（OCP）**は、敵対的なデータストリームに対して一連の予測集合を生成することで、この問題に対処します。しかし、標準的なOCP手法は通常、周辺被覆率（marginal coverage）（すなわち、全体のエラー率が $1-\alpha$ に近づくこと）のみを保証します。この周辺的な保証は、特定のサブポピュレーションにおける系統的な過小被覆を隠蔽してしまう可能性があり、公平性や安全性に関する問題を引き起こします。

先行研究では、特定のグループに対して被覆保証を確保するための**グループ条件付きOCP（G-OCP）が提案されていますが、既存の手法（例：GCACI）は手動でチューニングする必要がある学習率（ステップサイズ）**に依存しています。敵対的または変化する環境において、学習率のチューニングは以下の理由から困難です：

1. チューニングのための検証セットが利用できない。
2. 任意のデータシフトによって、以前は「良好」であった学習率が不適切になる可能性がある。
3. 既存のパラメータフリーなOCP手法（例：UP-OCP）は、周辺被覆率は達成できるものの、グループ条件付きの保証は提供できない。

本研究が取り組む核心的な問題は、手動のハイパーパラメータ・チューニングを必要とせずに、厳格なグループ条件付き被覆保証を同時に提供するパラメータフリーなOCPアルゴリズムを設計することです。

2. 手法：POGO

著者らは、グループ条件付きOCPにおける初のパラメータフリーなアルゴリズムであるPOGO（Portfolios for Online Group Conformal）を提案します。この手法は、周辺的OCP（UP-OCP）に適用されていた**ユニバーサル・ポートフォリオ（Universal Portfolio: UP）**最適化の概念に基づき、それを複数の重複するグループを扱うように拡張したものです。

2.1 問題定式化

データのストリーム $(X_t, Y_t)$ と予測器 $\hat{Y}_t$ が与えられたとき、目標は、予測区間 $I_t = [\hat{Y}_t - \tau_t, \hat{Y}_t + \tau_t]$ が以下を満たすような一連の半径 $\tau_t$ を学習することです：
$$\lim_{T \to \infty} \left| \frac{1}{T_j} \sum_{t=1}^T \mathbb{1}\{Y_t \in I_t\} c_j(X_t) - (1-\alpha) \right| = 0$$
ここで、$c_j(X_t) \in [0, 1]$ はグループ所属を示すソフトなインジケーター関数であり、$T_j$ はグループ $j$ の累積カウントです。

2.2 線形パラメータ化

標準的なOCPがスカラーの半径を学習するのに対し、POGOは $k$ 次元のパラメータベクトル $\theta_t \in \mathbb{R}^k$ を学習します。半径は、グループ所属ベクトル $c(X_t)$ の線形関数としてパラメータ化されます：
$$\tau_t(X_t) = \langle \theta_t, c(X_t) \rangle$$
これにより、アルゴリズムはサンプルの特定のグループ所属に基づいて異なる半径を割り当てつつ、単一の統一された予測区間を生成することが可能になります。

2.3 ポートフォリオ最適化メカニズム

POGOは、$\theta_t$ の学習をポートフォリオ最適化問題として扱います。

1. 劣勾配としてのエラー： アルゴリズムは、各グループに対して分位点損失（ピンボール損失）を定義します。累積劣勾配和 $\sum g_{t,j}$ の第 $j$ 成分は、グループ $j$ の被覆ミス（miscoverage）エラーを定量化します。具体的には、第 $j$ 成分はグループ $j$ の被覆ミスエラーに対応します。
2. 富のプロセス（Wealth Processes）： 各グループ $j$ に対して、POGOは2つの銘柄を持つ「市場」を構築します。これらの銘柄の収益は、現在の予測が真のラベルをカバーしているかどうかに依存します：
   • 予測が外れた（過小被覆）場合、一方の銘柄が高い収益をもたらします。
   • 予測が当たった（被覆した）場合、もう一方の銘柄が緩やかな収益をもたらします。
3. ユニバーサル・ポートフォリオ（UP）： POGOは、各グループ $j$ に対して一連のポートフォリオの重み $\lambda_{t,j}$ を学習するために、ユニバーサル・ポートフォリオ・アルゴリズムを採用します。目標は、各グループに関連する「富（wealth）」$W_{t,j}$ の対数成長を最大化することです。
4. パラメータ更新： パラメータ $\theta_{t,j}$ は、富のプロセス $W_{t,j}$ とポートフォリオの重み $\lambda_{t,j}$ から直接導出され、これにより累積劣勾配の成長を抑制します。この緩やかな成長は、グループ条件付きの被覆ミスが限定的であることを直接的に意味します。

極めて重要な点は、このプロセスがパラメータフリーであることです。これは、学習率 $\eta$ やステップサイズを必要とせず、代わりにユニバーサル・ポートフォリオ・アルゴリズムの固有の特性に依拠しています。

3. 主な貢献

1. 初のパラメータフリーなG-OCPアルゴリズム： 手動での学習率チューニングを必要とせずに、グループ条件付き被覆保証を提供するPOGOの導入。
2. 厳密な有限時間保証： 著者らはPOGOの理論的な被覆境界を確立しました。グループ $j$ の被覆ミス率は以下のように抑えられます：
   $$\text{MisCov}_T(c_j) \leq \frac{1}{T_j} \left[ U_T(k) + \sqrt{2T_j \alpha(1-\alpha) U_T(k)} \right]$$
   ここで、$U_T(k)$ はグループ数 $k$ と時間 $T$ に対して対数的にスケールします。これは、既知の中で最も優れた有限時間のグループ被覆結果です。
3. 優れたスケーラビリティ： 理論的分析によれば、POGOのエラー境界はグループ数 $k$ に対して対数的（$O(\ln k)$）に依存しますが、既存のパラメータ依存型手法（GCACIなど）は $\sqrt{k}$ でスケールし、学習率の選択に大きく依存します。
4. 単一区間の出力： 各グループに対して個別のOCPアルゴリズムを実行する素朴なアプローチ（$k$ 個の異なる半径を生成する）とは異なり、POGOは各サンプルに対して単一の半径 $\tau_t$ を生成します。これにより、区間の競合やグループ所属に関する潜在的なプライバシー漏洩の問題を回避します。

4. 実験結果

著者らは、合成データセットおよび実世界のデータセットを用いて、POGOをGCACI（現在のグループ条件付きOCPの標準）およびUP-OCP（パラメータフリーな周辺的OCP）と比較評価しました。

4.1 合成実験

• 有界かつ緩やかに変化するスコア： POGOはすべてのグループで目標被覆率を3%以内の誤差で達成し、GCACIのバリアントと比較して最小の平均半径を実現しました。高い適応性を維持しており、連続する被覆ミスイベントの最長記録も、最適にチューニングされたGCACIと同等でした。
• 急激なシフト： データ分布が急激に変化する場合でも、POGOは堅牢性を保ちます。対照的に、固定の学習率を持つGCACI（\eta=0.0__':0.01 のような最適化されたものであっても）は適応性が低く、データによって学習率が事実上「再チューニング」されるまで、長い被覆ミス期間が発生します。
• 無界に増大するスコア： 特定のグループに対して非適合スコアが二次関数的に増大するシナリオでは、ほとんどのGCACIバリアントが目標被覆率の達成に失敗します。POGOは、特に高い被覆要求（$1-\alpha \in [0.9, 0.95]$）において、一貫して目標に近い被覆率を達成します。

4.2 実世界のデータ

• MIMIC-IV (ICU 入院期間)： 患者データ（人種、保険、性別をグループとして使用）を用いた実験において、POGOはGCACIと同等の被覆率を達成しつつ、**より小さな予測セットのサイズ（半径）**を実現しました。
• 株式市場 (Apple, Delta, Boeing)： 日次の価格予測において、POGOは再び競争力のあるパフォーマンスを示し、GCACIよりも小さなセットサイズで目標被覆率を達成しました。
• トレードオフ： 特定の静的なレジームにおいて、POGOは時として最適にチューニングされたGCACIよりもわずかに長い連続被覆ミス期間を示すことがありますが、チューニングが不可能な動的または変化するレジームにおいては、GCACIを大幅に上回る性能を発揮します。

5. 意義と主張

本論文は、POGOが変化する環境における公平かつ堅牢な不確実性定量化の基礎を築くものであると主張しています。グループ条件付き被覆とパラメータフリーなオンライン学習を統合することで、本手法は、敵対的または非定常な設定においてクリティカルなボトルネックとなる手動のハイパーパラメータ・チューニングの必要性を排除します。

著者らは以下の点を強調しています：

• POGOは、既知の中で最高の有限時間グループ被覆境界を提供します。
• 学習率選択の脆弱性に陥ることなく、これらの保証を達成します。
• サブポピュレーション間の公平性が求められ、かつデータ分布が静的または交換可能であると仮定できない高リスクなアプリケーションに対する実用的なソリューションを提供します。

結論として、著者らは、POGOは半径に対して線形な仕様を用いているものの、将来的には半径のより豊かなモデルを探索したり、キャリブレーションのような他の形式のオンライン不確実性定量化ツールへと拡張したりできる可能性を示唆しています。