技術要約：未知の分布シフト下における分類のための監査付き共形予測（Audited Conformal Prediction）

問題提起

本論文は、未知の分布シフトが発生する環境にデプロイされた、学習済み（「レガシー」）分類モデルの不確実性定量化という課題に取り組んでいる。標準的な共形予測（Conformal Prediction）は、周辺被覆（marginal coverage）（すなわち、真のラベルが平均的に $1-\alpha$ の確率で予測集合に含まれること）を保証するが、この保証はしばしば深刻な*条件付き（conditional）*の失敗を隠蔽してしまう。具体的には、訓練時とターゲット時の分布が異なる場合、標準的な手法は一部の入力に対して過度に保守的な予測集合を生成する一方で、特定の入力（例：レガシーモデルが失敗しやすいサンプル）に対しては系統的な被覆不足を引き起こす可能性がある。

これらを緩和する既存のアプローチは、モデルの再学習（リソース集約的であり、限られた新しいラベル付きデータでは最適とは限らない）を必要とするか、あるいは分布シフトの性質に関する仮定に依存している。著者らは、再学習は直感的ではあるものの、歴史的なデータセットと比較して新しいラベル付きデータが乏しい場合には非効率的であると指摘している。さらに、標準的な共形手法は、シフト下における「容易な」サンプルと「困難な」サンプルを本質的に区別できないため、信頼性が最も求められる場面で情報価値の低い予測集合を生成してしまう。

手法：監査付き共形予測 (Audited Conformal Prediction, ACP)

提案手法である**監査付き共形予測（ACP）は、レガシーモデルの再学習やシフトの構造に関する仮定を必要とせずに、レガシーモデルが失敗する可能性が高い入力を特定するための補助的な監査モデル（audit model）**を導入する。

コア構成要素

1. 監査モデル ($\hat{r}$): 小規模なラベル付きターゲットデータを用いて学習される二値分類器である。そのタスクは、与えられた入力 $X$ に対するレガシーモデルの点予測（$f_0$）の正誤を予測することである。

   • 学習: 監査モデルは、入力 $X_i$ から派生した特徴量およびレガシーモデルからの信号（例：ソフトマックス確率、エントロピー、埋め込み距離）を用いて、二値ラベル $R_i = \mathbb{1}[f_0(X_i) = Y_i]$ を予測するように学習される。
   • オラクル概念: 理論的には、本手法は、入力 $x$ に対するレガシーモデルの真の条件付き信頼性を表すオラクル監査モデル $r^*(x) = P(f_0(X)=Y | X=x)$ に依存している。

2. 統合戦略: 本論文では、監査モデルを共形フレームワークに統合するための2つの補完的な戦略を提案している。

   • 戦略1: 周辺被覆を用いたACP (ACP-MC)

     • メカニズム: 監査モデル $\hat{r}$ を用いて、レガシーモデルの推定条件付きラベル分布を精緻化する。二値分類の場合、$f_0(x)=1$ であれば推定確率は $(\hat{r}(x), 1-\hat{r}(x))$ となり、そうでなければ $(1-\hat{r}(x), \hat{r}(x))$ となる。
     • 目的: この精緻化された分布を用いて非適合度スコアを計算する。本手法は標準的な周辺被覆（$1-\alpha$）を保証しつつ、入力の推定信頼性に基づいて予測集合のサイズを適応させることで、経験的に条件付き被覆を改善する。

   • 戦略2: 監査付き条件付き被覆を用いたACP (ACP-ACC/AEC)

     • メカニズム: このアプローチは、グループ条件付き被覆を明示的にターゲットとする。特徴空間を、監査モデルの出力（例：$\hat{r}(x)$ を高信頼グループと低信頼グループにビン分割する）に基づいて分割する。
     • 目的: 監査によって定義されたこれらのグループに対して被覆保証を強制する。本論文では、もし監査モデルがオラクルの信頼性を一貫して推定できているならば、本手法は真の信頼性グループに対する被覆保証を達成し、その誤差は推定された監査グループと真の監査グループの間の不一致によって抑えられることを示す有限サンプル定理を立証している。

3. 適応型ACP (AACP): ACPと再学習されたベースラインのどちらを選択するかを適応的に決定するデータ駆動型のプロシージャである。校正データを分割し、どちらの手法が「信頼性の低い」グループ（監査モデルによって特定されたもの）に対して高い条件付き被覆を実現するかを評価し、勝者を選択する。

主な貢献

• 新規フレームワーク: レガシーモデル自体の再学習ではなく、レガシーモデルの失敗を予測する監査モデルを訓練するために小規模なラベル付きターゲットデータを利用する、ACPの導入。
• 理論的保証:
  • ACP-MCが周辺被覆の保証を維持することの証明。
  • ACP-ACCの有限サンプル境界の導出。これは、監査モデルの推定誤差が消失するにつれて、条件付き被覆がオラクルの保証に近づくことを示している。
• 実用的な効率性: 本手法は、複雑なモデルのフル再学習に伴う計算コストや、ファインチューニングに関連するデータの飢餓状態を回避し、これらは限られた新しいラベル付きデータが存在するシナリオに適している。
• 実証的検証: 合成データ（概念シフト、共変量シフト、ラベルノイズを網羅）および実世界のデータセット（Camelyon17 および CIFAR-10/CIFAR-10-C）を用いた広範な実験により、ACPの各バリアントが、平均的な予測集合のサイズを膨張させることなく、標準的な共形予測、AdaTS（Adaptive Temperature Scaling）、および再学習ベースラインと比較して、困難なサンプルにおいて有意に高い条件付き被覆を達成することを実証した。

結果

• 合成データ: 本質的なラベルの不確実性（概念シフト）または困難なサンプルの割合の増加（共変量シフト）があるシナリオにおいて、標準的な手法や再学習は、しばしば容易なサンプルと困難なサンプルの区別ができず、困難なビンにおいて被覆不足となる。ACPのバリアントは、困難なサンプルには大きな予測集合を、容易なサンプルには小さな集合を割り当てることに成功し、平均的な集合サイズをコンパクトに保ちながら、困難なビンにおいてほぼ完璧な条件付き被覆を達成した。
• 実世界データ: Camelyon17（病理組織学）および CIFAR-10-C（破損画像）において、ACPは信頼性ビンにおける条件付き被覆に関して一貫してベースラインを上回った。再学習はしばしば、信頼レベルの差別化に失敗する過度に保守的な集合を生成したが、ACPは情報価値のある集合サイズを維持した。
• トレードオフ: 実験は、厳格な条件付き保証と集合サイズの間のトレードオフを浮き彫りにしている。複数の重複するグループに対して被覆を強制するACP-ACCは、最も保守的であるが最強の条件付き保証を提供し、ACP-MCはより小さな集合サイズと共にバランスを提供している。

意義と主張

本論文は、ACPが、任意の分布シフト下における不確実性を考慮した分類のための、実用的かつ統計的に原理に基づいたアプローチを提供すると主張している。その主な意義は、複雑なモデルを再学習するための膨大なデータ要件を課すことなく、条件付き被覆を改善できる（つまり、最も重要な場面で信頼性を確保できる）点にある。

著者らは、ACPの貢献は監査モデルの新しい学習手順（任意の標準的な分類器になり得る）の設計ではなく、監査予測を共形フレームワークに統合することにあると強調している。これにより、元の訓練データへのアクセスやシフトメカニズムに関する仮定を必要としない、直接的な信頼性尺度が可能になる。

論文は、監査モデルの有効性が、非常にデータが少ないレジームにおいては困難であり得ることを認めつつ、控えめに結論づけている。著者らが示唆する今後の課題には、よりデータ効率的な拡張（例：交差検証共形手法による）や、オンラインまたはストリーミング設定への適応が含まれる。