技術的サマリー：表現ベースのグループ学習による公平な適合分類

1. 問題定義

適合予測（CP）は、機械学習モデルに対して統計的に厳密なマージナルカバレッジ保証を提供し、真のラベルがユーザー指定の確率（例：$1-\alpha$）で予測集合に含まれることを保証する。しかし、標準的な CP 手法は、人口全体にわたる平均的なカバレッジのみを保証する。このマージナル保証は、人種や性別などの敏感な特徴によって定義される特定のサブグループが、不均衡に悪いカバレッジを受けるアルゴリズムバイアスを考慮していない。

「均等化カバレッジ」を達成しようとする手法は、事前に定義されたグループ全体で有効なカバレッジを確保しようとするが、以下のような重大な制限に直面している：

1. 表現力： 既存の手法（例：Romano ら、2020a）は、通常、単一の特徴に基づいてグループを定義する。それらは、特徴間の複雑な非線形相互作用（例：排他的論理和（XOR）関係にある「白人女性 または 黒人男性」で定義されるサブグループなど）を捉えることが困難である。
2. スケーラビリティと効率性： 考えられるすべてのサブグループを網羅的に検索することは、計算量的に非現実的である。以前の適応的アプローチ（例：Zhou & Sesia、2024）は、離散特徴の貪欲な選択やナイーブベイズ仮定に依存しており、連続特徴や非線形なグループ定義を処理する能力が制限されている。

核心的な課題は、計算効率を維持し、コンパクトで情報量の多い予測集合を生成しながら、複雑な非線形特徴の組み合わせによって定義される不公平に扱われるサブグループを適応的に特定する適合推論フレームワークを開発することである。

2. 手法：FAREG

著者は、バイアスの影響を受けるグループを適応的に特定し、予測集合を調整して適応的均等化カバレッジを達成する学習ベースのフレームワークであるFAREG（表現ベースのグループのための公平な適合予測）を提案する。

2.1 表現ベースのグループの学習

FAREG は、生の入力特徴 $X$ から直接グループを抽出するのではなく、マッピング $Z = f(X)$ を介して $X$ を潜在表現 $Z$ に符号化する。この手法は、**深層変分情報ボトルネック（Deep VIB）**アーキテクチャを用いて、$Z$ に基づいてグループ所属インジケータ $S$（$S=1$ は不公平に扱われるグループ $\hat{G}$ への所属を示す）を学習する。

最適化目的関数は、潜在表現 $Z$ とグループ所属 $S$ および入力 $X$ の間の相互情報を最大化し、プライバシーと一般化を確保するために $Z$ と個々のサンプル識別子 $i$ の間の相互情報を最小化する。損失関数は以下のように定式化される：
$$\mathcal{L} = \mathcal{L}_{CC} + \mathcal{L}_{MSE} - \beta \mathcal{L}_{KL}$$
ここで：

• $\mathcal{L}_{CC}$：カバレッジの悪いグループを特定するために最小化する経験的条件付きカバレッジ損失。
• $\mathcal{L}_{MSE}$：$Z$ が $X$ を再構成するのに十分な情報を保持し、解釈性を維持することを保証する再構成損失（平均二乗誤差）。
• $\mathcal{L}_{KL}$：$Z$ を標準正規分布に圧縮するカルバック・ライブラー発散項。

グループ選択は、最小グループサイズ割合 $\delta$ によって制約される。著者は、予測されたグループ所属確率を実行可能集合上に射影してサイズ制約を満たすために、**射影勾配降下法（PGD）**を用いてデコーダパラメータを最適化する。

2.2 適応的予測集合の構築

不公平なグループが特定された後、FAREG はテストインスタンス $X_{N+1}$ に対する最終的な予測集合 $C(X_{N+1})$ を構築する：

1. 完全な較正セットを使用して、標準的な適合予測集合 $C_m(X_{N+1}, D)$ を構築する。
2. 学習された結合ベルヌーイ分布から $T$ 個のベクトル $s_t$ をサンプリングし、それぞれが特定のグループ $\hat{G}_{s_t}$ を定義する。
3. サンプリングされた各グループに対して、個別の適合集合を構築する。
4. 最終的な予測集合は、標準的な集合とすべてのグループ固有の集合の和集合である：
   $$C(X_{N+1}) = C_m(X_{N+1}, D) \cup \bigcup_{t=1}^{T} C_m(X_{N+1}, \hat{G}_{s_t})$$

2.3 強化された評価指標：WSC+

非線形な不公平グループの特定効果を評価するために、著者は重み付きスラブカバレッジ（WSC）指標の非線形拡張である**WSC+**を導入する。従来の WSC が線形スラブ（$a \leq v^T X \leq b$）上でのカバレッジを評価するのに対し、WSC+ は任意の非線形関数 $\pi(X)$（実験では特に二次関数）上でのカバレッジを評価する。これにより、複雑な特徴相互作用によって定義されるグループを適合手続きがカバーしているかどうかをより正確に評価できる。

3. 主要な貢献

1. FAREG フレームワーク： エンコーダ・デコーダアーキテクチャを使用して、非線形特徴の組み合わせによって定義されるカバレッジの悪いサブグループを適応的に特定する新しい適合予測手法。線形または単一特徴に基づくグループ定義の制限を克服する。
2. WSC+ 指標： 複雑で不公平に扱われるサブグループにおける適合手続きのパフォーマンスをよりよく捉え、評価するために設計された新しい非線形条件付きカバレッジ指標。
3. 理論的保証： 論文は、データが交換可能であれば、FAREG が選択されたグループ集合上で適応的均等化カバレッジ（式 1）を達成することを証明している。VC 次元を通じた理論的分析は、FAREG の候補グループ空間が以前の適応的手法（AFCP など）のそれらの超集合であることを示唆しており、より強力な表現力を提供している。
4. 効率性： この手法は、標準的な適合予測と同等の時間計算量（$O(N+M)$）を維持し、最先端の AFCP 手法の $O(N \log N + NM)$ の計算量を大幅に上回る。

4. 実験結果

著者は、FAREG を合成データおよび実世界データセット（Nursery、ACSIncome）の両方で評価した。

• 合成データ（精神疾患診断シナリオ）：

  • カバレッジ： FAREG は、特徴間の排他的論理否定（XNOR）関係によって定義されるターゲットサブグループにおいて、一貫して有効な条件付きカバレッジ（≥0.9）を達成した唯一の手法であった。一方、ベースライン（Marginal、Partial、AFCP1、AFCP2）はこのカバレッジを維持できなかったか、著しく大きなサンプルサイズを必要とした。
  • 効率性： FAREG は競争力のある平均予測集合サイズを維持し、AFCP2 がターゲットグループをカバーしようとした際に観察された過剰な集合サイズを回避した。
  • 特徴選択： サンプルサイズが増加するにつれて、FAREG はベースラインよりも高い頻度で関連する非線形特徴の組み合わせ（X[0] と X[1]）を正常に特定した。
  • 実行時間： FAREG は AFCP と比較して著しく低い時間コストを示し、トレーニング時間はサンプルサイズに対して線形にスケーリングした。

• 実世界データ（Nursery および ACSIncome）：

  • Nursery データセットにおいて、FAREG は有効なマージナルカバレッジを維持しながら、グループカバレッジおよび WSC+ 指標においてすべてのベースラインを一貫して上回った。
  • ACSIncome データセットにおいて、FAREG は AFCP2 と比較して有効な条件付きカバレッジ（0.9）および競争力のある効率性を達成した。

• 指標の検証： 実験により、WSC+ が線形 WSC 指標よりも悪いカバレッジを持つグループを特定することが確認され、非線形バイアスの検出におけるその有用性が実証された。

5. 意義と主張

本論文は、FAREG が、適合予測の効率性（小さな集合サイズ）とアルゴリズム的公平性の要求（均等化カバレッジ）との間のトレードオフをバランスさせることで、信頼性の高い機械学習への実用的な道筋を提供すると主張している。

• 表現力： 潜在表現を学習することにより、FAREG は線形手法や単一特徴のアプローチでは見逃される複雑なアルゴリズムバイアスを捉える。
• 解釈性： 潜在表現を使用しているにもかかわらず、エンコーダ・デコーダ構造により入力特徴の再構成が可能であり、「ブラックボックス」への懸念を軽減する。また、学習されたグループが意味のある特徴相互作用（例：XNOR 関係）を反映していることを示す。
• 頑健性： このフレームワークは、事前に定義されたグループ構造を必要とせずに、異なる公平性の概念に適応できる柔軟なアプローチを提供する。

著者は、表現ベースのグループの強化された表現力が、顕在特徴上で定義されたグループの直接的な解釈性を部分的に犠牲にする可能性を限界として認めているが、再構成能力がこれを補うと論じている。この研究は、グループ特定における表現力のギャップに対処することで、既存の適応的公平適合手法に対する進歩として位置づけられている。