Reliable fairness auditing with semi-supervised inference

技術概要：半教師あり推論による信頼性の高い公平性監査

問題定義
生体医学応用で展開される機械学習モデルは、保護属性（例：人種、性別）によって定義されるサブ集団間で不均衡を悪化させるバイアスを示すことがよくある。これらのバイアスを特定し軽減するには、「グループ公平性監査」が必要であり、これは真陽性率、偽陽性率、または較正などのモデル性能指標を異なるグループ間で評価するプロセスである。しかし、信頼性の高い監査には、微妙な性能格差を検出するために大量のラベル付きデータが必要となる。生体医学の文脈では、そのようなラベルの取得はコストがかかり、労働集約的であり、専門的な臨床知識（例：医療画像や退院サマリーの注釈付け）を必要とすることが多い。その結果、公平性監査は頻繁に半教師あり（SS）設定で実施される：少量のラベル付きデータセットが利用可能であり、それに加えてはるかに大規模なラベルなしデータセットが存在する。従来の教師あり監査手法はラベルなしデータを無視するため、分散が高く、格差を検出する検出力が低下する。公平性監査のための既存の半教師あり手法は、特定の指標に限定されているか、違反された場合にバイアスのある推論をもたらす可能性のあるパラメトリックな仮定に依存するか、監査中に利用可能な補助共変量を活用できていない。

手法：Infairness フレームワーク
著者らは、ラベル付きデータとラベルなしデータの両方を利用することで、広範な公平性基準を監査するために設計された統合的な半教師あり推論フレームワーク「Infairness」を提案する。この手法の中核は、モデルの予測（$S$）と補助共変量（$W$）を条件とした回帰モデルを用いて、ラベルなしデータにおける欠落した結果（$Y$）を補完することにある。

1. 問題設定：このフレームワークは、$n$ 個のラベル付きサンプル $\{(Y_i, X_i, W_i, A_i)\}$ と $N$ 個のラベルなしサンプル $\{(X_i, W_i, A_i)\}$ からなる検証データセットを仮定する。ここで $A$ はカテゴリカルな保護属性である。目的は、教師あり推定よりも高い効率で、グループ固有の性能指標（$M_a$）とその差（$\Delta M$）を推定することである。
2. 補完戦略：結果 $Y$ に依存する指標（例：TPR、FPR）の場合、この手法は作業モデルを用いて条件付き期待値 $E(Y | S, W, A=a)$ を推定する。このモデルは、予測 $S$ と補助共変量 $W$ の柔軟な非線形基底関数（具体的には自然スプライン）を利用する。パラメータは、ラベル付きデータにおけるペナルティ付き推定方程式を通じて推定される。
3. 推定：ラベルなしデータにおける欠落した結果は、適合されたモデルを用いて補完される。その後、グループ固有の指標は、各グループ内の大規模なラベルなしデータセット全体でこれらの補完値を平均化することで計算される。$Y$ に依存しない指標（例：$S$ または $D$ のみに依存するもの）の場合、この手法は単にラベルなしデータ上で平均化を行う。これにより、サンプルサイズが大きくなることに伴い、本質的に分散が減少する。
4. 頑健性：このフレームワークは、補完モデルの仕様に対して頑健に設計されている。切片、予測 $S$、および分類 $D$ を基底関数に含めることで、補完モデルの関数形式が誤って指定された場合でも、基底にこれらの主要項が含まれていれば、推定量は整合性を保つ。

主要な貢献と理論的結果

• 統合フレームワーク：Infairness は、精度、差別、較正など、広範な公平性指標に適用可能な一般的なアプローチを提供し、以前の SS 公平性手法（例：ベータ較正）が依存していた制限的なパラメトリック仮定に依存しない。
• 整合性と妥当性：著者らは、Infairness 推定量が対象となる公平性指標に対して整合的であり、推論手続き（信頼区間）が標準的な正則性条件下で妥当であることを証明した。これは、補完モデルが完全に指定されていない場合でも成り立つ。
• 効率性の向上：理論的分析により、Infairness 推定量は教師あり推定量よりも漸近分散が小さいことが示された。具体的には、補完モデルが $S$ 単独に含まれる情報を超えて $Y$ に関する情報を捉えている場合（すなわち $E(Y|S, W, A) \neq E(Y|A)$）、分散は厳密に減少する。
• 誤指定に対する頑健性：予測と結果の間の関係について特定のパラメトリック形式を仮定する手法とは異なり、Infairness は柔軟な基底展開を用いる。理論的結果は、作業モデルが誤って指定された場合でも、基底関数に必要な項（切片、$S$、$D$）を含んでいれば、推定量は整合性を保つことを示している。

実証結果
本論文は、Infairness を広範なシミュレーション研究と 2 つの実世界における生体医学監査を通じて評価している。

1. シミュレーション研究：

   • 様式化された設定において、Infairness は一貫して名目上の被覆確率を持つ不偏推定量を提供したのに対し、パラメトリック手法（ベータ較正）は、その仮定が違反された際に著しいバイアスと被覆不足に陥った。
   • 非線形性、相互作用、木ベースの構造などの複雑なデータ生成メカニズムを伴う従来の設定において、Infairness は低いバイアスと名目に近い被覆を維持した。
   • 効率性：Infairness は、教師あり推定および非パラメトリックなベースラインを一貫して上回った。補助共変量（$W$）が $Y$ に関する情報を含んでいる場合、$W$ を組み込んだモデル（例：Infairness($S \times W$)）は、$W$ を無視する手法と比較して、相対的な効率性の向上が 10〜37% 達成された。

2. 実世界への応用：

   • EHR 表現型分類（うつ病）：MIMIC-III データ（ラベル付き $n=872$、ラベルなし $N=28,766$）を用いて、人種グループ間でのうつ病検出モデルを監査した。Infairness は、格差推定量の分散を教師あり推定と比較して約 43.5% 削減し、これは同じ精度を達成するために必要なラベル付きサンプル数を 43.5% 削減することに相当する。
   • 医療画像（胸部 X 線）：性別グループ間での心拡大分類器を監査した（ラベル付き $n=500$、ラベルなし $N=64,740$）。Infairness は、TPR 格差において分散を 60.9%、FPR 格差において 56.3% 削減し、教師あり推定と比較して大幅な改善を示した。

意義と主張
本論文は、Infairness が生体医学における公平性監査の「ラベル不足」というボトルネックに対する実用的かつ統計的に厳密な解決策を提供すると主張している。豊富なラベルなしデータと補助共変量を効果的に活用することで、この手法はデータ注釈のコストを増やすことなく、サブグループ間の性能格差を検出する能力を高める。著者らは、この手法が効率性のために妥当性を犠牲にしないことを強調している。すなわち、モデルの公平性に関する過度に自信過剰で歪んだ結論をもたらす可能性のある強力なパラメトリック仮定に依存することなく、整合的な推定と妥当な推論を保証する。この研究は、医療分野における機械学習モデルが責任ある方法で、かつ公平に展開されることを保証する上で、半教師あり推論の価値を浮き彫りにしている。