Fair Decisions from Calibrated Scores: Achieving Optimal Classification While Satisfying Sufficiency

技術要約：較正されたスコアからの公平な決定

問題提起
教師あり機械学習において、予測確率（スコア）に基づく二値分類は基本的である。単一の決定論的な閾値をスコアに適用することは、制約のない設定ではベイズ最適であるが、一般には統計的なグループ公平性の制約に違反する。具体的には、本論文は、二値分類における充足性（sufficiency）（予測パリティまたはグループ較正とも呼ばれる）を達成するという課題に取り組んでいる。

充足性は、決定結果（決定の出力）を条件としたとき、正のラベルの出現率が保護されたグループ間で同一であることを要求する。本論文で強調されている重要な洞察は、単純な後処理の下では充足性が保持されないということである。たとえスコアが完全にグループ較正されている場合（すなわち、$P(Y=1|S=s, A=a) = s$）であっても、これらのスコアを二値の決定に変換するために単一の閾値を適用すると、通常、充足性の違反が生じる。これは、インデペンデンス（人口統計学的パリティ）やセパレーション（等価オッズ）といった他の公平性基準とは対照的である。これらの基準では、スコア自体が基準を満たしていれば、単一の閾値で十分である。

充足性を強制する既存のアプローチは、連続的なスコア分布（フルサポートを持つもの）という強い仮定に依存しているか、あるいは近似的な目的関数へと制約を緩和することに依存している。しかし、多くの実用的なシステムは、離散的で有限の値を持つスコアを扱うため、これらの仮定は無効となる。

手法
著者らは、有限の値を持ち、グループ較正されたスコアを前提とした、最適な二値（ランダム化）分類のための厳密な解を提案する。その手法は、主に以下の3つの段階で進行する。

1. 実行可能領域の幾何学的特徴付け:
   著者らはまず、有限の値を持つグループ較正されたスコアを用いた単一グループにおける、陽性的予測値（PPV）と偽陰性率（FOR）のすべての達成可能なペアの集合を特徴付ける。彼らは、$(p, q)$ 平面（ここで $p$ はPPV、$q$ はFOR）における「実行可能領域」$C$ を定義する。

• 彼らは、この領域がベースレート $\pi$ の点 $(\pi, \pi)$ に対して**星型凸（star-convex）**であることを証明する。
• この領域の境界 $\partial C$ は、区分的な双曲線弧と直線セグメントからなる、連続かつ非減少の曲線であることが示されている。
• 境界は選択率 $\mu$（1と予測する確率）によってパラメータ化される。最適な境界点は、「ソフト」な閾値ルールによって達成される。これは、ある一定のビンより上のスコアに対しては決定論的に1と予測し、下のスコアに対しては0と予測し、境界となるビン上でランダム化を行うものである。

2. 複数グループへの交差:
   複数のグループ（例：$A=0$ と $A=1$）にわたって充足性を満たすためには、決定ルールがすべてのグループに対して同一の $(p, q)$ ペアをもたらさなければならない。これは、個々の実行可能領域の交わり $C_0 \cap C_1$ を見つけることに対応する。

• 著者らは、この交差の境界 $\partial(C_0 \cap C_1)$ が、個々のグループの境界の点ごとの最大値 $q(p) = \max\{q_0(p), q_1(p)\}$ であることを特徴付けている。
• この交差の境界もまた区分的に定義されており、各グループの離散的なスコアビンによって定義される区間を反復することで効率的にトレースできることを示している。

3. 最適化アルゴリズム:
   幾何学的特徴付けに基づき、著者らはアルゴリズム1を導出する。これは後処理の手順である。

• アルゴリズムは、グループ較正されたスコアとグループ属性のみを入力として受け取る。
• アルゴリズムは、交差境界 $\partial(C_0 \cap C_1)$ のセグメントを反復処理する。
• 各セグメント内で、任意の目的関数（損失最小化やセパレーションからの逸脱など）を評価して最適な点を見出す。
• アルゴлоズムは、決定論的な閾値ルールと独立なベルヌーイ乱数の混合物として最適な分類器を構築し、出力が充足性を正確に満たすことを保証する。

主な貢献

• 厳密な特徴付け: 本論文は、有限の値を持つグループ較正されたスコアに基づく分類器における、達成可能な $(PPV, FOR)$ ペアの完全な幾何学的記述を提供し、境界が双曲線弧の区分的な曲線であることを特定している。
• 最適な後処理: 元の予測器を再学習したり生の変数にアクセスしたりすることなく、広範な目的関数（損失最小化を含む）に対して最適な充足的分類器を構築するための、単純で厳密なアルゴリズムを提示している。
• 離散スコアへの対応: 連続的なスコア分布を必要とする先行研究とは異なり、本手法は実用的に重要な設定である有限かつ離散的なスコア向けに特別に設計されている。
• トレードオフ分析: 本フレームワークは、セパレーション（等価オッズ）からの逸脱を最小化しながら充足性を満たす分類器を明示的に最適化することを可能にする。これは、これら2つの基準が一般に両立しないことを認識した上でのものである。

結果
著者らは、3つの経験的なケーススタディを通じて手法を検証している。

1. FICOスコア: クレジットworthiness（信用力）データを用い、アルゴリズムは、グループを考慮しないグループ認識ベイズ分類器の精度 0.8819 に対し、0.8676 の精度で予測パリティ（共通のPPVおよびFOR）を満たす分類器を生成した。一方のグループにはランダム化（実行可能領域の内部）が必要であり、もう一方は決定論的な閾値を用いた。
2. COMPASスコア: 再犯リスクデータを用い、本手法は充足性を満たしながら 0.6563 の精度を達成した。最適な点は、「黒人」グループではブレークポイント（決定論的閾値）上にあり、「白人」グループでは内部にある。
3. ACS所得: 所得予測におけるエンドツーエンドの実装において、後処理された分類器は、平均絶対PPVギャップを $3.6 \times 10^{-2}$ から $4.8 \times 10^{-3}$ へ、FORギャップを $3.3 \times 10^{-2}$ から $3.7 \times 10^{-3}$ へ減少させつつ、0.8167 の精度（制約なしの 0.8190 に対比）を達成した。

さらに、ロバストネス分析により、入力スコアが近似的に較正されている場合でも、結果として生じる予測パリティの違反は、最大較正誤差の2倍によって線形に制限されることが示されている。

意義と主張
本論文は、単純な閾値処理が公平性を保持できない問題に対し、厳密かつ正確な解を提供すると主張している。実行可能領域の幾何学的構造を利用することで、著者らは、後処理されたスコアのみを用いて、精度と充足性の間の最適なトレードオフを見つけることを可能にしている。

著者らは、本手法が生の変数や追加のラベル、あるいは予測器の再学習を必要とせず、高リスクな領域において公平な決定をデプロイするための実用的なツールであることを強調している。また、限界についても認めており、保護されたグループの数が増えるにつれ、実行可能領域の空な交わりという要件がより厳格になり、厳密な充足性が不可能になる可能性があるとしている。したがって、将来の研究では、より多くのグループ間での差異を最小化するために、厳密な充足性を緩和することに焦点を当てる可能性があるとしている。結論として、本論文のアプローチは、アルゴリズムによる意思決定において、精度と社会的要請のバランスを取るための新しいツールを提供すると述べている。