Fair Supervised Learning Through Constraints on Smooth Nonconvex Unfairness-Measure Surrogates

技術要約：滑らかな非凸不公平性尺度サロゲートに対する制約を通じた公平な教師あり学習

問題提起
金融、刑事司法、採用、ヘルスケアなどの領域で効果を発揮している教師あり機械学習モデルは、しばれて差別的な結果を招くバイアスを継承、あるいは導入してしまう。これらのバイアスは、異なるデモグラフィック・グループ間における予測の不公平さとして現れる。不公平性を緩和するための既存の戦略は、一般に前処理、インプロセッシング（学習プロセス内での処理）、または後処理のカテゴリに分類される。本論文は、インプロセッシング戦略、具体的にはモデル訓練に使用される最適化問題への不公平性尺度の組み込みに焦点を当てている。

現在の手法は、以下のような計算上および理論上の課題に直面している：

1. 非平滑性と非凸性： 不公平性の尺度（例：デモグラフィック・パリティ、ディスパレート・インパクト）を直接定式化すると、不連続なヘヴィサイドのステップ関数を伴うため、解くことが困難な非凸かつ非平滑な最適化問題が生じる。
2. 凸サロゲートの限界： 計算上の困難に対処するため、研究者は凸サロゲート（例：共分散ベースの近似）を用いることが多い。しかし、これらは元の不公平性尺度が許容範囲内に留まっていることを保証しない。サロゲートの値が小さいからといって、実際の不公平性が小さいとは限らないのである。
3. 正則化の限界： 公平性を強制するために正則化項（ソフト制約）を広く用いる手法は、高価なハイパーパラメータ・チューニングを必要とする。さらに、不公平性を減らすために正則化の強度を高めると、予測精度が著しく低下することがあり、正則化パラメータと結果としての不公平性の関係は、非単調で制御が困難であることが多い。
4. 複数の尺度の扱い： 正則化を通じて、潜在的に競合する複数の不公平性尺度をバランスさせようとする戦略は、しばしば手に負えない訓練問題をもたらし、さらなるチューニングコストを生じさせる。

手法
著者らは、滑らかな非凸サロゲートとハード制約を組み合わせた新しいインプロセッシング戦略を提案している。

1. 滑らかな非凸サロゲート：
   凸近似や不連続なステップ関数を使用する代わりに、著者らはヘヴィサイド関数を近似するための、滑らかで有界な非凸サロゲートを導入している。具体的には、以下の2つの近似が利用されている：

   • シグモイド関数
   • 最適化文献の平滑化技術（具体的には、平方根項を介して平滑化された区分的アフィン近似）から導出された平滑化ステップ関数。
     決定的なのは、これらのサロゲートが$[0, 1]$の範囲で有界であり、ステップ関数に密接に近似するようにスケーリング（パラメータ$\alpha$を介して）されている点である。著者らは（先行研究から導出された定理2.1により）、サロゲートの値が十分に0または1に近い場合、サロゲートの値が小さければ実際の経験的不公平性尺度も小さくなることを証明している。この緊密な近似は、無界な線形または凸サロゲートでは保証されない。

2. ハード制約：
   不公平性尺度を目的関数に正則化項として加えるのではなく、著者らは訓練問題を以下の制約付き最適化問題として定式化している：
   $$\min_w \sum_{i \in [N]} \ell(N(x_i, s_i, w), y_i) + \frac{1}{\lambda}r(w) \quad \text{subject to} \quad l \leq c(w) \leq u$$
   ここで、$c(w)$は、一つまたは複数の不公平性尺度（例：ディスパレート・インパクト、イコール・インパクト）のベクトル値サロゲートを表す。境界$l$と$u$は、不公平性の許容範囲を直接強制する。

   • 計算の実行可能性： 著者らは、これらの非凸制約問題を効率的に解くために、最新の確率的ニュートン法/逐次二次計画法（SQP）の手法を活用している。
   • 確率的勾配： 定理3.1は、ミニバッチが各センシティブ・グループからバランスの取れたサンプル数を維持している場合、制約関数に対して不偏な確率的勾配推定値が得られることを示している。

主な貢献

1. 緊密なサロゲート近似： 本論文は、理論的な保証を提供する、滑らかで非凸かつ有界なサロゲートを導入している。すなわち、サロゲート制約が満たされていれば、実際の不公平性尺度も抑え込まれるという保証である。これは、凸サロゲートにおいて、小さなサロゲート値が低い不公平性を保証しないこととは対照的である。
2. ハード制約 vs 正則化： 著者らは、正則化としてではなくハード制約を使用することを提案している。これにより、高価な正則化パラメータのチューニングを排除し、正則化ベースのアプローチで見られる非単調な挙動を回避できる。これにより、特定の不公平性の許容範囲を明示的に強制することが可能になる。
3. 複数尺度へのスケーラビリティ： 本フレームワークは、単一の最適化問題内で、潜在的に競合する複数の不公平性尺度を自然に扱うことができる。これにより、複数の正則化重みをチューニングすることに伴う計算上の爆発を回避できる。

実験結果
著者らは、3つのベンチマークデータセット（Dutch：所得予測、センシティブ属性：性別、Law School：司法試験合格、センシティブ属性：人種、ACSIncome：所得予測、センシティブ属性：性別）を用いて、提案手法を評価した。

• サロゲートの緊密性： 実験により、スケーリングされていないサロゲートは、望ましい公平性と実際の公平性の間に乖離が生じることが示された。しかし、サロゲートをスケーリング（例：$\alpha=50$）した場合、平滑化ステップ関数およびシグモイド関数の両方において、実現された公平性レベルは課された制約と密接に一致した。対照的に、共分散ベースのサロゲートでは、特定の制約値と望ましい公平性を結びつけることが困難であった。
• 制約 vs 正則化： 提案された「制約のみ」のアプローチと「正則化のみ」のアプローチを比較した結果、制約法は閾値を厳しくするにつれて公平性が単調に改善したのに対し、正則化法は予測不能で非単調な挙動を示した。制約法は、公平性制約が有効になった際にも高い予測精度を維持したが、正則化法は厳格な公平性を強制しようとすると、しばしば大幅な精度の低下に見舞われた。
• 複数尺度： 本フレームワークは、ディスパレート・インパクトとイコール・インパクトに対する同時制約を正常に強制した。複数の制約を追加することは単一の制約よりも精度をわずかに低下させたが、手法は両方の基準を一貫して満たしており、複雑な公平性要件を扱う際の堅牢性を示した。

意義と主張
本論文は、そのアプローチが公平な教師あり学習のための実行可能な訓練パラダイムを提供すると主張している。単一の制約付き最適化問題を解くことで、実務者は不公平性の正則化パラメータをチューニングするという計算上の負担を負うことなく、規定された不公平性の限界を満たすモデルを得ることができる。著者らは、制約付き非凸問題を解くことは、制約なしの問題よりも1イテレーションあたりの計算コストは高くなるものの、広範なハイパーパラメータ探索を排除することで、全体的な計算コストは削減されることを強調している。本手法は、高い予測精度と並んで厳格な公平性の保証が求められる現実世界のアプリケーションに対する、堅牢なソリューションとして提示されている。