技術要約：予測的公平性のための関数的バイレベル最適化

問題定義

標準的な機械学習モデルは、機微な属性（例：年齢、所得、デモグラフィック・スコア）に関連する統計的信号を不当に利用することがあり、これが予測の不公平性を招く。公平性はしばしば、予測と機微な属性との間の完全な統計的独立性を強制するものとして枠付けられるが、このアプローチは、特に機微な属性が連続的かつ高次元である場合には、あまりに制約が強すぎる場合が多い。完全な独立性は予測分布全体を制約してしまうが、実用上の公平性の懸念は、多くの場合、機微な属性の値に応じた平均的な予測の系統的なシフトを制御することに限定される。

連続的な属性に対する既存の緩和策は、間接的な依存関係のペナルティ（例：HSIC、相互情報量）、敵対的スキーム、または線形依存性制約に依存している。これらの手法は、条件付き平均を制御するという特定の公平性・精度トレードオフを直接的にターゲットにすることに失敗するか、あるいは低次元または離散的な属性に限定されている。

著者らは、このギャップに対処するため、機微な属性に基づく条件付き平均の分散を最小化することとして定式化された平均デモグラフィック・パリティ（Mean Demographic Parity）を最適化することを提案する。この指標はDPVarと呼ばれる：
$$\text{DPVar}(\omega) = \text{Var}_A \left( \mathbb{E}[f_\omega(X) \mid A] \right)$$
ここで、$f_\omega$ は予測器であり、$A$ は機微な属性である。

手法

関数的バイレベル定式化

DPVarの最適化は特有の課題を提示する。目的関数は、未知でありデータから推定されなければならない条件付き平均関数 $h^\star_\omega(a) = \mathbb{E}[f_\omega(X) \mid A=a]$ に依存する。著者らはこれを、以下の関数的バイレベル最適化問題として定式化している：

1. 内側問題（Inner Problem）： 予測器の出力と機微な属性の関数の間の二乗誤差を最小化することにより、条件付き平均関数 $h^\star_\omega$ を推定する：
   $$h^\star_\omega \in \arg\min_{h \in \mathcal{H}} \mathbb{E}[(f_\omega(X) - h(A))^2]$$
2. 外側問題（Outer Problem）： 予測精度と、内側問題の解 $h^\star_\omega$ に依存するDPVarペナルティとのトレードオフを最小化するように、予測器のパラメータ $\omega$ を最適化する：
   $$\min_\omega \mathbb{E}[(f_\omega(X) - Y)^2] + \alpha \text{Var}_A(h^\star_\omega(A))$$

内側の変数が有限次元のパラメータベクトルではなく関数であるため、これは関数的バイレベル問題となる。

提案アルゴリズム

本論文では、楽観的なバイアスを防ぐために、IN（内側推定用）とOUT（外側評価用）に分割されたデータ分割を利用する2つのアルゴリズムを紹介する。

1. FBO (Functional Bilevel Optimization):

   • メカニズム： この手法は、二乗誤差の内側問題が持つ特定の構造を利用する。著者らは、外側パラメータに対する内側解の感度に関する**閉形式のアドジョイント（closed-form adjoint）**を導出した。
   • 利点： この導出により、厳密でヘッシアンフリーなハイパーグラディエントが得られる。ヘッシアンの逆行列や内側のヤコビアンを計算する計算コストを回避でき、外側のステップごとに1回の内側回帰と2つの経験的平均のみを必要とする。
   • 制限： 二乗誤差の内側目的関数に特化している。

2. ITD (Iterative Differentiation):

   • メカニズム： この手法は、内側の最適化ステップをアンロール（展開）する、より広範な戦略を用いる。内側の回帰器は $K$ ステップの勾配降下ステップで更新され、外側の目的関数はこのアンロールされた計算グラフを通じて微分される。
   • 利点： 非二乗誤差の内側目的関数（例：Huber損失）にも適用可能な汎用性があり、内側のヘッシアンの閉形式の逆行列を必要としない。
   • トレードオフ： 近似的であり、FBOと比較して（$K$ に比例して）外側のステップあたりの計算コストが高くなる。

主な貢献

1. DPVar基準： 連続的かつ高次元の機微な属性のために特別に設計された公平性基準としてDPVarを採用し、完全な独立性から条件付き平均の視点へと移行した。
2. 関数的バイレベルフレームワーク： DPVarの最適化を、ニューラルネットワーク予測器と自然に統合される関数的バイレベル問題として定式化した。これは、従来の条件付き平均アプローチではカバーされていなかった領域である。
3. アルゴリズムの革新：
   • 二乗誤差ケースのための閉形式のアドジョイントの導出により、厳密なFBOアルゴリズムを実現した。
   • 反復微分による広範な適用性を備えたITDアルゴリズムの開発。
4. 半合成ベンチマーク： 60個の実在する表形式回帰データセットから構築された、大規模で標準化された評価スイートの作成。このベンチマークは、制御された非自明な公平性・精度トレードオフのシナリオを提供するために、特徴量から連続的な機微な属性を自動的に構築する。

実験結果

提案手法は、HSIC、敵対的デバイアス、線形依存性ペナルティ、および一般化デモグラフィック・パリティ（GDP）を含む強力なベースラインに対して、合成データおよび新しい半合成表形式ベンチマークを用いて評価された。

• 合成データ： 不公平性が一階モーメントのシフトによって引き起こされるレジームでは、すべての手法が同様の性能を示す。しかし、予測問題がより複雑になり（機微な特徴量と非機微な特徴量の間の相互作用が導入される）、FBOとITDは一貫して優れた公平性・精度トレードオフを達成する。これらは、完全な分布の独立性に依存する手法（HSIC、敵対的）や線形ペナルティの手法よりも優れている。後者は制約が強すぎるか、あるいは非線形効果を見逃している。
• 表形式ベンチマーク： 27個の情報豊富なデータセットにおいて、FBOとITDはDPVar制約下で最も低い、あるいはそれに近い集計精度後悔（aggregate accuracy regret）を達成した。
  • 厳格および中程度の公平性予算の下では、FBOとITDが最も多く勝利する。
  • 緩やかな予算の下では、GDPが強力な競合相手となる。
  • 両提案手法は、HSIC、敵対的、および線形依存性のベースラインを一貫して並ぶか、あるいは上回る。

意義と主張

本論文は、DPVarが完全な分布ではなく条件付き平均をターゲットにすることで、より適切かつ推定可能な公平性尺度を提供すると主張している。本研究の意義は以下の通りである：

• 間接的な敵対的またはカーネルベースのペナルティを避け、この特定の公平性基準に対する直接的な最適化パスを提供したこと。
• 関数的バイレベル最適化が、現代のニューラルネットワーク予測器に対して実用的かつ効率的（FBOを介して）になり得ることを示したこと。
• 手選りのデータセットを超えて、連続的な属性における公平性手法を体系的に評価するための標準化されたベンチマークを提供したこと。

範囲と限界：
著者らは、DPVarは平均パリティ基準であることを明示している。これは平均的な予測の系統的なシフトを制御するが、高次のモーメント（分散、裾）の等価性や、完全な分布の公平性を保証するものではない。したがって、完全な分布の等価性を必要とするアプリケーションにおいて、全体的な公平性の証明として解釈されるべきではない。さらに、この手法は条件付き平均関数の推定に依存しており、高次元においては統計的に困難な場合がある。また、ベンチマークは、元のデータセットに関する特定の法的または社会的公平性の主張を行うためではなく、方法論的な評価を行うために設計された半合成のものである。