技術要約：サブグループ公平性のための二重回帰アプローチ

1. 問題提起

本論文は、複数の敏感な属性（例：性別、人種、年齢）が存在する場合における、機械学習の**サブグループ公平性（subgroup fairness）**の達成という課題に取り組んでいる。周辺的な公平性（個々の属性に対する公平性）は十分に研究されているが、これは「公平性のゲリマンダー（fairness gerrymandering）」（Kearns et al., 2018a;b）、すなわち、複数の属性が交差する部分において深刻な差別が存続してしまう問題を解決できない。

形式的には、$q$ 個のバイナリ敏感属性がある場合、$2^q$ 個のサブグループが存在する。これらすべてのサブグループに対して分布的公平性を強制することは、以下の2つの決定的な障壁に直面する：

1. データの希薄性（Data Sparsity）： $q$ が増加するにつれ、多くのサブグループに含まれるサンプル数が非常に少なくなり、モデル推定の不安定化や不正確な公平性の保証を招く（Molina & Loiseau, 2023）。
2. 計算負荷（Computational Burden）： 公平性の制約数は $q$ に対して指数関数的に増加する。すべてのサブグループにわたって公平性を測定しようとする既存の敵対的アプローチは、計算量的に実行不可能となる。

さらに、既存の手法は、周辺的公平性（個々の属性に対する公平性）とサブグループ公平性を同時に保証できないことが多い。あるいは、より弱い公平性の概念（例：デモグラフィック・パリティ）に依存している。

2. 手法

2.1 サブグループ・サブセット公平性

データの希薄性を解決するために、著者らは、十分なサンプルサイズを持つ**「アクティブな」サブグループに焦와し、同時に周辺的サブグループ**（単一の敏感属性によって定義されるサブグループ）を明示的に含めることで、周辺的公平性を確保することを提案している。

彼らは、サブグループ・サブセット公平性を定式化している。ここで、「サブグループ・サブセット」$W$ は特定のサブグループの和集合である。目標は、サンプルサイズが小さすぎないように選択された、サブグループ・サブセットの集合 $\mathcal{W}$ に対して分布的公平性を強制することである。

2.2 至近積分確率距離（supremum Integral Probability Metric: supIPM）

著者らは、分布的公平性の尺度として**至近積分確率距離（supremum IPM: supIPM）**を導入している。サブグループ・サブセットの集合 $\mathcal{W}$ に対して、公平性のギャップは次のように定義される：
$$\Delta_{\psi, \mathcal{W}}(f) = \sup_{W \in \mathcal{W}} \psi(P_{f,W}, P_{f,W^c})$$
ここで、$\psi$ は偏差の尺度（具体的にはIPM）である。著者らは、経験的supIPMの推定誤差が、全サブセット数 $|\mathcal{W}|$ ではなく、サブセット内の最小サンプルサイズ（$n_W$）に依存することを証明しており、これによりアクティブなサブセットに焦点を当てることの妥当性を示している。

2.3 二重回帰敵対学習（Doubly Regressing Adversarial Learning: DRAF）

supIPMを直接最適化することは、各 $W \in \mathcal{W}$ に対して個別の識別器を見つける必要があるため、計算コストが高い。これを克服するために、著者らは二重回帰 $R^2$（Doubly Regressing $R^2$: DR2）に基づく代理公平性ギャップを提案している。

• 理論的基礎： 入力がモデルの予測であり、出力がサブセットへの所属を示すラベルである回帰設定において、IPMと決定係数（$R^2$）の間の関係を確立している。
• 代理指標： 識別器の出力 $g(f(x))$ と、サブセット指標の加重結合 $v^\top c_i$ を同時に回帰する二重回帰 $R^2$、すなわち $DR^2(f, v, g)$ を定義する。
• 主要な革新： 提案手法である**DRAF（Douplay Regressing Adversarial learning for Fairness）**は、以下の代理ギャップを最適化する：
  $$DR_{n, \mathcal{W}, \mathcal{G}}(f) := \sup_{g \in \mathcal{G}, v \in S_M} \tilde{z}\text{-}DR^2(f, v, g)$$
  極めて重要な点として、この定式化は、サブグループ・サブセットの数 $|\mathcal{W}|$ に関わらず、単一の識別器 $g$ と重みベクトル $v$ のみを必要とする。これにより、計算複雑度がサブセット数に対して指数関数的から線形へと減少する。
• 最適化： アルゴリズムは、予測器 $f$ と、識別器および重みペア $(g, v)$ を交互のミニマックス形式で訓練する。理論的分析により、この代理ギャップが真のsupIPMの上界として機能することが証明されている。

3. 主な貢献

1. サブグループ・サブセット公平性の定式化： アクティブなサブグループ・サブセットと周辺グループに焦点を当てることで、データの希薄性と交差的な公平性の必要性のバランスを取る、新しい公平性の概念を提示した。
2. supIPMの導入： サブグループ・サブセットのための分布的公平性の尺度を導入し、その推定誤差に関する理論的境界を提示した。
3. DRAFアルゴリズム： 単一の識別器を用いて、二重回帰 $R^2$ 代理指標を通じてsupIPMを近似する、計算効率の高い敵対的学習アルゴリズムを提案した。著者らは、この代理指標が対象となる指標の上界であることを証明している。
4. 実証的検証： 高次元の敏感な属性と希薄なサブグループが存在するシナリオにおいて、DRAFがベースライン手法（正則化、GerryFair、逐次マッピング）を凌駕することを実証した。

4. 実験結果

著者らは、4つのベンチマークデータセット（ADULT、DUTCH、CIVILCOMMENTS、および $q=18$ で極端な希薄性を持つCOMMUNITIES）を用いてDRAFを評価した。

• 希薄なデータにおける性能： ほとんどのサブグループが極めて小さいCOMMUNITIESデータセットにおいて、DRAFはサブグループ公平性（SP）と一次の周辺的公平性（MP(1)）の両方において、ベースラインを大幅に上回った。GerryFair（最悪ケースのサブグループ格差に焦点を当てたもの）や正則化（周辺的格差に焦点を当てたもの）といったベースライン手法は、これらを同時に達成することに失敗した。
• 精度と公平性のトレードオフ： DRAFは、すべてのデータセットにおいて競争力のある精度と公平性のトレードオフを実現した。希薄性が少ないデータセット（ADULT、DUTCH）では、ベースラインと同等またはそれ以上の性能を示した。
• 相関分析： 実験により、DRAFはサブグループと周辺的公平性の両方を効果的に制御できることが示された。一方で、一方の次元のみに焦点を当てた手法は、もう一方の次元を劣化させることが多い。
• 堅牢性： 本手法は、ノイズのある（欠損した）敏感な属性に対しても堅牢であることを示した。これは、サンプルを破棄することなく、観測可能なサブグループ・サブセットに対してのみ公平性の制約を適用できるためである。
• 拡張性： このアプローチは、多クラス分類および等価オッズ（Equalized Odds: EO）の公平性制約にも拡張可能であることが示された。

5. 意義と主張

本論文は、DRAFがサブグループ公平性における「次元の呪い」に対する実用的な解決策を提供すると主張している。すべての $2^q$ 個のサブグループから、精選されたアクティブなサブグループ・サブセットへと焦点を移し、単一の識別器を用いた代理指標を利用することで、DRAFはデータの希薄性と計算の困難さという二つの問題を解決している。

著者らは、彼らのアプローチが、デモグラフィック・パリティのようなより弱い指標に頼ることなく、分布的公平性（最も強力な公平性の概念）を保証することを強調している。周辺的公平性が明示的に強制されている限り、小さなサブグループを無視することは、集団レベルの公平性の観点から統計的に妥当であると彼らは主張している。結論として、DRAFは、従来のメソッドが計算量的に不可能であったり統計的に不安定であったりした、複数の敏感な属性を持つ複雑で現実世界のシナリオにおいて、公平なAIモデルの展開を可能にするものである。