Optimal Fairness under Local Differential Privacy

技術要約：ローカル差分プライバシー下における最適な公平性

問題提起
機械学習モデルは、高リスクの意思決定において機密性の高い属性（例：人種、性別）に依存することが増えており、公平性とプライバシーに関する懸念が高まっています。差分プライバシー（DP）はプライバシー保護の標準ですが、中央集権的DPは不公平性を悪化させる可能性があることが示されています。対照的に、ユーザーのデバイスからデータが送信される前に摂動を加えるローカル差分プライバシー（LDP）は、公平性との相互作用に関する研究が未だ不十分です。既存のLDPベースの公平性アプローチは、多くの場合、一般化ランダム応答（GRR）やランダム応答（RR）といった特定のメカニズムに依存しており、バイナリ（二値）の機密属性に限定されていることが頻繁にあります。本研究が取り組む核心的な問題は、バイナリおよび多値の機密属性に対してデータの不公平性を最小化しつつ、非自明なユーティリティを維持するように、いかにLDPメカニズムを最適に設計するかであり、さらに、このデータの不公平性の減少が、いかに分類の公平性の向上へと理論的に結びつくかを確立することです。

手法
著者らは、モデルの学習前に機密属性を最適なLDPメカニズムを用いて摂動させる前処理フレームワークを提案しています。この手法は、理論的導出と実証的検証の2段階に分かれています。

1. 最適メカニズムの導出:

   • バイナリ属性: バイナリ機密属性（$A \in \{0, 1\}$）に対し、著者らは閉形式の最適解を導出します。彼らは、固定されたプライバシー予算 $\epsilon$ の下で、摂動後のデータセットにおけるデータの不公平性と元のデータセットとの比率を最小化する問題として定式化します。最適メカニズムは、データの分布（具体的には属性に対するラベルの条件付き確率）およびプライバシーパラメータに依存することが示されます。標準的なRRとは異なり、最適メカニズムは必ずしも両方のクラスを対称に扱うわけではありません。どちらのクラスがより一般的であるか、あるいは差別的であるかに基づいて、真の値を報告する確率を調整します。
   • 非バイナリ属性: 多値属性（$A \in [k]$）の場合、問題はmin-max 線形分数計画問題として再定式化されます。目的関数は、以下の制約条件下で、データの不公平性指標（具体的には定義1の $\Delta$）を最小化することです。
     • $\epsilon$-LDP 制約
     • 行和が1となる制約（row-stochastic constraints）
     • 真実性の制約（正しい報告の確率 $\ge$ 誤った報告の確率）
     • ユーティリティ制約（総エラー確率を閾値 $\zeta$ に制限する）
       この最適化問題は、分枝限定法（branch-and-bound method）を用いて数値的に解かれます。

2. 分類の公平性への理論的結合:
   本論文は、データの不公平性を最小化することと、分類の不公平性を減少させることの間の理論的なつながりを確立しています。著者らは、差別・精度（DA）最適分類器（精度と差別の両面において、他のいかなる分類器にも厳密に支配されない分類器）という概念を導入しています。著者らは、DA最適分類器において、より低い不公平性（具体的にはより低い $\Delta'$）を持つデータで学習することが、結果として得られる分類器の統計的パリティ・ギャップの減少を保証することを証明しています。

3. 実験的検証:
   提案された最適メカニズム（OPT）は、多様なデータセット（Adult, LSAC, COMPAS, Bank, Student Performance, German Credit）を用い、LightGBMおよびロジスティック回帰によって評価されています。

   • ベースライン: OPTは、標準的なLDPメカニズム（GRR/RR, Subset Selection）および最先端の公平性介入手法（FairProjection, FairBalance）と比較されます。
   • 指標: パフォーマンスは、精度（Accuracy）、統計的パリティ（$\Delta_{SP}$）、等価機会（$\Delta_{EO}$）、および平均等価オッズ（$\Delta_{MEO}$）を通じて測定されます。

主な貢献

• 最適メカニズムの設計: 本論文は、バイナリ機密属性のための初の閉形式の最適LDPメカニズム、および非バイナリ属性のための、データの不公平性を最小化するための扱いやすい数値的フレームワークを提供します。
• 理論的正当化: DA最適分類器において、LDPによる前処理を通じてデータの不公平性を減少させることが、分類の不公平性の減少に直接つながることを証明し、プライバシーを考慮した前処理とダウンストリームの分類の公平性の間の溝を埋めています。
• 実証的な優位性: 提案されたOPTメカニズムは、不公平性を減少させつつ、非プライベートなベースラインと同等の精度を維持する点で、既存のLDPメカニズム（GRR, SS）を一貫して上回っています。
• 優れたトレードオフ: 専用の前処理（FairBalance）および後処理（FairProjection）による公平性手法と比較して、OPTはより良好な精度と公平性のトレードオフを実現しつつ、同時に機密属性のプライバシーを保持しています。

結果

• バイナリ属性: AdultおよびLSACデータセットにおいて、OPTは統計的パリティおよび等価機会のギャップを大幅に減少させ（例：LSACではギャップをほぼ半分に削減）、RRおよびSSと同等の精度を維持しています。
• 非バイナリ属性: 多値属性（例：人種、家族所得）について、数値的に解かれたOPTメカニズムは、特に高いプライバシー予算（$\epsilon$）において、GRRおよびSSよりも低い公平性ギャップを達成し、精度の損失は無視できる程度です。
• 公平性手法との比較: 同等の精度レベルでFairProjection（後処理）およびFairBalance（前処理）と比較した場合、OPTは一般に、より低い公平性ギャップをもたらします（例：COMPASデータセットにおいて、OPTはFairProjectionと比較して $\Delta_{SP}$ を26.8%から24.3%に減少させました）。Bankデータセットにおいて、OPTはFairBalanceよりも高い精度（90.1% vs 84.5%）と低い $\Delta_{EO}$ を達成しました。
• 統合: OPTは[13]の2ステップ・フレームワークにおいてRRを正常に置き換えることができ、プライバシー保護された機密属性のみが利用可能な設定における適応性を示しています。

意義と主張
本論文は、ローカル差分プライバシー（LDP）が、公平性を高めるための原理に基づいた効果的な前処理介入として機能することを主張しています。中央集権的DPは、公平性と根本的に相容れない可能性があるのに対し、LDPは、プライバシー保護に内在するランダム化がデータの不公平性を積極的に緩和できるメカニズムを提供します。著者らは、本研究を、プライバシーを考慮した前処理と分類の公平性を直接結びつけるものとして位置づけ、機密属性の最適な摂動が、モデルのユーティリティを犠牲にすることなくバイアスを軽減するための、単純かつ強力なツールであることを示しています。結果は、LDPが単なるプライバシー保護ツールではなく、機械学習パイプラインにおける公平性増幅のための実行可能な戦略であることを示唆しています。