Can Synthetic Data be Fair and Private? A Comparative Study of Synthetic Data Generation and Fairness Algorithms

技術的概要：合成データは公平かつプライバシー保護可能か？合成データ生成と公平性アルゴリズムの比較研究

問題定義
学習分析（LA）における機械学習（ML）の統合が進展する中、アルゴリズム的公平性とデータプライバシーに対する堅牢な解決策が求められています。合成データ生成器（SDG）は、実データを合成データに置き換えることでプライバシーを強化し、少数グループの代表性をバランスさせることで公平性を向上させるという二重の目的を持つツールとして登場しましたが、既存の文献はこれらの二つの目的間に逆相関関係があることを示唆しています。先行研究は主にプライバシーと有用性、あるいは公平性と有用性の間のトレードオフに焦点を当てており、広範な SDG にわたるプライバシー、公平性、有用性の三者間の関係性の理解にはギャップが残されています。さらに、前処理公平性アルゴリズムは実世界データに対して確立されていますが、合成データに適用された場合の有効性は未だ十分に探求されていません。本研究は、どの SDG がプライバシーと公平性のバランスを最もよく取っているか、そして前処理公平性アルゴリズムが合成データセットの公平性をさらに向上させることができるかを探求することで、これらのギャップに対処します。

手法
本研究は、3 つの実世界教育データセット（学生数学成績、オープン大学学習分析、法科大学院入学評議会データ）と4 つの機微属性（性別、障害、人種）を用いた比較実験デザインを採用しています。

1. 合成データ生成：5 つの異なる SDG を評価しました。

   • CTGAN：有用性に焦点を当てた条件付き表形式 GAN。
   • DistilGPT2（DGPT）：GReaT フレームワーク下で表形式データ生成に適応された大規模言語モデル。
   • ADSGAN：過学習とメンバーシップ推論リスクを低減するために正則化を用いる GAN ベースの手法。
   • PATE-GAN：差分プライバシー保証を提供するために教師アンサンブルのプライベート集約フレームワークと組み合わせた GAN。
   • DECAF：因果推論技術を用いてバイアスのある結果にペナルティを課し、公平な合成データを生成するように設計された GAN ベースのモデル。

2. 評価指標：

   • プライバシー：4 つの指標で評価しました。平均ジェンセン・シャノン距離（JSD）、ワッサーシュタイン距離（WD）、BNAF を用いたメンバーシップ推論攻撃（MIA）の精度、および k-匿名性スコア。
   • 公平性：3 つの指標で評価しました。絶対間受信者動作特性曲線下面積（ABROCA）、誤差率差（ERD）、および真陽性率差（TPRD）。これらは統合公平性スコアに集約されました。
   • 有用性：下流の ML モデル（ランダムフォレスト、ロジスティック回帰、ガウスナイーブベイズ、XGBoost）の予測精度（AUC-ROC）で測定しました。

3. 実験フロー：

   • RQ1（バランス）：合成データセットを生成し、プライバシーと公平性を評価しました。これらのデータセットでモデルを訓練し、実データでテスト（同一訓練・実データテストパラダイム）することで、客観的な比較を確保しました。
   • RQ2（改善）：4 つの前処理公平性アルゴリズム（抑制、相関除去、不均衡影響除去、再重み付け）を合成訓練データに適用しました。得られたモデルを再評価し、ベースラインモデルおよび実データで同じ前処理を適用して訓練されたモデルと比較して公平性の改善度を測定しました。

主要結果

• プライバシーと公平性のトレードオフ：本研究は、一方を最適化すると他方が損なわれるという複雑なトレードオフを確認しました。DECAFは、すべてのデータセットにおいてプライバシーと公平性のバランスを最もよく達成したアルゴリズムとして浮き彫りになりました。しかし、このバランスは有用性に大きな犠牲を伴うものでした。DECAF はすべての生成器の中で最も低い予測精度（AUC-ROC）を示しました。
• アルゴリズムの専門化：
  • DGPTとCTGAN（有用性重視）は、さまざまな程度の不均衡を示しました。DGPT は公平性側にやや傾き、CTGAN はプライバシーと公平性のスコア間で極端な格差を示しました。
  • PATE-GANとADSGAN（プライバシー重視）は、公平性を犠牲にしてプライバシーを優先しました。特に PATE-GAN は最も極端なトレードオフを示し、高いプライバシーを達成する一方で、いくつかのケースで最も低い公平性スコアを示しました。
• 前処理の有効性：合成データに前処理公平性アルゴリズムを適用することは、実データに適用する場合よりも公平性の改善をもたらしました。例えば、CTGAN に再重み付け（RW）または抑制（SUP）を組み合わせることで、データセット C において最大 21.5% の公平性向上という顕著な成果が得られました。
• アルゴリズムの感度：前処理アルゴリズムの有効性は均一ではありませんでした。特定の公平性技術は特定の SDG と組み合わせた場合に良好に機能しました（例：CTGAN は SUP と RW に反応が良好であったのに対し、ADSGAN はデータセット A において相関除去で否定的な結果を示しました）。

意義と貢献
本論文は、学習分析と AI 倫理の分野に対して以下の 3 つの主要な貢献を行います。

1. 三者関係の分析：プライバシー、公平性、有用性の間の三者関係を浮き彫りにする広範な実証研究を提供します。知見は、プライバシーと公平性が（DECAF に見られるように）共同最適化可能である一方で、両者はしばしば有用性（予測精度）と逆相関関係を示すことを示唆しています。
2. 合成データ＋前処理の優位性：本研究は、合成データ生成と前処理公平性アルゴリズムを組み合わせることは、実世界データにのみ公平性アルゴリズムを適用するよりも公平な予測をもたらすことを実証しました。これは、合成データが単に実世界のバイアスを継承するだけであり、バイアス軽減のための独自の道筋を提供しないという考え方に挑戦するものです。
3. 実践的ガイドライン：本研究は、利害関係者に対する実行可能な提言を提供します。有用性が二次的な場合、プライバシーと公平性のバランスにはDECAFが最適であり、プライバシーがクリティカルなシナリオにはADSGANが適し、公平性が主要な目標である場合はDGPTが好ましいことが示唆されます。さらに、合成データを生成した後に前処理公平性介入を行うというハイブリッドアプローチを、より公平な LA モデルを作成するための堅牢な戦略として提唱しています。

限界
著者は、合成データ生成の複数回の実行（これによりランダム性を低減できた可能性）を妨げた計算資源の制約、網羅的なリストではなく代表的な SDG の一部に焦点を当てたこと、および時系列や画像などの他の LA データタイプを除外した表形式データに限定されたことなどの限界を認めています。