Fair Dataset Distillation via Cross-Group Barycenter Alignment

論文「Fair Dataset Distillation via Cross-Group Barycenter Alignment (COBRA)」の詳細な技術的サマリーを以下に示す。

1. 問題定義

データセット蒸留（Dataset Distillation: DD）は、元のデータで学習したモデルの予測性能を維持しつつ、大規模な実データセットを小規模な合成データセットに圧縮することを目的としている。しかし、医療や金融などの高リスクなアプリケーションに展開される場合、標準的な DD 手法はグループ公平性を維持できないことが多い。

本論文は、以下の 2 つの重要な課題を特定している：

1. バイアスの増幅： 蒸留プロセスは、元データに存在するバイアスを増幅する傾向がある。蒸留データで学習したモデルは、マイナーなサブグループにおいて性能が大幅に低下し、大きな公平性ギャップ（Equalized Odds Difference: EOD で測定）が生じる。
2. 原因の誤解： 従来の研究では、これらのギャップを単にグループの不均衡（サンプル数の偏り）に起因すると捉えられがちであった。しかし、著者らは問題がより複雑であることを示している。それは、グループの不均衡と表現の分離（異なる人口統計学的グループが特徴空間において異なる予測パターンを示すこと）との相互作用に起因する。
   • 標準的な DD は、サンプル数で重み付けされた単一の集約ターゲットに合成データを整合させる。
   • グループが不均衡な場合、ターゲットは多数派に支配される。
   • グループ間で表現が異なる場合、単一のターゲットはすべてのサブグループとの距離を同時に最小化できず、合成データが「どちらか一方」を選ばざるを得なくなり、結果として他方の性能が低下する。

2. 手法：COBRA

著者らは、グループ不均衡に依存しない蒸留目的関数を修正するフレームワーク**COBRA（Cross-grOup BaRycenter Alignment）**を提案する。

中核概念：グループ非依存の重心

すべての実サンプルの加重平均（多数派を優遇する）に合成データを一致させるのではなく、COBRA はサブグループ固有の表現の**重心（barycenter）**を計算する。

• 入力： 各クラス $y$ に対して、各人口統計学的サブグループ $a$ の統計情報（勾配、埋め込み、または学習軌道など）を特定する。
• ターゲット計算： サブグループのサイズ（$\pi_{a|y}$）に関係なく、均一な重み（$w_a = 1/|A|$）ですべてのサブグループ統計情報との総距離を最小化する重心 $m^*_y$ を計算する。
  $$m^*_y = \arg \min_m \sum_{a \in A} d(\Phi_{T_{a|y}}, m)$$
  ここで、$\Phi$ はクラス条件付きサブグループ統計を表し、$d$ は不一致尺度（例：二乗ユークリッド距離）である。
• 蒸留目的： 合成データセットは、従来の加重混合ではなく、この重心ターゲット $m^*_y$ に一致するように最適化される。

理論的保証

本論文は、最悪ケースの残差（サブグループの真の表現と蒸留ターゲットとの距離）の上限を導出している。

• 定理 4.1： 特定の条件下において、COBRA はすべてのサブグループにわたる最大残差が、従来の（加重された）ターゲットの場合以下であることを保証する。
• 最悪ケースの残差を最小化することで、COBRA は単一のサブグループが合成表現から不均衡に「押しやられる」ことを防ぎ、サブグループ固有のエラーパターンを軽減し、Equalized Odds を改善する。

3. 主要な貢献

1. バイアスの理論的分析： 著者らは、DD におけるバイアスの増幅をグループ不均衡と表現の分離の相互作用の結果として形式的に特徴づけた。根本的な表現が異なる場合、不均衡の修正だけでは不十分であることを証明している。
2. COBRA フレームワーク： 標準的な蒸留ターゲットをグループ非依存の重心に置き換える、原理的かつモデル非依存の戦略の導入。この手法は、既存の蒸留技術（勾配整合、分布整合、特徴整合、軌道整合）と互換性がある。
3. 包括的な実証的検証： 多様なデータセット（合成の偽相関データセット、UTKFace や BFFHQ などの実世界のバイアスデータセット）および蒸留基盤（DC, DM, CAFE, IDC, MTT）における広範な実験。

4. 実験結果

本論文は、Equalized Odds Difference (EOD)とAccuracyを用いて、COBRA を Vanilla DD および公平性意識ベースライン（FairDD）と比較評価した。

• 公平性の向上： COBRA はすべてのベンチマークで一貫して最低の EOD を達成した。
  • 例： C-MNIST (Background) において、Distribution Matching (DM) を使用し IPC=50 の場合、Vanilla DD の EOD は 100.0 だったが、COBRA はこれを7.46に削減し、同時に精度を 48.8% から**96.8%**に向上させた。
  • BFFHQ（実世界の顔データセット）において、COBRA は EOD を 63.47 から7.87に削減し、精度も向上させた。
• 不均衡と分離に対する頑健性：
  • グループ不均衡（SKEW）が増加するにつれて、Vanilla DD の EOD は単調に上昇する。一方、COBRA は安定したままだった。
  • 表現の分離（GAP）が増加するにつれて、Vanilla DD は公平性が急激に低下する。COBRA はこの効果を効果的に緩和した。
• 汎化性：
  • アーキテクチャ間： COBRA によって生成された蒸留データセットは、蒸留時に使用されなかった異なるアーキテクチャ（AlexNet, VGG, ResNet）を学習させても、公平性と精度を維持する。
  • 低 IPC 領域： 標準的な DD がマイナーな情報を保持できないことが多い、クラスあたりの画像数が非常に少ない（IPC=1, 3, 5）領域においても、COBRA は有効であった。
• アブレーション研究：
  • ノイズ耐性： グループラベルにノイズ（最大 50% の破損）がある場合や、部分的に欠落している場合（疑似ラベリングを使用）、COBRA は依然として有効であった。
  • 軌道整合： この手法は軌道ベースの蒸留（MTT）にも成功裏に拡張され、静的な表現整合を超えた適用可能性が実証された。

5. 意義と影響

• パラダイムシフト： 本論文は、データセット蒸留における公平性の焦点を、「損失の再重み付け（事後または最適化中）」から「ターゲット表現の再定義」へと移行させた。公平性は、集約目的関数そのものに組み込まれなければならないと主張している。
• 実用性： COBRA は、既存の DD パイプラインにおけるターゲット計算のドロップイン代替として機能する。下流の学習手順や蒸留アルゴリズムの中核メカニズムを変更する必要はなく、「理想的な」合成データの定義のみを変更すればよい。
• 実世界のバイアスへの対応： 複雑で非合成のバイアスを持つ実世界のデータセット（UTKFace, BFFHQ）での成功を実証することで、公平性を犠牲にすることなく、機微な領域に圧縮モデルを展開するための実用的な解決策を提供している。
• 理論的洞察： バイアス増幅の上限の導出は、標準的な圧縮技術が公平な学習シナリオで失敗する理由を理解するための新たな理論的視点を提供している。

結論として、COBRAは、合成データを共有かつグループバランスの取れた重心に整合させることで、高い予測精度と堅牢なグループ公平性を同時に達成でき、データセット蒸留でしばしば観察されるトレードオフを効果的に解消することを示している。