技術要約：FairSAM: 鋭敏度認識最小化（Sharpness-Aware Minimization）を通じた、破損した画像データにおける公平な分類

問題提起

クリーンなデータで学習されたディープニューラルネットワークは、デプロイ時に破損したテストデータ（インパルスノイズ、ガウスノイズ、天候の影響、またはモーションブラーなどの影響を受けた画像）に遭遇すると、急激な性能低下に陥ることがよくあります。近年の研究によれば、この性能低下は一様ではなく、特定のデモグラフィック・サブグループに対して不均衡に発生し、アルゴリズムのバイアスを増幅させることが示されています。SAM（Sharpness-Aware Minimization）のような既存のロバスト学習手法は、全体的な汎化性能やノイズへの耐性を向上させますが、デモグラフィック・グループ間での性能低下の不平等な分布までは解決できません。逆に、標準的な公平性配慮型手法は、データの破損下におけるロバスト性を維持することに苦慮することが多いです。これにより、ロバスト性の確保と、破損環境下における公平性の確保との間に、固有の緊張関係が生じています。

手法：FairSAM

この緊張関係に対処するため、著者らは公平性志向の戦略をSAMの最適化プロセスに統合したフレームワークであるFairSAMを提案しています。その手法は、以下の3つのコアコンポーネクションで構成されています。

1. 新しい公平性指標：破損による劣化格差 ($\Delta p$)

著者らは、性能の劣化に特化した公平性を定量化するための指標を導入することで、問題を定式化しました。

• 破損による劣化 ($\Delta p_s$): 特定のデモグラフィック・サブグループ $s$ における、クリーンな訓練データ ($D_T$) と破損したテストデータ ($D_C$) の間の性能指標の絶対差として定義されます：$\Delta p_s = |M(D_T^{s}, f) - M(D_C^{s}, f)|$。
• 破損による劣化格差 ($\Delta p$): 優位グループ ($s^+$) と不利グループ ($s^-$) の間の劣化の絶対差です：$\Delta p = |\Delta p_{s^+} - \Delta p_{s^-}|$。
  $\Delta p$ が低いほど、モデルのロバスト性がサブグループ間でより公平に分配されていることを示します。

2. インスタンス再重み付けSAM

標準的なSAMは、パラメータの近傍内における最大損失を最小化しますが、すべてのサンプルを平等に扱うため、多数派グループが最適化を支配してしまうことがあります。FairSAMは、勾配の寄与をバランスさせるための再重み付けメカニズムを導入します。

• グループ制約: 本手法は、各デモグラフィック・グループ内のサンプルの重みの総和を一定値 $c$ に制約することで、グループのサイズに関わらず各グループが目的関数に等しく寄与することを保証します。
• 鋭敏度に基づく再重み付け: 各グループ内において、個別のインスタンスの鋭敏度（摂動下での最大損失が大きいもの）が高いサンプルには、より高い重みが割り当てられます。これにより、グループレベルのバランスを維持しながら、各グループ内の「困難な」例を優先的に扱います。

3. 効率的なバッチ単位の摂動

すべてのサンプルに対して個別の敵対的摂動を計算する計算コスト（1バッチあたり $N$ 回のフォワードパスが必要になる）を避けるため、FairSAMは効率的な近似を導出します。

• 2次テイラー展開を用いて、重み付きの個別インスタンス目的関数を近似します。
• 重み $g_i$ を含む重み付きバッチ損失 $\ell_b(w) = \sum g_i \ell_i(w)$ を構築します。ここで、重み $g_i$ はグループ所属制約とインスタンスの鋭敏度の両方を組み込んでいます。
• この重み付きバッチ損失の勾配に基づいて、単一のバッチ単位の摂動 $\epsilon^*$ を計算します。これにより、公平性の制約を課しながら、SAMの計算効率を維持します。

主な貢献

1. 問題の定式化: 本論文は、画像分類におけるデータ破損下での「ロバスト性バイアス」の課題を特定し、定式化しました。これは、標準的なロバスト性向上手法が、意図せず公平性の格差を悪化させる可能性があることを強調しています。
2. 指標の提案: 単発的な公平性の概念とは異なる、性能の劣化に関する公平性を評価するための**破損による劣化格差（Corrupted Degradation Disparity）**を導入しました。
3. フレームワークの開発: SAMに公平性戦略を統合した初のフレームワークであるFairSAMを提案しました。これは、インスタンスの再重み付けとバッチ単位の摂動を利用して、ロバスト性と公平性を同時に促進します。
4. 実証的検証: 様々な破損タイプ（雪、ガウスノイズ、ブラー）および深刻度レベルの下で、複数の実世界のデータセット（CelebA, FairFace, LFW, CheXpert）を用いて、FairSAMがVanilla SAM, GroupSAM, FairReg, GroupDROといったベースラインと比較して、精度と公平性の優れたトレードオフを実現することを実証しました。

実験結果

著者らは、複数の実世界のデータセット（CelebA, FairFace, LFW, CheXpert）を用い、様々な破損タイプ（雪、ガウスノイズ、ブラー）および深刻度レベルの下でFairSAMを評価しました。

• 性能と公平性のトレードオフ: 不均衡なデータセット（CelebA）および均衡なデータセット（FairFace）の両方において、FairSAMはVanilla SAM, GroupSAM, FairReg, GroupDROを含むすべてのベースラインの中で、一貫して最も低い破損による劣化格差 ($\Delta p$) を達成しました。
• 精度の維持: 一部の公平性手法が全体の精度を犠牲にするのに対し、FairSAMは競争力のある、あるいは優れた破損精度を維持しました。例えば、ガウスノイズ下のCelebAにおいて、FairSAMは最高の破損精度（0.9291）を達成しながら、$\Delta p$（0.0073）を最小化しました。
• 非対称性へのロバスト性: 優位グループが不利グループよりも深刻度の低いノイズに直面するという非対称なノイズ環境においても、FairSAMは異なるバックボーン（ResNet-18およびDINOv3）において、最低の劣化格差を維持しました。
• 分布外（OOD）汎化: あるデータセット（例：CelebA）で学習されたモデルを別のデータセット（例：LFW）でテストした場合、FairSAMは最も低い $\Delta p$ を示しました。これは、優位グループを不利な立場へと転落させるリスクがあるGroupSAMと比較して、より公平な汎化性能が高いことを示しています。
• ハイパーパラメータへの感度: 本フレームワークは、$\rho=0.05$（摂動半径）および $c=1$（グループ重み予算）が最良のバランスを提供するなど、ハイパーパラメータの選択に対してロバストであることが判明しました。

意義と主張

本論文は、FairSAMが、データ破損が存在する状況下での公平かつロバストな画像分類のための構造化された解決策を提供すると主張しています。その主な意義は、ロバスト性の向上はすべてのグループに平等に恩恵をもたらすという仮定という、ロバスト性研究における重大な盲点に対処している点にあります。

著者らは以下のように主張しています。

• ロバスト性と公平性は相互に関連しており、ロバストなモデルはデモグラフィック・グループ間で性能の劣化に格差を生じさせることがあり、対処しない場合は社会的な不平等を永続させる可能性があります。
• 学習中の公平性配慮型の最適化を行うことで、全体的な精度を大きく損なうことなく、公平な結果を得ることができます。
• このアプローチの恩恵は、不均衡なデータセットだけでなく、均衡なデータセットにも及び、性能の格差は単なるデータ分布の問題ではなく、アルゴリズムのバイアスによって引き起こされることを示唆しています。

本研究は、システムが現実世界のノイズの多い条件下でも公平性を維持しなければならない、高リスクなアプリケーション（医療、刑事司法など）における安全なAIデプロイメントに向けた一歩となるものです。著者らは、現在の焦点が画像分類における二値のセンシティブ属性に限定されていることを認め、今後の研究ではインターセクショナル（交差的）なグループや他の領域を探索すべきであるとしています。