テクニカル・サマリー：信頼性の低いデータを用いた公平性監査の信頼性はどの程度か？

問題提起

公平性監査は、責任ある機械学習のデプロイメントにおいて不可欠であるが、**保護ラベルの欠損（protected-label missingness）**下におけるその信頼性は、未だ十分に理解されていない。実務においては、非収集、ユーザーによる拒否、あるいはレコードの不整合により、属性情報（例：人種、性別）が欠落していることが頻繁に起こる。これらのラベルが欠落している場合、監査人はグループレベルの格差を正確に計算したり、適切な緩和手法を選択したりすることができなくなる。

本研究が取り組む中心的な課題は、「欠損データによって引き起こされる監査の不安定性」と、「監査プロセス自体に固有の不安定性」（例：シード間の変動、ほぼ同等の候補手法、決定論的なタイブレーク）を区別することである。通常の監査ノイズに対するベースラインがなければ、ラベルの欠損による推奨結果の変化が、監査フレームワーク自体の致命的な失敗ではなく、標準的な確率的分散の結果であると誤解される可能性がある。

メソドロジー

著者らは、欠損の影響を監査固有のノイズから分離するために、**シード校正ストレス・テスト（seed-calibrated stress test）**を提案している。この手法には以下のプロセスが含まれる：

1. 実験設定:

   • タスク: ACS/Folktablesデータセットからの4つの二値分類タスク（所得、雇用、公的保障、移動性）。
   • 保護された視点: 人種（RAC1P）、性別（SEX）、およびその交差属性（RAC1P×SEX）。
   • 候補手法: 経験的リスク最小化（ERM）、特徴量ミキシング（Feature Mixing）、再重み付け（Reweighing）、保護グループ・ミキシング（Protected-Group Mixing）、等価オッズ（Equalized-Odds）閾値最適化。
   • 選択基準: 正解率制約付き等価オッズ（EO）、デモグラフィック・パリティ（DP）、最悪グループ正解率（WGA）、および交差属性EO。

2. 欠損レジーム:

   • 完全ラベル・オラクル ($r_0$): すべての保護ラベルが利用可能。
   • 無作為欠損（MCAR）: ラベルが80%、60%、50%、40%、20%、10%、0%の割合で隠蔽されている。
   • 非無作為欠損（MNAR）: 特定のMCARターゲット（50%、20%、10%）に一致させ、非対称なラベル可用性（多数派グループが高い可用性を維持）を持つ。
   • 評価: 評価フェーズでは、指標をグラウンドトゥルースに対して計算するため、ラベルは常に保持される。欠損は、学習および事後処理の緩和策にのみ影響を与える。

3. 校正メカニズム:

   • シードペア・ヌル（Seed-Pair Null）: 完全なラベルを用いて異なるランダムシード（$s, s'$）で監査を再実行する。これらのシード間で発生する推奨の反転（flip）の頻度により、ベースラインとなる「ノイズフロア」を確立する。
   • 一致超過反転率 ($\Delta_c(r)$): 欠損下で観察された反転率と、シードペア・ヌルの差。$\Delta$が正であることは、欠損が通常の監査の分散を超えた不安定性を引き起こしていることを示す。
   • 隠れた回帰スクリーン（Hidden-Regression Screen）: 単一軸の公平性（例：人種または性別）を改善する一方で、交差属性（例：人種×性別）や最悪グループ正解率（WGA）を悪化させていないかを検証する。

4. バリデーション: 高分散モデルに対する堅牢性をテストするため、ランダムフォレストをベース学習器として用いて監査を繰り返す二次実験を行う。

主要な結果

1. 欠損はしばしばシード・ヌルを下回る

欠損ラベルが監査を不安定化させるという直感に反して、本研究では、正の可用性を持つ欠損は、通常、完全ラベル時のシード・フロアを超えて緩和手法の選択を変えないことが判明した。

• 生の反転率: 欠損ラベルを用いた比較の37.3%において、手法の選択が変化した。
• シード・ヌル・ベースライン: 完全ラベルを用いたシードペア比較の53.8%において、反転が発生した。
• 校正された知見: 校正後、ほとんどの欠損レジーム（MCARおよび可用性が0%より大きいMNAR）は、シード・ノイズ・フロアを下回った。0%（ラベルなし）のエンドポイントのみが、決定論的なタイブレーク（同等のERM候補間での決定）により、シード・フロアを超過した（+6.3パーセントポイント）。

2. 候補セットの構成が重要である

「反転率」は候補セットに対して非常に敏感である。監査を {ERM, Reweighing, Threshold Optimization} に限定した場合、生の反転率はシード・ヌルの39.8%に対し、33.8%へと低下した。これは、一見した脆弱性が、監査ロジックの根本的な失敗ではなく、タイブレーク・ルールを誘発する「ほぼ同等の手法」を含んでいることによるアーティファクトであることを示唆している。

3. 閾値最適化が交差属性の害を駆動する

特定された最も重大な信頼性の失敗は、単一軸の公平性の向上がサブグループへの害を隠蔽してしまう「隠れた交差属性の回帰（hidden intersectional regression）」である。

• 全体の隠れた回帰率: 69.9%（55.0%のシード・ヌルに対して校正済み）。
• 要因: **閾値最適化（Threshold Optimization）が主要な要因であり、その隠れた回帰率は94.2%**に達する。これは、単一軸のEO指標を改善する一方で、最悪グループ正解率（WGA）を深刻に低下させる（中央値で12.34 ppの低下）ことが頻繁にある。
• その他の手法: 再重み付け（Reweighing）と特徴量ミキシング（Feature Mixing）は、より低い隠れた回帰率（それぞれ29.6%と36.2%）を示し、閾値最適化を除外した場合にはシード・ヌルを下回る。

4. ベース学習器の分散に対する堅牢性

高分散モデルであるランダムフォレストを用いたバリデーションでも、主要な知見が確認された：

• 厳密な反転率はわずかに上昇したが（37.3%から41.1%）、欠損の影響に関する相対的な順序は一貫していた。
• 閾値最適化によって駆動される隠れた回帰のパターン（93.5%）は持続しており、この失敗モードがモデル依存ではなく、手法依存であることを裏付けている。

意義と主張

本論文は、適切な校正なしに、保護ラベルの欠損を監査の脆弱性の証拠として扱うべきではないと主張している。著者らは以下の点を主張する：

1. シード・ヌル校正の必要性: 生の感度分析（例：「ラベルが隠されたことで手法が変わった」）は誤解を招く。監査は、欠明ラベル下での変化が、完全なラベルを用いた場合の監査プロセスに固有の変動を超えるものであるかどうかを報告しなければならない。
2. コンテキストに応じた報告: 監査レポートには以下を含める必要がある：
   • シード・ヌル校正: 欠損の影響をノイズから区別するため。
   • 候補セットのコンテキスト: タイブレークによるアーティファクトを考慮するため。
   • 交差属性の結果: 単一軸の利得が交差属性の損失を隠していないかを検知するため。
3. 具体的な失敗モード: 本研究は、特にラベルが疎な場合に、「上記（null）を超える」隠れた回帰を引き起こすリスクの高い手法として、閾値最適化を特定している。
4. 実行可能な可用性曲線: 監査は、手法がラベルの可用性のスペクトラム全体でどのように振る舞うかを可視化し、推奨の変化と指標の劣化を分離すべきである。

要約すると、本研究は、観察された不安定性の多くが、欠損下での一般的な監査不能性ではなく、標準的な監査の分散や特定のメソッドの挙動（閾値最適化など）によるアーティファクトであることを強調し、欠損データの効果を誤解することを防ぐための診断フレームワークを提供するものである。