技術的サマリー：表形式公平 SSL における構造的失敗モードの回避

1. 問題定義

本論文は、医療意思決定支援、信用スコアリング、再犯予測など、高リスクな表形式ドメインに適用される**公平な半教師あり学習（Fair SSL）**における重大な構造的対立に焦点を当てている。これらの環境では、ラベル付きデータが不足しており SSL が必要となる一方、規制遵守のため人口統計グループ間での統計的公平性の保証が求められる。

核心的な問題は、信頼度ゲート付き疑似ラベリング（予測の信頼度が閾値 $\tau$ を超える場合のみ疑似ラベルを保持する標準的な SSL メカニズム）とモーメントマッチング公平正則化項（グループ間の均等性を強制するもの）との相互作用から生じる。著者らは、強い公平性の圧力が予測の信頼度を体系的に抑制し、以下の 2 つの異なる構造的失敗モードを引き起こすことを特定している。

1. マスキング崩壊（Type I）: 公平性制約がグループ間の格差を最小化するため、予測を決定境界（$\hat{y} \approx 0.5$）へ駆動する。これにより信頼度が低下し、信頼度ゲートがほとんどの疑似ラベルを拒絶する（$q_t \to 0$）。その結果、モデルがラベルなしデータから学習できない勾配枯渇が発生する。
2. 自明飽和（Type II）: 公平性制約を満たすために分散ゼロの定数予測（例えば平均値の予測など）へと最適化が漂移する。これにより公平性違反はほぼゼロになるが、有用性の崩壊（予測性能の低下）を招く。

著者らは、疑似ラベルの選択と制約の評価との結合が内生的に非定常であるため、公平性ペナルティの静的な重み付けは脆いものであると主張している。

2. 手法：オンライン双対配分（OPDA）

この構造的な行き詰まりを解決するため、著者らはデータセットごとのチューニングなしで公平性と安定性のペナルティを適応的にスケジューリングするオンラインコントローラーOPDAを提案する。

中核アーキテクチャ

OPDA は、二重階層の予算配分パラメータ化を採用する。

• 総予算（$B_t$）: 全体の執行強度を制御する。
• 配分比率（$\pi_t$）: 公平性ペナルティ（$\lambda_v$）とエントロピーベースの安定性ペナルティ（$\lambda_h$）の分割を決定する。
  • $\lambda_v^{(t)} = B_t \cdot \pi_t$
  • $\lambda_h^{(t)} = B_t \cdot (1 - \pi_t)$

シグナル駆動型ダイナミクス

OPDA は、一連のオンライン観測量を用いてエポックごとに $B_t$ と $\pi_t$ を更新する。

1. 公平性違反（$v_t$）: 現在の DP 型モーメントマッチングペナルティ。
2. リスク代理指標（$r_t$）: 有用性の低下を追跡する有界スカラー（$1 - \text{MacroF1}_{val}$）。
3. 疑似ラベルの健全性シグナル:
   • $q_t$: 疑似ラベルの通過率（カバレッジ）。
   • $p_t$: 代理精度。
   • $ESSt$: 実効サンプルサイズ。
4. 勾配整合性: 公平性勾配と基本 SSL 勾配との間のコサイン類似度（対立を検出するため）。

制御メカニズム

• 膝点探索型予算ダイナミクス: 総予算 $B_t$ は、ログ領域における射影オンライン勾配降下法によって更新される。これは、リスクの悪化がノイズマージンを超えない限り、かつ公平性がノイズマージンを超えて改善した場合にのみ増加する（$G_t - C_t > 0$）。これにより、崩壊につながる過剰な積極的執行を防ぐ。
• 対立認識型配分: 比率 $\pi_t$ は、緊急性の凸近似を最小化することで決定される。これは、公平性違反の削減（$d_{fair}$）と疑似ラベルの健全性の維持（$d_{stab}$）の必要性をバランスさせる。重要なのは、制約が基本目的と反整合する場合に緊急性を抑制するシグモイドゲートを勾配整合性に基づいて使用することである。
• 枯渇防止保証: 動的なフロア $\pi_{min}(t)$ により、公平性ペナルティも安定性ペナルティも決して完全にオフにならないことを保証し、学習が停止する退化的な領域への移行を防ぐ。

3. 主要な貢献

1. メカニズムの診断: 本論文は、信頼度ゲート付き公平 SSL における 2 つの失敗モードの存在を形式的に特定し、証明する。
   • マスキング崩壊: $L_{unsup} = 0$ となる消滅勾配近傍を生成することが証明される（命題 1）。
   • 自明飽和: 不均衡なグループ下において、モーメントマッチング（平均へ押しやる）とエントロピー最小化（境界へ押しやる）との間で、ロジット空間における符号対立が生じることが証明される（命題 2）。
2. 疑似ラベル健全性認識コントローラー: OPDA は、公平性違反に加えて疑似ラベルの健全性シグナル（$q_t, p_t, ESSt$）を明示的に監視する最初のコントローラーである。これにより、SSL メカニズム自体の「枯渇」を回避するよう双対重みをスケジューリングする。
3. 較正不要な動作: OPDA は、多様なデータセット（Adult, ACSIncome, COMPAS）およびバックボーンアーキテクチャにおいて、単一のデフォルト構成で動作し、公平性重み（$\lambda$）の手動グリッドサーチを不要とする。

4. 実験結果

著者らは、失敗メカニズムを分離するための多ラベルタスクという診断的ストレステスト設定を用いて、3 つの表形式ベンチマークにおいて OPDA を評価した。

• 失敗モードの緩和: 静的な高公平性重み（$\lambda=100$）の下では、標準的な SSL はマスキング崩壊（カバレッジ $q_t \to 0.02$）または自明飽和を示した。OPDA はこれらの退化的な領域を回避することに成功した。
• 性能トレードオフ:
  • Adult & COMPAS: OPDA は、静的な $\lambda$ チューニングの実験的パレートフロンティアと競争力のある非退化的動作点を実現し、有用性と公平性を効果的にバランスさせた。
  • ACSIncome: OPDA は、静的なベースラインよりも有用性をよりよく保持しつつ、より広い公平性 - 有用性の spread を示し、複雑な多グループ設定（$K=9$）における頑健性を証明した。
• ベースラインとの比較:
  • 単一シグナル適応ベースライン（例：PI, EMA-P）と比較して、OPDA は優れた頑健性を示した。単一シグナル手法は、容量の問題と疑似ラベルの枯渇を区別できず、振動や飽和を引き起こすことが多かった。
  • 勾配ベースの多目的最適化（MOO）手法（PCGrad, CAGrad）と比較して、OPDA は Adult および COMPAS においてより低い公平性違反を達成しつつ、同程度の有用性を維持した。COMPAS において、勾配のみの手法は非ゼロの飽和率を示したが、OPDA は 0% の飽和を維持した。
• アブレーション: 完全なマルチシグナルロジックを除去した（OPDA-lite）場合、ACSIncome における有用性の保持が低下し、健全性認識型予算ダイナミクスの価値が確認された。

5. 意義と主張

本論文は、OPDA をすべての指標において均一な支配性を保証する普遍的なものとしてではなく、信頼度ゲート付き公平 SSL に固有の特定の失敗領域を管理するための較正不要なコントローラーとして位置づけている。

• 理論的洞察: 本研究は、SSL における公平性制約は静的ではなく、データ選択メカニズムと動的に相互作用することを浮き彫りにしている。疑似ラベルマスクの内生的非定常性に対応できないため、静的な重み付けは失敗する。
• 実用的有用性: OPDA は、データセットごとのハイパーパラメータチューニングの計算コストを伴わずに、ラベル不足かつ高リスクな表形式環境において制御された動作点を得るための道筋を提供する。
• 範囲の限界: 著者らは控えめに、特定された病理は SSL メカニズムに本質的である一方で、実証的検証は現在表形式データに限定されていると指摘している。高次元の画像やテキストデータへの拡張は未解決の課題である。さらに、コントローラーは内部定数（例：ウォームアップ長）の事前指定を必要とするが、中程度の摂動に対しては頑健であることを示している。

要約すると、本論文は、公平 SSL における構造的失敗を回避するには、静的な重み付けや単純な勾配バランスを超えて、システムが自明な解へ崩壊するのを防ぐために疑似ラベリングプロセスの「健全性」を能動的に監視するオンライン制御戦略を採用する必要があると論じている。