技術的サマリー：テスト時集団行動（TTCA）

問題定義

機械学習システムは、ユーザーのサブグループ間で性能に偏りを示すことが多く、これにより「サービス品質（QoS）」の害が生じます。具体的には、特定のグループが他のグループよりも系統的に低い精度を経験します。プロバイダー中心の公平性介入（前処理、処理中、後処理）は存在しますが、これらはプラットフォームがモデルの再トレーニングを行う意思と能力があることに依存しています。是正が利用できない、遅延している、あるいはプラットフォームが行動を拒否する状況では、影響を受けたユーザーはこれらの偏りを修正するための外部の手段を欠いています。

既存の「アルゴリズム的集団行動（ACA）」フレームワークは、ユーザーがデータを提供することでアルゴリズムを誘導することを可能にしますが、これらのメカニズムは通常、プラットフォームが集団によって修正されたデータで再トレーニングを行うことを必要とし、これはユーザーがほとんど制御できない条件です。さらに、データ汚染スタイルの介入は、プロバイダーが堅牢なモデルの更新を待つ場合や、攻撃前のデータでトレーニングする場合に回避され得ます。したがって、プラットフォームの協力やトレーニングループへのアクセスを必要とせず、凍結されたブラックボックスモデル上でテスト時に動作するユーザー側の介入が必要です。

手法：テスト時集団行動（TTCA）

著者は、ブラックボックス API へのクエリアクセスをプールすることで、協調したユーザー集団がアルゴリズム的害を修正することを可能にする TTCA というフレームワークを提案します。このメカニズムは 2 つのフェーズで動作します。

フェーズ 1：集団プロキシ抽出と摂動最適化

1. クエリのプール化: 各々がクエリ予算 $B$ を持つ $n$ 人のユーザーからなる集団は、リソースをプールして、公開されたラベルなし画像プール $D_{pub}$ に対してプラットフォームモデル $f_{plat}$ にクエリを送信します。これにより、入力 - 出力ペア $(x, f_{plat}(x))$ のデータセット $D_{proxy}$ が生成されます。
2. プロキシのトレーニング: 集団は KnockoffNets 法を用いて、$D_{proxy}$ 上で代理モデル（プロキシ）$f_{proxy}$ をトレーニングします。転移性を向上させるため、独立したランダムシードを用いて $K=5$ のプロキシのアンサンブルをトレーニングします。
3. 摂動の最適化: 不十分なサービスを受けるサブグループ $G$ 内の各クラス $y$ について、集団はクラスごとの汎用摂動 $\delta_y$ を最適化します。目的は、$\ell_\infty$ 予算（$\|\delta_y\|_\infty \le \epsilon$）の制約の下で、クラス $y$ に属する入力に対するプロキシアンサンブルのクロスエントロピー損失を最小化することです。最適化は真のクラスをターゲットとし、誤分類された入力を正しい決定境界に向かって「押し出す」効果を持ちます。総変動正則化とガウスブラーを適用して、摂動を低周波成分に偏らせ、ブラックボックスでの転移性を高めます。

フェーズ 2：テスト時適用

推論時に、不十分なサービスを受けるサブグループのメンバーは、提出前に入力 $x$ に事前に計算された摂動 $\delta_y$ を適用します。ユーザーの入力がクラス $y \in G$ に属する場合、$x' = \text{clip}(x + \delta_y, 0, 1)$ を提出します。それ以外の場合は、変更されていない $x$ を提出します。このプロセスには、プロキシを構築するために使用された初期クエリ予算以外、プラットフォームとのさらなる相互作用は必要ありません。

主要な貢献

1. テスト時の修正メカニズム: TTCA は、プラットフォームの再トレーニングなしに、凍結されたブラックボックスモデル上でユーザーが偏りを修正できるフレームワークを導入します。回避攻撃の論理（汎用敵対的摂動）を、悪意のある目的ではなく修正的な目的のために再利用します。
2. プロキシベースの効率性: 集団プロキシを抽出し、再利用可能な汎用摂動を最適化することで、介入コストをサブグループ全体に均等化（アモルタイズ）します。
3. アーキテクチャ間転移: このメカニズムは、より小さなプロキシモデル（例：ResNet-18）が、より大きく未知のプラットフォームアーキテクチャ（例：ResNet-50、RegNet-Y）に転移する効果的な摂動を生成し得ることを示しています。
4. コスト効率分析: 論文は、プーリングされたクエリが、たとえ集団規模が小さくても、個々の画像ごとの攻撃よりもはるかに安価であることを厳密に分析して示しています。

実験結果

著者は、CIFAR-10、CIFAR-100、および FairFace（人口統計学的公平性のため）において、バランスの取れた意図的に不均衡なプラットフォームトレーニング体制の両方下で TTCA を評価しました。

• サブグループ精度: TTCA は、非常に低いクエリ予算で、不十分なサービスを受けるサブグループ（下位 10% のグループとして定義）の精度を大幅に向上させます。例えば、CIFAR-100 において、わずか 5〜6 人のユーザーがクエリをプールする集団は、個々の攻撃者と同等かそれ以上のサブグループ精度を達成でき、かつ総クエリ数は桁違いに少なくて済みます。
• クエリ予算効率:
  • 個々のベースライン: 個々のユーザーが単独で攻撃する場合（SimBA、画像ごとのブラックボックス攻撃を使用）、同等のサブグループ精度に達するには、最大で308 倍多くのプラットフォームクエリを必要とします。
  • 損益分岐点: 5〜10 名程度の小規模な集団でも、プーリングが個々の介入よりもコスト効果的になるのに十分です。
  • 天井のトレードオフ: 個々の攻撃は画像ごとに最適化することで、より高い最大精度（例：CIFAR-100 で 97.9%）を達成できますが、それは莫大な総コスト（1,000 人のユーザーで約 230 万クエリ）を伴います。集団アプローチはより低い精度の天井（約 83%）で飽和しますが、固定された再利用可能なコスト（約 23,000 クエリ）でこれを達成するため、大規模な集団にとってははるかに効率的です。
• 公平性指標: この介入は、他のグループのパフォーマンスを低下させることなく、最悪グループ精度（WGA）、機会均等ギャップ（EOD）、不公平な影響（DI）を含む標準的なグループ公平性指標を改善します。
• プロキシ忠実度: 高忠実度のプロキシは厳密には必要ありません。プロキシが「十分に忠実」（例：60〜90% の忠実度）であれば、追加のクエリはサブグループ精度において逓減するリターンしか生みません。

意義と主張

この論文は、プラットフォーム側の是正が利用できない場合に QoS の害に直面するユーザーに対する修正的介入として TTCA を位置づけています。その意義は以下の点にあります。

• 主体性: ユーザーにモデル内部やトレーニングデータへのアクセスを必要とせず、アルゴリズムシステムに対する主体性を回復するための外部の手段を提供します。
• スケーラビリティ: 協調した小規模なユーザー行動が、リソースのプールを通じて体系的な偏りを効果的に緩和し得ることを示しています。
• 補完性: 既存の ACA フレームワークに対する補完的なアプローチとして機能し、特にモデルがすでに展開され変更不可能である「テスト時」のギャップに対処します。

著者は、このアプローチが、基盤となるタスクが広範に有用であるが、均等に実行されていない場合に最も効果的であると指摘しています。また、限界を認めています。タスク自体が有害である場合（例：表現上の害を引き起こす自動性別認識など）、TTCA の修正的な枠組みでは不十分であり、ユーザーは最適化ではなく拒否や異議申し立てに頼る必要があるかもしれません。さらに、この手法は静的なブラックボックスモデルを前提としており、プラットフォーム側の防御（例：ランダム化スムージング）はこれらの摂動の有効性を緩和する可能性がありますが、そのような防御はプラットフォーム全体の精度を低下させる可能性もあります。