技術的サマリー：Scooter – 無制限の敵対的例に対する人間評価フレームワーク

問題定義

無制限の敵対的攻撃は、対象物の色やテクスチャを変更するなど、$\ell_p$-ノルム境界によって制約されていない方法で画像を改変することで、コンピュータビジョン（CV）モデルを欺くことを目的としています。制限付き攻撃とは異なり、これらの改変は意味的に整合性があり、人間によって見落とされやすいため、攻撃者は敵対的学習や認証された頑健性といった従来のノルムベースの防御を回避できます。しかし、ノルムベースの制約が存在しないため、知覚不可能性に対する数学的保証はありません。したがって、これらの敵対的例（AEs）が人間にとって本物に見えるかどうかを検証するには、人間による評価が必要です。

既存の文献では、しばしば自動化された指標や統計的厳密性を欠く小規模な人間研究に依存しています。多くの先行研究は、画像品質の評価を完全に無視するか、人間の知覚と整合しない自動化された指標に依存しています。さらに、既存の人間評価プロトコルは、統計的に有意な洞察、人口統計の透明な報告、検出力分析、および不注意な参加者に対する堅牢なフィルタリングが欠如していることが多く、無制限攻撃の知覚不可能性を信頼性高く比較・検証する能力にギャップが生じています。

手法：Scooter フレームワーク

これらのギャップに対処するため、著者は無制限の敵対的例を評価するためのオープンソースかつ統計的に検出力のあるフレームワークであるScooter（Systemizing Confusion Over Observations To Evaluate Realness）を導入します。このフレームワークは、データ品質と統計的妥当性を確保するように設計された 3 フェーズのパイプラインを中心に構成されています。

1. 予備チェック:

   • 色覚異常テスト: 参加者は、無制限攻撃の主要なベクトルである色ベースの改変を知覚できることを確認するため、5 つのイシハラ式に似た画像を正しく分類する必要があります。
   • 理解度チェック: 参加者は改変画像と未改変画像の例を確認し、6 組のうち少なくとも 5 組で改変画像を正しく特定する必要があります。これにより、タスクの理解が確認され、英語が流暢でない参加者が除外されます。

2. 主要アノテーションフェーズ:

   • 参加者は、5 段階のリッカート尺度（「明らかに改変済み」(-2) から「明らかに本物」(+2)）を用いて、106 枚の画像（実画像 50 枚、敵対的画像 50 枚）を評価します。
   • この設計は、参加者が実画像と改変画像の両方を評価する「被験者内反復測定アプローチ」を採用しています。
   • 注意チェック: 研究には、不注意な参加者を検出するための「偽物アイテム」（明らかに改変された画像）と「指示操作チェック（IMC）」が含まれています。6 つの注意チェックのうち 2 つ以上で失敗した参加者はフラグが付けられます。
   • フィルタリング: 画像あたりの平均時間、Long-String 統計、個人内反応変動（IRV）などの追加指標を用いて、低品質なデータをフィルタリングします。

3. 統計分析と報告:

   • 等価性テスト: 検出可能性を示唆する有意な差の検出ではなく、Scooter は等価性をテストするために二側面検定（TOST）手順を採用します。目的は、敵対的画像の平均評価（$\mu_{modified}$）が、事前に定義された許容範囲（$\Delta$）内で実画像の平均評価（$\mu_{real}$）と実質的に等価であることを証明することです。
   • 境界値: 経験的シミュレーションに基づき、著者は実用的な等価性境界として $\Delta_L = -0.2$ および $\Delta_U = +0.2$ を設定しました。$\mu_{real}$ と $\mu_{modified}$ の差がこの範囲内にある場合、その攻撃は知覚不可能とみなされます。
   • 報告: フレームワークは、再現性を確保するために、参加者の人口統計、報酬、時間的コミットメント、および詳細な統計出力の報告を義務付けています。

実験設定

著者は、Scooter フレームワークを 6 つの無制限攻撃の評価に適用しました。

• 色ベースの攻撃: SemanticAdv (SemAdv)、cAdv、Natural Color Fool (NCF)。
• 拡散ベースの攻撃: DiffAttack (DA)、AdvPP、ACA。

被験モデル: 攻撃の評価は、標準的なノルム制約付き攻撃に対する耐性で知られる敵対的学習済み ResNet-50（ResNet-50-AT）に対して行われました。
データセット: ImageNet-1k 検証画像から選り抜かれたサブセットで、ImageNet S-R50-N と呼ばれ、被験モデルによって正しく分類され、既存のアーティファクトを含まない 2,966 枚の画像が含まれています。
参加者: Prolific を通じて合計 346 人の参加者が募集され、34,000 件以上の人間による評価が得られました。

主要な結果

この研究は、現在の無制限攻撃が知覚不可能であるという主張に反する統計的に有意な証拠をもたらしました。

1. 知覚不可能性の失敗: 6 つのすべての攻撃において、TOST 手順は画像が等価ではないという帰無仮説を棄却できませんでした。具体的には、上側境界テスト（$\Delta > \Delta_U$）の p 値はすべての攻撃で 1.000 でした。これは、実画像が敵対的例よりも有意に高く（より「本物」として）評価されたことを示しており、その差は $\pm 0.2$ の許容範囲を大きく超えています。
2. 攻撃のパフォーマンス:
   • 拡散ベースの攻撃は、一般的に色ベースの攻撃よりも知覚不可能性の点で優れていました（例：AdvPP の $\mu_{modified}$ は -0.5188 で、他の攻撃よりも実画像に近い値）が、統計的等価性の達成には至りませんでした。
   • SemAdvは、最も単純な攻撃であるにもかかわらず、驚くほど良好なパフォーマンスを示し、生みの改変スコアにおいて他の 4 つの攻撃を上回りましたが、等価性テストには失敗しました。
   • NCFは、最も明白な改変を生み出し、実画像と改変画像の評価の差が最も大きくなりました。
3. モデルの成功との不一致: 被験モデルに対する攻撃の成功率と、人間に対する知覚可能性の間には相関がありません。例えば、NCF は高い攻撃成功率（0.922）を示しましたが、非常に知覚可能であり、一方、AdvPP は低い成功率（0.081）でしたが、最も知覚されにくいものでした。
4. 自動化されたプロキシ:
   • GPT-4o: 視覚言語モデルは、知覚不可能な攻撃を特定する能力を一部示しましたが、特に AdvPP と ACA については人間の評価と完全に一致しませんでした。
   • 客観的指標: 標準的な画像品質指標（FID、FD、KD など）は、人間の知覚と相関しませんでした。特に、指標はしばしば最も知覚される攻撃である NCF を最高品質の画像としてランク付けし、人間の判断と直接矛盾していました。画像ごとの指標である TOPIQ は最も良い一致を示しましたが、依然としてすべての攻撃にわたって人間の判断を信頼性高く代理することはできませんでした。

意義と主張

本論文は、人間の知覚を無制限の敵対的例の品質に厳密に結びつけた、最初のオープンに利用可能で統計的に検出力のあるベンチマークを提供すると主張しています。その主な貢献は以下の通りです。

• 方法論的標準: 先行研究における統計的に有意な洞察の欠如に対処し、知覚不可能性を評価するためのクラウド調査の検出力、報酬、統計分析（特に TOST）に関するベストプラクティスガイドラインを確立します。
• 経験的証拠: 拡散モデルに基づくものを含む、現在の最先端の無制限攻撃は、人間にとって知覚不可能ではないことを実証しています。著者は、人間がこれらの攻撃によって改変された画像と本物の画像を容易に区別できるという結論に至っています。
• 目的の分離: 発見事項は、コンピュータビジョンモデルを欺くことと、人間の観察者を欺くことは、ほぼ直交する目的であることを示唆しています。高い攻撃成功率は、高い知覚不可能性を意味するものではありません。
• 自動化された指標の限界: この研究は、敵対的例の文脈において、既存の客観的画像品質指標が人間の知覚の十分な代理指標ではないことを再確認しています。

著者は、Scooter を再現性のある人間中心の研究を可能にするツールとして位置づけ、コミュニティに対し、自動化された指標と検証されていない知覚不可能性の主張を超えて進むよう促しています。彼らは、この分野の将来の研究を促進するために、ソースコード、ImageNet S-R50-N データセット、および 34,000 件以上の人間による評価を公開しています。