技術的概要：AI セキュリティ研究は防御研究へのインセンティブをより適切に設定すべきである

問題定義

本論文は、人工知能（AI）セキュリティ研究の分野における構造的な不均衡を特定している。すなわち、「脆弱性の特定と実証」を目的とした「攻撃研究」が、「保護策の開発と検証」を目的とした「防御研究」に比べて過度に強調されているという不均衡である。両者とも不可欠ではあるが、著者らは現在の文献が「実証された脆弱性に富み、実用可能かつ展開された保護策に乏しい」と主張している。この不均衡は単なる量的なギャップではなく、攻撃論文が脅威を誇張する有利な条件下で評価される一方、防御論文はより厳格で、しばしば非現実的な基準にさらされているという、より深層の問題を反映している。著者らは、この偏りが防御の進展における構造的な遅れを示唆しており、その社会的影響が脆弱性の発見だけでなく、むしろ軽減措置に依存するようになっている分野にとって問題であると指摘している。

手法

この不均衡を定量化・分析するため、著者らは既存の知識体系化（SoK）論文およびサーベイ論文に基づいた文献計量アプローチを採用した。

1. データ収集:
   • コアコーパス: 著者らは、トップクラスのセキュリティおよびプライバシー会議（USENIX Security、IEEE S&P、IEEE SaTML）から 16 件の SoK 論文を収集した。これらの論文は、成熟した研究分野を統合し、文脈化する役割を担っているため選定された。
   • 拡張コーパス: カバレッジを広げるため、21 件の追加サーベイ論文を組み入れた。これらは、メンバーシップ推論攻撃（MIA）、敵対的例、大規模言語モデル（LLM）、モデル窃取、連合学習（FL）、音声認識、ディープフェイク、機械的忘却（machine unlearning）といった特定の下位分野を網羅している。
2. 分類プロトコル:
   • これらの論文からの引用は、手動で「攻撃」「防御」「その他」に分類された。
   • 攻撃: 脆弱性を悪用する手法の特定、実証、改善、または評価を主な貢献とする論文。
   • 防御: そのような脆弱性に対する防止、検出、軽減、または認証を主な貢献とする論文。
   • その他: 調査、ベンチマーク、データセット、および主要な攻撃的または保護的な貢献を持たない論文（比率分析からは除外）。
   • 曖昧なケースについては、抄録を参照するか、支配的な貢献のラベルを割り当てることで解決された。
3. データ処理:
   • 会議（Venues）は正規化され、「セキュリティ」「AI」「プレプリント」「その他」の 4 つのカテゴリにグループ化された。
   • 重複カウントを防止するため、タイトルに基づく重複排除が行われた。
   • 最終的な SoK コーパスには、644 件の固有の攻撃論文と 518 件の固有の防御論文が含まれていた。

主要な貢献

本論文の主な貢献は、AI セキュリティの全体像における攻撃と防御の不均衡を、逸話的証拠を超えて体系的な分析へと移行させる、厳密でデータ駆動型の記述にある。それは以下を提供する：

• 定量的証拠: 異なる下位分野、会議、時期にわたる具体的な攻撃対防御の比率。
• 構造的分析: この不均衡がなぜ存在するのかを検証し、新奇性、評価、出版、コスト/複雑性という 4 つの主要な非対称性を特定する分析。
• 重要な反論: 代替的な見解（例：分野はまだ発見段階にある、あるいはボトルネックは研究量ではなく実用化にあるという見解）の微妙な議論と、それらが防御へのインセンティブ改善の必要性を完全に否定しない理由。

結果

1. 定量的不均衡

• SoK コーパス: 1,162 件の分類済み引用を網羅する 16 件の SoK 論文全体において、攻撃論文は防御論文を1.24:1の比率で上回った。
• サーベイコーパス: 21 件の追加サーベイ論文において、平均的な攻撃対防御の比率は2.15:1であった。
• 下位分野の変動: 不均衡は均一ではない。
  • 高い不均衡: 特定の攻撃クラスに焦点を当てた下位分野（例：ブラックボックス敵対的攻撃、データ推論プライバシー、LLM メンバーシップ推論）は極端な偏りを示し、比率は 3.69 倍から 34.40 倍の範囲に及んだ。
  • 防御重視の領域: 防御メカニズム（例：差分プライバシー、認証されたロバスト性）を中心に構成された SoK は、自然と防御論文を多く含んでいたが、これらは広範な脅威環境の調査においては例外であり、規範ではなかった。

2. 会議（Venue）分布

• セキュリティ会議: 攻撃への強い偏り（2.10:1 の比率）を示す。USENIX Security（3.50 倍）や IEEE S&P（3.00 倍）などの主要会議は、攻撃指向の貢献を強く好む。
• AI 会議: 遥かにバランスの取れた状況（1.12:1）を示す。NeurIPS、AAAI、ICLR、ICML などの会議は、実際には攻撃論文よりも防御論文を多く含んでいる。
• コンピュータビジョン: AI 内での注目すべき例外であり、ビジョン関連の会議（CVPR、ICCV、ECCV）は極端な攻撃の偏り（最大 17.00 倍）を示しており、敵対的例の文献の歴史的な支配を反映している。

3. 時間的傾向

• 2010 年から 2015 年にかけて、攻撃と防御の数は低く、比較的バランスが取れていた。
• 2016 年頃から軌道が分岐し、攻撃論文が防御論文を一貫して上回った。
• 2017 年から 2022 年の間にギャップは著しく拡大し、2021 年にピークに達した。2022 年以降に見られる一見した縮小は、SoK 出版物における引用の遅れによるものであり、研究出力の真の収束によるものではない。

4. 防御研究における特定されたジレンマ

本論文は、防御研究をインセンティブしない 4 つの構造的な非対称性を概説している：

• 新奇性の非対称性: 新しい失敗モード（攻撃）を実証することは出版に十分であることが多いが、適応的な敵対者に対して防御が有効であることを証明することは、はるかに高いハードルである。
• 評価の非対称性: 攻撃はしばしば有利で特定の条件下（例：バッチサイズ＝1）で評価される一方、防御はモデル、データセット、攻撃者の適応にわたって普遍的にロバストであることが期待される。
• 出版の非対称性: 攻撃論文は「システムの失敗」という魅力的な物語に従うが、防御論文は「すべての攻撃に耐える」という脆弱な主張に依存しており、検証が難しく、覆されやすい。
• コストと複雑性の非対称性: 攻撃はしばしば市販のハードウェアを用いた学術的な実験室環境で実証可能であるのに対し、効果的な防御は産業規模のエンジニアリング、ハードウェアの再設計、または複雑な統合を必要とすることが多く、これらは典型的な学術論文の範囲外に位置する。

意義と主張

本論文は、観察された不均衡が単なる「トピックのギャップ」ではなく、インセンティブ構造のミスマッチの症状であると論じている。著者らは以下を主張する：

1. 是正の必要性: 分野は単に論文数を数えることを超えて、脆弱性の発見よりも修復を体系的に報いるインセンティブを是正しなければならない。
2. 第一級の貢献としての防御: 防御研究は、攻撃研究と同様の厳密性と認識を必要とする「第一級の科学的貢献」として扱われるべきである。
3. 出版数を超えて: 本論文はより多くの防御研究を呼びかけているが、ボトルネックは「実用化（翻訳）」、すなわち防御のエンジニアリング、展開、組織的な導入にもあることを認めている。したがって、行動を促す呼びかけは、現実的な評価、展開の経路、軽減志向の作業に対する制度的支援を含む「防御能力」へのより広範な投資に向けられるべきである。
4. 分野の成熟: 成熟したセキュリティ分野は、システムがどのように失敗するかを示すことに長けているだけでなく、システムを安全にする堅牢な方法を構築し、検証し、共有する能力も備えなければならない。

著者らは結論として、攻撃研究は脅威をマッピングするために依然として不可欠ではあるが、現在の軌道は、分野に脆弱性に対する深い理解をもたらす一方で、実務において AI システムを効果的に保護する方法に関する理解が浅いままになるリスクがあると述べている。