🤖 AI

The Good, the Bad and the Ugly: Meta-Analysis of Watermarks, Transferable Attacks and Adversarial Defenses

本論文は、ウォーターマークと敵対的防御の間のトレードオフをインタラクティブなプロトコルとして定式化し、あらゆる学習タスクにおいて、ウォーターマーク、敵対的防御、または（完全準同型暗号を用いて構築された）転移可能な攻撃のうち、少なくとも一つは存在しなければならないことを証明すると同時に、防御またはウォーターマークが保護され得る特定の条件を特定している。

原著者： Grzegorz Głuch, Berkant Turan, Sai Ganesh Nagarajan, Sebastian Pokutta

公開日 2026-01-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Grzegorz Głuch, Berkant Turan, Sai Ganesh Nagarajan, Sebastian Pokutta

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能の世界を、アリス（攻撃者）とボブ（防御者）という2人のキャラクターによる、大規模でハイリスクな「かくれんぼ」のゲームとして想像してみてください。彼らは、特定の学習タスク（例えば、写真の中の猫を認識したり、質問に答えたりすること）において、どちらが優勢であるかを突き止めようとしています。

『The Good, the Bad and the Ugly（善、悪、そして醜いもの）』と題されたこの論文は、このゲームにおいて、「すべてを手に入れることはできない」と主張しています。どのようなタスクにおいても、宇宙のルールによって、以下の3つのシナリオのうち少なくとも1つが発生することが決まっています。モデルが安全で、所有者が保護され、かつ誰もシステムを欺くことができないという完璧な世界は存在し得ないのです。

これら3つの可能性のある結末を、簡単な比喩を用いて説明します。

1. 「善（The Good）」：消去不可能なウォーターマーク（透かし）

シナリオ： アリスは、特定のAIモデルが自分のものであることを証明したいと考えています。彼女は学習中に、モデルの中に秘密の「バックドア」（隠されたトリガー）を仕込みます。
比喩： アリスがある特定の種類のリンゴに、目に見えない小さな点を描いたと想像してください。もしその特定のリンゴを機械に投入すると、機械は「これはアリスのリンゴだ！」と叫びます。
制約： 論文によれば、これが可能なのは、その「点」があまりにも微細で、ボブ（防御者）が機械のコードを見ても見つけることができない場合に限られます。しかし、もしボブが強力すぎる（計算資源が豊富すぎる）場合、彼はその点を拭き取ってしまうかもしれません。
結果： もしアリスが、ボブが見つけたり削除したりできない秘密のトリガーを仕込むことができれば、彼女は**ウォーターマーク（透かし）**を持つことになります。これは所有者にとって「善」であり、所有権を証明できるからです。

2. 「悪（The Bad）」：阻止不能な防御

シナリオ： ボブは、騙されることのないモデルを構築したいと考えています。彼は、誰かが偽の入力を使って自分を欺こうとしていることを即座に知りたいと考えています。
比喩： ボブが、1マイル先からでも偽物のリンゴの臭いを嗅ぎ分けることができる警備員を作ったと想像してください。どんなに本物のリンゴに似ていても、警備員は「止まれ！これは本物のリンゴではない！」と言い放ちます。
制約： これは、「偽物のリンゴ（敵対的攻撃）」が本物とは十分に異なっており、警備員がそれを見抜ける場合にのみ機能します。
結果： もしボブが、アリスによるあらゆる策略を検知できるシステムを構築できれば、彼は**敵対的防御（Adversarial Defense）**を手に入れたことになります。これは攻撃者にとって「悪」であり、彼らがシステムを欺くことができなくなるからです。

3. 「醜（The Ugly）」：転移可能な攻撃

シナリオ： これがこの論文の大きな新発見です。時として、アリスは見た目には本物のリンゴと全く区別がつかないのに、それでも機械を壊してしまうようなトリックを作り出すことができます。そして最も恐ろしいことに、ボブがどれほど賢い機械を構築したとしても、このトリックはあらゆる機械に対して有効なのです。
比喩： アリスが「魔法のリンゴ」を作ったと想像してください。それは肉眼や標準的なスキャナーには100%本物に見えます。しかし、それを噛んだ瞬間に爆弾へと変わります。
ひねり： 論文は、もしアリスが特定の種類の「魔法の数学」（完全準同型暗号と呼ばれるもので、鍵のかかった箱を開けることなくその中のデータに対して計算を行う技術のようなもの）を利用できれば、このような魔法のリンゴを作成できることを証明しています。
結果： もしアリスがこれを実行できれば、彼女は**転移可能な攻撃（Transferable Attack）**を手に入れたことになります。これは「醜い」結果です。なぜなら、ボブが自身の特定のモデルに対してどれほど懸命に防御を試みたとしても、アリスのトリックはそれを突破してしまうからです。それは、あらゆる錠前を開けるユニバーサル・キーなのです。

大きな「メタ」な結論

この論文の主要な定理は、AIセキュリティにおける物理法則のようなものです。それは次のように述べています。

いかなる学習タスクにおいても、以下の3つのうちの1つに縛られることになる：

アリスの勝利： 彼女は、ボブが見つけることのできない秘密のウォーターマークを隠すことができる。

ボブの勝利： 彼は、アリスのあらゆる策略を捉える防御を構築できる。

「醜いもの」の勝利： アリスは、複雑な暗号技術を用いて、本物に見えながらもボブが築いたあらゆる防御を破壊するユニバーサルなトリックを作り出すことができる。

なぜこれが重要なのか？
この論文は、高度な数学とゲーム理論を用いて、以下のような世界は存在しないことを証明しています。

ウォーターマークが破られず、かつ防御が完璧で、かつ攻撃が不可能な世界。
防御を強固にしようとすれば、意図せずウォーターマークを不可能にしてしまうかもしれない。
ウォーターマークをあまりに秘密にしようとすれば、意図せず「醜い」ユニバーサル攻撃に対して脆弱になるかもしれない。

「リソース」のルール：
また、論文は計算資源に関する目安となるルールも示しています。もし攻撃者が予算 $T$ （時間や資金など）を持っている場合、防御者が機能する防御を構築するには、通常その平方根である $T^2$ 程度の力が必要です。もし防御者がそれ以下のパワーしか使わない場合、「醜い」攻撃（ユニバーサルなトリック）が可能になります。

要約すると：
著者たちは「AIは破滅する」と言っているわけではありません。「トレードオフを理解する必要がある」と言っているのです。完璧なセキュリティ、完璧な所有権、そして完璧な安全性を同時に手に入れることはできません。攻撃者と防御者がどれほどの計算能力を持っているかに応じて、これら3つの結末のうちのいずれかが数学的に保証されるのです。

テクニカル・サマリー：良きもの、悪きもの、そして醜きもの：ウォーターマーク、転移可能な攻撃、および敵対的防御に関するメタ解析

問題提起

本論文は、バックドアに基づくウォーターマーク（モデルの所有権検証に使用される）と、敵対的防御（入力の摂動に対する堅牢性を確保するために使用される）の間の根本的なトレードオフに対処している。これまでの経験的な研究では、敵対的攻撃に対して堅牢なモデルはバックドア攻撃に対して脆弱になる可能性があり、その逆もまた然りであるという現象が観察されてきたが、この相互作用に関する正式な理論的理解は欠如していた。

著者らは、この状況を、それぞれの計算リソースを考慮した**検証者（アリス）と証明者（ボブ）**の間のインタラクティブなプロトコルとして定式化している。中心となる問いは、与えられたあらゆる学習タスクにおいて、以下の3つの特性のうちどれが存在しなければならないのか、ということである。

ウォーターマーク (Watermark): 取り除くことができず、かつ検知不可能なバックドアを埋め込むメカニズム。
敵対的防御 (Adversarial Defense): データ分布と区別がつかない敵対的例を検出し、拒絶するメカニズム。
転移可能な攻撃 (Transferable Attack): データ分布と区別がつかない一方で、すべての効率的な防御策を欺くことができる効率的なアルゴリズム。

本論文は、これらの3つの選択肢が「三分律（trichotomy）」を形成しており、攻撃者と防御者の計算制約に応じて、少なくとも一つの要素が存在しなければならないと主張している。

手法と定式化

1. 計算モデル

著者らは、学習タスクとエージェントを、サイズパラメータ $n$ によってインデックス付けされたブール回路の族を用いてモデル化している。このアプローチは計算理論における標準的な手法であり、単なる実行時間ではなく、計算リソース（回路サイズ）を詳細に制御することを可能にする。

学習タスク ( $L$ ): データ分布 $D_n$ と真のラベル関数 $h_n$ のペアの分布のシーケンスとして定義される。
エージェント: アリス（攻撃者／ウォーターマーク埋め込み手）とボブ（防御者／ウォーターマーク除去手）は、それぞれサイズ境界 $S_A(n)$ および $S_B(n)$ を持つ回路として表される。

2. 3つのスキームの定義

本論文は、これら3つの概念をインタラクティブなプロトコルとして定式化している。

ウォーターマーク (定義3): 低エラーの分類器 $f$ $f$ とクエリ集合 $x$ $x$ を生成する効率的なアルゴリズム。
- 正当性 (Correctness): $f$ は低エラーを持つ。
- 一意性 (Uniqueness): 同等のリソースを持つ証明者（ウォーターマークを使用していない者）は、 $x$ に対して低エラーの回答を生成できない。
- 除去不能性 (Unremovability): 限定されたリソース ( $S_B$ ) を持つ証明者は、 $x$ に対して低エラーの回答を生成できない。
- 検知不能性 (Undetectability): クエリ $x$ はデータ分布 $D_n$ と計算量的に区別がつかない。
敵対的防御 (定義4): 分類器 $f$ $f$ と検知ビット $b$ $b$ を生成する効率的なアルゴリズム。
- 正当性 (Correctness): $f$ は低エラーを持つ。
- 完全性 (Completeness): 自然な入力 ( $x \sim D_n$ ) はフラグを立てられない ( $b=0$ )。
- 健全性 (Soundness): もし敵対者 ( $S_A$ ) が高エラーを引き起こす入力を提供した場合、その入力が $D_n$ と区別がつかない限り、防御策はそれらをフラグ立てしなければならない ( $b=1$ )。
転移可能な攻撃 (定義5): クエリ $x$ $x$ を生成する効率的なアルゴリズム。
- 転移可能性 (Transferability): 限定されたリソースを持つあらゆる証明者に対して、クエリ $x$ は高エラーを引き起こす。
- 検知不能性 (Undetectability): クエリ $x$ は $D_n$ と区別がつかない。
- 注記: 標準的な転移可能性（モデルの類似性に依存するもの）とは異なり、この定義では、アーキテクチャに関わらず「すべての効率的な防御策」を欺くことが要求される。

3. ゲーム理論的フレームワーク

理論の中核となるエンジンは、アリス（ウォーターマークを埋め込もうとする）とボブ（それを除去しようとする、あるいは攻撃を検知しようとする）の間のゼロサムゲームである。

ゲームのペイオフは、ウォーターマークが正常に除去されたか、あるいは攻撃が正常に検知されたかに依存する。
ミニマックス定理と大規模ゼロサムゲームに関する結果（Lipton and Young, 1994）を用い、著者らはこのゲームがナッシュ均衡を持つことを論じている。
この均衡の値によって、どのスキームが存在するかが決定される：
- ゲームの値が高い場合、敵対的防御が存在する。
- ゲームの値が低い場合、ウォーターマークまたは転移可能な攻撃のいずれかが存在する。

主な貢献と結果

1. 主要定理（三分律）

定理1: 回路複雑性 $S(n)$ を持つ、エラー $\epsilon$ まで学習可能なすべての学習タスク $L$ について、以下のうち少なくとも1つが存在する：

ウォーターマーク（防御者サイズ $o(\sqrt{S(n)/\log S(n)})$ ）。
敵対的防御（防御者サイズ $O(S(n))$ ）。
転移可能な攻撃（攻撃者サイズ $S(n)$ ）。

この結果は、安全なウォーターマーク、すべての効率的な攻撃者に対する堅牢な防御、そして転移可能な攻撃が存在しない状態を、同時に実現することは不可能であることを意味している。一つの存在は、特定の計算リソース制約の下で他の存在を排除する。

2. 転移可能な攻撃と暗号学

本論文は、完全準同型暗号 (FHE) に基づく特定の学習タスクを構築し、転移可能な攻撃の存在を実証している。

構成: タスクは、「円上の直線 (Lines on a Circle)」学習問題にFHEを拡張したものである。データ分布は、「クリアな」サンプルと「暗号化された」サンプルの混合体である。
メカニズム: 攻撃者（アリス）は、クリアなサンプルに対して分類器を学習する。その後、彼女はランダムなクリアな点、または決定境界付近の暗号化された点を生成する。FHEの安全性により、これらの暗号化された点は、効率的な敵対者にとってランダムな暗号化された点と区別がつかない。
結果: 攻撃者は、限定された計算リソースを持つあらゆる防御者（境界を学習するためにサンプルを復号できない者）に対して高エラー率を強制できる一方で、検知不能性を維持できる。
示唆: 転移可能な攻撃の存在は、EFIDペア（効率的にサンプリング可能で、統計的に遠く、計算量的に区別不能なペア）の存在を意味する。したがって、転移可能な攻撃は、計算量的に複雑なタスクにおいてのみ存在する。

3. 有界VC次元の結果

本論文は、有界VC次元を持つタスクを分析している：

敵対的防御: 有界VC次元を持つタスクについては、防御者がVC次元に対して多項式の計算リソースを持つ限り、すべての攻撃者（たとえ計算能力が無制限であっても）に対する敵対的防御が存在する。これにより、これらの設定における転移可能な攻撃の存在は否定される。
ウォーターマーク: 有界VC次元のタスクのサブクラスにおいて、防御者よりも厳密に少ないリソースを持つ「高速な」敵対者に対して安全なウォーターマークが存在する。この特定の領域では、ウォーターマークと敵対的防御の両方が共存できる。

重要性と主張

本論文は、ウォーターマーク、防御、および攻撃の間のトレードオフを理解するための、初のモデルに依存しない定量的フレームワークを提供すると主張している。

トレードオフの定式化: 経験的な観察を超えて、任意の学習タスクにおいて、セキュリティの景観は攻撃者と防御者の相対的な計算リソースによって決定されるという厳密な理論的証明を提供している。
第三の選択肢: 標準的な敵対的例とは異なる、データと区別がつかないが効率的なすべての防御策を欺く「転移可能な攻撃」を、トレードオフにおける必要な第三の選択肢として特定した。
暗号学的接続: 転移可能な攻撃の存在と、暗号学的困難性（特にEFIDペアの存在）との間の直接的な関連性を確立した。これは、「完璧な」堅牢性（転移可能な攻撃が存在しない状態）は、タスクが暗号学的な意味で計算量的に困難でない場合にのみ可能であることを示唆している。
リソース配分の経験則: 著者らは実用的なヒューリスティックを提案している。もし敵対者が計算予算 $T$ を持っている場合、防御者に $T^2$ のリソースを割り当てることが、防御が存在する場合の構築に十分である。逆に、 $T^2$ の予算を持つ防御が失敗した場合、それはそのタスクが転移可能な攻撃を許容していることを示唆し、それがこの枠組みにおける安全なウォーターマークの可能性を排除することになる。

結論として、本論文は、これら3つのスキームの相互作用は、単にモデルのアーキテクチャやデータセットの問題ではなく、根本的には学習タスクの計算複雑性と、当事者間のリソースの格差の関数であると述べている。