BlackMirror: Black-Box Backdoor Detection for Text-to-Image Models via Instruction-Response Deviation

この論文は、画像レベルの類似性に依存せず、指示と生成画像の間の意味的乖離とその安定性を分析することで、多様なバックドア攻撃を検出可能な新しいブラックボックス検出フレームワーク「BlackMirror」を提案するものです。

要約

鏡の魔法：AI 絵画の「裏切り」を見抜く新技術「BlackMirror」の解説

こんにちは！今日は、AI が絵を描く技術（テキストから画像を生成する AI）に潜む「悪意ある罠」を見抜く、とても面白い新しい研究についてお話しします。

この研究の名前は**「BlackMirror（ブラック・ミラー）」**。
まるで『ブラック・ミラー』という SF 作品のように、AI の裏側にある「歪んだ真実」を映し出す鏡のような存在です。

🎨 背景：AI 絵画の「裏切り」とは？

最近、AI に「犬の絵を描いて」と言うと、本当に可愛い犬が描けるようになりました。でも、もし誰かがその AI に**「裏工作（バックドア）」**を仕込んでいたらどうでしょうか？

• 正常な状態: 「犬」と言ったら「犬」が描ける。
• 裏工作された状態: 「犬」と言っても、実は**「猫」**が描かれてしまう。

しかも、この裏工作は**「特定の隠し言葉（トリガー）」**が入っているときだけ発動します。例えば、文章の先頭に「見えない文字」を忍ばせると、AI は「あ、指令だ！」とばかりに猫を描き始めるのです。

問題は、この裏工作が**「ブラックボックス（中身が見えない箱）」**状態で提供されている場合、どうやって見抜くかという点です。AI の中身（プログラムや重み）を覗き見できないので、外から「絵を見て」判断する必要があります。

🔍 従来の方法の「弱点」

これまでの检测方法は、**「絵と絵を比べて、似ているか？」**というアプローチでした。

• 従来の考え: 「裏工作された絵は、みんな同じように変な絵になるはずだ。だから、絵同士が似ていれば『怪しい！』と判断しよう。」
• 失敗した理由: 最近の裏工作は巧妙で、**「絵全体が同じ」ではなく、「犬を猫に置き換えるだけ」**というように、一部分だけ変えるものが増えました。
  • 従来の方法では、「背景や空は同じだし、似ているから大丈夫」と判断してしまい、「犬が猫に変わっている」という重要な部分を見逃してしまいました。

✨ BlackMirror の「魔法」：2 つのステップ

BlackMirror は、**「指示と結果のズレ」**に注目し、2 つのステップで怪しい AI を見抜きます。

ステップ 1: 「鏡合わせ」でズレを探す（MirrorMatch）

まず、AI が描いた絵と、ユーザーの指示文を**「鏡合わせ」**にします。

• 指示文: 「犬が傘の下に座っている」
• AI の絵: 「猫が傘の下に座っている」

ここで、**「指示には『犬』とあるのに、絵には『猫』がいる！」という「ズレ（Deviation）」を見つけ出します。
従来の方法は「絵全体」を見ていましたが、BlackMirror は「犬」「傘」「地面」といった「パーツごとの内容」**を細かくチェックするんです。

ステップ 2: 「試行錯誤」で真実を確かめる（MirrorVerify）

ここが最も面白い部分です。
「ズレ」が見つかったからといって、すぐに「怪しい！」とは決めません。なぜなら、AI はたまに**「勘違い」**をして、指示にないものを勝手に描くことがあるからです（例：「犬を描いて」と言ったら、背景に勝手に「木」を描いてしまうなど）。

そこで BlackMirror は、**「同じ指示を少し変えて、何回も描かせて」**みます。

• 指示 A: 「犬が傘の下に座っている」
• 指示 B: 「木が傘の下に座っている」（「犬」を「木」に変えてみる）
• 指示 C: 「車が傘の下に座っている」（「犬」を「車」に変えてみる）

【ここが重要！】

• 普通の AI（勘違い）: 指示を変えると、勝手に描く「木」も消えたり、変わったりします。
• 裏工作された AI（悪意）: 指示をどう変えても、「猫」が必ず描かれるという**「頑固な癖」**があります。

この**「どんな指示を変えても、必ず同じ『猫』が出てくる」という安定性**を確認することで、偶然の勘違いと、悪意ある裏工作を見分けるのです。

🌟 なぜこれがすごいのか？

1. 中身を見なくていい: AI の設計図や中身がわからなくても、外から指示と結果を見るだけで大丈夫です。
2. どんな罠にも強い: 「絵全体を固定する」という古いタイプの罠だけでなく、「犬を猫に置き換える」「スタイルを変える」といった、最近の巧妙な罠も見抜けます。
3. 説明ができる: 「なぜ怪しいと思ったのか？」を**「指示には犬とあったのに、絵には猫が安定して描かれているから」**と、人間にもわかりやすく説明できます。

🎭 まとめ：AI の「嘘」を見抜く探偵

BlackMirror は、AI 絵画の世界で**「探偵」**のような役割を果たします。

• 従来の探偵は、「犯人の顔（絵）がみんな似ているか？」で判断していましたが、犯人が変装（一部分だけ変える）すると見逃していました。
• BlackMirror は、**「犯人の癖（指示と結果のズレ）」に注目し、「どんな状況でも同じ行動をとるかどうか」**を何度も試すことで、真犯人（裏工作された AI）を確実に逮捕します。

この技術は、AI サービスを利用する際、**「本当に安全な AI なのか？」**を確認する「セキュリティチェック」として、今後とても重要になっていくでしょう。

---

一言で言うと：
**「指示と結果の『ズレ』を見つけ、それが『偶然』か『悪意』かを、何度も試して見分ける、AI 絵画のセキュリティ探偵」**です。

技術概要

論文技術サマリー：BlackMirror

論文タイトル: BlackMirror: Black-Box Backdoor Detection for Text-to-Image Models via Instruction-Response Deviation
著者: Feiran Li, Qianqian Xu, Shilong Bao, 他 (中国科学院、北京理工大学、中山大学など)

1. 背景と課題 (Problem)

近年、テキストから画像を生成するモデル（Text-to-Image: T2I モデル）は急速に進歩し、広く利用されています。しかし、その普及に伴い、モデルの訓練段階に悪意のある攻撃者が隠れた振る舞い（バックドア）を注入する「バックドア攻撃」のリスクが深刻化しています。

• 黒箱（Black-Box）環境の課題: 現実世界では、MaaS（Model-as-a-Service）のように、モデルの内部構造や重みパラメータにアクセスできない「黒箱」環境での利用が一般的です。既存の防御手法の多くは、内部のニューロン活性化やアテンションマップを利用する「白箱」前提であり、黒箱環境では適用不可能です。
• 既存手法の限界: 現在、黒箱環境で唯一提案されている手法「UFID」は、プロンプトのわずかな変化に対する生成画像の画像レベルの類似性が高いことをバックドアの兆候と仮定しています。しかし、最近の高度な攻撃（BadT2I, EvilEdit など）は、画像全体ではなく特定のオブジェクトやスタイル、パッチのみを操作する「局所的な操作」を行うため、生成画像は多様性を保ちつつも意図された操作が行われます。このため、画像全体の類似性を測る UFID は、これらの複雑な攻撃を検出できず、誤検知や見逃しが多発します。

2. 提案手法：BlackMirror (Methodology)

本論文は、T2I モデルのバックドアを検出するための新しい黒箱フレームワーク**「BlackMirror」を提案します。この手法は、モデル内部にアクセスせず、「指示（Instruction）」と「応答（Response）」の間の意味的乖離（Deviation）」と、その「安定性（Stability）」**に焦点を当てています。

BlackMirror は以下の 2 つの主要コンポーネントで構成されます。

2.1. MirrorMatch（微細な意味乖離の検出）

従来の画像全体との類似度ではなく、生成画像と入力プロンプトの間のパターンレベル（物体、パッチ、スタイル）の一致を分析します。

1. プロンプトからの抽出: 言語モデル（LLM）を用いて、入力プロンプトから意図された視覚的要素（物体、スタイル、パッチの有無など）を抽出します。
2. 画像からの抽出: 視覚言語モデル（VLM）を用いて、生成画像から実際に描画されている要素を複数回（K 回）抽出し、多数決方式（Voting）で信頼性の高い要素セットを決定します。これにより、背景ノイズを除去します。
3. 乖離の特定: 抽出されたプロンプト要素と画像要素を比較し、以下の「怪しい乖離」を特定します。
   • O_new: プロンプトにないのに画像に現れた要素（例：指示にない「猫」が現れる）。
   • O_lost: プロンプトにあるのに画像に現れなかった要素（例：指示の「犬」が消える）。
   • スタイル/パッチの不一致: 指示されていないスタイルやパッチの存在。

2.2. MirrorVerify（乖離の安定性検証）

単発の乖離は、モデルのバイアスや偶然によるもの（偽陽性）である可能性があります。バックドア攻撃の核心は、トリガーが投入されるとプロンプトを変化させても攻撃者の意図した操作が安定して持続する点にあります。

1. パターンマスキング: 元のプロンプトから「安全な要素（O_safe）」をランダムに削除し、トリガーは残しつつ意味的なバリエーションを持たせたプロンプト変種を生成します。
2. 複数生成と検証: 変種プロンプトに対して N 回画像を生成し、VLM に「特定の要素（O_new や O_lost）が含まれるか？」を Yes/No で質問します。
3. 安定性スコア: 各要素が N 回の生成でどれだけ一貫して現れる（または現れない）かを確率として計算します。
   • バックドアによる操作は高い安定性（スコアが高い）を示します。
   • 自然なモデルバイアスによる乖離は不安定で、スコアが低くなります。
4. 判定: 最終的な安定性スコアが閾値（$\tau$）を超えた場合、そのサンプルをバックドアトリガーと判定します。

3. 主な貢献 (Key Contributions)

1. 汎用的な黒箱検出フレームワークの提案: T2I モデルにおけるバックドア検出の初期試みとして、オブジェクト、パッチ、スタイルの操作を網羅的に検出可能な BlackMirror を提案しました。
2. トレーニング不要のプラグ＆プレイ構成: モデルの微調整や内部情報不要で、MirrorMatch と MirrorVerify の 2 つのモジュールを組み合わせることで、既存の MaaS プラットフォームに容易に導入可能です。
3. 高度な攻撃への耐性: 画像レベルの類似性ではなく、指示と応答の微細な意味的乖離とその安定性を分析することで、UFID が検出できない複雑な局所操作攻撃（BadT2I など）を高い精度で検出します。

4. 実験結果 (Results)

Stable Diffusion v1.5 を基盤とし、BadT2I, EvilEdit, PaaS, RickTPA, VillanDiffusion など、多様なバックドア攻撃手法に対して評価を行いました。

• 検出精度: 黒箱手法の中で最高性能を達成しました。特に、ObjRepAtt（物体置換）攻撃において、UFID の F1 スコアが 60-66% 程度だったのに対し、BlackMirror は**85-98%**の F1 スコアを記録しました。
• 偽陽性率（FPR）: 既存の黒箱手法（UFID）は複雑な攻撃で高い FPR（約 48-60%）を示しましたが、BlackMirror は平均15%以下に抑え、実用性を確保しました。
• 白箱手法との比較: 内部情報にアクセスできる白箱手法（T2IShield, NaviT2I など）と比較しても、同等かそれ以上の性能を発揮し、一部では白箱手法を上回る結果となりました。
• 計算コスト: 画像生成回数を増やす必要があるものの、VLM への問い合わせ回数は少なく、UFID と比較して実行時間は約 6% 増加するのみで、実用的な範囲内です。

5. 意義と結論 (Significance)

BlackMirror は、T2I モデルのセキュリティ、特に黒箱環境における実用的なバックドア検出という重要な課題に対して、画期的な解決策を提供します。

• 原理の革新: 「画像の類似性」ではなく「指示と生成の整合性とその安定性」という新しい視点を取り入れることで、従来の手法が苦手とする「多様性を保ったままの局所操作」を検出可能にしました。
• 実社会への適用: 学習不要でプラグ＆プレイ可能な設計は、モデル提供者やユーザーが内部構造を知らずに安全性を検証する MaaS 環境において、即座に導入可能なセキュリティ層となります。
• 将来展望: 視覚言語モデル（VLM）の進化に伴い、BlackMirror の検出性能はさらに向上すると期待されます。

本論文は、生成 AI の安全性を担保するための重要な基盤技術であり、信頼できる AI 社会の実現に寄与するものです。