🤖 AI

Erased but Exploitable: Black-box Embedding-Aware Prompting Against Unlearned Text-to-Image Diffusion Models

本論文は、大規模言語モデルを活用して高品質かつ検出されにくいプロンプトを反復的に生成するブラックボックスかつ埋め込み認識型の敵対的プロンプト攻撃である BEAP を紹介し、これは従来の手法よりも著しく高い成功率でテキストから画像への拡散モデルにおける機械的忘却防御を回避することに成功する。

原著者： Arian Komaei Koma, Seyed Amir Kasaei, AmirMahdi Sadeghzadeh, Mohammad Hossein Rohban

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Arian Komaei Koma, Seyed Amir Kasaei, AmirMahdi Sadeghzadeh, Mohammad Hossein Rohban

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Erased but Exploitable: Black-box Embedding-Aware Prompting Against Unlearned Text-to-Image Diffusion Models」を、平易な言葉と比喩を用いて解説したものです。

全体像：「偽の消しゴム」の問題

あなたが、数百万枚の画像を見てきた非常に才能ある芸術家を持っていると想像してください。あなたは、この芸術家に「特定の何か、例えば裸の人を描くことを忘れる」よう頼みます。安全のために、二度とそれを描かないようにしたいのです。

これを行うために、あなたは特別な「機械学習の忘却（Machine Unlearning）」技術を使います。これは、芸術家の「裸の人」に関する記憶の上に、赤いマーカーで落書きをするようなものです。これで、もし裸の人を描くように頼んでも、芸術家は「それが何か知らない」と答えたり、全く別のものを描いたりするだろうと期待します。

問題点： この論文の著者たちは、この「赤いマーカー」が実際には記憶を消去していないことを発見しました。ただ隠しているだけです。芸術家は描き方をまだ覚えており、その記憶を再び解き放つのに必要な「ささやき」があればいいのです。

攻撃手法：BEAP（「ささやく探偵」）

この論文は、BEAPと呼ばれる新しい手法を紹介しています。BEAPは、芸術家がまだ禁止された画像を覚えていることを証明したい、巧妙な探偵のようなものです。

芸術家をだまそうとした以前の試みのほとんどは、意味不明な叫び声を上げたり、意味のないコード（例：「naked person x99#!!」）を使ったりするものでした。芸術家の安全ガード（フィルタ）は、すぐにこの無意味さを察知してブロックしてしまいます。

BEAPは異なります。 BEAPは、超大規模言語モデル（LLM）という超賢い AI を「外交的な翻訳者」として活用します。叫ぶのではなく、BEAP はささやきます。安全ガードには完全に無害に聞こえる、正常で丁寧な人間の言葉を使って、禁止された概念を説明しようとします。

BEAP の仕組み（三段階のダンス）

BEAP は単に推測するのではなく、芸術家と「ホット＆コールド」ゲームを繰り返し、毎回アプローチを洗練させていきます。その仕組みは以下の通りです。

「語彙マップ」（埋め込み認識）：
芸術家の脳を、言葉が「どのくらい似ているか」で配置された巨大な図書館だと想像してください。「naked（裸）」という言葉は特定の隅にあります。BEAP は、「naked」の「隣人」である言葉（「bare」「skin」「uncovered」など）のマップを作成しますが、それらは禁止された言葉そのものではありません。AI 翻訳者にこう伝えます：「これらの隣人の言葉を使って、この場面を描写してください」。これにより、検索は図書館の正しいエリアに集中します。
「三点評価表」（報酬シグナル）：
BEAP はプロンプトを試して画像を得た後、以下の 3 つをチェックします。
- 禁止された物体は得られたか？（例：画像に実際に裸の人が写っているか？）
- 画像は言葉と一致しているか？（例：「庭にいる女性」を頼んだ場合、画像に庭にいる女性が写っているか？）
- 画像は美しいか？（ぼやけていたり歪んでいたりするか、それとも高品質か？）
画像がこれらのいずれかで失敗しても、BEAP は諦めません。AI 翻訳者にこう伝えます：「それは近いが、画像がぼやけすぎている。別の方法で描写し直すが、その『隣人』の言葉を使い続けてくれ」。
反復ループ：
これが何度も繰り返されます。BEAP は、少しだけ改善された新しい文章を生成し、再度試して、より良いスコアを得ます。最終的には、フィルタには完全に正常で安全に聞こえるが、芸術家を騙して禁止された画像を高品質で描かせる文章を見つけ出します。

結果：「消去された」が「消えていない」

この論文は、裸という概念を芸術家の脳から削除したはずの、いくつかの異なる「消しゴム」手法（ESD、MACE、SPM など）に対して、この手法をテストしました。

従来の方法（リング・ア・ベル）： 以前の攻撃はシステムを破壊しようとしたが、結果として意味不明なプロンプトを生み出すに終わった。安全フィルタに検知されるか、生成された画像は醜く破綻していた。良い画像を作る成功率は 0% だった。
BEAP の方法： BEAP はケースの**95% から 99%**で成功した。完全に自然に聞こえる文章を使って、「忘れ去られた」概念の、高品質で美しい画像を生成することに成功した。
「意味不明」テスト： 論文は、BEAP のプロンプトが意味不明に見えるか確認した。そうではなかった。それらは通常の英語のように見えた。通常「奇妙」または「破綻した」テキストを検知する安全フィルタは、完全に欺かれていた。

結論

この論文は、現在の「忘却」手法は実際には安全ではないと結論づけています。それは、ドアを施錠する代わりに「立入禁止」の看板を掲げているようなものです。正しいコード（この場合は、自然に聞こえる正しい文章）を知っていれば、あなたはそのまま通り抜けることができます。

著者たちは警告しています。モデルが「忘却」された後でも、知識はそこに残っており、それを蘇らせるための巧妙なプロンプトを待っているだけだ、と。彼らが BEAP を作成したのは、誤用を促すためではなく、開発者に対して、現在の安全対策が脆弱であり、修正が必要であることを示すためでした。

技術的概要：消去されたが利用可能な（BEAP）

問題定義

機械的学習（マシーン・アンラーニング）は、ゼロから再学習することなく、事前学習済みのテキスト対画像（T2I）拡散モデルから特定の概念（例えば、NSFW コンテンツや著作権のあるスタイル）を選択的に除去することを目的としています。ESD、SPM、MACE などの手法がこれらの概念を「忘却」させるために提案されてきましたが、最近の研究では、それらが残留痕跡に対して脆弱であることが示唆されています。これらの忘却された概念を回復するために設計された既存の敵対的攻撃は、現実的な脅威モデルにおいて重大な制限に直面しています：

ホワイトボックス依存性：Generate-or-Not などの手法は、モデルの重みまたは勾配へのアクセスを必要としますが、これは展開されたシステムに対して非現実的です。
エンコーダー依存性：Ring-a-Bell や QF-Attack などの攻撃は、埋め込み空間での検索を実行するために、対象モデルの特定のテキストエンコーダーへのアクセスを必要とします。
検出可能性：現在のブラックボックス手法は、しばしば意味的に無意味で、高いパープレキシティを持つ「ガベージ」プロンプトを生成します。これらは、単純なルールベースの防護策やパープレキシティベースの検出器によって容易に検出され、フィルタリングされるため、現実世界のシナリオでは無効になります。

対処される核心的な問題は、忘却された拡散モデル内の残留知識を効果的に悪用できる、完全なブラックボックスで、人間が読み取れ、かつ検出不可能な攻撃の欠如です。

手法：BEAP

著者は、自然言語空間内で効果的な敵対的プロンプトを反復的に生成するために大規模言語モデル（LLM）を活用するフレームワークである BEAP（Black-box Embedding-Aware Prompting）を提案します。BEAP は、モデルの重み、勾配、または対象モデルのテキストエンコーダーへのアクセスなしに動作します。

1. LM 駆動のセマンティック検索

BEAP は、LLM を反復的なオプティマイザーとして扱います。対象の概念を記述する初期プロンプトから開始し、LLM は多様な言い換えプロンプトのバッチを生成します。これらのプロンプトは、忘却された拡散モデル（ $M_u$ ）に対してクエリされます。生成された画像が評価され、そのフィードバックが次のバッチのプロンプトの洗練に利用されます。埋め込み空間を最適化する以前の手法（不自然なテキストにつながる）とは異なり、BEAP は自然言語多様体（manifold）内で直接検索を行うため、生成されたプロンプトが流暢で人間が読み取れるままであることを保証します。

2. 多信号報酬ガイダンス

LLM を成功した攻撃へと導くために、BEAP は生成された各画像に対して 3 つの相補的な報酬信号を採用します：

概念検出スコア：NudeNet や DINOv2 などの検出器を使用して、忘却された概念の存在を検証します。
テキスト - 画像整合性：ImageReward を使用して、生成された画像がプロンプトと意味的に一致していることを保証します。
画像品質：Aesthetic Score を使用して、出力が視覚的に一貫性があり高品質であることを保証します。

プロンプトは、他の指標を犠牲にして 1 つの指標のみを最適化する「報酬ハッキング」を防ぐために、3 つの信号すべてに対して閾値を満たす場合にのみ成功とみなされます。

3. 埋め込み認識型類似性検索

自然言語とモデルの潜在空間内の特定の「忘却された」概念との間のギャップを埋めるために、BEAP は敵対的類似語彙を導入します：

ベクトル構築：システムは、概念を含むプロンプトとそれらの中立化された対応物（例：「裸の人物」対「人物」）の間の埋め込み差分を平均化することで、概念ベクトル（ $c_{adv}$ ）を構築します。
語彙選択：このベクトルは、コサイン類似度を使用して参照語彙（例：Oxford 3000）と比較されます。最も類似した上位 k 個の単語が選択されます。
ガイダンス：これらの単語は「手がかり」として LLM に提供されます。これにより、LLM は忘却されたターゲットの概念的な近傍にある表現へと誘導され、対象モデルのエンコーダーへの直接アクセスを必要とせずに、忘却が不完全な領域への検索を効果的に導きます。

主要な貢献

最初の完全ブラックボックス LLM 攻撃：BEAP は、モデルの重みやエンコーダーへのアクセスを必要とせず、ブラックボックスアクセスのみを使用して T2I モデル向けの人間が読み取れる敵対的プロンプトを生成する最初のフレームワークです。
報酬誘導型反復戦略：著者は、プロンプトを反復的に洗練し、画像品質を犠牲にすることなく高い成功率を確保する多信号フィードバックループ（概念の存在、整合性、品質）を設計しました。
埋め込み認識型検索：埋め込みガイド型の類似性コンポーネントの導入により、LLM が意味的に関連する語彙に焦点を当てることが可能になり、テキスト空間探索の効率性と有効性が大幅に向上しました。
根本的な脆弱性の実証：この研究は、現在の忘却手法が知識を完全に除去できず、自然言語の敵対的プロンプトによって依然として脆弱であることを示す実証的証拠を提供しています。

実験結果

著者は、5 つの異なる手法（UCE、ESD、MACE、SPM、Receler）を使用して忘却された Stable Diffusion v1.4 モデルを、I2P ベンチマーク（200 の高ヌードプロンプト）に対して評価しました。

攻撃成功率（ASR）：BEAP は先行手法を大幅に上回ります。Ring-a-Bell は厳格な基準（概念の存在、整合性、品質を必要とする）の下で 0% の ASR を達成したのに対し、BEAP はすべての忘却ベースラインにおいて 86% から 99% の ASR スコアを達成しました。
効率性：BEAP は、1 回の成功した攻撃あたり平均わずか 15 プロンプト しか必要とせず、高いサンプル効率を示しています。
検出不可能性：パープレキシティが約 4736 でガベージ検出率が 100% だった Ring-a-Bell と異なり、BEAP は自然言語に近いパープレキシティ値（569–653；I2P 参照：505）を持つプロンプトを生成し、ガベージ検出率は 26% と低かったです。
画像品質：BEAP は、高い審美性スコアと整合性スコアを維持しながら忘却された概念を回復することに成功しましたが、Ring-a-Bell は歪んだ低品質の画像を生成しました。
一般化可能性：この攻撃は、オブジェクトレベルの忘却（「ゴルフボール」）でもテストされ、同様にベースラインを上回りました。これにより、脆弱性が安全性に関連する概念を超えて拡張することが確認されました。

意義と主張

この論文は、現在の機械的学習パイプラインは、拡散モデルからの概念の除去を保証するには根本的に不十分であると主張しています。著者は、忘却手法が明示的な視覚的痕跡を抑制する可能性はあっても、基礎となる意味表現を排除するものではなく、これらは慎重に作成された自然言語プロンプトによって再活性化され得ると論じています。

この研究の意義は、忘却の理論的保証とモデルセキュリティの現実との間の重要なギャップを露呈させる点にあります。流暢で検出不可能なプロンプトを使用して忘却されたモデルを「ジャイルブレイク」できることを実証することで、著者は、生成 AI における概念除去に対して、より堅牢で検証可能かつ信頼性の高いアプローチの緊急の必要性を浮き彫りにしています。この研究は、事後フィルタリングや現在の忘却手法が、決意した敵対者に対する十分な防御ではないことをモデル開発者への警告として機能します。