🤖 machine learning

Concept Unlearning via Cross-Attention Activation Projection for Diffusion Models

本論文は、パラフレーズおよび敵対的プロンプト下で拡散モデルから対象概念を効果的に消去しつつ、保持された概念の生成を維持するために、活性化空間表現に基づいてクロスアテンションのキーおよびバリュー重みを射影する、閉形式の概念学習手法であるPUREを提案する。

原著者： Saemi Moon, Suhyeon Jun, Seoyeon Lee, Dongwoo Kim

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Saemi Moon, Suhyeon Jun, Seoyeon Lee, Dongwoo Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが世界のあらゆるものを描くことを学んだ超有能なアーティスト（AI）を持っていると想像してください。しかし、安全上または法的な理由から、このアーティストに、有名な漫画キャラクター（ピカチュウ）や特定の絵画様式（ゴッホ）など、特定のものの描き方を忘れるように教える必要があります。

難しい点は、アーティストにそれ以外のすべてを忘れたくないということです。ミッキーマウス、マリオ、あるいは風景画などは、引き続き上手に描けるままであってほしいのです。

この論文は、アーティストを最初からやり直すことなく、これらの特定の概念を「学習解除（アンラーニング）」するための新しい巧妙な方法を紹介します。その仕組みを、簡単な比喩を用いて分解して説明します。

問題：「名前札」の誤り

従来の方法は、名前札を見てアーティストに忘れさせようとしていました。

仕組み： アーティストに「ピカチュウ」を忘れさせたい場合、コンピュータは「ピカチュウの写真」や「ピカチュウの絵」といったプロンプトを確認します。そして、テキスト内の「ピカチュウ」という部分を見つけ、アーティストの脳からその特定のテキストパターンを削除しようとします。
欠点： これは、友人の名前だけを禁止することで、その友人を認識しないようにしようとするようなものです。もしアーティストに「赤い頬を持つ黄色い電気ネズミを描いて」と言っても、アーティストは「『ピカチュウ』という言葉は知りませんが、その描写なら描けますよ」と答えます。名前を禁止したにもかかわらず、アーティストは依然としてピカチュウを描いてしまいます。従来の方法は言葉に焦点を当てすぎており、概念を見落としていたのです。

解決策：「スケッチプロセス」を観察する

著者であるムン・サエミ（Saemi Moon）とチームは、アーティストが名前札を見るだけでなく、実際のスケッチプロセスを見ていることに気づきました。

新しいアイデア： テキストプロンプトを見るのではなく、アーティストが実際に画像を描いている間、その内部の「筆致（クロスアテンション活性化）」を観察します。
比喩： アーティストが絵を描いている様子を想像してください。
- 旧方法： 注文書を見て、「『ピカチュウ』という言葉を削除してください」と言う。
- 新方法（PURE）： アーティストが黄色い耳と赤い頬を描く際の手元を観察する。その特定の特徴を作り出すために、アーティストの手がどのように動くかを正確に把握する。そして、その特徴を再び描こうとするたびに、その特定の動きから手を優しく誘導して外す。

アーティストの手元の動き（活性化）が実際に画像を作り出すものであるため、特定の動きをブロックすることは、単に言葉をブロックするよりもはるかに効果的です。名前を使わずに、どんなに多様な方法で描写しても、ピカチュウを描くのを止めることができます。

実施方法（「一度きりの修正」）

この論文は、PUREと呼ばれる手法を提案しています。これは「閉形式（closed-form）」であり、つまり、長く遅いトレーニングプロセスではなく、一度きりで素早く行える数学的な修正であることを示す洗練された表現です。

観察： アーティストにいくつかの「ピカチュウ」プロンプトを描かせ、描画プロセスの各層で使用された特定の手元の動き（活性化）を記録します。
マップ作成： これらの動きの「マップ」を作成します。このマップは、忘れさせたい対象を描く際にアーティストが何をしているかを正確に示します。
編集： アーティストの脳に単一の数学的「フィルター」を適用します。このフィルターは、「もし手が『ピカチュウ』方向に動こうとすれば、止めてください。しかし、『マリオ』や『風景』方向に動こうとするなら、続けてください」と伝えます。
結果： アーティストは瞬時にターゲットとなる概念の描き方を忘れ、他のすべてのスキルは完全に維持されたままになります。

なぜ優れているのか

この論文は、スタイル、有名人、漫画キャラクターなど 10 の異なる概念を含む「包括的学習解除ベンチマーク（Holistic Unlearning Benchmark）」を用いて、他の手法と比較してこれをテストしました。

忘却能力の向上： PURE は、「黄色い電気ネズミ」のような、巧妙に言い換えられた記述が使用された場合でも、アーティストに禁止された概念を描かせませんでした。
記憶保持の向上： ピカチュウを禁止しようとした際に、ミッキーマウスの描画が下手になるなど、他のものを誤って忘れさせてしまう他の方法とは異なり、PURE はアーティストの他のスキルを鋭く保ちました。
追加コストなし： 素早い数学的編集であるため、アーティストの処理速度を遅くしたり、高価な再トレーニングを必要としたりしません。

まとめ

旧来の方法は、辞書から単語を消し去ることで記憶を消そうとするようなものです。新しい方法（PURE）は、アーティストに特定の手のジェスチャーをするのをやめるように教えるようなものです。絵を描くのは実際にその手のジェスチャーであるため、このアプローチは欺くのがはるかに難しく、アーティストの他の才能を完全に手つかずのままにします。

技術的サマリー：拡散モデルにおけるクロスアテンション活性化投影による概念忘却

問題定義

概念忘却は、ゼロから再学習する計算コストを伴わずに、事前学習されたテキストから画像への拡散モデルから、特定のターゲット概念（著作権のあるスタイル、有名人の似顔絵、または安全でない画像など）を除去することを目的としています。効果的な忘却には、2 つの同時要件を満たす必要があります。ターゲット概念を、言い換えられたプロンプトや敵対的プロンプトの下でも忘却すること、そしてモデルが他の無関係な概念を生成する能力を保持することです。

既存の閉形式手法は、勾配ベースの微調整なしにモデル重みに対して単一の決定論的編集を適用するものであり、重要な限界に直面しています。これらの手法（UCE、CURE など）は、短いアンカープロンプト（例：「ゴッホ」）から導出されたテキストエンコーダ埋め込みを用いて「忘却基底」を構築します。著者らは、テキスト埋め込みはユーザーのプロンプトを記述するものの、ノイズ除去プロセス中にモデルが実際にそのプロンプトをどのように利用するかを捉えられていないと主張します。その結果、アンカーテンプレートと一致しないがターゲット概念を喚起する言い換えられたプロンプトは、忘却編集を回避し、「ターゲット漏洩」を引き起こす傾向があります。

手法：PURE

本論文は、PURE（Projection in U-Net Rendering for Erasure）を提案します。これは、基底構築をテキストエンコーダ埋め込み空間から U-Net 内のクロスアテンション活性化空間へシフトさせる閉形式の忘却手法です。

核心的仮説:
層 $\ell$ におけるクロスアテンション活性化 ( $h^\ell$ ) は、現在の潜在状態と時間ステップにおいて、ノイズ除去器がテキスト条件をどのように利用するかを反映します。静的なテキスト埋め込みとは異なり、これらの活性化は画像生成中に実際に使用された特定の概念証拠を捉え、多様なプロンプト表現への汎化性を提供します。

アルゴリズム手順:

活性化の捕捉: 忘却用アンカー集合 ( $\mathcal{A}_f$ ) と保持用アンカー集合 ( $\mathcal{A}_r$ ) に対して、モデルは短いノイズ除去軌道を実行します。各層 $\ell$ と各時間ステップにおいて、アテンション後の活性化を抽出し、空間的に平均プーリングして、行列 $H^\ell_F$ と $H^\ell_R$ に集約します。
部分空間構築: 各層について、 $H^\ell_F$ と $H^\ell_R$ に対して特異値分解（SVD）を実行します。累積分散閾値 ( $\tau_F, \tau_R$ ) までの上位特異ベクトルが、忘却基底 ( $V^\ell_F$ ) と保持基底 ( $V^\ell_R$ ) を形成します。
線形編集: この手法は、クロスアテンションのキー ( $W^\ell_K$ $W_{K}^{ℓ}$ ) と値 ( $W^\ell_V$ $W_{V}^{ℓ}$ ) 投影行列に対して単一の線形更新を適用します。更新演算子 $E^\ell$ $E^{ℓ}$ は以下のように定義されます：
$E^\ell = I - P^\ell_F (I - P^\ell_R)$
ここで、 $P^\ell_F = V^\ell_F (V^\ell_F)^\top$ $P_{F}^{ℓ} = V_{F}^{ℓ} (V_{F}^{ℓ})^{⊤}$ かつ $P^\ell_R = V^\ell_R (V^\ell_R)^\top$ $P_{R}^{ℓ} = V_{R}^{ℓ} (V_{R}^{ℓ})^{⊤}$ です。
重みは左乗算によって更新されます： $W^\ell \leftarrow E^\ell W^\ell$ $W^{ℓ} \leftarrow E^{ℓ} W^{ℓ}$ 。
- メカニズム: 項 $(I - P^\ell_R)$ は保持概念と整合する成分を除去し、 $P^\ell_F$ が直交部分空間に対してのみ作用することを保証します。これを単位行列から減算することで、保持概念と整合する入力が変更されずに通過することが保証されます。
- 構造的シフト: テキスト空間で右から乗算する先行手法とは異なり、PURE は活性化空間 ( $d_\ell \times d_\ell$ ) で左から乗算するため、層ごとの編集が必要となります。

主要な貢献

活性化ベースの基底: 忘却基底をテキスト埋め込みではなくクロスアテンション活性化から構築することで、多様な自然および敵対的プロンプトにおけるターゲット概念の検出が大幅に向上することが特定されました。
プロービング実験: 二値分類実験により、活性化ベースの基底が、テキストベースの基底と比較して、自然な言い換えられたプロンプトに対して約5 倍の高いリコールを達成することが示されました。これにより、活性化特徴が生成に関連する概念証拠をよりよく捉えていることが確認されました。
閉形式の効率性: PURE は閉形式編集の利点を維持します。勾配学習、補助損失関数、学習率のハイパーパラメータ調整を必要とせず、編集適用後の推論時のコストも追加されません。
層ごとの編集: 概念表現が U-Net の深さによって変化するのを認識し、層ごとの SVD と編集を実行します。

実験結果

著者らは、芸術的スタイル、知的財産（IP）、有名人、NSFW の 4 つのカテゴリーにわたる 10 の概念を網羅する**ホリスティック忘却ベンチマーク（HUB）**上で PURE を評価しました。

忘却 - 保持のトレードオフ: PURE は、5 つのベースライン（ESD、MACE、RECELER、UCE、CURE）と比較して、すべてのカテゴリーで最良の調和平均スコアを達成しました。
ターゲット抑制: 言い換えや敵対的プロンプトに対するターゲット漏洩を、CURE に比べて大幅に削減しました。CURE はしばしば言い換えの抑制に失敗します。
保持: PURE は、保持概念（同じカテゴリー内の隣接概念）を、攻撃的な学習ベースの手法（保持を損なう）よりも、またテキスト空間の閉形式手法（スタイルカテゴリーでは抑制のために保持を犠牲にする傾向がある）よりもよく保持しました。
アブレーション研究:
- アンカーサイズ: 自然な忘却アンカーの数を増やすと、テキスト基底の抑制は向上しますが、保持は劣化します。活性化基底は、アンカー集合が成長しても、保持の損失を最小限に抑えつつ強力な抑制を維持します。
- ノイズ除去ステップ: 単一のノイズ除去ステップ ( $T=1$ ) を使用すると性能が著しく低下し、軌道全体にわたって概念信号を捕捉することが不可欠であることを示しています。
- 潜在平均: 複数のランダム潜在変数 ( $n_{lat}$ ) 上で平均化することで、基底をノイズ固有のアーティファクトではなく、概念レベルの方向へと安定させます。

意義と主張

本論文は、PURE が閉形式忘却のアプローチにおいて根本的な転換をもたらすと主張しています。静的なテキストエンコーダ空間から動的なクロスアテンション活性化空間へ基底構築を移動させることで、既存の閉形式手法の主要な失敗モード、すなわちアンカーテンプレート外のバリエーションを持つプロンプトへの対応不可能性を克服します。

著者らは、PURE が概念忘却のための堅牢で効率的かつ最先端の解決策を提供し、再学習の計算オーバーヘッドなしに、不要な概念の消去とモデルの汎用性の保持との優れたバランスを実現すると断言しています。この研究は、「忘却方向」は入力テキスト単独ではなく、モデルの内部レンダリングプロセスによってより正確に定義されることを示唆しています。