技術要約: TILDE (TILt-based Distributional Erasure for Concept Unlearning)

問題提起

テキスト-画像拡散モデルにおけるコンセプト・アンラーニング（概念の学習解除）は、プライバシー、著作権、および安全性に関する懸念に対処するために不可欠であり、特定の不要なコンセプト（例：特定のアーティスト、キャラクター、またはオブジェクト）を学習後に抑制する必要があります。しかし、既存の手法は重大なトレードオフに直面しています。すなわち、効果的な忘却（forgetting）が行われると、「保持の失敗（retention failure）」が発生し、無害で意味的に関連するプロンプトや一般的なプロンプトの生成能力が低下してしまうという問題です。

現在のアプローチは通常、以下に依存しています：

• 直接的な抑制（Direct suppression）: コンセプトのスコアにペナルティを課す手法ですが、これは隣接する無害なコンセプトにまで「連鎖的な被害（collateral damage）」を及ぼすことがあります。
• アンカーベースの編集（Anchor-based editing）: 忘却対象のコンセプトをターゲットとなる別のコンセプトにマッピングする手法ですが、特に逐次的な削除要求が発生した場合に、不安定性とバイアスを導入します。
• 報酬ベースの最適化（Reward-based optimization）: スカラー値の忘却報酬を最大化する手法ですが、生成が狭い範囲の安全な出力に集中するため、多様性の崩壊を招くことがよくあります。

根本的な問題は、これらの手法が望ましい**事後分布（post-unlearning distribution）**を明示的に定義していないことです。その結果、保持（retention）は更新ルールの副次的な結果として扱われ、不要なデータを含まずにゼロから学習された仮想的な「保持のみ（retain-only）」のモデルと比較して、分布の忠実度が最適化されず、劣ったものになります。

手法: TILDE

著者らは、コンセプト・アンラーニングを制約付き分布アライメント問題として再定義するTILDE（TILt-based Distributional Erasure）を提案します。TILDEは、局所的な抑制やアンカーによる置換ではなく、事前学習済みモデルからの偏差を最小化しつつ、忘却の制約を満たす条件付き分布を探索します。

1. 理論的定式化

ターゲットは、制約付きカルバック・ライブラー（KL）投影の解として定義されます：
$$p^*_C = \arg \min_{p} \mathbb{E}_{y \sim \pi} [KL(p(\cdot | y) \parallel p_{pre}(\cdot | y))]$$
制約条件：
$$\mathbb{E}_{y \sim \pi, x \sim p(\cdot|y)} [E_C(x)] \le \delta_C$$

ここで：

• $p_{pre}$ は事前学習済みの条件付き分布です。
• $E_C(x)$ は、画像 $x$ におけるコンセプト $C$ の証拠を定量化する「忘却エネルギー（forget energy）」です。
• 解は、**エネルギー・ティルト（傾斜）されたギブス分布（energy-tilted Gibbs distribution）**の形式をとります：
  $$p^*_C(x | y) \propto p_{pre}(x | y) \exp(-\beta E_C(x))$$

この定式化により、コンセプトを表現する画像は重みが下げられる一方で、無害な画像は事前学習時の相対的な尤度を維持することが保証されます（アンカーフリー）。

2. 実用的なサロゲート：閾値付きCLIPエネルギー

抽象的なエネルギー $E_C$ を具体化するために、TILDEは閾値付きCLIPベースのサロゲートを使用します。

• コンセプト・プローブ（Concept Probes）: 「ピカチュウ」、「ピカチュウの写真」といった一連のテキスト記述 $Q_C$ を用いて、平均的なCLIP類似度スコア $s_C(x)$ を計算します。
• 閾値処理（Thresholding）: 忘却エネルギー $eE_C(x)$ は、$s_C(x) \le \tau$（無害な領域）の場合はゼロとなり、$s_C(x) > \tau$ の場合に指数関数的に増加するように定義されます。
• 意義: 閾値 $\tau$ が「ペナルティなし」の領域を作り出すことで、コンセプトの類似性が弱い無害な画像に対して勾配が影響を与えることを防ぎ、局所的な保持を維持します。

3. 残差 $\nabla$-GFlowNetによる最適化

このティルトされた分布を拡散モデル内で実現するために、TILDEは残差 $\nabla$-GFFlowNetトレーニングを採用しています。

• 目的: 事前学習済みのサンプラーを、エネルギー・ティルトされたターゲットへと変換するために必要なスコア補正を学習することです。
• メカニズム: フル・サンプラーを一から学習するのではなく、デノイジング・トラジェトリを調整する残差継続スコア $h_\phi$ を学習します。
• 損失関数: 学習は、適応されたデノイザーと事前学習済みデノイザーの間の局所的な一貫性を、最終的な忘却エネルギーに従って強制するために、順方向および逆方向の損失（$L_{fwd}, L_{rev}$）を最小化します。
• 実装: 更新はアテンション層におけるLoRAアダプターに限定されており、パラメータ効率を高め、最小限の更新バイアスを実現しています。

主な貢献

1. 分布的定式化: コンセプト・アンラーニングを制約付き分布アライメント問題として定式化し、明示的かつアンカーフリーな最小偏差のギブス・ターゲットを導出しました。
2. TILDEアルゴリズム: 拡散潜在空間において、閾値付きCLIPエネルギーと残差 $\nabla$-GFlowNetトレーニングを用いた実用的なインスタンス化を導入しました。
3. 実証的検証: オブジェクト、芸術的スタイル、キャラクターについて評価を行い、従来のベースラインと比較して、保持性能と分布の忠実度を高く維持しながら、忘却の有効性が向上していることを示しました。

実験結果

著者らは、Stable Diffusion v1.5を用い、約60のコンセプト（オブジェクト、キャラクター、スタイル、ヌード）についてTILDEを評価しました。

• パフォーマンス: TILDEは、ほぼ完全な忘却（例：キャラクターにおいて0.99のアンラーニング精度）を達成すると同時に、関連保持（Related Retention）（意味的に隣接するコンセプトの保持）および**一般的保持（General Retention）**において、ベースラインを大幅に上回りました。
• 比較:
  • ハード・エレイジャー（例：MACE）: 高い忘却を実現しますが、保持が破壊されます（関連保持が約0.17まで低下）。
  • ソフト・サプレッション（例：ESD）: 保持は維持しますが、十分な忘明に達しないことが多いです。
  • アンカーベース（例：CA, UCE）: 品質は向上しますが、明示的な保持セットに依存しており、依然として残留するコンセプトの証拠が残ります。
  • TILDE: パレート最適の境界線上に位置し、明示的な保持の監督やアンカー・コンセプトを必要とせずに、高い忘却を実現します。
• アブレーション研究:
  • $\nabla$形式の除去（絶対フロー・ターゲットの使用）は、忘却性能を崩壊させます。
  • **残差（residual）**コンポーネントの除去は、フル・スコア場にすべての更新を吸収させ、一般的な保持を劣化させます。
  • エネルギー閾値の除去は、壊滅的な保持の崩壊を引き起こし、「ペナルティなし」の領域の必要性を裏付けました。
• 分布指標: TILDEはベースラインと比較して低いFADE（Functional Alignment Distance）およびFIDスコアを示しており、理想的な「保持のみ」の分布への高い適合性を示しています。

意義と主張

本論文は、TILDEが、明示的にターゲット分布を定義することによって、現在のアンラーニング手法に内在する「保持の失敗」に対処していると主張しています。これにより、TILDEは以下の落とし穴を回避します：

• 直接的な抑制による連鎖的な被害（Collateral damage）。
• 報酬最大化による多様性の崩壊（Diversity collapse）。
• 固定されたアンカー・マッピングによる不安定性（Instability）。

著者らは、TILDEが、忘却の制約を満たす「事前学習済みモデルの自然な最小変更」を表現していると述べています。閾値付きエネルギーの使用は、無害なコンセプトがペナルティを受けないことを保証し、残差 $\nabla$-GFlowNetフレームワークは、高次元の潜在空間においてこの分布ターゲットを実現するための効率的なメカニズムを提供します。本研究は、将来のアンラーニング研究において、更新ルールを選択する前に、まずターゲットとなる分布を定義することを優先すべきであることを示唆しています。