技術的概要：f 発散に基づく拡散モデルの学習忘却のための統合フレームワーク

1. 問題定義

大規模なインターネット収集データセット（例：LAION-5B）で訓練されたテキストから画像への（T2I）拡散モデル（DM）は、驚異的な生成能力を示していますが、NSFW（Not-Safe-For-Work）コンテンツ、著作権のある芸術的スタイル、個人情報などを生成する能力といった望ましくない特性も継承しています。特定の概念を消去するための理論的な解決策は、キュレーションされたデータセットでモデルを再訓練することですが、データ削除やリソース制約により、計算コストが膨大であり、しばしば非現実的です。

既存の学習忘却アルゴリズムは、通常、「ターゲット」概念（消去対象）の生成を「アンカー」概念（例：ヌル概念、スーパークラス、または意味的に関連する概念）の生成と整合させるというパラダイムに依存しています。この整合性は、ターゲットとアンカーのノイズ除去器出力間の平均二乗誤差（MSE）を最小化することで、ほぼ独占的に達成されます。理論的には、この MSE 最小化は、それぞれの概念に条件付けられた 2 つのガウス分布間のカルバック・ライブラ発散（KL 発散）を最小化することに対応します。しかし、このアプローチは最適化の領域を単一の発散指標に限定しており、学習忘却の効率性と非ターゲット概念に対する生成忠実性の維持とのバランスを最適化する上で、必ずしも最適ではない可能性があります。

2. 手法

著者は、標準的な KL 発散から任意の f 発散へと学習忘却の目的関数を一般化する統合フレームワーク「f-DMU」を提案します。このフレームワークは、学習忘却の問題を、拡散プロセスの特定の時間ステップにおいて、元のモデル $\Phi$（アンカー概念 $c$ に条件付け）と学習忘却されたモデル $\hat{\Phi}$（ターゲット概念 $c^*$ に条件付け）の確率分布間の発散を最小化することとして定式化できるという観察に基づいています。

核心的な目的関数は以下のように定義されます：
$$\min_{\hat{\Phi}} \mathbb{E}_{c^*, c, t} \left[ D_f \left( p_{\Phi}(x_{t-1}|x_t, c) \parallel p_{\hat{\Phi}}(x_{t-1}|x_t, c^*) \right) \right]$$

このフレームワークは、選択された f 発散の性質に応じて、この目的関数を解決するための 2 つの異なるアプローチを提供します：

A. 閉形式損失

ガウス分布に対して閉形式の式が存在する f 発散のサブセット（特に DM の標準的な慣行である分散が固定されている場合）に対して、著者は特定の損失関数を導出します。主要な事例には以下が含まれます：

• 二乗ヘルリンガー距離（$H^2$）： MSE の指数関数的減衰を含む損失関数を導き出します：$J_{H^2} \propto -\exp(-\text{MSE})$。これにより、MSE が増加するにつれて減少する有界な勾配が得られ、外れ値の影響を緩和し、モデルの急激な変化を防ぎます。
• ピアソンの $\chi^2$ 発散： MSE の指数関数的成長を含む損失関数を導き出します：$J_{\chi^2} \propto \exp(\text{MSE})$。これにより、大きな誤差に対して有界ではなく急速に増大する勾配が得られ、より攻撃的な更新につながります。
• ジェフリーズ発散： 特定の仮定の下では、標準的な MSE 定式化に帰着します。

B. 変分損失

閉形式の式が存在しない f 発散（例：全変動、またはより一般的な定式化が望ましい場合）に対して、著者は f 発散の変分表現を利用します。これにより、問題はmin-max 最適化ゲームに変換されます：
$$\min_{\hat{\Phi}} \max_{T} \mathbb{E} \left[ \mathbb{E}_{p_{\Phi}}[T(\Phi)] - \mathbb{E}_{p_{\hat{\Phi}}}[f^*(T(\hat{\Phi}))] \right]$$
ここで、$T$ は発散を推定する識別子（ニューラルネットワークでパラメータ化）として機能し、$\hat{\Phi}$ はそれを最小化しようとする生成器として機能します。このアプローチにより、フレームワークは学習忘却タスクに任意の f 発散を適用することが可能になります。

3. 理論的解析

本論文は、提案されたフレームワークの厳密な理論的解析を提供します：

• 勾配ダイナミクス： 著者は、閉形式損失の勾配の大きさを解析します。$H^2$ と $\chi^2$ が標準的な KL/MSE とは逆の挙動を示すことを実証しています。$H^2$ は大きな誤差（外れ値）に対して勾配を抑制する一方、$\chi^2$ はそれを増幅します。このサンプルごとの重み付けは、標準的な学習率スケジューラとは異なり、f 発散の選択に内在する性質です。
• 収束特性： 非線形力学系理論を用いて、著者は平衡点周りの変分定式化の局所指数安定性を証明します。ヤコビアン行列の固有値に基づいて収束率の上限を導出します。重要なのは、f 発散の選択が収束速度に影響を与えることを示している点です。具体的には、平衡点におけるそのフェンシェル共役の 2 階微分が大きい発散（例：$H^2$ とジェンセン・シャノン）は、KL や $\chi^2$ などの他の発散よりも理論的に速く収束します。
• モード探索 vs モードカバリング： 本論文は、異なる発散が生成画像の分布にどのように影響するかを議論します。$H^2$ とジェンセン・シャノンは「中程度の」モード探索特性を示す一方、KL と $\chi^2$ は「モードカバリング」であり、モード間の領域に高い確率を割り当てる可能性があります。

4. 実験結果

このフレームワークは、Stable Diffusion モデル（v1.4, v1.5, v2.1, XL, および 3）と FLUX において評価され、物体（例：R2D2）、芸術的スタイル（例：ゴッホ、モネ）、およびヌードの消去をターゲットとしました。

• 勾配の安定性： 実証的検証により、$H$-DMU（$H^2$ を使用）がトレーニング全体を通じて有界な勾配を維持し、MSE ベースの手法で中間微調整段階中に観察された突然の劣化した画像生成を回避することが確認されました。
• 学習忘却の効率性対維持：
  • 閉形式： $H$-DMU は、ターゲット概念の消去において同等またはそれ以上の性能を達成しつつ、非ターゲット概念の維持（カーネルインセプション距離、KID によって測定）において標準的な MSE を一貫して上回ります。一方、$\chi^2$-DMU はより強力な消去を達成しますが、しばしば生成品質や事前分布の維持の犠牲を伴います。
  • 変分： 変分手法（例：$H_v$-DMU）はより「攻撃的」であり、少ない反復回数で迅速な消去を達成する傾向がありますが、小バッチでの粗い発散推定により、しばしばより高い KID スコア（低い画像品質）をもたらします。
• ロバスト性： ヌード消去の文脈において、$H$-DMU は、CAbl、DoCo、SLD などの最先端手法と比較して、敵対的プロンプト（例：Ring-A-Bell、MMA-Diffusion）に対して優れたロバスト性を示し、攻撃下で生成される NSFW 画像が著しく少なくなりました。
• マルチ概念消去： このフレームワークは、10 の芸術的スタイルの逐次消去を成功裡に処理し、$H$-DMU は MSE と比較して消去と維持の間の優れたトレードオフを示しました。

5. 意義と主張

本論文は、f 発散に基づく拡散モデルの学習忘却のための最初の統合フレームワークを提示すると主張しています。主な貢献は以下の通りです：

1. 一般化： 暗黙的な KL/MSE の仮定を超えて、発散の柔軟なファミリーへと移行し、実践者が特定の応用目標（例：攻撃的な消去対高忠実度の維持）に基づいて最適な目的関数を選択できるようにします。
2. 理論的基盤： 勾配のスケーリングと収束特性の理論的解析を提供し、発散の選択をアルゴリズムの安定性と速度に関連付けます。
3. 実用性： 特定の事例、特に閉形式の二乗ヘルリンガー距離（$H$-DMU）が、効果的な概念除去とモデルの生成能力の維持を両立させることで、ほとんどの学習忘却タスクに対する優れたデフォルトの選択肢を提供することを示しています。

著者は、このフレームワークがモデル非依存（フローベースモデルにも適用可能）であり、ゼロからの再訓練を必要としないことを強調しており、既存の概念消去技術に対する計算効率が高く、理論的に堅牢な代替手段を提供しています。