Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

技術要約：拡散モデルのアンラーニングにおいて、すべての時刻と周波数を忘却する必要はない

問題提起
拡散モデルにおけるデータ・アンラーニング（学習解除）は、事前学習済みモデルから特定の学習サンプル（「忘却セット」）の影響を取り除くと同時に、残りのデータ（「保持セット」）の有用性を維持することを目的としている。勾配上昇法（Gradient Ascent: GA）や負の選好最適化（Negative Preference Optimization: NPO）といった現在のファインチューニング手法は、通常、忘却セットに対する損失の最大化に依存している。しかし、これらの手法は以下の2つの決定的な問題に直面することが多い。

1. 不完全な忘却： モデルが特定のインスタンスを完全に消去できない場合がある。
2. 品質の劣化： 強力なアンラーニングは、保持セットに対してノイズが多く、審美的に劣る、あるいは歪んだ生成をもたらすことが多い。

既存の手法は一般に、拡散プロセスのすべてのタイムステップと周波数成分をアンラーニングプロセス中に一様に扱う。本論文は、このような一様な扱いは、拡散モデルの固有のダイナミクス、すなわち、異なる逆過程の段階（ノイズからデータへ）や異なる周波数成分が、意味的アイデンティティ、インスタンスレベルの記憶、および微細なディテールに対して不均等に寄与するという事実を無視していると主張する。

手法
著者らは、拡散プロセスの特定の領域を標的とする、一様な更新ではなく**「時間および周波数選択的アンラーニング（Time- and Frequency-Selective Unlearning）」**フレームワークを提案する。

1. 時間選択的忘却（Time-Selective Forgetting）：

   • 分析： 本論文は、拡散のダイナミクスに関する理論的理解を活用し、2つの重要な転換点である**分化時刻（Speciation Time: $t_S$）と崩壊時刻（Collapse Time: $t_C$）**を特定している。
     • フェーズI ($t > t_S$): 粗い意味論とクラスのアイデンティティを捉える。
     • フェーズII ($t_C < t < t_S$): インスタンスレベルの引き付けと、特定のディテールの形成を伴う。
     • フェーズIII ($t < t_C$): 微細なディテールやテクスチャを精緻化する。
   • 戦略：
     • 無条件アンラーニング（Unconditional Unlearning）の場合、手法はインスタンスレベルの引き付けが最も強いフェーズII（中間タイムステップ）に焦点を当て、フェーズIIIにおける微細なディテールの劣化を回避する。
     • 条件付きアンラーニング（Conditional Unlearning、テキストから画像への生成）の場合、手法は分化が起こる前の、条件付きガイダンスが軌道に支配的な影響を与えるフェーズI（$t > t_S$）を標的とする。
   • 実装： タイム重み関数 $P(t)$ を損失関数に適用し、特定の区間（例：$[t_C, t_S]$ または $[t_S, T]$）に高い確率を割り当て、それ以外の区間での更新を抑制する。また、ガイダンスの大きさに基づいて最適な転換点 $\tau$（$t_S$ に相当）を探索するための適応的な手法も提案されている。

2. 周波数選択的忘却（Frequency-Selective Forgetting）：

   • 分析： 実証的なスペクトル解析により、アンラーニングがしばしば望ましくない高周波ノイズを導入し、サンプルの品質を低下させることが明らかになっている。保持セットの高周波分布は、大部分が変化しない状態を維持すべきである。
   • 戦略： アンラーニング中の損失残差に対してローパスフィルタを適用する。勾配信号は、忘却セットの高周波成分を除去するように投影されるが、デノイザーへの入力は自然なノイズを含むサンプルであるまま維持される。
   • 実装： 高速フーリエ変換（FFT）を用い、損失残差をカットオフ半径 $r_t$ 以上の周波数を除外するようにマスクする。これにより、アンラーニングプロセスが高品質な画像に不可欠な高周波ディテールを乱さないようにする。

3. 理論的正当化：

   • 著者らは、元の経路測度とアンラーニング後の経路測度の間のカルバック・ライブラー（KL）ダイバージェンスに基づいた**「忘却・保存有用性（forgetting–preservation utility）」**関数 $J_\beta(m)$ を定式化している。
   • 彼らは、選択的なアンラーニング（領域 $S$ のみで更新を行うこと）が、選択的な更新がターゲット領域の変化を増幅させ（$\mu \ge 1$）、非ターゲット領域の変化を抑制する場合（$\eta \le 1$）、全域的なアンラーニングと比較して厳密に正の有用性ギャップを生み出すことを証明している。

4. 評価指標：

   • 本論文は、摂動距離を正規化した改良型指標である $SSCD_{norm}$ を導入している。標準的なSSCDは、ぼやけた画像や劣化した画像に対して人工的に低くなる可能性があるが、$SSCD_{norm}$ は生成画像の品質を考慮しており、審美的な劣化を代償として低い非類似性が達成されることを防ぐ。

主な結果
提案手法は、CelebA-HQ（無条件）およびStable Diffusion v1.4（条件付きテキスト・トゥ・イメージ）において、様々なベースライン（GA, SISS, DPO, KTO）を用いて評価された。

• 無条件アンラーニング： 時間選択（$t \in [250, 750]$ に集中）と周波数選択（$r_t=0.15$ のローパスフィルタ）を適用することで、ベースラインと比較して $SSCD_{norm}$ と 審美スコア（Aesthetic Scores） が大幅に向上した。例えば、SISSを用いた場合、忘却指標を維持または向上させつつ、審美スコアは $t=250$ で約34.8%、$t=500$ で約25.8%向上した。
• 条件付きアンラーニング： Stable Diffusionにおいて、この選択的アプローチは、SISSベースラインよりも高いアンラーニング成功率と高速な収束を達成した。記憶されたプロンプトを効果的に除去しつつ、より高いCLIP-IQA品質スコアを維持することに成功した。
• メンバーシップ推論攻撃（MIA）： 既存の手法はMIAに対して極めて脆弱であり（誤差は最大 $\times 10^7$）、これは過剰な忘却（over-forgeting）を示唆している。提案手法は、この付随的な歪みを大幅に軽減し（誤差を $\times 5.76$ および $\times 53.20$ に減少）、データ多様体（data manifold）のより良い保存を示した。
• 汎用性： 本手法は、異なるバックボーン（U-NetおよびDiffusion Transformer）や、異なる概念のアンラーニングシナリオ（例：ヌード検出）においても有効性を示した。

意義と主張
本論文は、忘却が均一なプロセスではないことを示すことにより、拡散モデルにおけるデータ・アンラーニングを理解し改善するための実践的な洞察を提供すると主張している。主な貢献は以下の通りである。

1. 体系的な研究： 時間ステップとスペクトル領域が、それぞれどのように記憶と有用性に異なる寄与をするかについての詳細な分析。
2. シンプルなフレームワーク： 既存の目的関数（GA, SISS, DPO, KTO）と互換性があり、アーキテクチャの変更を最小限に抑えた選択的アンラーニング手法。
3. 品質の保存： 勾配ベースのアンラーニングに伴う深刻な品質劣化を伴わずに、高いアンラーニング成功率を達成する能力。
4. 評価の改善： 画像の劣化を忘却の代用として利用するアンラーニング手法の評価を防ぐための、$SSCD_{norm}$ の導入。

著者らは、彼らの手法は既存の理論的境界に基づいて最適な領域を効果的に特定しているものの、事前の知識や適応的な探索のオーバーヘッドなしに、あらゆる特定のデータセットに対してこれらの最適領域を完全に自動的に発見する手法にはまだ至っていないことを謙虚に述べている。それにもかかわらず、本研究は、特定の時間および周波数のウィンドウにおける標的を絞った忘却が、プライバシー（忘却）と有用性（生成品質）のトレードオフをバランスさせる上で極めて重要であることを強調している。