💻 computer science

Broken Memories: Detecting and Mitigating Memorization in Diffusion Models with Degraded Generations

本論文は、内部の数値的不安定性によって現れる「破損」アーティファクトを特定することで、拡散モデルにおける記憶化を検出・軽減する原理に基づくオンザフライ型フレームワークを導入し、画像品質を維持しつつ、わずかなオーバーヘッドで記憶化の検出をほぼ完璧に行い、記憶化を完全に排除することを達成する。

原著者： Yuanmin Huang, Mi Zhang, Chen Chen, Feifei Li, Geng Hong, Xiaoyu You, Min Yang

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuanmin Huang, Mi Zhang, Chen Chen, Feifei Li, Geng Hong, Xiaoyu You, Min Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Broken Memories」という論文を、平易な言葉と創造的な比喩を用いて解説します。

問題：モデルの「悪い記憶」

数百万点の絵画を学習して描き方を学んだデジタルアーティスト（拡散モデル）を想像してください。時には、何か新しいものを作る代わりに、このアーティストが学習ライブラリで見た特定の絵画を偶然コピーしてしまいます。これを**「記憶（memorization）」**と呼びます。

これは、アーティストが誰かの作品を盗むようなものなので、問題です。「赤い車」をリクエストしたのに、モデルがデータベース内の特定の写真の完全なコピーを出力すれば、プライバシーや著作権が侵害されます。

発見：「壊れた」手がかり

研究者たちは奇妙なことに気づきました。モデルが特定の画像をコピーしようとする（記憶しようとする）とき、描画プロセスは単に少し似ているだけでなく、しばしば**「不具合（glitchy）」や「壊れた（broken）」**ように見えるのです。

描画プロセスを、谷（最終的な画像）に到達するために山を下るハイカーに例えてみましょう。

通常のハイキング： 道は滑らかです。ハイカーは安定した一歩を踏み出し、景色は自然に見えます。
記憶されたハイキング： 道が不安定になります。ハイカーは巨大で不規則な跳躍を始め、岩につまずいたり、ぐるぐる回ったりします。底に到達する頃には、風景が歪んで見えます。木がねじれたり、空がひび割れたりします。

この論文では、これを**「数値的不安定性」**と呼んでいます。特定の記憶された画像を存在させようとすると、コンピュータ内部の数学がぐらつくのです。

解決策：「安定領域」

チームは、このぐらつきを利用してモデルの行為を捉えられることに気づきました。彼らは**「経験的安定領域（Empirical Stability Region）」**という概念を考案しました。

ハイキング道に沿って走る**「安全柵」**を想像してください。

通常のプロンプト： ハイカーは快適に柵の内側に留まります。一歩は予測可能で安全です。
記憶されたプロンプト： ハイカーは柵の外へ踏み出します。通常の旅には大きすぎたり、荒すぎたりする一歩を踏んでいるのです。

研究者たちは、まずモデルに 50 枚のランダムで安全な画像を描かせることで、「正常な一歩」がどのようなものかを正確に計算しました。そして、その正常な一歩の周りに黄色い「安全域」を描きました。

仕組み：リアルタイムの交通整理員

これまでの多くの手法は、絵画が完成するまで待ってから、それがコピーかどうかを確認し、「ああ、ダメだ、やり直し！」と言う警備員のようなものでした。これは遅く、無駄です。

この新しい手法は、ハイカーの一歩一歩をリアルタイムで見守る道に立つ交通整理員のようです。

検知： モデルが描く際、整理員は一歩一歩をチェックします。「この一歩は安全柵の内側か？」
アラート： モデルが「巨大な跳躍」（記憶の兆候）を取ろうとすると、整理員は即座にそれを発見します。
適応的軽減： プロセス全体を停止するのではなく、整理員はハイカーを優しく安全な道へと戻します。
- 軽度の不安定： ハイカーが少しふらつくだけなら、整理員は彼らを安定させるために軽くたたく。
- 重度の不安定： ハイカーが暴走しているなら、整理員は彼をしっかりと掴んで柵に留めます。

これは瞬時に、一歩一歩行われます。モデルは停止してやり直す必要はありません。その場でコースを修正するだけです。

結果：完璧な安全性、無傷の品質

研究者たちは、この手法を「Stable Diffusion」という人気モデルでテストしました。

検知： 記憶された試みのほぼ 100% を捕捉しました（AUC > 0.999）。
軽減： モデルが画像をコピーするのを完全に阻止しました（記憶率は 0.0%）。
品質： 軌道から外れたときだけモデルを修正したため、最終的な画像は美しく見え、ユーザーの説明と完璧に一致していました。
速度： プロセスにほとんど時間を追加しませんでした（画像あたり約 0.01 秒）。

まとめ

この論文は、AI モデルが画像を盗もうとする（記憶しようとする）とき、その内部の数学が「ぐらつき」、壊れた結果を生み出すことを発見しました。著者たちは、このぐらつきを発生した瞬間に捉え、モデルを安全で創造的な道へと優しく導く、リアルタイムの安全柵として機能するシステムを構築しました。停止してやり直す必要は決してありません。

技術的概要：Broken Memories：劣化生成を用いた拡散モデルにおける記憶化の検出と軽減

問題定義

拡散モデルは高品質な画像生成において顕著な成功を収めているが、記憶化（memorization）という重要なプライバシーおよび著作権上の課題に直面している。これらのモデルは、意図せず特定の訓練データを複製したり、それに極めて類似した画像を生成したりすることで、潜在的なデータ漏洩を引き起こす。既存の軽減策は、主に以下の 2 つの限界を有している：

再生成への依存：現在の大多数の手法は「検出後に再試行（detect-then-retry）」の方式で動作する。記憶化を検出すると、現在の生成を中止し、修正された入力（例えば、変更されたプロンプトや埋め込み）を用いて再始動する。これにより、遅延と計算コストが大幅に増大する。
ヒューリスティックまたは静的介入：軽減策は、固定されたルールや静的な調整（例えば、固定されたガイダンススケールの削減）に依存することが多く、生成軌跡の動的な性質に適応できず、しばしば意味的忠実度や画像品質を損なう。

さらに、一部の手法は内部信号（例えば、アテンション重みやガイダンスの大きさ）を介して記憶化を検出するが、これらの信号と記憶化された出力でしばしば観察される視覚的な劣化との間に、原理的な理論的関連性を欠いている。

手法

著者らは、記憶化が拡散モデルの潜在ダイナミクスにおいて数値的不安定性を引き起こすという観察に基づき、オンザフライでの検出と適応的軽減のための原理的なフレームワークを提案する。

1. 理論的洞察：数値的不安定性

本論文は、記憶化されたサンプルを生成する際、ノイズ除去軌跡がモデルの安定した動作から逸脱し、視覚的には「破損した」アーティファクト（例えば、歪んだ詳細）として現れることを特定している。数値解析に基づき、著者らは以下を仮定する：

不安定性としての記憶化：記憶化されたプロンプトは、モデルが特定のデータポイントに過剰適合（オーバーフィッティング）させる原因となり、クラスターフリーガイダンス（CFG）メカニズムにおいて過度に大きな勾配を生じさせる。
潜在更新の異常：PNDM（Stable Diffusion v1 で使用される）のような高次ソルバーにおいて、これらの大きな勾配は、潜在更新ステップ（ $\delta_t = z_t - z_{t+1}$ ）が安定多様体の範囲を超え、軌跡における振動や発散を引き起こす。
サンプリャー非依存性：この不安定性は PNDM に限定されない。DDIM のような決定論的サンプリャーを用いて最終画像が視覚的に妥当に見える場合でも、内部の潜在軌跡は依然として安定性からの著しい逸脱を示す。

2. 経験的安定領域

扱いにくいヤコビ行列の固有値を計算することなくこの挙動を定量化するために、著者らは経験的安定領域を定義する：

潜在更新ノルム（ $\|\delta_t\|$ ）：非記憶化（正常）プロンプトの小さなセットからの潜在更新ノルムの平均（ $\mu_t$ ）と標準偏差（ $\sigma_t$ ）を用いて、統計的領域 $R^{(t)}_\delta = [\mu_t - \gamma\sigma_t, \mu_t + \gamma\sigma_t]$ を構築する。
再構成された初期潜在（ $\|\hat{z}^{(t)}_0\|$ ）：同様に、DDIM における再構成された初期潜在に対して安定領域を定義し、意味的安定性の代理指標とする。

3. 検出メカニズム

システムは生成軌跡をステップごとに監視する。各ステップ $t$ において、現在の潜在更新ノルムが経験的安定領域から逸脱する度合いを測定する Z スコア（ $s_t$ ）を計算する：
$s_t = \frac{|\|\delta_t\| - \mu_t|}{\sigma_t}$
高い $s_t$ は異常な更新を示し、潜在的な記憶化をシグナルする。初期ステップにおける最大 Z スコアを検出指標として用いる。

4. 適応的軽減戦略

静的な手法とは異なり、このフレームワークは生成を再開することなくオンザフライで介入する。検出された不安定性の深刻度に基づき、2 段階の適応戦略を採用する：

軽度の記憶化：逸脱が中程度の場合、軌跡を正則化するために主に初期ステップにおいて潜在大きさの制約（ $\hat{z}^{(t)}_0$ を経験的平均に再スケーリング）を適用する。
重度の記憶化：逸脱が深刻な場合、軌跡全体を通じてより厳格な結合制約を適用し、潜在ノルム（ $\|z_t\|$ ）および更新ノルム（ $\|\delta_t\|$ ）をそれぞれ対応する安定領域内に留めるように強制する。

このプロセスはストリーミングフィルタとして機能し、不安定性を検出すると即座に潜在状態を安定多様体へ射影し、シームレスな生成を確保する。

主要な貢献

体系的分析：劣化した記憶化生成を拡散サンプリングにおける数値的不安定性と体系的に結びつけた最初の研究であり、潜在更新の大きさにおける特徴的な異常を明らかにした。
経験的安定領域：数値的安定性理論に基づいた概念を導入し、正常な生成と記憶化された生成を特徴付け、診断する手法を提案した。これは異なるサンプリャー（PNDM、DDIM）に適用可能である。
オンザフライ・フレームワーク：不安定性が検出された場合のみ生成軌跡を適応的に制約する診断駆動型フレームワークを開発し、既存のヒューリスティックまたは静的な手法を上回った。
性能：画像品質を保持しつつ、記憶化された生成を完全に排除し、無視できるオーバーヘッドで優れた検出精度を達成した。

実験結果

実験は、記憶化プロンプト（LAION 由来）と非記憶化プロンプトのデータセットを用いてStable Diffusion 1.4（付録では 1.5 および 2.1 にも拡張）で行われた。

検出性能：この手法は AUC > 0.999 を達成し、1% の偽陽性率における真陽性率（TPR@1%FPR）も高く、さまざまなシード設定およびスケジューラタイプ（PNDM および DDIM）において、最先端のベースライン（Ren ら、Wen ら、Jeon らなど）を上回った。
軽減性能：
- 記憶化率：事前学習済みの SD 1.4 モデルにおいて、記憶化率を 0.0% に削減した。
- 画像品質：高い意味的忠実度（CLIP スコア）および画像のリアリズム（FID）を保持し、過剰な軽減（意味的ドリフト）または軽減不足（アーティファクトの保持）に陥りがちなベースラインを上回った。
- 効率性：このアプローチは無視できる計算オーバーヘッド（画像あたり約 0.01 秒）しか発生させず、他の手法に見られる再生成や反復最適化に伴う遅延ペナルティを回避した。

意義と主張

本論文は、記憶化軽減の視点をヒューリスティックな信号抑制から原理的な数値的安定性へと転換させることに主要な意義があると主張している。正常な画像生成ダイナミクスの統計法則に基づいて検出を行うことで、この手法は異常を特定するための堅牢でモデル非依存、かつ時間不変の基準を提供する。

著者らは、このアプローチが単一のフレームワーク内で検出、オンザフライの軽減、および適応性を独自に組み合わせていることを強調している。これにより、高コストな再生成の必要性が排除され、出力の意味的意図と視覚的品質を保持したシームレスな介入が可能となる。この研究は、記憶化を軌跡の逸脱問題として捉えることが、信頼性の高い生成モデルを構築するための新たな原理的な方向性を示唆している。