💻 computer science

Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings

本論文は、Stable Diffusion における記憶が、パディングトークンにおけるテキスト末尾埋め込みの構造的な重複によって意外にも駆動され、その影響が増幅されることを明らかにし、画像の品質を低下させることなくこの問題を緩和するための単純な推論時戦略を提案する。

原著者： Bumjun Kim, Albert No

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bumjun Kim, Albert No

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文「Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings」の解説を、簡単な概念と比喩を用いて分解して以下に示します。

大きな問題：モデルが「記憶」に陥っている

数百万枚の写真で訓練された才能ある芸術家（Stable Diffusion）を想像してください。この芸術家に新しい何かを描くよう頼むと、たまに訓練セット内の特定の写真をピクセル単位でそのままコピーして描いてしまうことがあります。これを記憶化（memorization）と呼びます。モデルが何か新しいものを作っているのではなく、古いデータをただ反芻しているだけなので、プライバシーや著作権のリスクとなります。

科学者たちは、なぜこれが起こるのかを解明しようとしてきました。ほとんどの理論は、あなたが入力する言葉（プロンプト）やモデル内部の数学的な処理に焦点を当てていました。しかし、この論文は、指示の「パディング（埋め合わせ）」の中に隠れた意外な犯人を発見しました。

仕組み：芸術家が指示を読む方法

この発見を理解するには、芸術家がどのように指示を読むかを見る必要があります。

プロンプト：あなたは「絨毯の上の猫」といった文章を入力します。
制限：芸術家が読める指示には長さの制限があり、最大で 77 の「トークン（単語の一部）」までです。
埋め合わせ：あなたの文章が短い場合（例えば 10 語だけ）、コンピュータは 77 という制限に達するために、残りの 67 の空いた場所を埋めなければなりません。

従来の方法（Stable Diffusion v1.4）
コンピュータは、その空いた場所を「テキスト終了」トークン（以下、<eot> と呼びます）という特別なもので埋めます。

比喩：物語を読んでいるが、最後のページが白紙だと想像してください。印刷機がそのページを白紙のままにするのではなく、「THE END（おしまい）」という言葉をページが埋まるまで繰り返しスタンプし続けるようなものです。
つまり、短いプロンプトの場合、芸術家は以下のように見ています：[あなたの言葉] + [THE END] + [THE END] + [THE END]...（60 回以上繰り返される）。

発見：「エコーチェンバー」効果

論文の著者たちは、芸術家がこの繰り返される「THE END」のスタンプに大きく依存して何を描くかを決めており、特に画像を記憶化している際にその傾向が顕著であることを発見しました。

彼らが発見した一連の出来事は以下の通りです。

訓練の不一致：言葉を数式に変換するシステム（CLIP と呼ばれる）は、最初の「THE END」トークンが文全体の最も重要な要約であると訓練されていました。そのため、実際の言葉や埋め合わせトークンを無視するように学習していました。
不具合：コンピュータは空いたスペースをさらに多くの「THE END」トークンで埋めるため、芸術家は突然「THE END」トークンが数十回繰り返されているのを見てしまいます。
増幅：芸術家は、「わあ、'THE END'トークンがこんなにたくさんある！これは指示の中で最も重要な部分に違いない！」と考えます。
結果：モデルはこの繰り返されるトークンに過度に集中します。もしその特定の「THE END」パターンが訓練中に特定の著作権画像と関連付けられていた場合、モデルはそのループに陥り、あなたの実際の要求を無視して、その正確な画像を再生産してしまいます。

比喩：
指揮者（モデル）がソリスト（あなたのプロンプト）に耳を傾けるべき合唱団を想像してください。しかし、合唱団のメンバー全員が「ストップ！」（埋め合わせトークン）と叫び続けています。指揮者はその叫び声に圧倒されてソリストの話を聞くのをやめ、「ストップ！」の命令に基づいて円を描いて行進し始めてしまいます。もしその「ストップ！」の命令が以前に特定のダンスの動きと結びつけられていたなら、合唱団は音楽を無視してそのダンスだけを繰り返すことになります。

意外な展開：言葉はそれほど重要ではない

著者たちは、プロンプトから実際の言葉を取り除き、代わりに「End」トークンに置き換えてこれをテストしました。

結果：モデルは依然として認識可能な画像を生成することができました。
結論：あなたが入力した実際の言葉（プロンプト）は、記憶化というプロセスにはほとんど寄与していません。コピー行動の重労働を行っているのは「埋め合わせ」トークンです。

解決策：2 つの簡単な修正

この論文は、モデル全体を再訓練したり、処理を遅くしたりすることなく、この問題を止める 2 つの簡単な方法を提案しています。どちらも「推論時（inference-time）」の修正であり、画像が生成される直前に適用できます。

修正 1：埋め合わせトークンを変更する

行動：空いたスペースを「THE END（<eot>）」で埋める代わりに、感嘆符（!）のような中立的な記号に置き換えます。
なぜ機能するか：これによりエコーチェンバーが壊れます。モデルは「End」トークンの 60 個のコピーを見るのではなく、同じような重みを持たない中立的な記号を見ることになります。
ボーナス：さらに安全策として、元の単一の「End」トークンも隠す（マスクする）ことも提案されています。

修正 2：埋め合わせをミュートする

行動：トークンをそのままにしておき、単に繰り返される「End」トークンの音量（重み）を下げて、モデルがそれらにあまり注意を払わないようにします。
なぜ機能するか：トークナイザーを変更することなく、「エコー」の影響を軽減します。

証明：なぜバージョン 2.1 が優れているのか

著者たちは、Stable Diffusion v2.1（新しいバージョン）には、この記憶化の問題がそれほど深刻ではないことに気づきました。

なぜか？実は、v2.1 の作成者が偶然この問題を修正していました。彼らは「THE END」を繰り返す代わりに、埋め合わせに中立的な記号を使用する別のテキストシステム（OpenCLIP）に切り替えていました。
教訓：v2.1 が自然と記憶化を大幅に減らしたという事実は、v1.4 における問題の主な原因が「繰り返される End トークン」であったことを証明しています。

まとめ

問題：Stable Diffusion は時折、訓練画像をそのままコピーしてしまいます。
原因：短いプロンプトは繰り返される「テキスト終了」トークンで埋め合わせられます。モデルはこれらの繰り返されるトークンを指示の最も重要な部分と誤解し、特定の画像に「過剰適合」して記憶化を引き起こします。
解決策：埋め合わせトークンを ! のような中立的なものに変更するか、繰り返されるトークンをミュートします。これにより、画像の品質を維持したまま記憶化を防ぐことができます。
利点：AI を再訓練したり、事前にどの画像がリスクがあるかを検出したりすることなく、この修正を即座に適用できます。

技術的概要：Stable Diffusion における記憶化は、予期せぬことに CLIP 埋め込みによって駆動される

問題定義

テキストから画像への拡散モデル、特に Stable Diffusion は、特定のプロンプトに応答してトレーニングセットからの特定の画像を再現する「記憶化」と呼ばれる重大なプライバシーリスクを示す。これは著作権侵害や個人データの漏洩に関する重大な懸念を引き起こす。先行研究は、データセットの重複、トリガートークン、クロスアテンションパターンを通じて記憶化を検証してきたが、テキスト埋め込み空間、特に埋め込みシーケンスの異なる構成要素が記憶化にどのように寄与するかという点については、未だ十分に探求されていない。本論文は、Stable Diffusion v1.4 における記憶化の根本原因は、単にトークン自体にあるのではなく、CLIP テキストエンコーダのトレーニングダイナミクスと拡散モデルの推論メカニズムとの間の構造的な不一致にあると仮説を立てる。

手法

著者は Stable Diffusion の埋め込みベクトルについて詳細な調査を行い、入力トークンを 4 種類に分類する：<startoftext> ( $v_{sot}$ )、<prompt> トークン ( $v_{pr}$ )、<endoftext> ( $v_{eot}$ )、および <pad> トークン ( $v_{pad}$ )。

1. 埋め込み寄与の実証的分析

本研究は、各埋め込み構成要素が記憶化されたプロンプトに与える影響を定量化するために、制御された推論時介入を採用する。実験には以下が含まれる：

マスキングと置換： 特定の埋め込みベクトルを体系的にマスキングまたは置換する（例： $v_{pr}$ または $v_{pad}$ をゼロベクトルに設定するか、 $v_{eot}$ に置換する）。
指標評価： 記憶化（元のトレーニング画像との類似度）を測定するためにSSCD（自己教師あり対照距離）を使用し、テキスト - 画像の整合性にはCLIPScoreを、視覚的品質にはAesthetic Scoreを使用する。
データセットのキュレーション： 著者は Webster [35] と Membench [13] から 458 件の「完全一致（Matching Verbatim）」（MV）プロンプトの堅牢なセットをキュレーションし、不安定または劣化したケースを除外して信頼性の高い分析を確保した。

2. 比較分析（v1.4 vs. v2.1）

本論文は、元の CLIP テキストエンコーダを使用する Stable Diffusion v1.4 と、OpenCLIP を使用する v2.1 とを比較する。著者は、これらのモデルがパディングトークンを処理する方法の違いが、バージョン間の記憶化率の変異を説明すると仮説を立てる。

3. 軽減戦略

知見に基づき、2 つの推論時軽減戦略が提案される：

トークナイザーレベルの修正： 埋め込み前にデフォルトの <pad> トークン（v1.4 では <eot>）を意味的に中立的なトークン（例：!）に置き換え、単一の $v_{eot}$ をマスキングする。
部分的なマスキング： 生成品質を崩壊させることなく冗長性を低減するために、 $v_{pad}$ 埋め込みを部分的に（具体的には 70%）マスキングする。

主要な知見と貢献

1. パディング埋め込みの支配性

プロンプトトークン ( $v_{pr}$ ) が生成の主要な駆動因子であるという仮説とは対照的に、著者は $v_{pr}$ が記憶化にほとんど寄与しないことを発見した。実際、 $v_{pr}$ をマスキングするか $v_{eot}$ に置換しても、生成された画像の構造は維持される。対照的に、パディング埋め込み ( $v_{pad}$ ) が支配的な役割を果たす。 $v_{pad}$ がマスキングされると生成が崩壊し、これは記憶化されたコンテンツの再現に不可欠であることを示している。

2. $v_{eot}$ の構造的複製

特定された中核メカニズムは、<endoftext> 埋め込みの構造的複製である。

Stable Diffusion v1.4 では、固定長（77 トークン）より短いプロンプトは、<eot> トークンを繰り返すことでパディングされる。
CLIP は、文レベルのセマンティクスを表すものとして $v_{eot}$ を最適化するように対照学習でトレーニングされているため、繰り返された <eot> トークンは、 $v_{pad}$ として複数のほぼ同一の $v_{eot}$ ベクトルを生み出す。
この意図しない複製は、拡散プロセス中に $v_{eot}$ の影響を増幅し、モデルがこの特定の埋め込みを過度に依存させることとなり、記憶化を引き起こす。

3. Stable Diffusion v2.1 の動作の説明

本論文は、Stable Diffusion v2.1 が著しく低い記憶化率を示すことに言及する。著者はこれをデータセットの重複除去によるものではなく、<eot> の複製の代わりに中立的な ! トークンをパディングに使用する OpenCLIP の使用によるものと帰属させる。この構造的変化は $v_{eot}$ の増幅を除去し、それによって記憶化を低減する。

4. 提案された軽減戦略

著者は、モデルの再トレーニングを必要としない 2 つの有効なプラグアンドプレイ戦略を提案する：

戦略 1： トークナイザーのデフォルト <pad> を中立的なトークン（!）に置き換え、元の $v_{eot}$ をマスキングする。これにより $v_{pad}$ と $v_{eot}$ の結合が解除される。
戦略 2： $v_{pad}$ 埋め込みの 70% を部分的にマスキングする。
両方の手法は、SSCD スコア（記憶化の減少を示す）を大幅に低減し、高い CLIPScore と Aesthetic Score を維持しながら、ランダムシード間での多様性を効果的に回復させる。

結果

記憶化の抑制： 提案された手法は、SSCD スコアを記憶化を示す約 0.5 から約 0.08–0.10 に低減し、トレーニング画像の再現を実質的に防止する。
品質の維持： 視覚的品質を劣化させたり、記憶化を一貫して抑制できなかったりする先行手法（例：Ren ら [24]、Wen ら [36]）とは異なり、提案された戦略はプロンプトの整合性と画像品質を維持する。
効率性： 軽減は計算オーバーヘッドをほとんど追加せず、推論時間は標準的な生成とほぼ同一である。
堅牢性： これらの手法は記憶化されたプロンプトと非記憶化されたプロンプトの両方で一貫して機能し、一般的な生成品質に著しい劣化は見られない。

意義と主張

本論文は、記憶化に関する視点をモデル内部（例：クロスアテンションパターン）から、テキスト埋め込みの構造的性質へと転換させることを主張する。CLIP のトレーニング目的（ $v_{eot}$ のみを最適化）と、複製された $v_{eot}$ を含む完全なシーケンスに条件付けられる拡散モデルの推論との間の不一致が、記憶化を駆動する構造的バイアスを生み出していると論じる。

意義は、見落とされていたメカニズム、すなわちトークナイザー設計に起因する <endoftext> 埋め込みの意図しない増幅を特定することにある。この構造的欠陥に対処することで、著者はデータセットのフィルタリング、プロンプトチューニング、モデル再トレーニングを必要とせずに記憶化を軽減する、シンプルで効果的かつ展開可能な解決策を提供する。これらの知見は、将来の拡散モデルが同様の構造的バイアスを回避するために、パディングトークン戦略を慎重に考慮すべきであることを示唆している。