💻 computer science

Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings

Dieser Artikel zeigt, dass das Auswendiglernen in Stable Diffusion unerwartet durch die strukturelle Verdopplung der End-of-Text-Einbettung in Padding-Token getrieben wird, die ihren Einfluss verstärkt, und schlägt einfache Inferenzzeit-Strategien vor, um dieses Problem zu mildern, ohne die Bildqualität zu beeinträchtigen.

Ursprüngliche Autoren: Bumjun Kim, Albert No

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bumjun Kim, Albert No

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Modell ist in Erinnerungen „festgefahren"

Stellen Sie sich einen talentierten Künstler (Stable Diffusion) vor, der auf Millionen von Fotos trainiert wurde. Manchmal, wenn Sie diesen Künstler bitten, etwas Neues zu zeichnen, kopiert er versehentlich ein bestimmtes Foto aus seinem Trainingsdatensatz exakt, Pixel für Pixel. Dies wird als Auswendiglernen (Memorization) bezeichnet. Es stellt ein Risiko für die Privatsphäre und das Urheberrecht dar, da das Modell nichts Neues erschafft, sondern lediglich alte Daten wiederholt.

Wissenschaftler haben versucht herauszufinden, warum dies geschieht. Die meisten Theorien konzentrierten sich auf die Wörter, die Sie eingeben (den Prompt), oder auf die innere Mathematik des Modells. Dieses Paper hat jedoch einen überraschenden Übeltäter gefunden, der sich in der „Auffüllung" der Anweisungen versteckt.

Der Aufbau: Wie der Künstler Anweisungen liest

Um die Entdeckung zu verstehen, müssen wir uns ansehen, wie der Künstler Ihre Anweisungen liest.

Der Prompt: Sie tippen einen Satz wie „Eine Katze auf einer Matte" ein.
Das Limit: Der Künstler kann Anweisungen nur bis zu einer bestimmten Länge lesen (77 „Tokens" oder Wortteile).
Der Füller: Wenn Ihr Satz kurz ist (z. B. nur 10 Wörter), muss der Computer die verbleibenden 67 leeren Stellen auffüllen, um das Limit von 77 zu erreichen.

Der alte Weg (Stable Diffusion v1.4):
Der Computer füllt diese leeren Stellen mit einem speziellen „Ende des Textes"-Token (nennen wir es <eot>).

Die Analogie: Stellen Sie sich vor, Sie lesen eine Geschichte, aber die letzte Seite ist leer. Anstatt sie leer zu lassen, druckt der Drucker immer wieder die Worte „DAS ENDE" auf, bis die Seite voll ist.
Also sieht der Künstler bei einem kurzen Prompt: [Ihre Wörter] + [DAS ENDE] + [DAS ENDE] + [DAS ENDE]... (wiederholt 60-mal oder öfter).

Die Entdeckung: Der „Echokammer"-Effekt

Die Autoren des Papers entdeckten, dass der Künstler stark auf diese wiederholten „DAS ENDE"-Stempel angewiesen ist, um zu entscheiden, was er zeichnet, insbesondere beim Auswendiglernen von Bildern.

Hier ist die von ihnen gefundene Kette von Ereignissen:

Trainings-Mismatch: Das System, das Wörter in Mathematik übersetzt (CLIP genannt), wurde so trainiert, dass es das erste „DAS ENDE"-Token als die wichtigste Zusammenfassung des gesamten Satzes behandelt. Es lernte, die tatsächlichen Wörter und die Füll-Token zu ignorieren.
Der Glitch: Da der Computer den leeren Raum mit mehr „DAS ENDE"-Token füllt, sieht der Künstler plötzlich das „DAS ENDE"-Token Dutzende Male wiederholt.
Die Verstärkung: Der Künstler denkt: „Wow, es gibt so viele 'DAS ENDE'-Token! Das muss der wichtigste Teil der Anweisung sein!"
Das Ergebnis: Das Modell fokussiert sich übermäßig auf dieses wiederholte Token. Wenn dieses spezifische „DAS ENDE"-Muster während des Trainings mit einem bestimmten urheberrechtlich geschützten Bild assoziiert war, gerät das Modell in eine Schleife und reproduziert genau dieses Bild, wobei es Ihre eigentliche Anfrage ignoriert.

Die Metapher:
Stellen Sie sich einen Chor vor, bei dem der Dirigent (das Modell) eigentlich dem Solisten (Ihrem Prompt) zuhören soll. Aber alle Chormitglieder schreien „STOPP!" (das Auffüll-Token) immer wieder. Der Dirigent wird von dem Geschrei so überwältigt, dass er aufhört, dem Solisten zuzuhören, und einfach nur im Kreis marschiert, basierend auf den „STOPP!"-Befehlen. Wenn der „STOPP!"-Befehl zuvor mit einer bestimmten Tanzbewegung verknüpft war, wiederholt der Chor einfach diesen Tanz und ignoriert die Musik.

Die überraschende Wendung: Die Wörter sind nicht so wichtig

Die Autoren testeten dies, indem sie die tatsächlichen Wörter aus dem Prompt entfernten und sie durch das „Ende"-Token ersetzten.

Ergebnis: Das Modell konnte immer noch ein erkennbares Bild generieren.
Fazit: Die tatsächlichen Wörter, die Sie eingegeben haben (der Prompt), tragen sehr wenig zum Auswendiglernen-Teil des Prozesses bei. Die „Füll"-Token leisten die schwere Arbeit für das Kopierverhalten.

Die Lösung: Zwei einfache Fixes

Das Paper schlägt zwei einfache Wege vor, dies zu stoppen, ohne das gesamte Modell neu zu trainieren oder es zu verlangsamen. Beide sind „Inferenzzeit"-Fixes, was bedeutet, dass Sie sie kurz vor der Bildgenerierung anwenden können.

Fix 1: Ändern Sie das Füll-Token

Die Aktion: Füllen Sie den leeren Raum nicht mit „DAS ENDE" (<eot>) auf, sondern ersetzen Sie es durch ein neutrales Symbol wie ein Ausrufezeichen (!).
Warum es funktioniert: Dies bricht die Echokammer. Das Modell sieht nicht mehr 60 Kopien des „Ende"-Tokens. Es sieht ein neutrales Symbol, das nicht dasselbe hohe Gewicht trägt.
Bonus: Sie verbergen (maskieren) auch das einzelne ursprüngliche „Ende"-Token, um auf Nummer sicher zu gehen.

Fix 2: Stummschalten des Füllers

Die Aktion: Behalten Sie die Tokens so, wie sie sind, drosseln Sie aber einfach die Lautstärke (maskieren) der wiederholten „Ende"-Token, damit das Modell weniger auf sie achtet.
Warum es funktioniert: Es reduziert den Einfluss des „Echos", ohne den Tokenizer zu ändern.

Der Beweis: Warum Version 2.1 besser ist

Die Autoren stellten fest, dass Stable Diffusion v2.1 (eine neuere Version) dieses Auswendiglern-Problem nicht so stark hat.

Warum? Es stellt sich heraus, dass die Entwickler von v2.1 dieses Problem versehentlich behoben haben. Sie wechselten zu einem anderen Textsystem (OpenCLIP), das ein neutrales Symbol für die Auffüllung verwendet, anstatt „DAS ENDE" zu wiederholen.
Die Erkenntnis: Die Tatsache, dass v2.1 natürlich weniger auswendig lernt, beweist, dass das „wiederholte Ende-Token" tatsächlich die Hauptursache des Problems in v1.4 war.

Zusammenfassung

Das Problem: Stable Diffusion kopiert manchmal Trainingsbilder exakt.
Die Ursache: Kurze Prompts werden mit wiederholten „Ende des Textes"-Token aufgefüllt. Das Modell hält diese wiederholten Token für den wichtigsten Teil der Anweisung, was dazu führt, dass es sich „überanpasst" und spezifische Bilder auswendig lernt.
Die Lösung: Ändern Sie das Füll-Token zu etwas Neutralem (wie !) oder stummschalten Sie die wiederholten Token. Dies stoppt das Auswendiglernen, während die Bildqualität hoch bleibt.
Der Vorteil: Sie können diesen Fix sofort anwenden, ohne die KI neu zu trainieren oder vorher zu erkennen, welche Bilder riskant sind.

Technische Zusammenfassung: Memorization in Stable Diffusion wird unerwartet durch CLIP-Embeddings getrieben

Problemstellung

Text-zu-Bild-Diffusionsmodelle, insbesondere Stable Diffusion, weisen ein kritisches Datenschutzrisiko auf, das als Memorization (Auswendiglernen) bekannt ist, bei dem das Modell als Reaktion auf bestimmte Prompts spezifische Bilder aus seinem Trainingsdatensatz reproduziert. Dies wirft erhebliche Bedenken hinsichtlich Urheberrechtsverletzungen und der Offenlegung privater Daten auf. Während frühere Forschungen Memorization durch Datensatzduplizierung, Trigger-Token und Cross-Attention-Muster untersucht haben, bleibt die Rolle des Text-Embedding-Raums – insbesondere wie verschiedene Komponenten der Embedding-Sequenz zu Memorization beitragen – weitgehend unerforscht. Diese Arbeit geht davon aus, dass die Ursache für Memorization in Stable Diffusion v1.4 nicht allein in den Tokenn selbst liegt, sondern in einer strukturellen Fehlausrichtung zwischen den Trainingsdynamiken des CLIP-Text-Encoders und den Inferenzmechanismen des Diffusionsmodells.

Methodik

Die Autoren führen eine detaillierte Untersuchung der Embedding-Vektoren von Stable Diffusion durch und kategorisieren Eingabe-Token in vier Typen: <startoftext> ( $v_{sot}$ ), <prompt>-Token ( $v_{pr}$ ), <endoftext> ( $v_{eot}$ ) und <pad>-Token ( $v_{pad}$ ).

1. Empirische Analyse der Embedding-Beiträge

Die Studie nutzt kontrollierte Eingriffe zur Inferenzzeit, um den Einfluss jeder Embedding-Komponente auf memorisierte Prompts zu quantifizieren. Die Experimente umfassen:

Maskierung und Ersetzung: Systematisches Maskieren oder Ersetzen spezifischer Embedding-Vektoren (z. B. Setzen von $v_{pr}$ oder $v_{pad}$ auf Nullvektoren oder Ersetzen durch $v_{eot}$ ).
Metrik-Evaluierung: Verwendung von SSCD (Self-Supervised Contrastive Distance) zur Messung von Memorization (Ähnlichkeit zum ursprünglichen Trainingsbild), CLIPScore für die Text-Bild-Ausrichtung und Aesthetic Score für die visuelle Qualität.
Datensatz-Kuration: Die Autoren erstellten einen robusten Satz von 458 „Matching Verbatim" (MV)-Prompts aus Webster [35] und Membench [13], filterten instabile oder degradierte Fälle heraus, um eine zuverlässige Analyse zu gewährleisten.

2. Vergleichende Analyse (v1.4 vs. v2.1)

Die Arbeit vergleicht Stable Diffusion v1.4 (das den ursprünglichen CLIP-Text-Encoder verwendet) mit v2.1 (das OpenCLIP verwendet). Die Autoren hypothesieren, dass Unterschiede in der Handhabung von Padding-Token durch diese Modelle die Varianz der Memorization-Raten zwischen den Versionen erklären.

3. Minderungsstrategien

Basierend auf den Ergebnissen werden zwei Minderungsstrategien zur Inferenzzeit vorgeschlagen:

Tokenizer-Level-Fix: Ersetzen des Standard-<pad>-Token (das in v1.4 <eot> ist) durch einen semantisch neutralen Token (z. B. !) vor dem Embedding und Maskieren des einzelnen $v_{eot}$ .
Partielle Maskierung: Partielles Maskieren der $v_{pad}$ -Embeddings (speziell 70 %), um Redundanz zu reduzieren, ohne die Generierungsqualität zu kollabieren.

Wichtige Erkenntnisse und Beiträge

1. Die Dominanz von Padding-Embeddings

Entgegen der Annahme, dass Prompt-Token ( $v_{pr}$ ) die Haupttreiber der Generierung sind, stellen die Autoren fest, dass $v_{pr}$ minimal zu Memorization beitragen. Tatsächlich erhält das Maskieren von $v_{pr}$ oder deren Ersetzung durch $v_{eot}$ die Struktur des generierten Bildes. Umgekehrt spielen Padding-Embeddings ( $v_{pad}$ ) eine dominante Rolle. Wenn $v_{pad}$ maskiert werden, kollabiert die Generierung, was darauf hindeutet, dass sie für die Reproduktion memorisierten Inhalts entscheidend sind.

2. Strukturelle Duplizierung von $v_{eot}$

Der identifizierte Kernmechanismus ist die strukturelle Duplizierung des <endoftext>-Embeddings.

In Stable Diffusion v1.4 werden Prompts, die kürzer als die feste Länge (77 Token) sind, durch Wiederholung des <eot>-Token gepadded.
Da CLIP durch kontrastives Lernen trainiert wird, um $v_{eot}$ als Repräsentanten der Satzsemantik zu optimieren, führen die wiederholten <eot>-Token zu mehreren fast identischen $v_{eot}$ -Vektoren (als $v_{pad}$ ).
Diese unbeabsichtigte Duplizierung verstärkt den Einfluss von $v_{eot}$ während des Diffusionsprozesses, wodurch das Modell übermäßig auf dieses spezifische Embedding angewiesen wird und zu Memorization führt.

3. Erklärung des Verhaltens von Stable Diffusion v2.1

Die Arbeit stellt fest, dass Stable Diffusion v2.1 signifikant niedrigere Memorization-Raten aufweist. Die Autoren schreiben dies nicht der Entduplizierung des Datensatzes zu, sondern der Verwendung von OpenCLIP, das einen neutralen !-Token zum Padding verwendet, anstatt <eot> zu duplizieren. Diese strukturelle Änderung entfernt die Verstärkung von $v_{eot}$ und reduziert somit Memorization.

4. Vorgeschlagene Minderungsstrategien

Die Autoren schlagen zwei effektive, Plug-and-Play-Strategien vor, die kein Nachtrainieren des Modells erfordern:

Strategie 1: Ersetzen des Standard-<pad> des Tokenizers durch einen neutralen Token (!) und Maskieren des ursprünglichen $v_{eot}$ . Dies entkoppelt $v_{pad}$ von $v_{eot}$ .
Strategie 2: Partielles Maskieren von 70 % der $v_{pad}$ -Embeddings.
Beide Methoden reduzieren die SSCD-Werte erheblich (was auf reduzierte Memorization hindeutet), während hohe CLIPScore- und Aesthetic-Scores erhalten bleiben, wodurch die Vielfalt über zufällige Seeds hinweg effektiv wiederhergestellt wird.

Ergebnisse

Unterdrückung von Memorization: Die vorgeschlagenen Methoden reduzieren die SSCD-Werte von ~0,5 (was Memorization anzeigt) auf ~0,08–0,10 und verhindern effektiv die Reproduktion von Trainingsbildern.
Erhaltung der Qualität: Im Gegensatz zu früheren Methoden (z. B. Ren et al. [24], Wen et al. [36]), die oft die visuelle Qualität beeinträchtigen oder Memorization nicht konsistent unterdrücken, bewahren die vorgeschlagenen Strategien die Prompt-Ausrichtung und die Bildqualität.
Effizienz: Die Minderung fügt einen vernachlässigbaren Rechenaufwand hinzu, wobei die Inferenzzeiten nahezu identisch mit der Standardgenerierung sind.
Robustheit: Die Methoden funktionieren konsistent über memorisierte und nicht-memorisierte Prompts hinweg und zeigen keine signifikante Verschlechterung der allgemeinen Generierungsqualität.

Bedeutung und Behauptungen

Die Arbeit behauptet, die Perspektive auf Memorization von Modellinternem (z. B. Cross-Attention-Muster) zu den strukturellen Eigenschaften von Text-Embeddings zu verschieben. Sie argumentiert, dass die Diskrepanz zwischen dem Trainingsziel von CLIP (Optimierung nur von $v_{eot}$ ) und der Inferenz des Diffusionsmodells (Konditionierung auf die gesamte Sequenz einschließlich duplizierter $v_{eot}$ ) eine strukturelle Verzerrung erzeugt, die Memorization antreibt.

Die Bedeutung liegt in der Identifizierung eines zuvor übersehenen Mechanismus: der unbeabsichtigten Verstärkung des <endoftext>-Embeddings aufgrund des Tokenizer-Designs. Durch die Behebung dieses strukturellen Fehlers bieten die Autoren einfache, effektive und einsetzbare Lösungen, die Memorization mindern, ohne Datensatzfilterung, Prompt-Tuning oder Modellnachtraining zu benötigen. Die Ergebnisse legen nahe, dass zukünftige Diffusionsmodelle Padding-Token-Strategien sorgfältig berücksichtigen sollten, um ähnliche strukturelle Verzerrungen zu vermeiden.