Memorization to Generalization: Emergence of Diffusion Models from Associative Memory

Titel: Memorization to Generalization: Emergence of Diffusion Models from Associative Memory

Autoren: Bao Pham, Gabriel Raya, Matteo Negri, Mohammed J. Zaki, Luca Ambrogioni, Dmitry Krotov.

---

1. Problemstellung

Diffusionsmodelle (Diffusion Models, DMs) haben sich als äußerst leistungsfähig für die Generierung hochdimensionaler Daten (z. B. Bilder) erwiesen. Dennoch bestehen zwei zentrale Herausforderungen:

1. Verständnis der Generalisierung: Es ist unklar, wie und wann DMs von einer reinen Auswendiglernphase (Memorization) zu einer echten Generalisierung übergehen.
2. Rolle von „Spurious States" (Scheinbaren Zuständen): In der Theorie der assoziativen Speicher (Associative Memories, AM), insbesondere bei Hopfield-Netzen und deren dichten Varianten (DenseAMs), treten bei Überschreitung der Speicherkapazität „spurious states" auf. Diese sind lokale Minima der Energielandschaft, die nicht den gespeicherten Trainingsdaten entsprechen. In klassischen AMs gelten diese als störend, da sie die korrekte Abrufung von Erinnerungen behindern. In der generativen Modellierung ist ihre Rolle jedoch unklar und bisher kaum untersucht worden.

Das Paper stellt die Frage, ob diese theoretischen Konzepte der assoziativen Speicher auf Diffusionsmodelle übertragbar sind und ob „spurious states" eine signifikante Rolle im Übergang von Memorization zu Generalisierung spielen.

2. Methodik und Theoretischer Rahmen

Verknüpfung von Diffusionsmodellen und Dichten Assoziativen Speichern (DenseAMs)

Die Autoren legen eine theoretische Brücke zwischen DMs und DenseAMs durch die Analyse der Energielandschaft:

• Energie-Formulierung: Sie zeigen, dass die Score-Funktion eines Diffusionsmodells (die den Gradienten der Log-Wahrscheinlichkeit darstellt) als Gradient einer Energiefunktion interpretiert werden kann.
• Äquivalenz: Die Energiefunktion eines DMs ($E_{DM}$) unter der Annahme eines Varianz-Exploding-SDEs ist strukturell identisch mit der Energiefunktion eines DenseAMs ($E_{AM}$).
  • Trainingsdatenpunkte $\xi_\mu$ entsprechen den gespeicherten Mustern (Memories).
  • Die Varianz des Rauschens entspricht der inversen Temperatur $\beta^{-1}$.
  • Der Generierungsprozess entspricht dem dynamischen Abruf (Memory Retrieval) im Energielandschafts-Modell.

Phasenübergang und Definitionen

Basierend auf der Theorie der DenseAMs postulieren die Autoren drei Phasen, die sich mit der Größe des Trainingsdatensatzes ($K$) ändern:

1. Memorization (Auswendiglernen): Bei kleinem $K$ existieren für jeden Trainingspunkt ein tiefes lokales Minimum (Attraktor) in der Energielandschaft. Das Modell generiert exakte Kopien der Trainingsdaten.
2. Spurious States (Scheinbare Zustände): Wenn $K$ die kritische Speicherkapazität überschreitet, entstehen neue lokale Minima, die nicht den Trainingsdaten entsprechen. Diese sind stabile Attraktoren mit eigenen Einzugsgebieten (Basins of Attraction).
3. Generalization (Generalisierung): Bei sehr großem $K$ verschmelzen die lokalen Minima zu einem kontinuierlichen, flachen Manifold. Das Modell generiert einzigartige, neue Samples, die keine exakten Duplikate von Trainingsdaten oder den spurious states sind.

Experimentelle Messung

Um diese Phasen empirisch zu validieren, entwickelten die Autoren Detektionsmetriken:

• Memorized Samples: Duplikate, die sowohl im Trainingsset ($S$) als auch im synthetischen Set ($S'$) vorkommen.
• Spurious Samples: Duplikate im synthetischen Set ($S'$), die nicht im Trainingsset ($S$) vorkommen, aber eine hohe Häufigkeit (stabile Attraktoren) aufweisen.
• Generalized Samples: Einzigartige Samples, die weder im Trainings- noch im synthetischen Set dupliziert sind.

Zusätzlich analysierten sie:

• Volumen der Einzugsgebiete (Basin Volume): Berechnet über die kritische Zeit $t_c$, bis zu der ein gestörtes Sample noch zum Ursprung zurückrekonstruiert werden kann.
• Krümmung der Energielandschaft: Analysiert über die Singulärwerte der Jacobi-Matrix der Score-Funktion (Hessische Matrix der Energie).

3. Wichtige Beiträge

1. Theoretische Verbindung: Etablierung einer direkten Verbindung zwischen Diffusionsmodellen und der Theorie der dichten assoziativen Speicher, wobei der Generierungsprozess als Abruf aus einem Energiespeicher interpretiert wird.
2. Entdeckung einer neuen Phase: Identifikation von spurious states als eine kritische, bisher übersehene Zwischenphase im Übergang von Memorization zu Generalisierung. Im Gegensatz zu klassischen AMs, wo diese als Fehler gelten, werden sie hier als erste Anzeichen kreativer Generierung (Generalisierung) interpretiert.
3. Charakterisierung der Zustände:
   • Memorized: Hohe Krümmung, große Einzugsgebiete, exakte Duplikate.
   • Spurious: Mittlere bis hohe Krümmung, definierte Einzugsgebiete, Duplikate im synthetischen Set, aber neuartige Merkmale (z. B. ein Shirt mit nur einem Ärmel in Fashion-MNIST).
   • Generalized: Flache Energielandschaft (nahezu Null-Krümmung), winzige Einzugsgebiete, keine Duplikate.
4. Skalierbarkeit: Die Phänomene wurden nicht nur auf kleinen Datensätzen (MNIST, CIFAR10) gezeigt, sondern auch an großen Modellen wie Stable Diffusion (trainiert auf LAION) validiert.

4. Ergebnisse

• Phasenübergang: Mit zunehmender Trainingsdatengröße $K$ nimmt der Anteil der memorized samples ab, während der Anteil der generalized samples steigt.
• Der Peak der Spurious States: Der Anteil der spurious samples bildet einen deutlichen Peak genau an der Grenze zwischen der Memorization- und der Generalisierungsphase. Dies bestätigt die Vorhersage der DenseAM-Theorie.
• Geometrische Hierarchie:
  • Einzugsgebiete: Memorized > Spurious > Generalized (nahezu 0).
  • Krümmung (Singulärwerte): Memorized und Spurious weisen signifikant höhere Krümmung auf als Generalized samples. Generalized samples liegen auf einem flachen Manifold.
• Stable Diffusion: Auch bei großen Modellen lassen sich Kandidaten für diese drei Zustände identifizieren. Memorized samples zeigen exakte Duplikate von Trainingsbildern, spurious samples zeigen Variationen (z. B. andere Farben/Muster), und generalized samples sind völlig neu. Die Analyse der Krümmung bestätigt die Hierarchie auch hier.

5. Bedeutung und Fazit

Das Paper liefert einen fundamentalen neuen Blickwinkel auf das Verhalten von Diffusionsmodellen:

• Paradigmenwechsel: Es zeigt, dass das „Auswendiglernen" und die „Generalisierung" keine binären Zustände sind, sondern durch eine komplexe Übergangsphase (spurious states) verbunden sind.
• Neue Interpretation von „Fehlern": Was in der klassischen Hopfield-Netzwerk-Theorie als störender „spurious state" galt, ist in generativen Modellen ein konstruktiver Mechanismus für Kreativität. Diese Zustände repräsentieren die Fähigkeit des Modells, neue, stabile Konfigurationen zu finden, die nicht im Trainingsset existieren.
• Praktische Implikationen: Das Verständnis dieser Übergangsphase könnte helfen, Methoden zur Kontrolle von Memorization (z. B. Datenschutz) zu entwickeln oder die Entstehung von Halluzinationen in generativen Modellen besser zu verstehen.
• Validierung: Die Ergebnisse gelten sowohl für kleine, kontrollierte Experimente als auch für state-of-the-art Modelle wie Stable Diffusion, was die Robustheit der Theorie unterstreicht.

Zusammenfassend demonstriert die Arbeit, dass Diffusionsmodelle im Wesentlichen als dichte assoziative Speicher funktionieren, deren Generierungsfähigkeit direkt aus der Entstehung neuer Attraktoren (spurious states) in der Energielandschaft resultiert, sobald die Trainingsdatenmenge die reine Speicherkapazität übersteigt.