Memorization to Generalization: Emergence of Diffusion Models from Associative Memory

Titel: Memorization to Generalization: Emergence of Diffusion Models from Associative Memory

Auteurs: Bao Pham, Gabriel Raya, Matteo Negri, Mohammed J. Zaki, Luca Ambrogioni, Dmitry Krotov.

---

1. Het Probleem

Diffusiemodellen (DMs) hebben zich ontwikkeld tot de staat van de kunst voor generatieve modellering, maar er bestaat een fundamenteel gebrek aan theoretisch inzicht in hoe deze modellen overgaan van memorisatie (het exacte reproduceren van trainingsdata) naar generalisatie (het creëren van nieuwe, unieke samples).

Bestaande literatuur bekijkt memorisatie vaak als een ongewenst neveneffect dat wordt opgelost door simpelweg meer trainingsdata toe te voegen. Er is echter weinig begrip van het intermediaire transitiegebied tussen deze twee fasen. Bovendien wordt er weinig verband gelegd tussen DMs en de klassieke theorie van associatieve geheugens (zoals Hopfield-netwerken), hoewel beide systemen vergelijkbare dynamieken lijken te vertonen. Een specifiek fenomeen uit de theorie van associatieve geheugens, de spurious states (schijnbare toestanden), wordt in DMs doorgaans genegeerd of als artefact beschouwd, terwijl het in dit paper centraal staat.

2. Methodologie

De auteurs hanteren een unieke benadering door diffusiemodellen te interpreteren door de lens van Dense Associative Memories (DenseAMs).

• Theoretische Koppeling: Ze tonen aan dat de scorefunctie van een diffusiemodel (die de gradiënt van de log-dichtheid schat) wiskundig equivalent is aan de gradiënt van de energie-functie van een DenseAM.
  • De trainingsdata $\xi_\mu$ fungeren als "memories".
  • De ruisvariatie in het diffusieproces fungeert als de "temperatuur" ($\beta^{-1}$).
  • Het generatieve proces is een dynamische convergentie naar lokale minima in het energie-landschap.
• Definitie van Toestanden: Op basis van de energie-landschaps-theorie definiëren ze drie fasen:
  1. Memorisatie: Lokale minima corresponderen exact met trainingsdata-punten.
  2. Spurious States (Schijnbare toestanden): Nieuwe lokale minima die niet in de trainingsdata voorkomen, maar wel stabiele attractoren zijn met een eigen "basin of attraction".
  3. Generalisatie: Het energie-landschap vormt een continu, vlak manifold waar geen scherpe minima meer zijn, wat leidt tot unieke, variabele samples.
• Empirische Analyse:
  • Ze trainden DDPM-modellen op verschillende datasets (MNIST, Fashion-MNIST, CIFAR-10, LSUN-Church) met variërende trainingssetgroottes ($K$).
  • Ze ontwikkelden detectiemetrics om gegenereerde samples te classificeren als gememoriseerd, spurious, of gegeneraliseerd, gebaseerd op de duplicatie van samples in de synthetische set versus de trainingsset en hun afstand tot de trainingsdata.
  • Ze analyseerden de krromming van het energie-landschap (via singular values van de Jacobiaan van de scorefunctie) en het volume van de attractie-bekkens (basins of attraction).
  • Een gevalstudie werd uitgevoerd op Stable Diffusion (getraind op LAION) om de bevindingen te valideren op grote schaal.

3. Belangrijkste Bijdragen

1. Theoretische Unificatie: Het paper vestigt een directe link tussen diffusiemodellen en Dense Associative Memories, waarbij de generatieve dynamiek wordt geïnterpreteerd als geheugenherwinning.
2. Ontdekking van Spurious States: De auteurs identificeren en karakteriseren voor het eerst spurious states als een cruciale, tussenliggende fase in diffusiemodellen. In tegenstelling tot traditionele Hopfield-netwerken, waar deze toestanden als storingen worden gezien, presenteren ze zich hier als de eerste tekenen van creatieve generalisatie.
3. Karakterisering van Fasen: Ze bieden een gedetailleerde technische beschrijving van de drie fasen (memorisatie, spurious, generalisatie) in termen van:
   • De verdeling van samples in synthetische sets.
   • Het volume van de attractie-bekkens.
   • De kromming van het energie-landschap (curvature).
4. Validatie op Schaal: De bevindingen worden niet alleen getoond op kleine datasets, maar ook op grote modellen zoals Stable Diffusion, wat aantoont dat dit een universeel mechanisme is.

4. Resultaten

De experimenten tonen een duidelijke drie-fasen overgang naarmate de trainingsdata-grootte ($K$) toeneemt:

• Fase 1: Memorisatie (Klein $K$):
  • Het model leert de trainingsdata exact.
  • De energie-landschappen hebben scherpe, hoge-kromming minima op de locaties van de trainingsdata.
  • Genereerde samples zijn vaak exacte kopieën van de trainingsdata.
• Fase 2: Spurious States (Intermediair $K$):
  • Zodra $K$ de opslagcapaciteit van het model overschrijdt, ontstaan er nieuwe lokale minima die niet in de trainingsdata zitten.
  • Deze spurious samples hebben een goed gedefinieerd attractie-bekken (ze komen vaak voor als duplicaten in de synthetische set) maar lijken niet exact op trainingsdata (ze bevatten nieuwe combinaties, zoals een shirt met één mouw in Fashion-MNIST).
  • Ze vertonen een intermediaire kromming: hoger dan gegeneraliseerde samples, maar lager dan gememoriseerde samples.
  • Dit is het moment waarop generalisatie begint.
• Fase 3: Generalisatie (Groot $K$):
  • De scherpe minima verdwijnen en maken plaats voor een continu, vlak manifold.
  • Gegeneraliseerde samples hebben een zeer klein (bijna nul) attractie-bekkenvolume en lage kromming.
  • Elke generatie produceert een uniek sample; duplicaten in de synthetische set zijn zeldzaam.

Specifieke bevindingen:

• Basin Volume: Gememoriseerde samples hebben het grootste volume, gevolgd door spurious samples, en gegeneraliseerde samples hebben een verwaarloosbaar volume.
• Energie Kromming: De singular values van de score-Jacobiaan tonen aan dat gememoriseerde en spurious samples hoge kromming hebben (stijve attractoren), terwijl gegeneraliseerde samples een lage kromming hebben (vloeibare manifold).
• Stable Diffusion: Zelfs in grote modellen getraind op enorme datasets (LAION) blijven spurious states bestaan als stabiele attractoren, wat suggereert dat dit mechanisme fundamenteel is voor hoe DMs "creativiteit" genereren.

5. Betekenis en Impact

Dit paper biedt een nieuw theoretisch raamwerk om het gedrag van generatieve modellen te begrijpen:

• Paradigmaverschuiving: Het verandert de kijk op "spurious states" van een negatief artefact (in de context van geheugenherwinning) naar een positief signaal van creatieve generalisatie.
• Privacy en Veiligheid: Het inzicht in de overgangsfase kan helpen bij het ontwikkelen van methoden om ongewenste memorisatie van gevoelige trainingsdata te mitigeren, terwijl de generatieve capaciteit behouden blijft.
• Fundamenteel Inzicht: Het verbindt twee gescheiden gemeenschappen (neuroscience/associatieve geheugens en deep learning/generatieve modellen) en toont aan dat de wiskundige principes van energie-landschappen universeel zijn voor het begrijpen van hoe AI van "leren door te onthouden" naar "leren door te generaliseren" gaat.

Kortom, het paper stelt dat generalisatie in diffusiemodellen ontstaat via de emergentie van spurious states, een tussenstap die essentieel is voor het vormen van een continu, creatief generatief vermogen.