🤖 machine learning

Diffusion Models Preferentially Memorize Prototypical Examples or: Why Does My Diffusion Model Love Slop?

Dit artikel toont aan dat diffusiemodellen bij voorkeur prototypische voorbeelden die bestaan uit veelvoorkomende deelstrings memoriseren en overproduceren in plaats van zeldzame of atypische monsters, wat impliceert dat de diversiteit van de dataset op hogere abstractieniveaus cruciaal is voor het voorkomen van memorisatie en de resulterende "slop" in gegenereerde outputs.

Oorspronkelijke auteurs: Marta Aparicio Rodriguez, Anastasia Borovykh, Grigorios A. Pavliotis, Daniel J. Korchinski

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marta Aparicio Rodriguez, Anastasia Borovykh, Grigorios A. Pavliotis, Daniel J. Korchinski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotchef leert om een nieuw gerecht te koken. Je geeft het een enorm kookboek (de trainingsdata) vol unieke recepten. Je doel is dat de robot de principes van het koken leert, zodat hij zijn eigen heerlijke maaltijden kan uitvinden, in plaats van alleen maar pagina voor pagina uit het boek te kopiëren.

Echter, dit paper ontdekt dat de robot een vreemde gewoonte heeft: hij onthoudt niet eerst de vreemde, unieke recepten. In plaats daarvan onthoudt hij eerst de "standaard" ingrediënten en veelvoorkomende stappen.

Hier is de uitsplitsing van wat de onderzoekers hebben gevonden, met behulp van eenvoudige analogieën:

1. De Grote Misvatting: "Het Vreemde Dingen Eerst Blijven Hangen"

Je zou denken dat als een robot jouw boek gaat onthouden, hij zich eerst zou vastbijten in de meest ongewone, zeldzame of moeilijke recepten omdat die opvallen.

De Realiteit: De robot onthoudt eigenlijk eerst de gemeenschappelijke zaken.
De Analogie: Stel je een student voor die een toets maakt. Je zou kunnen denken dat de student eerst worstelt met de moeilijkste, zeldzaamste vragen. Maar deze studie laat zien dat de student eerst de meest voorkomende, standaard vragen onthoudt. Als de robot een recept ziet met "zout en peper" (gemeen), leert hij dat patroon snel. Als hij een recept ziet met "drakenfruit en truffelolie" (zeldzaam), duurt het veel langer om die specifieke combinatie te onthouden.

2. De "Slop"-fase: Wanneer de Robot Bland Wordt

Het meest interessante deel van het paper is een specifieke fase in het leerproces van de robot, de "Slop"-fase (slappe prut).

Wat er gebeurt: Voordat de robot begint met het perfect kopiëren van volledige recepten, komt hij in een middelste fase terecht. In deze fase stopt hij met proberen creatief te zijn en begint hij het meest voorkomende ingrediënten die hij vroeg leerde, overmatig te gebruiken.
De Analogie: Stel je een muzikant voor die leert jazz spelen. Eerst speelt hij originele, complexe solo's. Daarna komt hij in een "slop"-fase waarin hij stopt met improviseren en gewoon steeds dezelfde drie simpele, populaire noten speelt. Het is geen kopie van een specifiek nummer, maar het is saai en repetitief omdat hij simpelweg de "gemeenschappelijke" delen die hij eerst leerde, herkauwt.
Het Resultaat: Als je de training van de robot tijdens deze "slop"-fase stopt, produceert hij output die veilig, generiek en flauw aanvoelt — wat mensen online vaak "AI slop" noemen.

3. De "Lego"-les: Eerst de Steentjes Onthouden vóór de Kastelen

De onderzoekers gebruikten een speciaal soort synthetische data die werkt als Lego-blokjes.

Hoe het werkt: Een "afbeelding" is gebouwd uit grote blokken (zoals een kat), die weer bestaan uit kleinere blokken (oren, ogen), die weer bestaan uit piepkleine blokjes (kleuren, vormen).
De Bevinding: De robot onthoudt de kleine, gemeenschappelijke blokjes (zoals de kleur "oranje" of de vorm "cirkel") voordat hij de hele afbeelding onthoudt.
Het Gevaar: Zelfs als je dubbele afbeeldingen uit de trainingsdata verwijdert (zodat elke afbeelding uniek is), onthoudt de robot nog steeds de gemeenschappelijke onderdelen van die afbeeldingen eerst. Dit betekent dat het simpelweg verwijderen van duplicaten niet genoeg is om te voorkomen dat de robot "spurt" door de bouwstenen te onthouden.

4. Waarom "Fat Tails" Helpen (De Long Tail van Zeldzaamheid)

Het paper keek naar datasets waar sommige dingen heel algemeen zijn en andere heel zeldzaam (een "fat-tailed" distributie).

De Bevinding: Als jouw dataset een enorme variëteit aan zeldzame, vreemde dingen bevat (een "long tail"), duurt het de robot langer voordat hij iets begint te onthouden.
De Analogie: Als je een robot voert met een bibliotheek waar 99% van de boeken over "katten" gaat en 1% over "aliën ruimtekatten", zal hij de "kattenboeken" direct onthouden. Maar als je hem een bibliotheek voert waar elk boek een uniek, vreemd verhaal is over een andere alien, duurt het veel langer voordat hij begint te kopiëren omdat er geen "gemeenschappelijk" patroon is om zich aan vast te klampen.
De Les: Diversiteit is een schild. Hoe gevarieerder en "vreemder" je data is, hoe moeilijker het voor het model is om in de valkuil te trappen van het onthouden en produceren van saaie "slop".

5. De Takeaway voor Makers

Het paper concludeert dat als je wilt voorkomen dat AI saaie, repetitieve inhoud produceert ("slop"), je voorzichtig moet zijn over wanneer je de training van het model stopt.

Als je te vroeg stopt, kan het model in de "slop"-fase zitten, waarbij het de meest voorkomende kenmerken overmatig gebruikt.
Als je te lang door laat trainen, begint het de hele dataset te onthouden.
Het Zoete Punt: Het is een smalle marge waarin het model de regels begrijpt, maar nog niet is begonnen met het overmatig vertrouwen op de meest voorkomende patronen.

Samenvattend: Diffusiemodellen (de AI achter veel beeldgeneratoren) geven de voorkeur aan het onthouden van het "gemiddelde" en "gemeenschappelijke" eerst. Dit leidt tot een fase waarin ze flauwe, repetitieve inhoud produceren voordat ze uiteindelijk specifieke voorbeelden gaan kopiëren. Om dit te vermijden, heb je diverse data nodig en een zorgvuldige timing voor wanneer je de training stopt.

Technische Samenvatting: Diffusiemodellen ontrangen voorkeur aan prototypische voorbeelden

Probleemstelling

Generatieve modellen, in het bijzonder diffusiemodellen, kampen met een hardnekkige beperking: de neiging om trainingsdata te memoriseren in plaats van te leren generaliseren en nieuwe monsters samen te stellen. Dit fenomeen roept aanzienlijke juridische aansprakelijkheden op met betrekking tot auteursrecht en privacy, terwijl het tegelijkertijd de creatieve diversiteit ondermijnt. Een kritiek openstaand probleem blijft het begrijpen van welke monsters worden gememoriseerd, wanneer ze worden gememoriseerd, en onder welke omstandigheden.

Bestaande literatuur biedt concurrerende hypothesen over de volgorde van memorisatie:

Hypothese 1 (Zeldzaam Eerst): Outliers of zeldzame monsters worden eerst gememoriseerd omdat zij de loss en gradiëntsignalen domineren zodra generalisatie is bereikt.
Hypothese 2 (Veelvoorkomend Eerst): Monsters met veelvoorkomende kenmerken of een hoge frequentie worden eerst gememoriseerd vanwege consistente gradiëntversterking.
Hypothese 3 (Synchroon): Memorisatie is een globaal fenomeen op datasetniveau waarbij monsters ongeveer gelijktijdig worden gememoriseerd zodra een drempelwaarde van trainingsstappen wordt overschreden.

Verder is de grens tussen generalisatie en memorisatie vaak vaag, en schieten bestaande metrieken er vaak naast wanneer het gaat om het onderscheiden van volledige sequentie-reproductie versus de "gedeeltelijke memorisatie" van subcomponenten (bijv. specifieke texturen of syntactische structuren). Dit gebrek aan granulariteit maakt het moeilijk om de opkomst van "slop" te identificeren — outputs die veelvoorkomende motieven en clichés uit de trainingsdata overmatig gebruiken.

Methodologie

Om deze hypothesen te ontrafelen en de memorisatiedynamiek op een fijnmazig niveau te analyseren, maken de auteurs gebruik van een gecontroleerd synthetisch framework gecombineerd met experimenten op real-world data.

Synthetisch Framework: Random Hierarchy Model (RHM)

De auteurs maken gebruik van het Random Hierarchy Model (RHM), een synthetische datagenerator die de hiërarchische compositonaliteit van natuurlijke data nabootst (bijv. scènes bestaande uit objecten, objecten bestaande uit onderdelen).

Structuur: Data wordt gegenereerd via een probabilistische context-vrije grammatica waarbij symbolen op diepte $\ell$ worden gedecomposed in tuples van sub-symbolen op diepte $\ell+1$ .
Rarity Control: Om de zeldzaamheid van monsters te introduceren, breiden de auteurs de RHM (volgens Cagnetta et al., 2025) uit door Zipfiaanse samplingfrequenties toe te passen op productieregels op een specifiek hiërarchie-niveau $\ell_z$ . Dit creëert een power-law distributie waarbij bepaalde regels (en daarmee de monsters die deze bevatten) aanzienlijk waarschijnlijker zijn dan andere.
Training: Diffusiemodellen (multinomial discrete diffusie met U-Net architectuur) worden getraind op deze synthetische strings. De datasetgrootte is zorgvuldig gekozen om groot genoeg te zijn om generalisatie te bereiken, maar klein genoeg ten opzichte van de totale legale ruimte om de detectie van memorisatie mogelijk te maken.

Metrieken en Definities

Het paper introduceert rigoureuze definities om verschillende modi van leren te onderscheiden:

Volledige Memorisatie: Het fractie van de gegenereerde monsters die exacte kopieën zijn van trainingsdata.
Gedeeltelijke Memorisatie: Een regime waarin het model componenten (substrings of subtuples) van trainingsdata reproduceert zonder exacte kopieën te genereren. De auteurs definiëren een estimator $\lambda$ om de mate te kwantificeren waarin het gedrag van een model afwijkt van eerlijke sampling naar de memorisatie van specifieke regels.
Tijd tot Memorisatie ( $t_{mem}$ ): De vroegste trainingsstap waarbij een specifiek monster (of subcomponent) verschijnt in de gegenereerde output.

Real-World Validatie

Om de bevindingen op natuurlijke data te verifiëren, trainen de auteurs diffusiemodellen op subsets van de CelebA dataset. Ze gebruiken een multi-label classifier en een Ising-model om de log-likelihood (zeldzaamheid) van afbeeldingen te schatten op basis van 40 gezichtskenmerken, waardoor ze de timing van memorisatie kunnen correleren met de zeldzaamheid van monsters in een niet-synthetische setting.

Belangrijkste Bijdragen en Resultaten

1. Veelvoorkomende Monsters worden Eerst Gememoriseerd

De studie verwerpt Hypothese 1 definitief. Over diverse modelgroottes en hiërarchie-niveaus heen, worden monsters bestaande uit veelvoorkomende substrings (hoge log-likelihood) bij voorkeur eerder gememoriseerd dan zeldzame monsters.

Zelfs in datasets die volledig bestaan uit unieke monsters (geen exacte duplicaten), leert en reproduceert het model eerst combinaties van veelvoorkomende kenmerken.
Dit impliceert dat deduplicatie op datapunt-niveau geen betekenisvolle privacygarantie biedt tegen de memorisatie van veelvoorkomende combinatiekenmerken.

2. Fat-Tailed Distributies Vertragen Memorisatie

De auteurs demonstreren dat de "dikheid" van de staart van de datadistributie de snelheid van memorisatie direct beïnvloedt.

Datasets met fat-tailed distributies (meer zeldzame/atypische monsters) vertonen een vertraagde memorisatie.
Dit effect wordt versterkt wanneer de heavy-tail wordt geïntroduceerd op hogere abstractieniveaus (bijv. klasse-variatie). Omgekeerd heeft variabiliteit op lagere, fijnere abstractieniveaus (bijv. leaf-level kenmerken) een sterker effect op het versnellen van memorisatie.

3. Het "Slop" Regime: Gedeeltelijke Memorisatie

Het paper identificeert een duidelijk tussenliggend regime van gedeeltelijke memorisatie dat optreedt vóór volledige sequentie-memorisatie.

Mechanisme: Tijdens deze fase leert het model eerst veelvoorkomende laag-niveau kenmerken. Naarmate de training vordert, begint het model deze veelvoorkomende kenmerken te overproduceren terwijl het zeldzame kenmerken onderproduceert.
Gevolg: Dit resulteert in een distributieverschuiving waarbij gegenereerde outputs bestaan uit "saaie" of clichématige combinaties van veelvoorkomende motieven. De auteurs noemen dit fenomeen "slop".
Dynamiek: Deze overproductie valt samen met een tijdelijke degradatie in het vermogen van het model om geldige monsters te genereren (een dip in FID voor afbeeldingen of geldige stringgeneratie voor RHM) naarmate de modelcapaciteit wordt hergebruikt om trainingsvoorbeelden te coderen.

4. Beperkingen van Early Stopping

De studie benadrukt een kritiek risico in trainingsstrategieën. Hoewel early stopping vaak wordt gebruikt om volledige memorisatie te voorkomen (wanneer de validatie loss divergeert), kan de "slop"-fase optreden vóór of gelijktijdig met de divergentie van de training- en test-loss.

Te laat stoppen met trainen (zelfs vóór volledige memorisatie) kan resulteren in modellen die bevooroordeeld zijn richting het genereren van veelvoen voorkomende kenmerken.
Kleinere modellen vertonen een langere "slop"-fase en zijn gevoeliger voor deze bias, wat suggereert dat het reduceren van modelcapaciteit alleen niet voldoende is om de productie van outputs met lage diversiteit te mitigeren.

Betekenis

Het paper beweert dat de bevindingen de ambiguïteit oplossen over de vraag of veelvoorkomende of outlier datapunten eerst worden gememoriseerd, en ondersteunt de visie dat prototypische voorbeelden eerst worden geleerd en gereproduceerd.

De betekenis van dit werk ligt in:

Verfijning van Begrip van Privacy en Auteursrecht: Het demonstreert dat memorisatie niet louter een functie is van dataduplicatie, maar wordt gedreven door de compositorische structuur en frequentie van sub-kenmerken. Dit suggereert dat privacyrisico's blijven bestaan zelfs in gededupliceerde datasets als er veelvoorkomende combinaties van kenmerken aanwezig zijn.
Verklaring van "Slop": Het biedt een mechanistische verklaring voor het "slop"-fenomeen dat vaak wordt bekritiseerd in generatieve AI, door het te koppelen aan een specifieke fase van gedeeltelijke memorisatie waarin veelvoorkomende kenmerken oververtegenwoordigd zijn.
Dataset Curatie: Het suggereert dat datasetdiversiteit, met name op hogere abstractieniveaus, een cruciale rol speelt bij het tegengaan van memorisatie.
Evaluatiemetrieken: Het pleit voor de noodzaak van fijnere evaluatiemetrieken die gedeeltelijke memorisatie en kenmerk-niveau biases kunnen detecteren, in plaats van enkel te vertrouwen op metrieken voor volledige monster-reproductie.

De auteurs concluderen dat hoewel diffusiemodellen vatbaar zijn voor memorisatie, het proces gefaseerd en hiërarchisch is, beginnend met de overproductie van veelvoorkomende sub-kenmerken voordat het overgaat naar volledige monster-reproductie.