Technische Samenvatting: Het Begrijpen van Diffusiemodellen Vereist Heroverweging van Generalisatie

Probleemstelling

Het artikel betoogt dat het begrijpen van generalisatie in diffusiemodellen niet kan steunen op klassieke statistische leertheorie (bijvoorbeeld VC-dimensie, Rademacher-complexiteit) of op het paradigma van "goedaardige overpassing" dat is ontwikkeld voor toezicht op leren. Bij toezicht op leren kunnen interpolatie (memorisatie) en generalisatie naast elkaar bestaan. Daarentegen correspondeert bij diffusiemodellen die zijn getraind via denoising score matching, het bereiken van het globale minimum van het empirische risico met de scorefunctie van de verstoord empirische maat—aan een mengsel van Gaussians gecentreerd rond de trainingspunten. Het afnemen van dit minimum levert bijna exacte kopieën van trainingsdata op in plaats van nieuwe steekproeven.

Hoewel praktische diffusiemodellen diverse, nieuwe data genereren, wat impliceert dat een vorm van regularisatie volledige memorisatie voorkomt, blijven de theoretische verklaringen voor dit fenomeen gefragmenteerd. Bestaande literatuur schrijft dit toe aan drie onderscheidende factoren: (i) capaciteitsbeperkingen ten opzichte van de datasetgrootte, (ii) impliciete regularisatie door optimalisatiedynamiek (bijvoorbeeld vroege stopzetting, leersnelheid) en (iii) architecturale inductieve bias. Het artikel stelt dat de interacties tussen deze factoren slecht worden begrepen en dat het vakgebied zich te sterk heeft gefocust op waarom modellen niet memoriseren, in plaats van op wat ze leren tijdens de pre-memorisatiefase.

Methodologie

Om deze hiaten aan te pakken, voeren de auteurs een empirische studie uit met U-Net-architecturen getraind op de CIFAR-10-dataset. Het onderzoek is ontworpen als een studie op middelschaal, die de kloof overbrugt tussen theoretische analyses op Gaussische data en grote praktische systemen.

Experimentele Opzet:

• Data: De eerste $N$ steekproeven van de CIFAR-10-trainset worden gebruikt, waarbij $N$ varieert over $\{2048, 4096, 8192, 16384\}$. Evaluatie gebruikt een vaste testset van 5.120 steekproeven.
• Architectuur: U-Nets met variërende aantallen parameters ($P \in \{3M, 8M, 26M, 93M, 201M\}$).
• Training: Gekorrigeerde flow-formulering met 250 afname-stappen en classifier-free guidance-strength van 0,0.
• Hyperparameter-afsterving: Systematische variatie van datasetgrootte ($N$), modelgrootte ($P$), batchgrootte ($B \in \{16, 32, 64, 128\}$) en leersnelheid ($\eta \in \{10^{-5}, 5\cdot10^{-5}, 10^{-4}, 4\cdot10^{-4}\}$).

Maten:
De auteurs volgen vier kernkwantiteiten op zowel trainings- als testverdelingen:

1. Denoising Score Matching Loss: Berekend op een enkele batch (train) en volledige set (test).
2. Memorisatiescore: De verhouding van gegenereerde steekproeven met hoge cosinus-ähnelijkheid (>0,6) tot trainingsdata in een zelftoezicht-kenmerkruimte (SSCD).
3. Gesneden Wasserstein-afstand: Berekend tussen gegenereerde steekproeven en referentie-verdelingen in Inception-kenmerkruimte.
4. FID (Fréchet Inception Distance): Berekend tussen gegenereerde steekproeven en referentie-verdelingen.

Het onderzoek definieert memorisatietijd ($\tau_{mem}$) als het punt waarop de testloss begint af te wijken van de trainingsloss. Het onderscheidt tussen noviteit (afwezigheid van memorisatie, $\tau < \tau_{mem}$) en trouw (kwaliteit/distributie-accuraatheid).

Belangrijkste Bijdragen en Resultaten

1. Herwaardering van het "Waarom" van Niet-Memorisatie

De auteurs bevestigen dat de overgang naar memorisatie systematisch en waarneembaar is. Ze valideren dat de tijd tot memorisatie ($\tau_{mem}$) lineair schaalt met de datasetgrootte. Dit ondersteunt de conclusie dat de vraag waarom grote praktische modellen niet memoriseren grotendeels is opgelost: de vereiste trainingsduur om de memorisatiefase te bereiken, overschrijdt simpelweg redelijke budgetten. De auteurs betogen dat het vakgebied moet overstappen van het verklaren van de afwezigheid van memorisatie naar het analyseren van de pre-memorisatiefase.

2. Beperkingen van Standaardmaten

Een cruciale bevinding is dat standaard distributiematen (Gesneden Wasserstein, FID) falen in het ontwarren van noviteit van trouw.

• Train-Test Kloof: In tegenstelling tot toezicht op leren, is de train-test-kloof in distributie-afstand niet-informatief. Omdat de trainings- en testsets uit dezelfde verdeling worden getrokken, blijft de afstand van gegenereerde steekproeven tot beide sets bijna identiek, zelfs terwijl het model overgaat van het genereren van nieuwe afbeeldingen naar het kopiëren van trainingsdata.
• Dubbele Afdaling: De auteurs observeren een fenomeen van "dubbele afdaling" in distributie-afstanden (FID en Gesneden Wasserstein) voor zowel trainings- als testsets. Dit staat in contrast met klassieke theorieën over dubbele afdaling waarbij trainings- en testmaten uit elkaar lopen. In plaats daarvan bereikt het model een tussenliggende staat met lage trainingsloss maar slechte distributie-uitlijning, wat suggereert dat het fenomeen puur wordt gedreven door optimalisatiedynamiek in plaats van capaciteitsargumenten.

3. Onderscheidende Rollen van Dataset- en Modelgrootte

Het onderzoek onthult dat datasetgrootte en modelgrootte tegengestelde rollen spelen in trainingsdynamiek:

• Datasetgrootte: Het verhogen van $N$ vertraagt het begin van memorisatie en verbetert de piektrouw.
• Modelgrootte: Het verhogen van $P$ versnelt het begin van memorisatie, maar verbetert ook de piektrouw.
  Dit suggereert dat generalisatie in diffusiemodellen niet uitsluitend kan worden verklaard door de verhouding van modelcapaciteit tot steekproefgrootte; de traject door de parameterruimte die wordt gevormd door optimalisatiedynamiek is een onderscheidende factor.

4. Optimalisatie-Hyperparameters en Trouw

De auteurs vinden dat optimalisatie-hyperparameters de trouw significant beïnvloeden voordat memorisatie optreedt:

• Batchgrootte: Kleinere batchgroottes leiden tot betere piektrouw (lagere minimale distributie-afstand) zonder de memorisatiesnelheid of -starttijd significant te veranderen. Dit sluit aan bij de literatuur over "minimale stabiliteit", maar manifesteert zich langs het trainingspad in plaats van bij convergentie.
• Leersnelheid: Hogere leersnelheden verbeteren de piektrouw en vertragen de genormaliseerde memorisatie-start. Dit ondersteunt de "rand van stabiliteit"-hypothese, maar opnieuw wordt het effect waargenomen tijdens het traject, niet alleen bij de uiteindelijke oplossing.

Betekenis en Positie

Het artikel beweert dat het theoretische kader voor generalisatie in diffusiemodellen een fundamentele verschuiving vereist. De auteurs betogen dat:

1. Het "Waarom" is Opgelost: Het gebrek aan memorisatie in grootschalige toepassingen wordt verklaard door de lineaire schaling van memorisatietijd met datasetgrootte in combinatie met vroege stopzetting.
2. Het "Wat" is de Open Vraag: De belangrijkste theoretische uitdaging is het begrijpen van wat er wordt geleerd tijdens de pre-memorisatiefase en hoe noviteit en trouw gezamenlijk ontstaan uit het samenspel van optimalisatie, architectuur en data-geometrie.
3. Nieuw Kader Nodig: Klassieke generalisatiekloven (in loss- of distributieruimte) zijn ontoereikend voor generatieve modellen. De trainingsloss (score matching) is een indirecte proxy voor steekproefkwaliteit, en standaardmaten falen in het onderscheiden tussen een model dat generaliseert en een model dat memoriseert.

De auteurs concluderen dat toekomstig onderzoek zich moet richten op het ontwikkelen van maten die het onderscheid kopiëren-versus-generaliseren vastleggen en het formuleren van een theorie van impliciete regularisatie die de eigenschappen van tussentijdse iteraties in score matching beschrijft, in plaats van alleen de uiteindelijke geconvergeerde oplossing.