Diffusion Model's Generalization Can Be Characterized by Inductive Biases toward a Data-Dependent Ridge Manifold

Technische Samenvatting: Generalisatie van Diffusiemodellen Gekarakteriseerd door Inductieve Bias ten opzichte van een Data-afhankelijke Ruggegraatmanifold

Probleemstelling
Diffusiemodellen hebben state-of-the-art prestaties behaald in generatieve taken, maar er blijft een kritieke wetenschappelijke vraag over: wanneer deze modellen niet simpelweg trainingsdata memoriseren (d.w.z. wanneer ze generaliseren), waar bevinden de gegenereerde steekproeven zich dan ten opzichte van de geometrie van de trainingsset? Waar klassieke generalisatietheorie zich vaak richt op het verschil tussen de gegenereerde verdeling en een onbekende populatieverdeling, pleit dit artikel voor een volledig data-afhankelijk perspectief. De auteurs zoeken naar een expliciete en kwantitatieve beschrijving van de geometrische structuur die nieuwe steekproeven organiseert die worden geproduceerd door inferentie in omgekeerde tijd, specifiek in regimes waar memorisatie niet optreedt.

Methodologie
Het artikel introduceert een geometrisch raamwerk dat centraal staat rond tijd-afhankelijke log-dichtheids-ruggegraatmanifolden die zijn opgebouwd uit de gesmoothde empirische verdeling van de trainingsdata.

1. Ruggegraatconstructie: De auteurs definiëren een familie van $d^*$-dimensionale log-dichtheids-ruggegraatsets, $R_t$, afgeleid van de voorwaartse marginale verdelingen $p_t$. Deze ruggegraden vertegenwoordigen "richtingsgebonden lokale maximums" van de log-dichtheid en dienen als de referentiegeometrie voor het generatieproces.
2. Reach-Align-Slide-mechanisme: De kerntheoretische bijdrage is de karakterisering van inferentie in omgekeerde tijd als een drie-fasenproces ten opzichte van deze ruggegraden:
   • Reach (Bereik): Gegenereerde steekproeven betreden eerst een buis-omgeving van de ruggegraatmanifold.
   • Align (Uitlijnen): Steekproeven trekken vervolgens samen naar de ruggegraat in de normale richtingen. Het artikel bewijst dat de grootte van deze uitlijning wordt gecontroleerd door de normale component van de trainingsfout (het verschil tussen de geleerde en de ware posterior-middelpunt geprojecteerd op de normale ruimte).
   • Slide (Glijden): Tenslotte bewegen steekproeven langs de ruggegraat in tangentiële richtingen. Deze beweging wordt gecontroleerd door de tangentiële component van de trainingsfout.
3. Link Training-Geometrie: Om inferentiedynamica te verbinden met training, ontleden de auteurs de trainingsverliesfunctie in richtingscomponenten (normaal versus tangentieel). Zij maken gebruik van Random Feature Neural Networks (RFNN's) getraind via gradientenafdaal als een hanteerbare, niet-asymptotische setting om expliciet de effecten van architectuur (fout door benadering met eindige breedte) en optimalisatie (onvolledige training vanuit initialisatie) te scheiden.

Belangrijkste Bijdragen

• Geometrische Karakterisering van Generalisatie: Het artikel stelt vast dat niet-memoriserende generatie niet willekeurig is, maar georganiseerd wordt door een data-afhankelijke ruggegraatgeometrie. Het biedt een precieze "reach–align–slide"-mechanisme dat uitlegt hoe steekproeven zich concentreren nabij de ruggegraat en vervolgens zich daarlangs verspreiden.
• Richtingsgebonden Foutdecompositie: De auteurs tonen aan dat de geometrie van generatie direct wordt gecontroleerd door de richtingscomponenten van de trainingsfout. Specifiek dicteert de normale trainingsfout hoe nauw steekproeven zich uitlijnen met de ruggegraat, terwijl de tangentiële trainingsfout het uitgestrektheid van de verspreiding (het glijden) langs de ruggegraat dicteert.
• Scheiding Architectuur versus Optimalisatie: In de RFNN-setting toont het artikel aan dat fouten door architectuur met eindige breedte voornamelijk manifesteren als een "vloer" voor tangentiële verspreiding (wat instorting tot exacte trainingspunten voorkomt), terwijl optimalisatiefouten (afhankelijk van initialisatie en spectrale modi) normale uitlijning kunnen vertragen.
• Empirische Validatie: Experimenten met synthetische multimodale data (2D-punten) en latente diffusie op MNIST bevestigen de theoretische voorspellingen. De resultaten tonen aan dat gegenereerde steekproeven consistent het reach–align–slide-patroon vertonen, waarbij de mate van tangentiële spreiding controleerbaar is via loss-weighing schema's.

Resultaten

• Theoretische Grenzen: Het artikel leidt niet-asymptotische grenzen af die aantonen dat de verplaatsing kwadraat buiten de ruggegraat (normale fout) en de glijafstand kwadraat (tangentiële fout) worden begrensd door cumulatieve bijdragen van de respectievelijke normale en tangentiële componenten van de trainingsresidu, geschaald met tijd-afhankelijke factoren.
• Synthetische Data: In 2D-experimenten met twee, drie en vier punten werd waargenomen dat de gegenereerde steekproeven zich concentreerden langs gebogen of rand-achtige ruggegraatstructuren in plaats van in te storten tot de trainingspunten. De "slide"-fase bleek gevoelig voor het loss-weighing schema $w(t)$, waarbij verschillende schema's verschillende graden van interpolatie tussen datapunten opleverden.
• MNIST-experimenten: In experimenten met hoge dimensionale latente ruimtes nam de gemiddelde afstand tot de ruggegraat snel af (uitlijnende fase), terwijl de tangentiële beweging langzamer afnam en plateauerde. Dit ondersteunt de bewering dat inferentie het grootste deel van zijn tijd besteedt aan het uitlijnen met de ruggegraatgeometrie, met beperkte tijd voor aanzienlijk glijden naar specifieke trainingsvoorbeelden, waardoor gestructureerde tussentijdse generaties worden verklaard.

Betekenis en Beweringen
Het artikel claimt een verschuiving in perspectief aan te bieden van globale distributieverschillen naar de ruimtelijke organisatie van gegenereerde steekproeven ten opzichte van de waargenomen data. Door de geometrie van generatie expliciet te koppelen aan richtingsgebonden trainingsfouten, biedt het werk een mechanistische verklaring voor waarom diffusiemodellen niet-memoriserende steekproeven genereren: de inductieve bias van de modelklasse en het optimalisatieproces creëren specifieke normale en tangentiële fouten die de generatietrajectorie vormgeven.

De auteurs positioneren hun werk als complementair aan bestaande literatuur over memorisatie en door training veroorzaakte bias. In tegenstelling tot werken die uitgaan van een onderliggende populatiemanifold of zich uitsluitend richten op geaggregeerde foutmetrieken, construeert dit raamwerk een expliciet, tijd-afhankelijk geometrisch object vanuit de empirische data en analyseert het inferentiedynamica ten opzichte daarvan. Het artikel merkt bescheiden op dat de expliciete decompositie op trainingsniveau momenteel is ontwikkeld voor RFNN's als een hanteerbaar voorbeeld, dienend als bewijs van concept voor hoe architectuur en optimalisatie gezamenlijk diffusiegeneratie vormgeven door richting-afhankelijke geometrische effecten, en niet als een volledig model van moderne diepe architecturen.