Technische Samenvatting: Over de Anisotropie van Score-gebaseerde Generatieve Modellen

Probleemstelling

Hoewel Neural Anisotropy Directions (NADs) succesvol de inductieve biases van discriminatieve modellen hebben gekarakteriseerd door directionele voorkeuren in de inputruimte te onthullen, ontbreekt een coherente theorie die verklaart hoe architecturale geometrie interageert met datamanifolds in score-gebaseerde generatieve modellen (specifiek diffusiemodellen). Bestaande theorieën, zoals Geometry-Adaptive Harmonic Bases (GAHBs), zijn vaak architectuurspecifiek (bijv. beperkt tot convolutionele netwerken) of missen mathematische precisie. Bovendien is het onduidelijk hoe de output-ruimte geometrie van een netwerk de generalisatiekracht beïnvloedt vóór de training. Dit artikel adresseert het gat in het begrip van de directionele biases die inherent zijn aan de architectuur van score-modellen en hoe deze biases bepalen welke datastructuren gemakkelijker of moeilijker te modelleren zijn.

Methodologie

1. Score Anisotropy Directions (SADs)

De auteurs introduceren Score Anisotropy Directions (SADs), gedefinieerd als een geordende verzameling orthonormale vectoren in de outputruimte die de preferentiële leerrichtingen van de architectuur vertegenwoordigen. In tegen tegenstelling tot NADs, die de inputruimte analyseren, analyseren SADs de geometrie van de outputruimte die door het netwerk wordt geïnduceerd.

2. Gemiddelde Geometrie ($G_F$)

Om SADs te identificeren zonder te trainen op specifieke data, definieert het artikel de Gemiddelde Geometrie ($G_F$) van een netwerkarchitectuur. Deze wordt berekend als de verwachting van het buitenproduct van de outputvectoren van het netwerk over een probe-distributie:
$$G_F(P, \Theta) = \mathbb{E}_{P, \Theta} [F_\theta(x, \sigma)F_\theta(x, \sigma)^\top]$$
waarbij $F_\theta$ het score-netwerk is, $\theta$ de parameters vertegenwoordigt die getrokken zijn uit de initialisatiedistributie $\Theta$, en $(x, \sigma)$ getrokken zijn uit een probe-distributie $P$. De auteurs stellen voor om een standaard probe te gebruiken waarbij $x=0$ en $\sigma$ uniform is over de ruis-schaal (noise schedule), zodat $G_F$ architecturale invarianten vastlegt die onafhankelijk zijn van de trainingsdata.

3. Theoretisch Kader

• Lineaire Analyse: Via een hanteerbare lineaire Denoising Score Matching (DSM) opstelling, demonstreren de auteurs dat leeringsdynamiek wordt beheerst door de eigenwaarden van de transformatiematrix van de architectuur. Ze tonen aan dat stochasticiteit (SGD-ruis) de cruciale factor is die anisotrope conditionering mogelijk maakt, waarbij richtingen die uitgelijnd zijn met kleinere eigenwaarden van de geometrie naar meer stabiele minima convergeren en gemakkelijker te modelleren zijn.
• Conjectuur 1: De auteurs hypothetiseren dat de eigenvectoren van $G_F$, geordend door oplopende eigenwaarden, overeenkomen met de SADs. Specifiek zouden data die uitgelijnd zijn met eigenvectoren met kleine eigenwaarden met een hogere getrouwheid (betere generalisatie) gemodelleerd moeten worden dan data die uitgelijnd zijn met grote eigenwaarden.

4. Experimentele Validatie

• Rank-One Datasets: De auteurs trainen diffusiemodellen op datasets die uitgelijnd zijn met specifieke eigenvectoren van $G_F$ (afgeleid van iDDPM U-Net en DiT architecturen). Prestaties worden gemeten met de Max-Sliced Wasserstein afstand (MSW2).
• Latent Diffusion Models: Om de generalisatie op complexe data te testen, introduceren de auteurs een orthogonale transformatiematrix $W$ om real-world datasets (MNIST, CelebA-HQ, CIFAR-10) uit te lijnen of uit te lijnen met de geometrie van het netwerk. Ze definiëren een alignment metriek $\alpha = \mathbb{E}_{x \sim p}[z^\top G_F z]$ en testen modellen waarbij $\alpha$ wordt geminimaliseerd (uitgelijnd met kleine eigenwaarden), gemaximaliseerd (uitgelijnd met grote eigenwaarden), of op het standaardniveau wordt gelaten ($W=I$).

Belangrijkste Resultaten

1. Validatie van Conjectuur 1: Experimenten op iDDPM U-Net en DiT architecturen bevestigen dat modellen getraind op data die uitgelijnd zijn met kleine eigenwaarden van $G_F$ significant lagere MSW2-afstanden bereiken (betere prestaties) vergeleken met die uitgelijnd met grote eigenwaarden.
2. Architectuurspecifieke Patronen:
   • Convolutionele Modellen (iDDPM): De eigenvectoren van $G_F$ vertonen harmonische patronen. Grote eigenwaarden corresponderen met lage frequenties, terwijl kleine eigenwaarden corresponderen met hoge frequenties. Dit ondersteunt de GAHB-theorie, maar biedt een preciezere, adaptieve definitie.
   • Transformer Modellen (DiT): De geometrie vertoont niet dezelfde harmonische structuur. In plaats daarvan vertoont het significante eigen-multipliciteit, wat wijst op lossere inductieve biases vergeleken met convolutionele netwerken.
3. Impact van Uitlijning op Generalisatie:
   • Minimaliseren van $\alpha$ (Uitlijning met kleine eigenwaarden): Resulteert in substantiële verbeteringen in de kwaliteit van samples en de distributionele getrouwheid over alle datasets.
   • Maximaliseren van $\alpha$ (Uitlijning met grote eigenwaarden): Leidt tot ernstige degradatie, inclus\n bijv. mode collapse (bijv. het genereren van enkel het cijfer "1" in MNIST) en een hoog deel van de samples die de doelinhoud missen.
   • Standaard Uitlijning: Zelfs de natuurlijke uitlijning van data resulteert vaak in suboptimale prestaties vergeleken met de theoretisch optimale uitlijning.

Belangrijkste Bijdragen

• Definitie van SADs: Een geprincipeerde, architectuurafhankelijke definitie van directionele biases in de outputruimte van score-gebaseerde modellen.
• Gemiddelde Geometrie ($G_F$): Een methode om deze biases te berekenen bij initialisatie zonder training, waardoor de analyse wordt losgekoppeld van specifieke datadistributies.
• Verenigd Kader: Een algemene benadering die toepasbaar is op zowel convolutionele als transformer-gebaseerde diffusiemodellen, en verder gaat dan eerdere architectuurspecifieke theorieën zoals GAHBs.
• Voorspellende Capaciteit: Gedemonstreerde bekwaamheid om de generalisatieprestaties (via Wasserstein-metrieken) te voorspellen op basis van enkel de uitlijning tussen de data en de pre-training geometrie van het netwerk.

Betekenis en Claims

Het artikel beweert een nieuw perspectief te bieden voor het verklaren en voorspellen van de directionele biases van generatieve modellen. Door de relatie tussen architecturale geometrie en leeringsdynamiek te formaliseren, beargumenteren de auteurs dat de generalisatiekracht grotendeels wordt bepaald door de uitlijning van data met de "geometrie" van het netwerk bij initialisatie.

De betekenis ligt in de verschuiving van een data-gecentreerde analyse naar een architectuur-gecentreerde analyse. De auteurs suggereren dat het begrijpen van SADs de volgende mogelijkheden biedt:

• Geprincipeerde Voorspelling: Het schatten van de generalisatiekracht vóór de training.
• Architecturaal Inzicht: Het bieden van een verenigde karakterisering van biases die zich aanpast aan specifieke architecturale details (bijv. resampling layers, patch sizes), in plaats van te vertrouren op vaste bases zoals DCT of Haar.
• Toekomstige Toepassingen: Potentieel nut in AutoML en Neural Architecture Search (NAS) om architecturen te selecteren op basis van hun inherente geometrische biases, en voor het begrijpen van ongewenste gedragingen zoals memorisatie of hallucinatie door patronen te identificeren waar een model predisponeerd voor is om ze te reproduceren.

De auteurs blijven bescheiden en erkennen dat hun experimenten op relatief kleine schaal zijn en dat de algehele dynamiek van diffusiemodellen ook beïnvloed kan worden door andere factoren (bijv. expliciete regularisatie). Zij claimen geen volledige theorie van inductieve biases, maar eerder een specifiek, gevalideerd kader voor het analyseren van directionele biases in score-gebaseerde modellen.