Technische Samenvatting: Initialisatie is de helft van de strijd: Genereren van diverse afbeeldingen vanuit een Guidance Potential Posterior

1. Probleemstelling

Ondanks de hoge getrouwheid van moderne generatieve modellen, inclusief Diffusion Models en Flow Matching modellen, lijden zij frequent aan mode collapse. Zelfs met variërende willekeurige zaden (random seeds) convergeren gegenereerde monsters vaak naar stereotype outputs, wat het creatieve potentieel beperkt en in extreme gevallen leidt tot de exacte memorisatie van trainingsdata.

Bestaande training-vrije strategieën om diversiteit te verhogen richten zich voornamelijk op het interveniëren tijdens het generatiepad (bijv. het manipuleren van guidance scales of het afstoten van trajecten van elkaar). De auteurs identificeren een kritiek overzicht in deze benaderingen: de standaard isotrope Gaussische initialisatie ($x_T \sim \mathcal{N}(0, I)$) is vaak agnostisch voor de guidance potential landscape. Geometrisch gezien induceren regio's met een hoge conditionele guidance potential hoge volumes-contractieraten in de generatieve flow. Bijgevolg worden verschillende stochastische trajecten die geïnitialiseerd zijn in deze regio's met een hoge potential naar een enkele dominante mode getrokken, wat mode collapse veroorzaakt. Daarentegen hypothetiseren de auteurs dat het initialiseren vanuit lage-potential bassins de trajecten natuurlijk laat divergeren, waardoor diversiteit behouden blijft.

2. Methodologie: Diversiteit-inducerende Initialisatie (DivIn)

Het paper stelt DivIn voor, een training-vrije methode tijdens de inferentie die de selectie van initiële ruis niet herdefinieert als het trekken uit een vaste prior, maar als het samplen uit een guidance potential posterior.

2.1. Theoretische Formulering

De auteurs definiëren een doelverdeling $p_{\text{diverse}}(x_T | c)$ die de standaard Gaussische prior herweegt naar diversiteitsrijke regio's:
$$p_{\text{diverse}}(x_T | c) \propto \exp(-\tau \cdot U(x_T, c)) \cdot p(x_T)$$
waarbij:

• $p(x_T)$ de standaard isotrope Gaussische prior is.
• $\tau$ een temperatuur-hyperparameter is die de afweging tussen prior-naleving en maximalisatie van diversiteit controleert.
• $U(x_T, c)$ een guidance potential is die fungeert als een proxy voor de conditionele guidance intensiteit bij initialisatie.

2.2. De Guidance Potential Proxy

Om robuustheid en plug-and-play compatibiliteit te garanderen over verschillende inferentie-schedules (bijv. variërende stapaantallen) en architecturen (Diffusion vs. Flow Matching), wordt de potential $U(x_T, c)$ gedefinieerd in de geschatte dataruimte met behulp van een gegeneraliseerde Tweedie potential:
$$U(x_T, c) = \|\hat{x}_0(x_T, c) - \hat{x}_0(x_T, \emptyset)\|^2$$
Hier is $\hat{x}_0$ de single-step denoising schatting van de schone data. Deze metriek meet de Euclidische afstand tussen de conditionele en onconditionele denoising schattingen. Het minimaliseren van deze potential straft initiële toestanden af waar de conditionele guidance een excessief sterke aantrekking naar een dominante mode uitoefent, waardoor de initialisatie wordt gebiased naar vlakkere regio's van het landschap.

2.3. Sampling via Langevin Dynamics

Aangezien direct samplen uit $p_{\text{diverse}}$ onhandelbaar is, gebruikt DivIn Langevin Dynamics om monsters iteratief te transformeren van de initiële Gaussische prior naar de doel-posterior. De update regel voor de latente staat $x_T$ op iteratie $k$ is:
$$x_T^{(k+1)} = x_T^{(k)} - \eta \left( \tau \nabla_{x_T^{(k)}} U(x_T^{(k)}, c) + x_T^{(k)} \right) + \sqrt{2\eta}\xi^{(k)}$$
Dit mechanisme balanceert drie krachten:

1. Diversiteitskracht ($-\tau \nabla U$): Stuurt de latente weg van hoge-potential bassins naar vlakkere regio's.
2. Prior Constraint ($-x_T$): Verankert de latente binnen de geldige manifold van de oorspronkelijke normale distributie, om off-manifold drift te voorkomen.
3. Stochastische Ruis ($\sqrt{2\eta}\xi$): Injecteert ruis om ondiepe lokale minima te ontsnappen en exploratie te stimuleren.

In tegen tegenstelling tot deterministische optimalisatiemethoden (bijv. Sharpness-Aware Initialization, SAIL) die het distributievolume laten instorten door te zoeken naar één optimale seed, voert DivIn distributional posterior sampling uit, waardoor entropie behouden blijft en echte diversiteit mogelijk wordt.

3. Belangrijkste Bijdragen

1. Identificatie van Initialisatie als een Kritieke Factor: Het paper onthult dat mode collapse significant wordt gedreven door de geometrie van het initialisatielandschap, specif kind de aantrekking van trajecten naar regio's met een hoge potential gedefinieerd door de conditionele guidance.
2. Guidance Potential Posterior Formulering: De auteurs formuleren de optimale initialisatie als een diversiteit-gewogen posterior die de standaard prior herweegt, gebruikmakend van een gegeneraliseerde Tweedie potential die robuust is tegen variaties in inferentiestappen en zowel Diffusion als Flow Matching architecturen verenigt.
3. DivIn Algoritme: Een plug-and-play, training-vrij algoritme dat gebruik maakt van Langevin dynamics om te samplen uit deze posterior. Het is orthogonaal aan bestaande traject-gebaseerde diversiteitsmethoden.
4. Theoretische Rechtvaardiging: Het paper biedt een theoretische analyse (Theorem A.3) die een verband legt tussen hoge conditionele scherpte (curvature) en snel entropieverlies tijdens het reverse proces, waarbij wordt aangetoond dat samplen uit lage-potential regio's het distributievolume behoudt.

4. Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op ImageNet-1K (class-to-image) en een algemene prompt dataset (text-to-image) met behulp van Stable Diffusion v1.4 en Stable Diffusion 3.5 Medium (Flow Matching).

• Verbetering van Diversiteit: DivIn presteert consistent beter dan baseline initialisatiemethoden (zoals SAIL) en traject-gebaseerde methoden (Particle Guidance, CADS, Interval Guidance) in diversiteitsmetrieken zoals Vendi Score, Recall en Coverage.
  • Op ImageNet (SD v1.4) behaalde DivIn een Vendi Score van 4.688 (vs. 4.265 voor het basismodel), waarmee het SAIL (4.549) en traject-methoden overtrof.
  • Op text-to-image (SD v3.5) verhoogde DivIn de Vendi Score van 1.803 naar 1.864 voor het basismodel.
• Behoud van Kwaliteit: In tegen tegenstelling tot veel diversiteitsmethoden die kwaliteit inruilen voor diversiteit, behoudt of verbetert DivIn de beeldgetrouwheid. Het behaalde de laagste FID (16.158) onder de standalone baselines op ImageNet en behield hoge CLIP en Aesthetic scores op text-to-image taken.
• Orthogonaliteit en Pareto Front: Een belangrijke bevinding is dat DivIn orthogonaal is aan traject-gebaseerde interventies. Het combineren van DivIn met methoden zoals PG, CADS of IG breidt de diversiteit-kwaliteit Pareto front aanzienlijk uit, waarbij een hogere diversiteit wordt bereikt bij dezelfde getrouwheidsniveaus dan beide methoden alleen.
• Efficiëntie: DivIn brengt minimale computationele overhead met zich mee. Met een enkele Langevin stap ($K=1$) voegt het slechts ~3% toe aan de wall-clock tijd per afbeelding (bijv. 0.754s naar 0.779s), terwijl deterministische optimalisatiemethoden zoals SAIL vaak meer complexe rejection sampling of second-order benaderingen vereisen.
• Stabiliteit: In tegenstelling tot SAIL, dat gevoelig is voor early stopping thresholds en hoogfrequente artefacten kan veroorzaken door off-manifold latents, blijft DivIn stabiel en behoudt het de Gaussianiteit van de latente ruimte.

5. Betekenis en Claims

Het paper claimt dat initialisatie "de helft van de strijd" is bij het genereren van diverse afbeeldingen. Door de focus te verschuiven van het generatiepad naar het initialisatielandschap, adresseert DivIn een fundamentele oorzaak van mode collapse die traject-gebaseerde methoden verwaarlozen.

De auteurs benadrukken dat:

• DivIn een universele, plug-and-play strategie is die compatibel is met zowel standaard diffusion als moderne flow matching modellen.
• Het een distincte bron van diversiteit biedt die niet wordt gevangen door traject-interventies, waardoor de ontdekking van diverse modes mogelijk wordt die standaard sampling mist.
• De methode effectief de afweging tussen diversiteit en kwaliteit balanceert, waardoor de Pareto front naar buiten wordt geduwd zonder de semantische alignment of beeldgetrouwheid te benadelen.
• Het een robuuster alternatief biedt voor deterministische seed optimalisatie (zoals SAIL) door de distributionele entropie te behouden via stochastische sampling.

Het paper concludeert dat hoewel DivIn momenteel afhankelijk is van een temperatuur-hyperparameter en minimale inferentie-overhead toevoegt, het een fundamentele verschuiving vertegenwoordigt in hoe generatieve diversiteit kan worden verbeterd, door een krachtig orthogonaal instrument te bieden voor bestaande sampling mechanismen.