Technische Samenvatting: Het doorbreken van de Lock-in via Representatiemodulatie

Probleemstelling

Recente tekst-naar-afbeelding (T2I) modellen, met name die gebruikmaken van grootschalige Transformer-backbones en flow-gebaseerde doelstellingen, hebben een opmerkelijke tekst-beeld-uitlijning en fotorealisme bereikt. Deze modellen lijden echter vaak aan een "diversiteitscollaps"-probleem: bij het genereren van meerdere afbeeldingen vanuit een vaste prompt convergeren de outputs naar overmatig vergelijkbare composities, lay-outs en stilistische patronen. Deze homogeniteit beperkt het nut van generatieve modellen voor taken die een brede exploratie van kandidaten of de constructie van synthetische datasets vereisen.

Bestaande methoden om diversiteit te verhogen vallen doorgaans uiteen in twee categorieën: batch-gewijze diversificatie (bijv. Particle Guidance, OSCAR) en individuele trajectmanipulatie (bijv. CADS). Hoewel deze effectief zijn tot op zekere hoogte, brengen ze vaak aanzienlijke computationele en geheugenoverhead met zich mee door hulp-optimalisatie, parallelle kandidaat-generatie of interacties tussen samples. Bov�elijk blijft de fundamentele mechanistische oorzaak van diversiteitscollaps binnen de interne representaties van het model grotendeels onverkend, waarbij eerder werk zich primair richtte op heuristieken tijdens de inferentie in plaats van op de analyse van de kernoorzaak.

Methodologie: DAVE

De auteurs stellen DAVE voor (DC Attenuation for diVersity Enhancement), een interventie op representatieniveau die geen hertraining vereist en ontworpen is om de "lock-in" van generatieve trajecten te doorbreken.

Analyse van de Kernoorzaak

Door een analyse van intermediaire Transformer-features identificeren de auteurs dat de nul-frequentie ruimtelijke gemiddelde (DC-component) van verborgen representaties tijdens de vroege stadia van de generatie snel convergeert over verschillende willekeurige seeds heen.

• Observatie: In de vroege denoising-stappen (hoog ruisregime) vertoont de DC-component een hoge cross-seed cosinus-gelijkenis en een lage variantie, waarbij deze meer dan 50% van de totale energie in de representatie beslaat.
• Mechanisme: Dit fenomeen, getiteld "early DC drift", wordt toegeschreven aan de spectrale bias van neurale netwerken (die prioriteit geven aan laagfrequente signalen) gecombineerd met de aard van flow-matching doelstellingen onder hoge onzekerheid. Het model voorspelt de tekst-geconditioneerde verwachting van de data, waardoor de DC-component uitlijnt met een seed-invariante globale gemiddelde. Deze vroege uitlijning creëert een structurele anker die het vermogen van initiële ruis-seeds beperkt om voldoende variatie in globale lay-out en grove semantiek te induceren.

De DAVE-interventie

Om deze lock-in te mitigeren, dempt DAVE selectief de DC-component tijdens de vroege generatieve fase.

• Operatie: Voor een verborgen representatie $h^{(\ell)}_t$ in Transformer-blok $\ell$ en tijdstap $t$, wordt de DC-component $\mu^{(\ell)}_t$ berekend als het ruimtelijke gemiddelde over de visuele tokens. De representatie wordt vervolgens aangepast als:
  $$\hat{h}^{(\ell)}_t = \alpha \cdot \mu^{(\ell)}_t + (h^{(\ell)}_t - \mu^{(\ell)}_t)$$
  waarbij $\alpha \in (0, 1)$ een dempingssterkte-parameter is.
• Restricties: De interventie wordt alleen toegepast op specifieke Transformer-blokken ($\ell \in \mathcal{L}$) die zijn geïdentificeerd als zijnde sterk geconvergeerd in cross-seed DC, en alleen tijdens de vroege tijdstappen ($t < \tau$).
• Implementatie: DAVE vereist geen hertraining, geen wijzigingen in de sampling-pipeline en geen extra geheugen voor feature-banks. Het werkt als een chirurgische modificatie van intermediaire outputs voordat deze worden doorgegeven aan opeenvolgende blokken.

Belangrijkste Bijdragen

1. Mechanistisch Inzicht: Het paper identificeert de snelle convergentie van de DC-component in vroege generatiestappen als een primaire bottleneck voor seed-niveau variatie, wat een theoretische en empirische verklaring biedt voor traject-lock-in.
2. DAVE Algoritme: Een lichtgewicht, training-vrije methode die de DC-component dempt om generatieve diversiteit te ontsluiten zonder de semantische uitlijning of visuele kwaliteit in gevaar te brengen.
3. Efficiëntie: In tegenstelling tot interactie-gebaseerde methoden die kwadratisch schalen met de batchgrootte ($O(TB^2)$), behoudt DAVE een lineaire complexiteit ($O(TB)$) met verwaarloosbare overhead, wat het schaalbaar maakt voor moderne grote modellen.
4. Robuustheid: De methode blijkt robuust over verschillende modelarchitecturen (Stable Diffusion 3/3.5, FL flux.1-dev, SANA1.5) en prompt-complexiteiten, waarbij de doel-blokpool $\mathcal{L}$ grotendeels dataset-agnostisch is.

Experimentele Resultaten

De auteurs evalueerden DAVE op ImageNet en MS-COCO benchmarks met metrieken voor visuele kwaliteit (FID, Precision, Density), diversiteit (Recall, Coverage, Vendi Score) en tekst-beeld-uitlijning (CLIP Score).

• Diversiteitswinsten: DAVE verbetert consistent diversiteitsmetrieken (Recall, Vendi Score) over alle geteste modellen, waarbij het de originele sampler overtreft en competitief presteert ten opzichte van state-of-the-art methoden zoals CADS en SPARKE.
• Behoud van Kwaliteit: In tegenstelling tot sommige baselines die trouw inruilen voor diversiteit (bijv. CADS die lagere CLIP-scores laat zien op bepaalde modellen), behoudt DAVE een concurrerende beeldkwaliteit en tekst-uitlijning.
• In-Batch Prestaties: In expliciete in-batch generatie-settings bereikt DAVE een lagere feature-level gelijkenis en een hogere perceptuele afstand vergeleken met methoden zoals Particle Guidance en SPELL, terwijl het aanzienlijk lagere computationele kosten met zich meebrengt.
• Gedestilleerde Modellen: De methode is compatibel met gedestilleerde modellen (bijv. SD3.5-Large-Turbo), waarbij zelfs in gestroomlijnde sampling-regimes de diversiteit wordt verbeterd.
• Ablatiestudies:
  • Temporele Afkapwaarde ($\tau$): Interveniëren in de eerste 15–20% van de stappen levert optimale diversiteit op zonder kwaliteitsverlies.
  • Dempingssterkte ($\alpha$): Waarden tussen 0.2 en 0.5 balanceren structurele variatie en semantische coherentie.
  • Blokselectie: De methode is robuust tegenover de specifieke keuze van blokken binnen de geïdentificeerde hoog-convergerende pool $\mathcal{L}$.

Betekenis en Claims

Het paper claimt dat DAVE een praktisch en schaalbaar framework biedt voor het aanpakken van het kritieke probleem van beperkte generatieve diversiteit in flow-gebaseerde T2I-modellen. Door de wortel van de traject-lock-in aan te pakken — de vroege homogenisering van de DC-component — slaagt de methode erin de generatieve reikwijdte van pre-trained modellen te verbreden.

De auteurs benadrukken dat DAVE een gunstige diversiteit-fidelity trade-off biedt zonder de computationele lasten van bestaande oplossingen. Het dient als een "chirurgische" interventie die de sampling-pipeline behoudt terwijl het de stochasticiteit van initiële ruis in staat stelt om betekenisvolle structurele variaties aan te drijven. Het werk suggereert dat het begrijpen en moduleren van interne representatiedynamiek een levensvatbaar pad is om generatieve capaciteiten te verbeteren zonder de noodzaak van hertraining of complexe optimalisatieprocedures.