Technische Samenvatting: Gekoppeld Ontwerp van Initiële Ruis in Diffusiemodellen

Probleemstelling

Moderne diffusiemodellen blinken uit in het genereren van fotorealistische afbeeldingen, maar het beheersen van de output van een batch gegenereerde afbeeldingen blijft een uitdaging. Hoewel bestaande methoden individuele steekproeven effectief sturen naar hoge kwaliteit en semantische uitlijning, behandelen ze doorgaans de initiële ruis voor een batch van $K$ afbeeldingen als onafhankelijke en identiek verdeelde (i.i.d.) Gaussische variabelen. Deze aanname van onafhankelijkheid beperkt het vermogen om de relatie tussen steekproeven in een galerij te beheersen.

Recente studies geven aan dat initiële ruis de outputkwaliteit, lay-out en objectpositie aanzienlijk beïnvloedt. Echter, huidige inferentiemethoden (zoals ruisoptimalisatie of zaadselectie) behandelen elke ruisvector als een apart object dat onafhankelijk geoptimaliseerd of gerangschikt moet worden. Dit laat een fundamentele kloof over: Kan de afhankelijkheidsstructuur tussen initiële ruis expliciet ontworpen worden voordat er per-steekproef optimalisatie plaatsvindt? Het artikel betoogt dat de standaard aanname van onafhankelijkheid slechts één keuze is binnen een bredere klasse van geldige gezamenlijke ruisontwerpen.

Methodologie

Het Koppelingskader

De auteurs stellen een kader voor gebaseerd op koppeling (coupling), een concept uit de waarschijnlijkheidstheorie waarbij een gezamenlijke verdeling wordt geconstrueerd over een set van stochastische variabelen, zodat hun marginale verdelingen ongewijzigd blijven. In de context van diffusiemodellen:

• Een batch initiële ruis $(Z_1, \dots, Z_K)$ wordt geconstrueerd zodat elke $Z_i$ marginaal standaard Gaussisch blijft ($Z_i \sim \mathcal{N}(0, I_d)$).
• De afhankelijkheidsstructuur over de batch wordt expliciet ontworpen door de gebruiker.
• Cruciaal: omdat de marginaalverdelingen ongewijzigd blijven, ontvangt het vooraf getrainde diffusiemodel exact dezelfde invoerverdeling voor een enkele steekproef als gebruikelijk. Er zijn geen wijzigingen vereist in het model, de prompt, de sampler of de geleidingsregels.

Belangrijke Koppelingsconstructies

Het artikel bestudeert verschillende specifieke koppelingen binnen dit kader:

1. Identieke Koppeling: $Z_1 = Z_2 = \dots = Z_K$. Gebruikt om inhoud over steekproeven heen te behouden.
2. Onafhankelijke Koppeling: Standaard i.i.d. steekproeven ($\rho = 0$).
3. Antithetische Koppeling: Voor $K=2$, $(Z_1, Z_2) = (Z, -Z)$.
4. Repulsieve Koppeling: Een nieuwe constructie voor willekeurige $K$ die een negatieve correlatie tussen alle paren induceert. Algorithm 1 genereert deze door onafhankelijke basisruis te centreren en te schalen:
   $$Z_i = \sqrt{\frac{K}{K-1}} (U_i - \bar{U})$$
   waarbij $\bar{U}$ het batchgemiddelde is. Dit resulteert in een paarsgewijze covariantie van $\text{Cov}(Z_i, Z_j) = -\frac{1}{K-1}I_d$ voor $i \neq j$.

Theoretische Eigenschappen

• Minimax-Optimaliteit: De repulsieve koppeling is bewezen de "meest uitgespreide" gezamenlijke constructie te zijn in een minimax-zin. Het minimaliseert de maximale paarsgewijze correlatie onder alle geldige Gaussische koppelingen, en bereikt de theoretische ondergrens van $-1/(K-1)$.
• Behoud van Marginaalverdeling: Proposition 3.2 stelt vast dat het veranderen van de koppeling de verwachte waarde van elke single-image-maatstaf (bijv. gemiddelde promptuitlijning of kwaliteit) niet kan veranderen. Het beïnvloedt alleen maatstaven die afhankelijk zijn van meerdere steekproeven gezamenlijk (bijv. diversiteit, paarsgewijze afstand).
• Parametrisatie: Theorem 3.3 biedt een matrixparametrisatie voor Gaussische koppelingen ($Z = AU$), wat het leren van aangepaste afhankelijkheidsstructuren via geamortiseerde optimalisatie mogelijk maakt.

Drie Toepassingsmodi

1. Directe Plug-in: Het vervangen van onafhankelijke ruis door gekoppelde ruis (specifiek repulsief) aan het begin van het steekproefproces. Dit brengt geen extra rekenkosten met zich mee boven de initiële lineaire transformatie.
2. Gestructureerde Initialisatie: Het gebruik van gekoppelde ruis als startpunt voor ruisoptimalisatie tijdens de testfase (bijv. Contrastive Noise Optimization). De optimizer begint vanuit een gestructureerde verdeling in plaats van willekeurige i.i.d. ruis.
3. Geamortiseerde Optimalisatie: Het leren van een koppelingsmatrix $A$ om een beloning op distributieniveau te maximaliseren (bijv. specifieke helderheidsclustering). Eenmaal geleerd, kan deze matrix worden hergebruikt voor nieuwe prompts zonder verdere optimalisatie.

Belangrijkste Resultaten

Diversiteit in Tekst-naar-Afbeelding Generatie

Experimenten werden uitgevoerd op Stable Diffusion 1.5 (SD1.5), SDXL en SD3 met 2.000 prompts.

• Verbetering van Diversiteit: Repulsieve koppeling verbeterde diversiteitsmaatstaven (L2-afstand, Mean Pairwise Similarity, Vendi-score) aanzienlijk in vergelijking met onafhankelijke steekproeven. Bijvoorbeeld, op SD3 steeg de L2-afstand van 0,1417 naar 0,1667.
• Behoud van Kwaliteit: Promptuitlijning (CLIP-score) en perceptuele kwaliteit (PickScore) bleven nagenoeg ongewijzigd, wat bevestigt dat diversiteitswinst niet ten koste gaat van de trouw aan de input.
• Kostenefficiëntie: Repulsieve koppeling kwam overeen met of overtrof recente optimalisatiebaselines tijdens de testfase (zoals Contrastive Noise Optimization, CNO) op diversiteitsmaatstaven zonder de rekenkundige overhead van optimalisatielussen.
• Complementariteit: Het combineren van repulsieve koppeling met CNO leverde de beste resultaten op, wat suggereert dat de twee methoden complementair zijn.

Generatie van Achtergronden met Vaste Objecten

De methode werd toegepast op het genereren van diverse achtergronden terwijl een specifiek voorgrondobject behouden bleef (bijv. een bed in een slaapkamer).

• Aanpak: De voorgrondruis werd identiek gekoppeld (en geoptimaliseerd voor trouw), terwijl de achtergrondruis repulsief werd gekoppeld om variatie te stimuleren.
• Prestaties: In vergelijking met gespecialiseerde inpainting-baselines en SDEdit, bereikte de voorgestelde methode een hogere achtergronddiversiteit en betere randgladheid (lagere Boundary-TV) en globale natuurlijkheid (lagere BRISQUE), met slechts een gematigde afweging in de fout van voorgrondbehoud.

Geamortiseerd Leren

Het artikel demonstreerde dat geamortiseerde optimalisatie koppelingsmatrices kon leren voor specifieke structurele doelen (bijv. het splitsen van een galerij in heldere en donkere clusters). De geleerde matrices generaliseerden over verschillende modelfamilies (SD1.5, SDXL, SD3) en herstelden de analytische repulsieve structuur wanneer het doel algemene diversiteit was.

Betekenis en Claims

Het artikel beweert dat koppeling van initiële ruis een algemeen, flexibel controlelaag is voor diffusiële generatie die het probleem herformuleert van het selecteren van individuele zaden naar het ontwerpen van de gezamenlijke verdeling van een galerij.

• Algemeen Kader: Het verenigt bestaande methoden (zoals antithetische steekproeven) als speciale gevallen en introduceert nieuwe constructies (repulsieve koppeling) die theoretisch optimaal zijn voor diversiteit.
• Controle zonder Kosten: De primaire bijdrage is een methode om galerijdiversiteit te verbeteren en gestructureerde generatietaken te ondersteunen zonder het vooraf getrainde model te wijzigen of kosten voor denoising/optimalisatie toe te voegen.
• Beperkte Scope: De auteurs erkennen beperkingen, met de opmerking dat de aanpak voornamelijk een controlemethode op batch-niveau is en geen hulpmiddel voor het verbeteren van de kwaliteit van een enkele afbeelding. Zij merken ook op dat huidige geleerde koppelingen beperkt zijn tot laagdimensionale matrices en relatief eenvoudige doelen, en dat de bruikbaarheid voor andere modaliteiten (video, audio, 3D) een open vraag blijft.

Kortom, het artikel stelt vast dat de afhankelijkheidsstructuur van initiële ruis een krachtige, onderbenutte controlevariabele is die kan worden ontworpen om diversiteit te versterken en gestructureerde generatietaken efficiënt mogelijk te maken.