🤖 machine learning

Diverse Sampling in Diffusion Models with Marginal Preserving Particle Guidance

Het artikel introduceert EDDY, een trainingsvrije geleidingsmechanisme voor diffusie- en flow-matching-modellen dat de steekproefdiversiteit verbetert door divergentievrije dynamica, terwijl het strikt de marginale verdeling behoudt en een hoge generatiekwaliteit handhaaft.

Oorspronkelijke auteurs: Gal Vinograd, Idan Achituve, Ethan Fetaya

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gal Vinograd, Idan Achituve, Ethan Fetaya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstenaar bent die een specifieke schilderstijl onder de knie hebt. Je kunt een prachtige stoel, een gezellige kamer of een zonsondergang met perfecte realisme schilderen. Maar elke keer als je probeert een "gezellige kamer" te schilderen, eindig je met precies dezelfde kamer, alleen met iets ander licht. Je wilt variatie – verschillende meubelopstellingen, verschillende kleuren, verschillende hoeken – zonder het gevoel van een "gezellige kamer" te verliezen.

Dit is het probleem dat het paper EDDY (Exact-marginal Diversification via Divergence-free dYnamics) probeert op te lossen voor AI-afbeeldingsgeneratoren.

Hier is de uitleg van hoe het werkt, met eenvoudige analogieën:

Het Probleem: Het "Kloon"-effect

Moderne AI-afbeeldingsgeneratoren (zoals Diffusion-modellen) werken door te beginnen met een hoop willekeurige ruis (static) en deze langzaam op te schonen om een afbeelding te onthullen.

Het Probleem: Als je de AI vraagt om 10 afbeeldingen van een "kat" te genereren, en je doet dit 10 keer apart, krijg je 10 verschillende katten. Maar als je vraagt om 10 katten tegelijkertijd te genereren om tijd te besparen, lijken ze vaak verdacht op elkaar. Het zijn "kloons".
De Oude Oplossing: Eerdere methoden probeerden de AI te dwingen anders te zijn door een "afstotende kracht" toe te voegen, alsof je de AI zegt: "Hé, schilder niet wat je buurman schildert!"
De Tekortkoming: De oude methoden waren als een onhandige portier op een feestje. Ze duwden de afbeeldingen zo hard uit elkaar dat de afbeeldingen vervormden. De katten konden er misschien anders uitzien, maar ze hadden misschien ook drie poten of rare artefacten, omdat de AI gedwongen werd zijn eigen regels te breken om de anderen te vermijden.

De Oplossing: De "Zwerm Vissen" (EDDY)

De auteurs stellen een nieuwe manier voor om de AI te sturen die lijkt op een school vissen.

Het Doel: Je wilt dat de vissen (de afbeeldingen) zich verspreiden en de hele oceaan verkennen (diversiteit), maar je wilt ook dat ze binnen de specifieke grenzen van de oceaan blijven (hoge kwaliteit behouden en de prompt volgen).
De Geheime Saus (De Fysieke Truc): Het paper maakt gebruik van een wiskundig concept genaamd de Fokker-Planck-vergelijking. Denk hierbij aan de "wet van behoud" voor het schilderproces van de AI. Het zegt: Als je de deeltjes (afbeeldingen) op een zeer specifieke, draaiende manier beweegt, kun je veranderen waar ze ten opzichte van elkaar eindigen, zonder de algehele vorm van de oceaan waarin ze zwemmen te veranderen.
Hoe het Werkt:
- Stel je voor dat de AI 10 afbeeldingen tegelijkertijd schildert.
- EDDY kijkt naar elk paar afbeeldingen. Als twee afbeeldingen te dicht bij elkaar komen (te veel op elkaar lijken), geeft EDDY ze een zachte, draaiende duw om uit elkaar te gaan.
- De Magie: Deze duw is "divergentievrij". In alledaagse termen is het als een draaikolk in een rivier. Het water draait rond, duwt dingen uit elkaar, maar de totale hoeveelheid water op een specifieke plek blijft precies hetzelfde.
- Door deze wiskundige truc worden de afbeeldingen divers (ze verkennen verschillende "modi" of variaties), maar blijft de kwaliteit van elke individuele afbeelding perfect. Ze worden niet vervormd of kapotgemaakt.

De "Perceptieve" Uitdaging

Het paper merkt op dat voor complexe taken zoals tekst-naar-afbeelding, we gelijkenis niet kunnen meten door alleen naar pixels te kijken (zoals het vergelijken van twee foto's naast elkaar). We moeten meten of ze zich aanvoelen als gelijk.

De Analogie: Stel je voor dat je probeert te zeggen of twee schilderijen op elkaar lijken. Je telt niet de pixels; je kijkt naar de "vibe" of de "stijl".
De Oplossing: EDDY gebruikt een "feature space" (zoals DINO- of CLIP-embeddings) om deze vibe te meten. Het echter doen van de exacte wiskunde voor deze "vibe" is voor een computer ongelooflijk traag en duur.
De Afkorting: De auteurs hebben een slimme benadering bedacht (met gebruik van "finite differences" en "Hutchinson trace estimation"). Denk hierbij aan een getalenteerde kunstenaar die de perfecte penseelstreek kan raden door een paar snelle, ruwe schetsen te maken in plaats van elke enkele pixel te berekenen. Het is snel, en hoewel het niet 100% wiskundig perfect is, werkt het bijna even goed als de perfecte versie.

De Resultaten

Het paper testte EDDY op synthetische data en echte tekst-naar-afbeelding-modellen (zoals FLUX en Stable Diffusion).

Diversiteit: Het slaagde erin een bredere variatie aan afbeeldingen te genereren (bijvoorbeeld verschillende stoelopstellingen in een kamer) in vergelijking met standaardmethoden.
Kwaliteit: In tegenstelling tot de oude "onhandige portier"-methoden die rare artefacten creëerden, hield EDDY de afbeeldingen fotorealistisch en trouw aan de prompt.
Efficiëntie: Het voegt een kleine hoeveelheid extra tijd toe aan het generatieproces (ongeveer 25% trager), maar het vermijdt de noodzaak om het AI-model vanaf nul opnieuw te trainen.

Samenvatting

EDDY is een nieuwe "verkeersagent" voor AI-afbeeldingsgeneratie. In plaats van afbeeldingen te dwingen anders te zijn door ze te breken, gebruikt het een slimme wiskundige draai om ze zachtjes uit elkaar te duwen. Dit stelt de AI in staat een diverse reeks hoogwaardige afbeeldingen te creëren die allemaal perfect de prompt volgen, zonder de rare vervormingen die bij eerdere methoden werden gezien.

Technische Samenvatting: EDDY – Exact-marginal Diversificatie via Divergentievrije dYnamiek

Probleemstelling

Diffusie- en flow-matchingmodellen hebben zich gevestigd als krachtige generatieve hulpmiddelen voor modaliteiten zoals afbeeldingen, moleculen en tekst. Een veelgebruikte strategie tijdens de inferentie om de kwaliteit van de steekproeven te verbeteren, is geleiding (guidance), waarbij het driftterm wordt aangepast om aan voorwaarden of beperkingen te voldoen. Echter, bij het genereren van meerdere steekproeven voor dezelfde voorwaarde, levert standaard onafhankelijke en identiek verdeelde (I.I.D.) steekproefneming vaak weinig diversiteit op, waarbij de uitkomsten clusteren rond vergelijkbare modi.

Bestaande methoden om dit gebrek aan diversiteit aan te pakken, introduceren doorgaans interacties tussen steekproeven, zoals het optimaliseren van initiële ruis-latents of het toevoegen van afstotende potentialen tijdens het steekproeven. Hoewel deze benaderingen de diversiteit kunnen vergroten, identificeert het artikel een kritiek gebrek: ze verstoren vaak de marginale verdeling van individuele steekproeven. Deze vervorming leidt tot een afweging waarbij een toename van de diversiteit ten koste gaat van de steekproeffideliteit, wat zich manifesteert als zichtbare artefacten, verminderde prompt-gevolgzaamheid of perceptuele degradatie. De kernuitdaging is om deeltjesgebaseerde diversiteit in te voeren die steekproeven aanmoedigt om verschillende modi van de conditionele verdeling te verkennen zonder de doelmarginale verdeling van een enkele steekproef te wijzigen, en bij voorkeur zonder extra training.

Methodologie: EDDY

De auteurs stellen EDDY (Exact-marginal Diversificatie via Divergentievrije dYnamiek) voor, een trainingsvrij geleidingsmechanisme dat gebruikmaakt van symmetrieën in de Fokker-Planck-vergelijking (FPE).

Theoretische Grondslag

De methode is gebaseerd op de observatie dat de FPE, die de evolutie van de kansdichtheid $p_t$ regelt, niet-triviale symmetrieën toestaat. Specifiek kunnen bepaalde driftperturbaties de trajecten van deeltjes veranderen zonder de evoluerende marginale dichtheid te wijzigen.

Symmetrie van de FPE: De auteurs maken gebruik van de Matrix Stein-operator. Ze bewijzen dat als een driftperturbatie $\psi_t$ wordt geconstrueerd uit een glad, anti-symmetrisch matrixveld $A$ via de operator $A_p(A) = \text{div}(A) + A\nabla \log p$ , de resulterende FPE onveranderd blijft. Bijgevolg blijft de marginale verdeling $p_t$ voor alle tijdstippen $t$ behouden, zelfs al wordt de gezamenlijke verdeling van meerdere interagerende deeltjes gewijzigd.

Constructie van het Algorithmus

EDDY instantieert dit principe door een geleidingsveld te construeren dat afstotende interacties tussen deeltjes induceert terwijl het de behouding van de marginaal handhaaft:

Paarsgewijze Anti-symmetrische Matrices: Voor elk paar deeltjes $(x_i, x_j)$ wordt een anti-symmetrische matrix $A^{(ij)}$ geconstrueerd met behulp van een afstotende richting $r^{(ij)} = -\nabla k(x_i, x_j)$ afgeleid van een vergelijkingskernel $k$ , en een vector $v^{(j)}$ (doorgaans de drift of score van deeltje $j$ ).
$A^{(ij)} = r^{(ij)} \otimes v^{(j)} - v^{(j)} \otimes r^{(ij)}$
Divergentievrije Drift: Het geleidingsterm voor deeltje $i$ is het gemiddelde van de Stein-operator toegepast op deze matrices over alle buren:
$\psi_i^{\text{EDDY}} = \frac{1}{n-1} \sum_{j \neq i} A_p(A^{(ij)})$
Dit resulteert in een transportveld dat lokaal divergentievrij is (vandaar de naam "EDDY"), wat deeltjes uit elkaar duwt om de diversiteit te vergroten, terwijl theoretisch wordt gegarandeerd dat de single-deeltjes-marginaal $p_t$ blijft.

Praktische Benaderingen voor Hoge Dimensies

In hoogdimensionale settings zoals tekst-naar-afbeeldinggeneratie is het berekenen van exacte tweede-orde afgeleiden van kernels (vereist voor de divergentieterm) computationeel onhaalbaar. EDDY maakt gebruik van twee praktische benaderingen:

Finite Differences: Gebruikt om Hessiaan-vectorproducten te benaderen.
Hutchinson Trace Schatting: Gebruikt om de Laplaciaan-term te benaderen.
Deze benaderingen stellen de methode in staat om te opereren op perceptuele feature-ruimten (bijv. DINO- of CLIP-embeddings) in plaats van ruwe pixelruimte. Hoewel deze benaderingen betekenen dat de behouding van de marginaal in theoretische zin niet langer exact is, betogen de auteurs dat de methode een schatting op eindige steekproeven blijft van het bewezen marginaal-behoudende veld.

Om de computationele kosten verder te verlagen, wordt de geleiding alleen toegepast tijdens het vroege, hoogruisende deel van het steekproeftraject (bijv. de eerste 20% van de stappen).

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Theoretische Identificatie: Identificatie en bewijs van FPE-symmetrieën die deeltjesgeleidingsmechanismen toelaten die de onderliggende marginale verdeling behouden.
Op Kernel Gebaseerde Constructie: Introductie van een specifieke constructie met behulp van anti-symmetrische paarsgewijze matrices om afstotende interacties te induceren die compatibel zijn met deze symmetrieën.
Schalbare Benaderingen: Ontwikkeling van praktische benaderingen (finite differences en Hutchinson-schattingen) die het gebruik van feature-ruimte-kernels mogelijk maken, waardoor de methode toepasbaar wordt op hoogdimensionale taken zoals tekst-naar-afbeeldinggeneratie.
Empirische Validatie: Evaluatie op synthetische verdelingen en moderne tekst-naar-afbeeldingmodellen (FLUX.1-dev en SDXL), waarbij een verbeterde diversiteit wordt aangetoond met behoud van de distributiefideliteit in vergelijking met basismethoden.

Experimentele Resultaten

De auteurs evalueren EDDY tegen onafhankelijke en identiek verdeelde (I.I.D.) steekproefneming, Particle Guidance (PG) en Condition-Annealed Diffusion Sampling (CADS).

Synthetische 2D Gaussische Mixtuur: Op een 2D-mixtuur van Gaussians slaagt EDDY-RBF (met gebruik van de exacte RBF-kernel) erin de modusdekking (diversiteit) te vergroten terwijl het statistische tests (Kolmogorov-Smirnov, Mann-Whitney, Welch t-test) doorstaat die bevestigen dat de marginale verdeling niet te onderscheiden is van de I.I.D.-baseline.
Tekst-naar-Afbeelding Generatie:
- Diversiteit vs. Fideliteit: EDDY bereikt consequent een betere Pareto-frontier dan PG. Bij gelijkgestelde diversiteitsniveaus (gemeten via DINO-paarsgewijze gelijkenis) levert EDDY een hogere prompt-uitlijning (CLIPScore) en betere esthetische scores op.
- Artefactreductie: Waar PG vaak ernstige visuele artefacten introduceert (bijv. vervormde structuren) bij het nastreven van diversiteit, behoudt EDDY fotorealisme, waarbij elke degradatie zich manifesteert als lichte vervaging in plaats van structurele artefacten.
- Vergelijking met CADS: CADS verbetert de diversiteit door conditionele signalen te verstoren, maar degradeert de prompt-gevolgzaamheid aanzienlijk. EDDY behoudt een sterke prompt-fideliteit terwijl het de diversiteit verhoogt.
- Geteste Modellen: Experimenten werden uitgevoerd op FLUX.1-dev (flow matching) en Stable Diffusion XL (diffusie).

Betekenis en Claims

Het artikel stelt dat EDDY een principiële weg biedt naar diverse conditionele generatie. Door gebruik te maken van de symmetrieën van de Fokker-Planck-vergelijking, ontkoppelt het de afweging tussen diversiteit en fideliteit die bestaande afstotende steekproefmethoden teistert.

De auteurs benadrukken dat EDDY trainingsvrij is en geen extra modellearning vereist, in tegenstelling tot methoden die vertrouwen op het leren van potentialfuncties of importantieweegs. Hoewel de methode een computationele overhead met zich meebrengt (ongeveer 25% toename van de runtime op FLUX.1-dev door kernel-evaluaties en benaderingen), betogen de auteurs dat dit een noodzakelijke kost is om hoogwaardige, diverse steekproeven te bereiken zonder de ernstige artefacten die bij concurrerende benaderingen worden waargenomen. Het werk suggereert dat het behoud van de marginale verdeling een cruciale beperking is voor het handhaven van de kwaliteit van generatieve uitkomsten terwijl de modi van de conditionele verdeling worden verkend.