🤖 machine learning

Diversify Diffusion with Temperature Sampling and Variance-Corrective Time Shifting

Dit artikel introduceert een trainingsvrije methode genaamd variance-corrective time shifting die effectieve temperatuur-sampling in diffusiemodellen mogelijk maakt om diversiteit te vergroten door dominante modi af te vlakken zonder de variantie op te blazen, waardoor de variëteit van samples over verschillende architecturen heen wordt verbeterd terwijl een hoge kwaliteit en conditionele getrouwheid behouden blijven.

Oorspronkelijke auteurs: Peizhuo Li, Emre Aksan, Alexandru-Eugen Ichim, Thabo Beeler, Olga Sorkine-Hornung

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peizhuo Li, Emre Aksan, Alexandru-Eugen Ichim, Thabo Beeler, Olga Sorkine-Hornung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotkunstenaar hebt die jarenlang een enorme bibliotheek met afbeeldingen heeft bestudeerd. Deze robot is geweldig in het tekenen van wat hij het vaakst heeft gezien—zoals een miljoen katten die op stoelen zitten. Maar als je hem vraagt om iets zeldzaams te tekenen, zoals een kat met een piepkleine astronautenhelm op de maan, kan hij moeite hebben of geeft hij je gewoon weer een gewone kat. De robot is zo goed in het kopiëren van de "populaire" zaken dat hij de vreemde, wonderlijke en zeldzame ideeën die in de bibliotheek verborgen liggen, vergeet.

Dit artikel introduceert een slimme truc om het geheugen van de robot op te schudden en hem te laten verkennen die zeldzame ideeën, zonder dat hij opnieuw getraind hoeft te worden of nieuwe lessen nodig heeft.

Het Probleem: De "Te Scherpe" vs. "Te Wazige" Valstrik

De auteurs probeerden eerst een simpel idee: de robot vertellen om zijn geheugen te "ontspannen". Stel je voor dat het geheugen van de robot een drukke kamer is waar de meest populaire ideeën (zoals "kat op een stoel") hard roepen, en zeldzame ideeën (zoals "astronaut kat") fluisteren. Om de fluisteringen te horen, zou je kunnen denken: "Laten we gewoon het volume van de roepers zachter zetten!"

In wiskundige termen wordt dit temperatuur-sampling genoemd. Het is alsof je de "temperatuur" van de data verhoogt. Wanneer je de boel opwarmt, vervagen de verschillen tussen de luide en de zachte ideeën, waardoor de zeldzame ideeën waarschijnlijker worden om te verschijnen.

Het papier laat echter zien dat het naïef doen hiervan een ramp is. Het is alsof je het volume van een luidspreker probeert zachter te zetten door simpelweg de vermogensknop op maximaal te draaien. Het resultaat? De robot doet niet alleen de fluisteringen horen; hij begint te hallucineren. De afbeeldingen worden wazig, rommelig en vol ruis. De auteurs leggen uit dat dit gebeurt omdat het simpelweg schalen van de "score" van de robot (zijn gok van wat hij nu moet tekenen) te veel variantie creëert. Het is alsof de robot zo enthousiast wordt over de nieuwe mogelijkheden dat hij begint te trillen, wat de tekening verpest.

De Oplossing: De "Tijdreis"-fix

De belangrijkste bevinding van het artikel is een slimme workaround genaamd variance-corrective time shifting (variantie-corrigerende tijdsverschuiving).

In plaats van de robot alleen maar te vertellen om zijn geheugen te "ontspannen", vertellen de auteurs hem om naar de afbeelding te kijken op een iets ander tijdstip.

Hier is de analogie: Stel je voor dat je probeert de vorm te raden van een verborgen object in een mistige doos.

De Standaard Manier: Je vraagt aan de robot: "Wat zit er in de doos?" Hij kijkt naar de mistige doos en geeft een antwoord.
De Naïve "Hitte"-manier: Je zegt tegen de robot: "Stel je voor dat de mist dikker is en het object vager!" De robot probeert te raden, maar omdat de mist zo dik is, begint hij willekeurige vormen te raden, en het resultaat is een bende.
De Manier van het Artikel: De auteurs zeggen: "Oké, laten we doen alsof de mist eigenlijk dunner is dan hij echt is, maar we willen nog steeds dat 'ontspannen' gevoel." Ze misleiden de robot door hem te vragen naar de doos te kijken alsof deze zich op een eerder, helderder moment in de tijd bevond (een "verschoven tijdstap"). Vervolgens passen ze de "ontspan"-regel toe op dat helderdere beeld.

Door naar de "eerdere, helderdere" versie van de ruis te kijken, kan de robot de diversiteitsboost toepassen zonder in de war te raken door de extra wazigheid. Het is alsof je een speciale bril opzet waarmee je de zeldzame ideeën duidelijk kunt zien zonder het hele plaatje te vervagen. De auteurs laten zien dat deze truc de ongewenste trillingen (variantie) wegneemt terwijl het voordeel van het verkennen van nieuwe ideeën behouden blijft.

Wat het Artikel Uitsluit

De auteurs zijn heel duidelijk over wat niet werkt. Ze argumenteren expliciet tegen:

Het simpelweg schalen van de score: Het simpelweg vermenigvuldigen van de gok van de robot met een getal (de naïeve aanpak) breekt het proces. Het creëert wazige, onbruikbare afbeeldingen.
Andere methoden: Ze hebben andere trucs getest, zoals "CADS" (dat het prompt-signaal verandert) en "Feynman-Kac" (dat een reeks deeltjes gebruikt om het pad te corrigeren). Ze kwamen tot de conclusie dat CADS de robot er vaak toe brengt de prompt volledig te negeren (bijv. een hond tekenen terwijl je om een kat vroeg), en Feynman-Kac wordt te ruizig en slaagt er niet in goede afbeeldingen te produceren.

Hoe Zeker Zijn Ze?

Het artikel is vrij zelfverzekerd over de resultaten, maar ze onderbouwen dit met bewijs, niet alleen met gissingen.

Simulaties en Tests: Ze hebben dit getest op een eenvoudig wiskundig model (een "toy example" met 10.000 samples) en lieten zien dat het perfect werkt.
Real-World Modellen: Ze hebben het toegepast op echte, krachtige beeldgeneratoren zoals Stable Diffusion 1.5, Stable Diffusion XL, Stable Diffusion 3.5, en DiT.
De Cijfers: Ze hebben de resultaten gemeten met specifieke scores. Bijvoorbeeld, op het DiT-model behaalde hun methode een Vendi-score (een maatstaf voor diversiteit) van 13,86, vergeleken met de baseline van 13,45, terwijl de Fidelity (hoe goed het bij de prompt past) hoog bleef op 0,859. Op Stable Diffusion 3.5 kregen ze een Vendi-score van 12,43 met een fidelity van 0,897.
De "Vroege" vs. "Late" Truc: Ze ontdekten ook dat wanneer je deze truc toepast, uitmaakt. Als je het vroeg in het proces toepast (wanneer de afbeelding slechts een wazige wolk is), krijg je totaal verschillende composities (bijv. een kat versus een hond). Als je het laat toepassen (wanneer de afbeelding bijna klaar is), krijg je slechts kleine veranderingen in details (bijv. een kat met blauwe ogen versus groene ogen).

De Kernboodschap

Dit artikel beweert niet dat het elk probleem in AI-kunst heeft opgelost. De auteurs geven toe dat de robot nog steeds beperkingen heeft (hij kan geen paard met vijf benen tekenen als hij dat nooit heeft gezien). Ze merken ook op dat er een afruil is: de robot diverser maken betekent soms dat hij iets minder perfect is in het opvolgen van je exacte instructies.

Maar ze hebben aangetoond dat je met deze variance-corrective time shifting een standaard AI-model kunt veranderen in een meer avontuurlijke kunstenaar. Je kunt hem laten verkennen in de zeldzame, vreemde en wonderlijke uithoeken van zijn trainingsdata zonder dat je hem opnieuw hoeft te trainen of de kwaliteit van de uiteindelijke afbeelding op te offeren. Het is een gratis upgrade die de "temperatuurknop" verandert van een kapotte schakelaar in een precisie-instrument voor creativiteit.

Technische Samenvatting: Diversificatie van Diffusie met Temperatuur-sampling en Variantie-corrigerende Tijdverschuiving

Probleemstelling

Diffusiemodellen reproduceren de trainingsdistributies getrouw, maar erven inherent de onbalans in de data, waardoor zeldzame of ondervertegenwoordigde modi moeilijk te bereiken zijn tijdens het samplen. Hoewel het een natuurlijke remedie bij de inferentie is om te samplen uit een doelverdeling met een hoge temperatuur $p^{(\gamma)}_0(x) \propto p_0(x)^\gamma$ (waarbij $0 < \gamma < 1$ ) om dominante modi af te vlakken en zeldzame modi te stimuleren, faalt de naïeve toepassing van dit concept in de praktijk.

Het direct schalen van de geleerde scorefunctie met $\gamma$ (d.w.z. het gebruiken van $\gamma \nabla_x \log p_t(x)$ ) bereikt weliswaar het macroscopische doel van het herwegen van modi, maar induceert een microscopische variantie-expansie. Deze overtollige variantie verbreekt de strikte correspondentie tussen de score van de geruisde getemperde marginale verdeling en het omgekeerde diffusieproces, wat resulteert in off-manifold, wazige en kwalitatief minder goede samples. Bestaande methoden om de diversiteit te vergroten vereisen vaak hertraining, hulp-classifiers of parallelle particle filtering, wat de toepasbaarheid of getrouwheid beperkt.

Methodologie: Variantie-corrigerende Tijdverschuiving

De auteurs stellen variantie-corrigerende tijdverschuiving voor, een training-vrije mechanisme dat de modus-herweging ontkoppelt van de variantie-inflatie. De kerninzicht is dat, hoewel de score van de getemperde distributie $\nabla_x \log p^{(\gamma)}_t(x)$ niet verkregen kan worden door simpelweg de originele score te schalen, deze accuraat benaderd kan worden door het netwerk te bevragen op een verschoven tijdstip $\tilde{t}$ .

Theoretische Afleiding

De Mismatch: Directe tempering van de geruisde marginale verdeling $p_t(x)^\gamma$ verschilt van de geruisde marginale verdeling van de getemperde data $p^{(\gamma)}_t(x)$ . Onder de aanname van goed gescheiden modi, zorgt directe tempering effectief voor het schalen van de variantie van de Gaussische componenten met $1/\gamma$ , terwijl de ware getemperde marginale verdeling het originele variantie-schema behoudt.
De Correctie: Om de gewenste getemperde marginale verdeling te herstellen zonder variantie-inflatie, bevraagt de methode het getrainde netwerk op een verschoven tijd $\tilde{t}$ waar het ruisniveau voldoet aan $\sigma^2_{\tilde{t}} = \gamma \sigma^2_t$ .
De Score-schatter: De score voor de getemperde distributie wordt benaderd als:
$\nabla_x \log p^{(\gamma)}_t(x) \approx \gamma \left( -\frac{\epsilon_\theta(x, \tilde{t})}{\sigma^2_{\tilde{t}}} \right)$
Dit heft de variantie-expansie effectief op terwijl het effect van de modus-herweging behouden blijft.

Coarse-to-Fine Controle

De methode maakt een schema $\gamma(t)$ mogelijk die op verschillende stadia van het omgekeerde diffusieproces wordt toegepast:

Vroege Stadia (Hoge Ruis): Het toepassen van $\gamma(t) < 1$ hier stuurt de compositionele diversiteit aan, waarbij de samplende deeltjes naar verschillende attractoren (modi) worden gestuurd.
Middelste/Late Stadia (Lage Ruis): Het toepassen van $\gamma(t) < 1$ hier stuurt de lokale verschijningsvariatie aan, terwijl de globale compositie en modus-identiteit behouden blijven.

Belangrijkste Bijdragen

Identificatie van Variantie-expansie: Het artikel identificeert dat naïeve score-schaling in diffusiemodellen het omgekeerde diffusieproces verbreekt door onbedoelde variantie-inflatie, wat de kwaliteit van de samples verslechtert.
Variantie-corrigerende Tijdverschuiving: Een zero-cost, training-vrije correctie die de gewenste getemperde marginale verdeling herstelt door het netwerk te bevragen op een verschoven tijdstip, wat effectieve high-temperature sampling mogelijk maakt.
Praktische Diversiteitsknop: De methode transformeert temperatuur-sampling in een praktisch hulpmiddel om de diversiteit te vergroten in getrainde diffusie- en flow-matching backbones zonder hertraining.
Stadium-specifieke Controle: De auteurs tonen aan dat de timing van de temperatuur-interventie zorgt voor coarse-to-fine controle, waarbij onderscheid wordt gemaakt tussen compositionele diversiteit (vroeg) en lokale variatie (laat).

Experimentele Resultaten

De methode werd geëvalueerd over diverse architecturen (DiT, Stable Diffusion 1.5/3.5/XL, Motion Diffusion Models) en modaliteiten (beelden, beweging).

Diversiteit vs. Getrouwheid: De methode verbetert de diversiteit (gemeten via de Vendi-score) consistent met minimale kosten voor de kwaliteit van de samples en de getrouwheid aan de conditie (gemeten via VQA-score of classifier-accuratesse).
Vergelijking:
- vs. CADS: De voorgestelde methode behoudt een betere prompt-getrouwheid, terwijl CADS vaak de alignment met de conditie verslechtert.
- vs. Feynman-Kac (FK): FK worstelt met hoge temperaturen ( $\gamma < 1$ ) in de experimenten van de auteurs, wat vaak onbruikbare samples oplevert, terwijl de voorgestelde methode stabiel blijft.
- vs. Directe Tempering/TSR: Zonder tijdverschuiving introduceren lage $\gamma$ -waarden overmatige ruis. De tijdverschuivings-correctie behoudt een hoge samplekwaliteit terwijl dezelfde diversiteitswinsten worden behaald.
Kwantitatieve Prestaties: Op DiT, SD1.5, SDXL en SD3.5 behaalde de methode de beste of op één na beste scores in zowel CMMD (perceptuele kwaliteit) als Vendi (diversiteit), terwijl de getrouwheid hoog bleef.

Betekenis en Claims

Het artikel claimt dat variantie-corrigerende tijdverschuiving een fundamentele beperking van het toepassen van temperatuur-sampling aan diffusiemodellen oplost. Door de variantie-inflatie die inherent is aan naïeve score-schaling te corrigeren, stelt de methode gebruikers in staat om de "long tail" van de datadistributie te verkennen—het genereren van zeldzame of diverse modi—zonder de kwaliteit of de conditie-adherentie op te offeren waarvoor diffusiemodellen bekend staan.

De auteurs positioneren dit als een belangrijke stap naar flexibele inferentie-tijd controle, waarbij een "knop" voor diversiteit wordt geboden die werkt over verschillende modelfamilies (inclusclusief flow-matching modellen) zonder de noodzaak voor hertraining of hulp-data. Ze erkennen dat de methode begrensd wordt door de capaciteit van het onderliggende model en dat de afweging tussen getrouwheid en diversiteit per model afgestemd moet worden, maar benadrukken dat de voorgestelde tijdverschuivings-mechanisme deze afweging beheersbaar en effectief maakt.