📊 statistics

Improved denoising diffusion probabilistic models with efficient non-diagonal covariance modeling

Dit artikel introduceert het Kronecker-DCT (K-DCT) model, een nieuwe niet-diagonale covariantiebenadering die Kronecker-factorisatie en de Discrete Cosinus Transformatie benut om efficiënt correlaties in natuurlijke afbeeldingen vast te leggen, waardoor de kwaliteit en waarschijnlijkheid van Denoising Diffusion Probabilistic Models (DDPM's) aanzienlijk worden verbeterd met minder stappen tijdens het samplen, terwijl de computationele overhead verwaarloosbaar blijft.

Oorspronkelijke auteurs: Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

Gepubliceerd 2026-08-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een machine voor die leert kunst te maken, niet door vanaf nul te schilderen, maar door te beginnen met een canvas bedekt met statische ruis en de ruis langzaam en zorgvuldig te verwijderen totdat een helder beeld tevoorschijn komt. Dit is de kern van een familie van kunstmatige intelligentiemodellen die bekend staan als denoising diffusion models. Ze zijn een standaardinstrument geworden voor het genereren van hoogwaardige afbeeldingen, van realistische gezichten tot landschappen, omdat ze resultaten produceren die zowel scherp als divers zijn. Er is echter een addertje onder het gras: het proces van het verwijderen van de ruis is inherent traag. Om een goede afbeelding te krijgen, moet de computer duizenden kleine, voorzichtige stappen nemen, waarbij telkens een klein beetje statische ruis wordt weggepeld. Als de machine grotere stappen probeert te zetten om het proces te versnellen, wordt de afbeelding vaak wazig of vervormd omdat de machine het contact verliest met hoe de verschillende onderdelen van het beeld met elkaar samenhangen.

Lange tijd hebben onderzoekers geprobeerd dit snelheidsprobleem op te lossen door een vereenvoudigende aanname te doen: ze gingen ervan uit dat de onzekerheid in de afbeelding op elk gegeven moment beschreven kon worden door naar elke pixel onafhankelijk te kijken. Het is een beetje alsof je het weer probeert te beschrijven door alleen naar de temperatuur op één specifieke plek te kijken, zonder te negeren hoe de wind op die plek de regen op de volgende plek beïnvloedt. Hoewel deze aanpak goed genoeg werkt wanneer er kleine stappen worden genomen, stort het in wanneer onderzoekers proberen de grotere, snellere stappen te nemen die nodig zijn voor praktisch gebruik. De realiteit van natuurlijke afbeeldingen is veel complexer; de kleur van één pixel is diep verbonden met zijn buren, en de rode, groene en blauwe kanalen van een afbeelding beïnvloeden elkaar op ingewikkelde wijze. Een nieuwe studie, gepubliceerd in de Transactions on Machine Learning Research, suggereert dat door deze complexe verbindingen te erkennen, we deze beeldgeneratoren aanzienlijk sneller kunnen maken zonder de kwaliteit op te offeren.

De onderzoekers, een team van instellingen waaronder de Universiteit van Cambridge en King's College London, zetten zich het doel om een betere kaart van deze verbindingen te bouwen. Ze richtten zich op de "posterior covariantie", een technische term die in essentie beschrijft hoe de onzekerheid van een deel van de afbeelding afhankelijk is van de onzekerheid van een ander deel. In de oude, eenvoudigere modellen werd deze kaart getekend als een raster waarbij alleen de diagonale lijnen ertoe deden, wat impliceerde dat de toekomst van een pixel onafhankelijk was van zijn buren. Het nieuwe team betoogde dat dit een drastische oversimplificatie was die de ware structuur van natuurlijke afbeeldingen negeerde, die sterke, niet-diagonale correlaties vertonen tussen pixels en kleurkanalen. Ze merkten ook op dat deze afbeeldingen een specifiek frequentiepatroon hebben, waarbij details op een voorspelbare manier vervagen, vergelijkbaar met hoe een muzikale akkoord een specifieke structuur van noten heeft.

Om deze complexiteit te vangen zonder de computer te vertragen, ontwikkelde het team een nieuw wiskundig model dat ze K-DCT noemen. De naam komt voort uit twee belangrijke ideeën die ze gecombineerd hebben. Ten eerste erkenden ze dat de relatie tussen kleuren (zoals rood, groen en blauw) en de relatie tussen ruimtelijke locaties (links, rechts, boven, onder) min of meer los van elkaar staan. Dit stelde hen in staat om het enorme, complexe probleem op te splitsen in twee kleinere, beheersbare stukken. Ten tweede realiseerden ze zich dat de ruimtelijke relaties in een afbeelding het best begrepen kunnen worden, niet door direct naar de pixels te kijken, maar door de afbeelding te zien als een verzameling golven, met behulp van een techniek genaamd de Discrete Cosine Transform. Dit is een methode die een afbeelding afbreekt in haar fundamentele frequenties, vergelijkbaar met hoe een prisma wit licht breekt in een regenboog van kleuren. Door in dit frequentiedomein te werken, konden de onderzoekers het complexe web van verbindingen tussen pixels beschrijven met een zeer compacte set getallen.

Het resultaat is een model dat zowel zeer expressief als ongelooflijk efficiënt is. Terwijl een volledige beschrijving van de verbindingen in een hoogwaardige afbeelding een enorme hoeveelheid geheugen en rekenkracht zou vereisen, slaagt het K-DCT-model erin hetzelfde werk te doen met een voetafdruk die nauwelijks groter is dan de afbeelding zelf. De onderzoekers testten deze aanpak op verschillende bekende beelddatasets, waaronder CIFAR-10, dat kleine afbeeldingen van alledaagse objecten bevat, en CelebA, dat portretten van beroemdheden bevat. Ze testten het ook op grotere, complexere datasets zoals ImageNet en LSUN. In elk geval vergeleken ze hun nieuwe methode met de beste bestaande technieken, die vertrouwden op de eenvoudigere, diagonale aannames.

De bevindingen waren duidelijk en consistent. Wanneer de onderzoekers de modellen dwongen om afbeeldingen in minder stappen te genereren — een scenario dat de snelheid simuleert waarbij snelheid cruciaal is — produceerde het nieuwe K-DCT-model aanzienlijk betere resultaten. De afbeeldingen waren scherper, gedetailleerder en statistisch dichter bij de echte data waarop ze getraind waren. In technische termen behaalden de modellen lagere foutmarges en betere likelihood-scores, wat betekende dat de computer zelfverzekerder was in haar creaties. Misschien wel het belangrijkste: het snelheidsproces van de generatie leed er niet onder. De extra berekeningen die nodig waren door het nieuwe model waren zo efficiënt dat ze bijna geen tijd toevoegden aan het proces, zelfs niet bij hoogwaardige afbeeldingen. Dit suggereert dat de flessenhals bij het snel genereren van afbeeldingen niet de brute rekenkracht van de computer was, maar de manier waarop de onzekerheid werd gemodelleerd.

Het team onderzocht ook waarom deze aanpak zo goed werkt. Ze ontdekten dat de verbindingen tussen pixels in een denoising-afbeelding niet snel wegsterven; in plaats daarvan volgen ze een langzame, voorspelbare afname die zich over vele grootteordes uitstrekt. Eenvoudige modellen die proberen deze langetermijnverbindingen te negeren of ze te benaderen met een paar basispatronen, slagen er niet in deze nuance te vangen. Het K-DCT-model daarentegen sluit hier van nature bij aan. Interessant genoeg presteerde het model uitzonderlijk goed, zelfs op datasets zoals CelebA, waar de afbeeldingen menselijke gezichten zijn en niet de perfecte symmetrie of translatie-invariantie bezitten die de wiskundige theorie veronderstelt. Dit suggereert dat het model robuust genoeg is om de imperfecties van de echte wereld aan te kunnen, waarbij het de essentiële "volledige" structuur van de data vastlegt, zelfs wanneer de onderliggende patronen niet perfect regelmatig zijn.

Hoewel de studie niet beweert elk probleem in kunstmatige intelligentie te hebben opgelost, biedt het een overtuigende oplossing voor een specifieke en hardnekkige hindernis: de afruil tussen snelheid en kwaliteit in beeldgeneratie. Door af te stappen van de aanname dat pixels alleen opereren en de realiteit te omarmen dat ze diep met elkaar verbonden zijn, hebben de onderzoekers aangetoond dat we het creatieve proces van deze machines kunnen versnellen. Het werk impliceert dat de toekomst van efficiënte beeldgeneratie niet ligt in het bouwen van grotere computers, maar in het bouwen van slimmere modellen die de ware, complexe aard begrijpen van de afbeeldingen die ze proberen te creëren. Het K-DCT-model dient als een bewijs dat een nauwkeuriger begrip van de statistische structuur kan leiden tot tastbare verbeteringen in prestaties, waardoor hoogwaardige beeldgeneratie sneller en toegankelijker wordt zonder dat daar een sprong in hardwarecapaciteiten voor nodig is.

Technische Samenvatting: Verbeterde Denoising Diffusion Probabilistic Models met Efficiënte Modellering van Niet-Diagonale Covariantie

Probleemstelling

Denoising Diffusion Probabilistic Models (DDPM's) bereiken state-of-the-art prestaties in beeldgeneratie, maar lijden aan trage bemonsteringssnelheden vanwege hun inherent sequentiële aard. Hoewel het bemonsteringsproces versneld kan worden door minder, grotere stappen te nemen (skip-step sampling), verslechtert deze aanpak de kwaliteit van de monsters als de denoisings-posterior covariantie niet nauwkeurig wordt gemodelleerd.

Eerdere pogingen om bemonstering te versnellen door gebruik te maken van tweede-orde informatie, vertrouwden op drastische vereenvoudigingen, zoals de aanname dat de posterior covariantie diagonaal of laag-rangig is. De auteurs stellen dat deze aannames onvoldoende zijn omdat natuurlijke afbeeldingen sterke niet-diagonale correlaties vertonen tussen pixels en kleurkanalen, evenals een traag vervallend power-law frequentiespectrum. Bijgevolg falen diagonale benaderingen om de complexe statistische structuur van de denoisings-posterior te vatten, met name wanneer het aantal bemonsteringsstappen klein is. Bovendien is het modelleren van de volledige covariantie-matrix computationeel onhaalbaar ( $O(D^2)$ complexiteit voor $D$ pixels), wat een afruil creëert tussen nauwkeurigheid en hanteerbaarheid, vergelijkbaar met die in tweede-orde neurale netwerkoptimalisatie.

Methodologie

Het artikel stelt een nieuw covariantiemodel voor genaamd Kronecker-DCT (K-DCT), dat de specifieke statistische eigenschappen van natuurlijke afbeeldingen vastlegt terwijl de computationele efficiëntie behouden blijft.

1. Het K-DCT Covariantiemodel

Het voorgestelde model, $E_\phi(x_t, t)$ , benadert de denoisings-posterior covariantie (of de covariantie van de ruisvoorspellingsfout) met behulp van een gestructureerde decompositie:
$E_\phi(x_t, t) = \text{diag}(\varepsilon_\phi) + C_\phi C_\phi^\top \otimes (F^\top \otimes F^\top) \text{diag}(\lambda_\phi) (F \otimes F)$

Het model bestaat uit drie kerncomponenten:

Diagonale Baseline: Een term $\text{diag}(\varepsilon_\phi)$ die eventuele diagonale bijdragen absorbeert, waardoor het model ten minste even expressief is als eerdere diagonale modellen.
Inter-kanaal Correlatie: Gevangen door de term $C_\phi C_\phi^\top \in \mathbb{R}^{3\times3}$ , die de volledige correlatie tussen RGB-kleurkanalen modelleert.
Inter-pixel (Ruimtelijke) Correlatie: Gemodelleerd met behulp van een Kronecker-product van de kanaalcorrelatie en een ruimtelijke component. De ruimtelijke component wordt in het frequentiedomein gediagonaliseerd met behulp van de Discrete Cosine Transform (DCT) matrix $F$ $F$ .
- De auteurs rechtvaardigen het gebruik van DCT boven de Discrete Fourier Transform (DFT) door op te merken dat natuurlijke afbeeldingen een Toeplitz + Hankel covariantiestructuur hebben (vanwege randvoorwaarden) in plaats van de circulerende structuur die door DFT wordt verondersteld. De DCT-basis diagonaliseert deze structuur op natuurlijke wijze.
- De eigenwaarden $\lambda_\phi$ zijn geleerde parameters in het frequentiedomein.

2. Computationele Efficiëntie

De K-DCT-structuur maakt efficiënte training en bemonstering mogelijk zonder de volledige $3D \times 3D$ covariantie-matrix expliciet te construeren:

Complexiteit: De computationele complexiteit wordt verminderd van $O(D^2)$ naar $O(D \log d)$ (waarbij $d$ de beelddimensie is), waardoor de overhead verwaarloosbaar is vergeleken met de forward pass van het score-netwerk.
Training: De auteurs passen twee bestaande doelstellingen aan voor het leren van covariantieparameters:
- Optimal Covariance Matching (OCM): Gebaseerd op de Jacobiaan van de scorefunctie (Tweedie's 2e-orde formule).
- Noise Prediction Residual (NPR): Gebaseerd op een Minimum Mean Squared Error (MMSE) formulering.
- Beide doelstellingen worden uitgebreid om niet-diagonale modellen te behanden met behulp van stochastische trace-schatters en efficiënte matrix-vector producten afgeleid van de Kronecker-DCT-structuur.
Bemonstering: Bemonstering vindt plaats door twee onafhankelijke Gaussische monsters toe te voegen: één uit de diagonale term en één uit de Kronecker-DCT-term. De laatste wordt efficiënt bemonsterd met behulp van de DCT-basis en geleerde eigenwaarden.

3. Trainingsstrategie

Het K-DCT-model wordt getraind als een "amortisatie" bovenop getrainde eerste-orde score-netwerken (UNets). De architectuur deelt parameters met het getrainde model, met aanvullende kleine neurale netwerkhuiden ( $NN_2$ ) die gewijd zijn aan het voorspellen van de covariantiecomponenten ( $\varepsilon_\phi, C_\phi, \lambda_\phi$ ). Deze aanpak vereist het trainen van slechts een klein deel van de totale parameters.

Belangrijkste Bijdragen

Nieuwe Covariantie Parameterisatie: Introductie van het K-DCT-model, dat Kronecker-gefactoreerde inter-kanaal correlaties combineert met DCT-gebaseerde ruimtelijke correlaties. Dit vangt het traag vervallende power-law spectrum en de niet-diagonale structuur van natuurlijke afbeeldingen nauwkeuriger dan diagonale of laag-rang benaderingen.
Efficiënte Implementatie: Demonstratie dat het K-DCT-model getraind en bemonsterd kan worden met $O(D \log d)$ complexiteit, waardoor de geheugen- en rekenbottlenecks van volledige covariantie-inschatting worden vermeden.
Empirische Validatie: Systematische evaluatie over meerdere datasets (CIFAR-10, CelebA, ImageNet, LSUN) waarbij K-DCT de huidige state-of-the-art (SOTA) samplers consequent verslaat, met name in het regime van weinig bemonsteringsstappen.

Resultaten

De auteurs evalueerden hun methode tegen heuristische, diagonale en laag-rang covariantiemodellen met behulp van twee primaire metrieken: Fréchet Inception Distance (FID) voor de kwaliteit van de monsters en Negative Log-Likelihood (NLL) voor de statistische fit.

Prestaties: Het K-DCT-model behaalde consistent een lagere FID en een lagere NLL vergeleken met diagonale en laag-rang baselines over alle datasets en trainingsdoelstellingen (OCM en NPR).
Regime met weinig stappen: De verbeteringen waren het meest significant wanneer het aantal bemonsteringsstappen ( $K$ ) klein was (bijv. 10–25 stappen). In deze regimes falen diagonale benaderingen om de noodzakelijke posterior structuur te vatten, terwijl K-DCT een hoge getrouwheid behoudt.
Afruil: De methode bereikt een superieure afruil tussen FID en NLL vergeleken met bestaande methoden. Hoewel gedestilleerde one-step modellen snellere generatie kunnen bieden, missen zij een tractabele likelihood-inschatting, een belangrijk voordeel dat door de K-DCT-aanpak behouden blijft.
Overhead: Experimenten bevestigden dat de K-DCT-parameterisatie een verwaarloosbare wall-clock tijd overhead introduceert vergeleken met diagonale modellen, zelfs op datasets met hoge resolutie zoals LSUN Bedroom (256x256).

Betekenis en Claims

Het artikel claimt dat het modelleren van de niet-diagonale structuur van denoising posteriors cruciaal is voor het versnellen van diffusie-bemonstering zonder kwaliteitsverlies. De betekenis van het werk ligt in:

Het overbruggen van de kloof: Het overbrugt de kloof tussen de theoretische behoefte aan nauwkeurige tweede-orde informatie en de praktische beperkingen van geheugen en berekening.
Statistische Structuur: Het benadrukt dat natuurlijke afbeeldingen specifieke statistische eigenschappen bezitten (scheidbare spatio-chromatische correlaties en power-law spectra) die efficiënt geëxploiteerd kunnen worden via de K-DCT-structuur.
Beperkingen en Toekomstig Werk: De auteurs merken bescheiden op dat hoewel K-DCT de prestaties verbetert, het nog steeds niet de FID van gedestilleerde one-step modellen evenaart. Ze suggereren dat dit kan komen doordat skip-step posteriors ver verwijderd zijn van Gaussisch, wat impliceert dat zelfs een perfect covariantiemodel de bemonsteringsfout niet volledig kan corrigeren als de Gaussische aanname zelf wordt geschonden. Ze speculeren ook dat hoewel de methode voor afbeeldingen is ontworpen, deze ook kan worden toegepast op andere domeinen met benaderende translatie-invariantie, zoals audio en spraak, waarbij ze wijzen op voorlopige proof-of-concept resultaten op spraakdata.