Technische Samenvatting: Spectrale Sturing voor Flexibele en Efficiënte Controle van Diffusiemodellen

Probleemstelling

Diffusiemodellen hebben hoge-fideliteit generatie bereikt over diverse modaliteiten, maar het controleren van deze modellen om aan specifieke gebruikersspecificaties te voldoen (bijvoorbeeld klasselabels, tekstprompts of ruimtelijke maskers) blijft uitdagend. Bestaande benaderingen staan voor een afweging tussen flexibiliteit en efficiëntie:

• Op training gebaseerde methoden (bijvoorbeeld Classifier Guidance, Classifier-Free Guidance) vereisen het opnieuw trainen van het model of het trainen van auxiliaire classifiers voor elke nieuwe voorwaarde, waardoor het model strak gekoppeld wordt aan een vaste set voorwaarden.
• Methoden zonder training (bijvoorbeeld Diffusion Posterior Sampling, Loss-Guided Diffusion) bieden flexibiliteit door door de gebruiker gedefinieerde doelen te optimaliseren tijdens het bemonsteren. Ze vereisen echter doorgaans differentiatie door het denoiser-netwerk bij elke stap, wat leidt tot hoge rekenkosten, onstabiele controle en de noodzaak om onberekenbare posterior-verdelingen te benaderen via punt-schattingen.

De kernuitdaging is het bereiken van stabiele, hoge-fideliteit controle over onvoorwaardelijke diffusiemodellen zonder opnieuw te trainen of dure backpropagatie door de denoiser tijdens het bemonsteren.

Methodologie: Spectrale Sturing

De auteurs stellen Spectrale Sturing voor, een raamwerk dat gebruikmaakt van de intrinsieke geometrie van het diffusieproces om flexibele controle mogelijk te maken. De methode is gebaseerd op de observatie dat naarmate data door ruis wordt aangetast, fijnmazige details verloren gaan terwijl grofmazige semantische kenmerken behouden blijven. Deze behouden kenmerken vormen een laag-dimensionaal coördinatenstelsel.

1. Theoretische Grondslag

De aanpak modelleert de conditionele verwachting van een sturingssignaal $h(x_0)$ gegeven een ruisvervuild signaal $x_t$ als de werking van een conditionele verwachtingsoperator $T_t$.

• Operatordefinitie: $T_t$ koppelt functies van de schone data-ruimte $H_0$ naar de ruisvervulde data-ruimte $H_t$.
• Spectrale Decompositie: De auteurs analyseren de singuliere waarde-decompositie (SVD) van $T_t$. Zij tonen aan dat de leidende singuliere functies $\{\phi_{t,k}\}$ van de covariantieoperator $T_t T_t^*$ overeenkomen met de richtingen in ruisvervulde data die de rondreis van corruptie en reconstructie overleven.
• Laag-rang Benadering: Bij hoge ruisniveaus concentreert het spectrum van $T_t$ zich op enkele leidende modi. Dit maakt het mogelijk om de conditionele verwachting van elk sturingssignaal te benaderen via een laag-rang expansie:
  $$E[h(X_0) | X_t = x_t] \approx \sum_{k=1}^K c_{t,k} \phi_{t,k}(x_t)$$
  waarbij $c_{t,k}$ sturingsafhankelijke coëfficiënten zijn en $\phi_{t,k}$ de geleerde spectrale basisfuncties.

2. Het Leren van de Spectrale Basis (Offline Fase)

In plaats van taakspecifieke classifiers te trainen, leren de auteurs de intrinsieke spectrale coördinaten van het diffusieproces met behulp van een zelftoezichtlerend (SSL) doelwit.

• Doelwit: De leidende linker singuliere functies van $T_t$ worden gekarakteriseerd als de functies die de correlatie maximaliseren tussen twee onafhankelijk ruisvervulde weergaven $(x_t, \tilde{x}_t)$ van dezelfde schone steekproef $x_0$, onderworpen aan een whitening-beperking om instorting te voorkomen.
• Implementatie: Een lichtgewicht neurale netwerk $f_\phi$ (een tijd-gemoduleerde ResNet) wordt getraind om deze singuliere functies te outputten. Het trainingsverlies is afgeleid van de Rayleigh-Ritz-karakterisering van de top-eigenruimte, waarbij een whitening-transformatie wordt toegepast op de batch-statistieken (gelijkaardig aan Barlow Twins of VICReg, maar met diffusieruis als augmentatie).
• Efficiëntie: Deze training wordt één keer offline uitgevoerd. De resulterende basis is taak-agnostisch.

3. Bemonsteren en Sturing (Online Fase)

Tijdens het bemonsteren projecteert de methode willekeurige sturingssignalen op de vooraf geleerde spectrale basis.

• Coëfficiëntschatting: Voor een specifieke taak (bijvoorbeeld klasselabel, CLIP-embedding of masker) worden de coëfficiënten $c_{t,k}$ offline geschat met behulp van een referentieset schone data.
• Sturingsvector: Bij elke tijdstap wordt de sturingsvector berekend als de gradiënt van een verliesfunctie toegepast op het geprojecteerde signaal: $g(x_t) = \nabla_{x_t} L(\hat{c}_t^\top f_\phi(x_t, t))$.
• Bemonsteringsupdate: De latent $x_t$ wordt bijgewerkt met de standaard DDIM-stap plus de sturingsterm, geschaald met een sterkteparameter $\kappa$. Cruciaal is dat dit alleen de gradiënt van het lichtgewicht spectrale netwerk $f_\phi$ vereist, waardoor backpropagatie door de hoofd-denoiser $\epsilon_\theta$ wordt vermeden.

Belangrijkste Bijdragen

1. Herformulering van Sturing: Het paper herformuleert diffusiesturing als een projectie op een coördinatenstelsel dat is uitgelijnd met de generatieve dynamica, waardoor flexibele controle mogelijk wordt zonder het diffusiemodel opnieuw te trainen.
2. SSL voor Spectrale Decompositie: Het introduceert een zelftoezichtlerend doelwit om de spectrale decompositie van de diffusieoperator te schatten, wat resulteert in een lichtgewicht sturalgoritme dat is ontkoppeld van de gradiënten van de denoiser.
3. Prestaties en Efficiëntie: Het raamwerk bereikt aanzienlijke verbeteringen in nauwkeurigheid en snelheid ten opzichte van baselines zonder training, terwijl het complexe controles (labels, tekst, maskers) ondersteunt met één set geleerde representaties.
4. Inzicht in Diffusiedynamica: De spectrale analyse onthult een "faseovergang" in het generatieve proces, waarbij het optimale tijdsvenster wordt geïdentificeerd waar sturing het meest effectief is (waar het spectrum overgaat van informatiebehoudend naar informatie-uitwiskend).

Experimentele Resultaten

De auteurs hebben Spectrale Sturing geëvalueerd op CIFAR-10, CelebA-HQ en ImageNet over drie modaliteiten: categorische labels, tekstprompts (CLIP) en ruimtelijke maskers.

• Nauwkeurigheid: Op CIFAR-10 behaalde Spectrale Sturing 89,4% nauwkeurigheid, wat de sterkste baseline zonder training (TFG) met 37 procentpunten overtrof. Op CelebA-HQ verbeterde het de nauwkeurigheid voor attributecombinaties (bijvoorbeeld Geslacht + Leeftijd) naar 91,5% ten opzichte van 75,2% voor TFG.
• Fideliteit: De methode behield een concurrerende of superieure fideliteit (FID/log KID) ten opzichte van baselines.
• Snelheid: Door backpropagatie door de denoiser te vermijden, biedt de methode 4× snellere bemonstering in vergelijking met methoden zonder training zoals TFG. De latent per stap is vergelijkbaar met onvoorwaardelijke bemonstering.
• Generalisatie: Dezelfde spectrale representaties die voor labels waren geleerd, werden succesvol hergebruikt voor CLIP- en maskergesturing zonder opnieuw te trainen of auxiliaire modellen.
• Faseovergang: Experimenten bevestigden dat sturing het meest effectief is tijdens de spectrale faseovergang (bijvoorbeeld $t \approx 400$ voor CIFAR-10), wat overeenkomt met de theoretische voorspelling dat dit het venster is waar het proces voldoende gestructureerd is om semantiek te behouden, maar flexibel genoeg om te worden gestuurd.

Betekenis en Beweringen

Het paper beweert dat Spectrale Sturing een flexibel en efficiënt mechanisme biedt voor het controleren van diffusiemodellen. Door de rekenlast te verschuiven naar een eenmalige offline trainingsfase en gebruik te maken van de intrinsieke spectrale structuur van het diffusieproces, elimineert het de noodzaak voor:

1. Taakspecifiek opnieuw trainen (in tegenstelling tot Classifier Guidance).
2. Duurzame backpropagatie per stap door de denoiser (in tegenstelling tot Training-Free Guidance).

De auteurs positioneren dit werk als een stap naar het begrijpen van de interne structuur van diffusiemodellen, waarbij ze expliciet de evolutie van informatie in de tijd zichtbaar en bruikbaar maken voor controle. Zij merken op dat hoewel de huidige experimenten zich richten op modellen in pixelruimte, het raamwerk theoretisch ook toepasbaar is op latente diffusiemodellen. De methode wordt gepresenteerd als complementair aan methoden gebaseerd op het posterior-middelpunt, met name uitstekend in semantische controletaken waarbij het aantal beperkingen laag is ten opzichte van de dimensionaliteit van de data.