Self-Attention Decomposition For Training Free Diffusion Editing

Probleemstelling

Diffusiemodellen hebben zich bewezen als de state-of-the-art voor het genereren van hoogwaardige afbeeldingen. Een cruciale uitdaging blijft echter het nauwkeurig controleren van deze modellen voor gerichte bewerkingen (image editing). Het latente ruimte van diffusiemodellen is vaak ongestructureerd door het iteratieve, multi-stap proces, waardoor semantische attributen (zoals leeftijd, geslacht of uitdrukking) moeilijk te ontkoppelen zijn.

Bestaande methoden om interpreteerbare bewerkingsrichtingen te vinden, lijden onder twee belangrijke beperkingen:

1. Data-afhankelijkheid: Ze vereisen vaak het genereren van grote datasets om richtingen te leren, wat bias introduceert en generalisatie naar ongezette beelden beperkt.
2. Efficiëntie: Ze zijn rekenkundig duur, vereisen extra modeltraining of het trainen van auxiliaire netwerken, wat leidt tot hoge latentie (bewerkingstijd).

Methodologie

De auteurs stellen een trainingsvrije (training-free) analytische methode voor die semantische bewerkingsrichtingen direct afleidt uit de vooraf getrainde parameters van het diffusiemodel, zonder extra data of fine-tuning.

Kerninzicht:
De zelf-attentie (self-attention) lagen in diffusiemodellen coderen rijke structurele en semantische informatie over de datadistributie. De auteurs hypotheseren dat de eigenwaarden en eigenvectoren van de projectiematrices binnen deze lagen robuuste bewerkingsrichtingen vertegenwoordigen.

Technische Uitwerking:

1. Zelf-attentie Decompositie: In een U-Net-architectuur worden de input latent features ($Z$) gemapt naar queries ($Q$), keys ($K$) en values ($V$) via vooraf getrainde projectiematrices $W_Q, W_K, W_V$.
2. Stoornis-analyse: De auteurs analyseren het effect van een kleine stoornis ($\alpha n$) op de latent features op de output van de attentie-laag. Het doel is om de richting $n$ te vinden die de verandering in de attentie-uitoutput maximaliseert.
3. Latent Whitening: De methode maakt gebruik van de observatie dat latent features in de vroege fasen van het denoising-proces (tussen $0.5T$ en $0.8T$) ongeveer "ge whitened" zijn (hun covariantie is dicht bij de eenheidsmatrix). Dit stelt de auteurs in staat om de data-distributie te negeren en een gesloten vorm oplossing te vinden.
4. Eigen-decompositie: Onder deze aannames reduceert het maximaliseren van de impact op de attentie-uitoutput tot het vinden van de hoofdeigenvectoren van een gecombineerde matrix $C$:
   $$C = W_Q^T W_Q + W_K^T W_K + W_V^T W_V$$
   De hoofdeigenvectoren van deze matrix corresponderen met de belangrijkste semantische attributen (bijv. leeftijd, geslacht).

Bewerkingsproces:
Tijdens het generatieproces worden deze eigenvectoren toegepast op de latent features in het tijdsvenster $0.5T < t < 0.8T$ door de latent te verstoren met $z' = z + \alpha n^*$, waarbij $\alpha$ de sterkte van de bewerking bepaalt.

Belangrijkste Bijdragen

1. Eerste trainingsvrije afleiding: Voor zover bekend is dit de eerste methode die interpreteerbare bewerkingsrichtingen direct uit de gewichten van diffusiemodellen haalt via eigenanalyse, zonder extra training.
2. Theoretische onderbouwing: De paper biedt een theoretische afleiding gebaseerd op de gevoeligheid van de zelf-attentie-operatie, die aantoont dat de hoofdcomponenten van de Q-K-V gewichten semantisch betekenisvolle richtingen opleveren.
3. Empirische validatie: De methode is getest op diverse datasets (CelebA-HQ, LSUN Cats, Cars, Rooms) voor het bewerken van gezichtseigenschappen (geslacht, leeftijd, uitdrukking) en objecteigenschappen.

Resultaten

De experimenten tonen aan dat de methode superieur presteert in vergelijking met bestaande benchmarks zoals Asyrp, LocoEdit, Pullback en NoiseCLR.

• Efficiëntie: De bewerkingstijd is met 60% verminderd ten opzichte van de huidige benchmarks. De methode voltooit bewerkingen in ongeveer 3 seconden (tegenover 475s tot 1 dag voor andere methoden).
• Kwaliteit: De methode behaalt hogere scores op zowel beeldkwaliteit als semantische uitlijning:
  • SSIM: 0.92 (vs. 0.85-0.90 bij anderen).
  • PSNR: 28.5 dB (vs. 23.9-26.8 dB).
  • Identiteitbehoud (FaceNet): 0.82.
  • Semantische uitlijning (Dir-CLIP): 0.75.
• Disentanglement: De methode toont een lineair gedrag waarbij de sterkte van de bewerking ($\alpha$) direct de intensiteit van het attribuut regelt, en behoudt beter niet-betrokken gebieden van de afbeelding.
• Generalisatie: De methode werkt effectief op modellen die zijn getraind op verschillende datasets (gezichten, auto's, katten, kamers) zonder aanpassing.

Betekenis en Toekomstperspectief

Deze paper biedt een fundamentele doorbraak in de controleerbaarheid van diffusiemodellen. Door de noodzaak van extra data of training weg te nemen, maakt het semantische beeldbewerking sneller, schaalbaarder en toegankelijker. De methode benut de inherente structuur van het model op een manier die eerder onbenut bleef.

Toekomstig werk richt zich op het uitbreiden van deze gewichtsruimte-analyse naar multi-modale diffusiemodellen, met name het onderzoeken van cross-attention lagen voor gezamenlijke tekst- en visuele controle, en het testen van robuustheid in hoger dimensionale latente ruimtes (zoals bij DiT-architecturen).