Technische Samenvatting: Algemene en Efficiënte Sturing van Diffusiemodellen (NA-RFM)

Probleemstelling

Diffusiemodellen hebben zich gevestigd als de dominante methodologie voor hoogwaardige beeldsynthese. Hoewel ze effectief gestuurd kunnen worden wanneer condities (bijv. klassenlabels of tekstprompts) via Classifier-Free Guidance (CFG) in het trainingsproces zijn ingebouwd, vereisen veel toepassingen het sturen naar condities die niet gezien of niet beschikbaar waren tijdens de training. Voorbeelden hiervan zijn nieuwe objectklassen, fijnmazige soorten, of specifieke visuele eigenschappen die alleen via voorbeelden worden gedefieerd.

Bestaande benaderingen om onvoorziene (unseen) modellen te sturen naar dergelijke ongeziene condities, vertrouwen doorgaans op gradiëntgebaseerde sturing. Deze methoden trainen ofwel ruis-geconditioneerde classifiers, of maken gebruik van off-the-shelf classifiers om tijdens elke denoising-stap gradiënten te berekenen. Hoewel deze benaderingen effectief zijn, brengen ze aanzienlijke computationele overhead met zich mee door de per-stap gradiëntberekeningen en backpropagation door het diffusiemodel of hulp-classifiers tijdens de inferentie.

Methodologie: Noise-Aligned RFM Steering (NA-RFM)

De auteurs stellen Noise-Aligned RFM Steering (NA-RFM) voor, een post-hoc methode voor het sturen van getrainde onvoorziene (unconditional) diffusiemodellen zonder dat daarvoor gradiënten tijdens de inferentie nodig zijn. De methode werkt in twee afzonderlijke fasen: een offline voorbereidingsfase en een online gradiëntvrije samplingsfase.

1. Kernobservaties

Het ontwerp van NA-RFM is gebaseerd op twee empirische observaties met betrekking tot het gedrag van diffusiemodellen bij verschillende ruisniveaus:

• Observatie 1 (Hoge-ruis grove structuur): Bij hoge ruisniveaus bevatten de reverse-trajecten al grove informatie die voorspellend is voor de uiteindelijke gegenereerde klasse. Lineaire-Gaussische of PCA-benaderingen van het diffusiemodel in dit regime kunnen een hanteerbaar sturingssignaal bieden.
• Observatie 2 (Overdraagbare activatierichtingen): Bij matige en lage ruisniveaus leveren de activaties van het forward-proces sterke discriminerende signalen. Cruciaal is dat de richting die uit deze activaties wordt geleerd, consistent blijft over een venster van tussenliggende/late reverse-sampling tijdstappen, waardoor een enkele offline geleerde richting tijdens het samplen kan worden hergebruikt.

2. Offline Fase

Voor een doelconcept $c$ (bijv. een specifieke klasse of visuele eigenschap) berekent NA-RFM twee sturingssignalen met behulp van gelabelde voorbeelden:

• Noise Alignment (PCA Statistieken): De auteurs berekenen Principal Component Analysis (PCA) statistieken voor de doelklasse ($\mu_c, V_c$) en de volledige dataset ($\mu_{all}, V_{all}$). Deze statistieken definiëren een klasse-conditionele PCA-denoiser $D_c$ en een onvoorziene (unconditional) denoiser $D_{all}$. Het verschil tussen deze denoisers dient als een pixel-ruimte sturingssignaal voor hoge-ruis tijdstappen.
• RFM Richting-leren: Met behulp van forward-proces activaties van gelabelde afbeeldingen die corrupt zijn gemaakt tot een laag-ruis referentieniveau, trainen de auteurs een Recursive Feature Machine (RFM). De RFM leert een doel-tegen-achtergrond discriminerende richting ($v_c$) in de activatieruimte van een geselecteerde U-Net block. Deze richting wordt afgeleid van de Average Gradient Outer Product (AGOP) van de RFM-voorspeller, waarbij de nadruk ligt op kenmerken die het doel scheiden van de rest.

3. Online Sampling Fase

Tijdens de inferentie stuurt NA-RFM het generatieproces zonder backpropagation:

• Hoge-ruis Venster ($\sigma_t \ge \sigma_{end}$): De sampler past Noise Alignment toe. Het berekent het verschil tussen de klasse-conditionele en de onvoorziene PCA-denoisers en voegt deze correctie direct toe aan de geschatte schone afbeelding ($\hat{x}_0$).
• Tussenliggend/Laat Venster ($\sigma_t \in [\sigma_{lo}^R, \sigma_{hi}^R]$): De sampler past RFM Activation Steering toe. De geleerde richting $v_c$ wordt omgevormd naar de tensor-vorm van de doelblock en toegevoegd aan de activatie-tensor van de block. Deze bewerking wordt versterkt door de resulterende gedenoised schatting te extrapoleren naar de gestuurde schatting.
• Efficiëntie: Het online proces vereist alleen forward passes door het diffusiemodel en eenvoudige matrix-vector operaties. Er worden geen gradiënten berekend door het diffusiemodel of een classifier.

Belangrijkste Bijdragen

1. Gradiëntvrije Post-Hoc Sturing: NA-RFM maakt controleerbare generatie mogelijk voor ongeziene condities zonder het diffusiemodel opnieuw te trainen of gradiënten tijdens de inferentie te berekenen, wat de computationele knelpunten van bestaande gradiëntgebaseerde methoden aanpakt.
2. Hybride Sturingsmechanisme: Het artikel introduceert een nieuw combinatie van Noise Alignment (voor grove controle bij hoge ruis) en RFM Activation Steering (voor fijnmazige controle bij tussenliggende/lage ruis), waarbij gebruik wordt gemaakt van de onderscheidende eigenschappen van de diffusietraject bij verschillende stadia.
3. Theoretische en Empirische Validatie van Richtingsoverdracht: De auteurs leveren een theoretisch model (Proposition A.1) en empirisch bewijs (Figuur 3) dat aantoont dat discriminante activatierichtingen geleerd op lage ruisniveaus stabiel en overdraagbaar blijven over het tussenliggende/late sampling-venster.
4. Sample-Ruimte Berekening: Om om te gaan met hoogdimensionele activatieruimtes met beperkte samples, gebruikt de methode compacte sample-ruimte berekeningen voor zowel PCA als RFM-richtingextractie, waardoor de vorming van grote covariantie-matrices wordt vermeden.

Experimentele Resultaten

NA-RFM werd geëvalueerd op vier benchmarks: CIFAR-10, ImageNet (256×256), CelebA-HQ (multi-attribuut) en fijnmazige vogelsoorten (out-of-distribution).

• Nauwkeurigheid: NA-RFM presteert aanzienlijk beter dan state-of-the-art training-vrije gradiënt baselines (bijv. TFG). Op CIFAR-10 bereikt het een doel-nauwkeurigheid van 96,6% vergeleken met 77,1% voor TFG-4. Op ImageNet verbetert de nauwkeurigheid van 59,8% naar 75,8%. Voor fijnmazige vogelsoorten stijgt de nauwkeurigheid van 2,2% naar 14,1%.
• Beeldkwaliteit: De methode behoudt of verbetert de beeldkwaliteit (FID). Op CIFAR-10 bereikt NA-RFM een FID van 41,4, vergelijkbaar met classifier guidance (41,9) en aanzienlijk beter dan TFG-4 (73,9).
• Efficiëntie: NA-RFM biedt aanzienlijke versnellingen. Op CIFAR-10 is het 16× sneller dan TFG-4. Op ImageNet daalt de totale tijd voor 1024 afbeeldingen van 22,7 uur (TFG-4) naar 2,67 uur (NA-RFM), aangezien de offline voorbereiding wordt geamortiseerd over de gegenereerde samples.
• Generalisatie: De methode strekt zich uit naar transformer-gebaseerde latent diffusion modellen (SiT-XL/2) en conditionele modellen (Stable Diffusion 1.5) voor het controleren van visuele attributen zoals scherptediepte, die moeilijk enkel via tekstprompts te specificeren zijn.

Betekenis en Claims

Het artikel claimt dat NA-RFM een algemeen en efficiënt recept biedt voor het sturen van onvoorziene (unconditional) diffusiemodellen. Door de constructie van het sturingssignaal (offline) te ontkoppelen van het samplingsproces (online), bereikt het een hoge doel-nauwkeurigheid en beeldkwaliteit terwijl de computationele kosten van per-stap gradiëntberekeningen worden geëlimineerd.

De auteurs benadrukken dat hun methode geen noodzaak heeft voor het trainen van ruis-geconditioneerde classifiers of het vertrouwen op off-the-shelf classifiers die mogelijk zwakke of verkeerd uitgelijnde gradiënten leveren. In plaats daarvan construeert NA-RFM doel-specifieke sturingsrichtingen direct vanuit voorbeelddata, wat robuuste controle mogelijk maakt over een breed scala aan condities, inclusief zeldzame klassen en fijnmazige attributen. Het werk suggereert dat het combineren van grove hoge-ruis correcties met stabiele lage-ruis activatierichtingen een levensvatbare strategie is voor schaalbare, controleerbare generatieve modellering.