Technische Samenvatting: SteeringDiffusion

Probleemstelling

Diffusiemodellen hebben zich gevestigd als het dominante paradigma voor hoogwaardige beeldsynthese. Het aanpassen van deze modellen aan nieuwe visuele stijlen of domeinen vormt echter aanzienlijke uitdagingen. Traditionele volledige fine-tuning is rekenkundig duur en vatbaar voor overfitting. Hoewel Parameter-Efficiënte Fine-Tuning (PEFT)-methodes zoals LoRA, DiffFit en orthogonale fine-tuning lichtere alternatieven bieden, slagen ze er niet in om een continue, doorloopbare besturingsoppervlakte tijdens de inferentie te bieden. Het veranderen van het werkingspunt in deze methodes vereist doorgaans hertraining of grove hyperparameter-tuning in plaats van bewegen langs een coherente besturingsas. Evenzo missen benaderingen zoals DreamBooth, Textual Inversion en ControlNet een expliciete interface die een continue doorloopbaarheid van afwegingen tussen inhoud en stijl toelaat zonder de onderliggende modelparameters te wijzigen.

De kernvraag die dit werk adresseert is: Kunnen diffusiemodellen worden gestuurd via modulatie op activatieniveau om een gladde, monotoon besturingsoppervlakte bloot te leggen?

Methodologie: Sturen via Gebottleneckte Expliciete Besturing (S-BEC)

De auteurs stellen SteeringDiffusion voor, een methode gebaseerd op het concept van Sturen via Gebottleneckte Expliciete Besturing (S-BEC). In tegenstelling tot aanpassingsmethodes in de gewichtsruimte, houdt SteeringDiffusion de U-Net-ruggengraat volledig bevroren en introduceert het een lichtgewicht besturingsinterface op activatieniveau.

Kernarchitectuur

1. Bevroren Ruggengraat: De voorgeïmplementeerde Stable Diffusion (SD 1.5 of SDXL) U-Net, VAE en CLIP-tekstencoder blijven onveranderd.
2. Prompt-geconditioneerde Latente Code: Een klein, leerbaar module ($g_\theta$) mapt een gepoolde tekstembedding (van de bevroren CLIP-encoder) naar een laagdimensionale stuurcode $v \in \mathbb{R}^k$. Empirische resultaten suggereren dat een kleine dimensie ($k \approx 8\text{--}16$) voldoende is.
3. Modulatie van Activaties: Deze latente code $v$ wordt geprojecteerd naar affiene parameters ($\gamma, \beta$) die intermediaire activaties moduleren via FiLM/AdaGN-achtige transformaties. De modificatie wordt toegepast op door Groepsnormalisatie genormaliseerde features in de middelste en up-sampling blokken van de U-Net.
   • De update-regel is: $\Delta_\ell(h_\ell, c, t) = s \cdot f(t) \cdot (\gamma_\ell(v) \odot \text{GN}(h_\ell) + \beta_\ell(v))$.
4. Zero-Initialisatie: Alle stuurprojecties worden met nul geïnitieerd. Dit garandeert dat bij een stuurschaal $s=0$ de output exact equivalent is aan het basisbevroren model, waardoor degradatie wordt voorkomen wanneer de besturing is uitgeschakeld.
5. Temporele Gating: Een tijdstap-bewuste gating-functie $f(t)$ (een verschoven-geschaalde sigmoid) onderdrukt modulatie tijdens vroege denoisestappen (waar de globale structuur wordt gevormd) en schakelt deze op tijdens latere stadia (waar textuur en stijl worden verfijnd). Dit voorkomt verstoring van de inhoud.

Inferentiebesturing

Tijdens de inferentie regelt een enkele scalair $s$ de sterkte van de sturing. Dit stelt gebruikers in staat om continu de afweging tussen inhoud en stijl te doorlopen zonder hertraining of het wijzigen van modelgewichten.

Belangrijkste Bijdragen

1. Sturingsframework op Activatieniveau: Het artikel introduceert S-BEC als een algemene abstractie voor het besturen van bevroren diffusie-ruggengraten via lichtgewicht modulatie van activaties in plaats van updates van gewichten.
2. Gladde Besturingsoppervlakte: De auteurs demonstreren dat deze benadering een gladde, monotoon en stijl-invariante besturingsoppervlakte blootlegt. Het variëren van de scalair $s$ resulteert in een voorspelbare afweging tussen behoud van inhoud en stijlintensiteit.
3. Inversie-Stabiliteitsdiagnose: Een nieuwe diagnostische maatstaf gebaseerd op DDIM-inversie wordt geïntroduceerd om trajectperturbatie te meten. Deze maatstaf onthult sterke correlaties met de omvang van interventies en vult standaard perceptuele maatstaven aan.
4. Paradigmaonderscheid: Het werk stelt vast dat bestaande methodes (LoRA, ControlNet, rank-1 adapters) geen vergelijkbare besturingsoppervlakte kunnen blootleggen, waardoor S-BEC wordt gepositioneerd als een distinct en superieur paradigma voor besturing tijdens runtime.

Experimentele Resultaten

Experimenten werden uitgevoerd op Stable Diffusion 1.5 en SDXL met behulp van de ArtBench-10 dataset (die stijlen zoals Art Nouveau, Impressionisme, Renaissance en Ukiyo-e beslaat).

• Monotonie: Over alle geteste stijlen en dimensies ($k$) heen resulteerde het verhogen van de stuurschaal $s$ in strikt monotoon toenemende stijverschuivingen en afnemend behoud van inhoud (CLIP-I), met nul waargenomen schendingen.
• Vergelijking met LoRA: Bij overeenkomende parameterbudgetten (Sturing: 0,88M parameters vs. LoRA: 0,80M parameters) bereikte SteeringDiffusion 33–80% hogere stijverschuiving bij vergelijkbare niveaus van inhoudsbehoud. Cruciaal vertoonde LoRA bij hoge vermenigvuldigers "stijlinstorting" (niet-monotoon gedrag en scherpe dalingen in inhoudsbehoud), terwijl SteeringDiffusion een gladde afweging behield.
• Vergelijking met ControlNet en Rank-1: ControlNet vereiste 720$\times$ meer parameters en veroorzaakte aanzienlijk meer verstoring van de inhoud. Rank-1 adapters bereikten slechts ~69% van de stijverschuiving bij overeenkomend inhoudsbehoud en veroorzaakten ernstige trajectverstoring.
• Generalisatie: De gladde besturingsoppervlakte generaliseerde effectief van SD 1.5 naar de grotere SDXL-ruggengraat zonder architecturale modificaties.
• Efficiëntie: De methode voegt verwaarloosbare inferentie-overhead toe (~3 ms) en traint ongeveer 2$\times$ sneller dan LoRA-baselines.

Betekenis en Claims

Het artikel positioneert SteeringDiffusion als een praktische, veelzijdige besturingsinterface voor bevroren diffusiemodellen. De primaire betekenis ligt in het herformuleren van bestuurbbaarheid als een interfaceontwerpprobleem in plaats van een probleem van het aantal parameters.

De auteurs betogen dat:

1. Laagdimensionale Geometrie: Door alle stuurbeslissingen te bemiddelen via een enkele, laagdimensionale latente code die wordt gedeeld over blokken, creëert S-BEC een expliciete besturingsinterface die onafhankelijk is van de netwerkdiepte. Dit staat in contrast met methodes in de gewichtsruimte (zoals LoRA) waarbij besturing is verdeeld over duizenden onafhankelijke parameters, wat leidt tot incoherent, niet-monotoon gedrag bij hoge intensiteiten.
2. Trajectcoherentie: Modulatie op activatieniveau verstoort de huidige toestand zonder het onderliggende vectorveld van de diffusiedynamiek te wijzigen. Dit behoudt de coherentie van het denoising-traject, in tegenstelling tot gewichtsupdates of externe takken (ControlNet) die instabiele gebieden of attractoren kunnen introduceren.
3. Temporele Uitlijning: De tijdstap-bewuste gating aligneert besturing met het semantische ontstaan van stijl (late stadia), waardoor de verstrengeling van inhoud en stijl wordt voorkomen die optreedt bij uniforme perturbaties.

Het artikel concludeert dat een kleine, expliciete, gebottleneckte en temporeel uitgelijnde besturingsinterface een goed functionerende besturingsoppervlakte kan blootleggen op grote bevroren ruggengraten, en biedt een stabiel alternatief voor huidige PEFT- en bewerkingsmethodes. De auteurs merken expliciet op dat hun claims zijn gevalideerd voor stijltransfer en dat uitbreidingen naar andere attributen (objectidentiteit, ruimtelijke lay-out) of veiligheidsbeperkingen verdere empirische validatie vereisen.