Training-Free Debiasing of Diffusion Models via CLIP-Guided Denoising Optimization

Technische Samenvatting: Training-vrije Debiasing van Diffusiemodellen via CLIP-gestuurde Denoising-optimalisatie

Probleemstelling
Tekst-naar-afbeelding (T2I) diffusiemodellen, zoals Stable Diffusion, genereren hoogwaardige afbeeldingen maar vertonen vaak aanzienlijke demografische bias. Ondanks het ontvangen van neutrale prompts (bijv. "a photo of a CEO"), produceren deze modellen consequent stereotiepe representaties met betrekking tot gender en ras, wat bestaande sociale vooroordelen versterkt en leidt tot de systematische ondervertegenwoordiging van bepaalde groepen. Bestaande oplossingen kampen met kritieke beperkingen: op training gebaseerde benaderingen (hertraining of fine-tuning) zijn computationeel duur en moeilijk toe te passen op uitgerolde of closed-source modellen, terwijl methoden tijdens de inferentie vaak vertrouwen op heuristische prompt engineering of statische manipulaties in de latente ruimte, wat de beeldkwaliteit, de semantische alignment of de dynamische adaptiviteit verslechtert.

Methodologie: Text Embedding Steering (TES)
De auteurs stellen Text Embedding Steering (TES) voor, een training-vrij framework dat demografische bias mitigeert door direct de conditionele tekst-embeddings tijdens het diffusieproces te optimaliseren zonder de modelparameters aan te passen. De kernobservatie die TES drijft, is dat demografische attributen grotendeels worden bepaald in de vroege stadia van de denoising, wanneer de globale beeldstructuur vorm krijgt.

De methode werkt via een twee-fasen optimalisatiestrategie die is geïntegreerd in de standaard classifier-free guidance (CFG) pipeline met behulp van DDIM-sampling:

1. Early-Stage Global Alignment: Voordat fijnmazige visuele details verschijnen, voert TES een initiële gradiënt-update uit op de tekst-embedding om de globale generatie-trajectorie te sturen naar een vooraf gedefinieerde doel-demografische distributie.
2. Iterative Denoising-Time Refinement: Na de initiële alignment verfijnt TES de embedding continu gedurende de daaropvolgende denoising-stappen. Deze verfijning maakt gebruik van CLIP-gebaseerde feedback afgeleid van tussenliggende "clean-image" schattingen ($\hat{x}_0$) die bij elke tijdstap worden gereconstrueerd.

Optimalisatie-objectief
TES optimaliseert een additieve perturbatie ($\Delta e$) van de originele tekst-embedding ($e_0$), zodanig dat $e_t = e_0 + \Delta e$. De optimalisatie minimaliseert een samengestelde verliesfunctie ($L_{total}$) berekend over een specifbool venster van tijdstappen waar de gereconstrueerde afbeelding semantisch betekenisvol is maar de trajectorie nog flexibel is:

• Attribute Loss ($L_{attr}$): Moedigt de gegenereerde afbeelding aan om overeen te komen met een doel-attribuut beschrijving (bijv. "a female person") terwijl het een contrasterend attribuut (bijv. "a male person") tegenwerkt, gebruikmakend van CLIP cosine similarity.
• Profession Loss ($L_{prof}$): Behoudt de semantische inhoud van de oorspronkelijke prompt (bijv. "CEO") om te voorkomen dat het model afdwaalt van het beoogde onderwerp.
• Regularization ($L_{reg}$): Een $L_2$-straf op de embedding-perturbatie om excessieve afwijking van de originele embedding te voorkomen.

Het framework past de leersnelheid dynamisch aan op basis van het tijdstip, waarbij kleinere updates worden toegepast tijdens fasen met hoge ruis en de kracht wordt verhoogd naarmate betrouwbaardere semantische informatie beschikbaar komt.

Belangrijkste Bijdragen

1. Training-vrij Framework: TES mitigeert demografische bias door tijdens de inferentie continu tekst-embeddings te optimaliseren, zonder dat hiervoor hertraining, fine-tuning of hulpmodules nodig zijn.
2. Twee-fasen Strategie: De auteurs identificeren het cruciale belang van interventie in de vroege fase voor globale trajectoriecontrole, gecombineerd met iteratieve verfijning om stabiliteit te behouden en terugval naar bevooroordeelde uitkomsten te voorkomen.
3. Dynamische Context-bewuste Controle: In tegenstelling tot methoden die vertrouwen op vaste richtingen of statische mapping, past TES de embedding aan op basis van tussenliggende "clean-image" schattingen, wat context-bewuste demografische sturing mogelijk maakt.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op Stable Diffusion v2.1 (en v1.5 voor generalisatie) over zes beroepscategorieën (bijv. CEO, verpleegkundige, taxichauffeur) en twee demografische attributen (gender en ras).

• Fairness: TES presteert significant beter dan bestaande training-vrije baselines (zoals LightFair, EntiGen) en de originele Stable Diffusion. Voor gender debiasing verminderde het de Bias-O metriek van 0.85 (baseline) naar 0.26 en de Fairness Discrepancy (FD) van 0.54 naar 0.13. Voor race debiasing daalde Bias-O van 0.63 naar 0.15.
• Kwaliteit en Semantiek: Ondanks agressieve debiasing behoudt TES een concurrerende beeldkwaliteit. Het behaalde de beste FID-scores (226.13 voor gender, 228.52 voor race) en hoge CLIP-T scores, wat duidt op een sterke tekst-beeld semantische alignment. De methode slaagt erin de beroepssemantiek en visuele coherentie te behouden terwijl de demografische attributen worden gewijzigd.
• Ablatie-studies: De resultaten bevestigen dat zowel de vroege-fase alignment als de iteratieve verfijning noodzakelijk zijn; het gebruik van slechts één fase leidt tot ofwel slechte fairness-controle of instabiele semantische alignment. Bovendien is de inclusie van de beroeps-behoudende loss essentieel voor het behoud van het beoogde onderwerp.

Betekenis en Claims
Het artikel claimt dat TES aantoont dat inference-time text embedding optimalisatie een praktische en schaalbare oplossing is voor eerlijkheidsbewuste generatie. Door de mitigatie van bias te ontkoppelen van modelhertraining, biedt de benadering een plug-and-play mechanisme dat kan worden toegepast op bestaande, uitgerolde diffusiemodellen. De auteurs stellen dat hun methode een superieur evenwicht bereikt tussen fairness en beeldkwaliteit vergeleken met de huidige stand van de techniek, waarbij meer gebalanceerde en realistische representaties van sociale rollen worden geproduceerd zonder de betrouwbaarheid of visuele getrouwheid van de gegenereerde inhoud op te offeren. Het werk benadrukt dat dynamische, context-bewuste sturing van embeddings een levensvatbaar pad is naar het verminderen van systematische demografische biases in generatieve AI.