Training-Free Debiasing of Diffusion Models via CLIP-Guided Denoising Optimization

Résumé Technique : Débiaisage sans entraînement des modèles de diffusion via l'optimisation du débruitage guidée par CLIP

Énoncé du problème
Les modèles de diffusion texte-image (T2I), tels que Stable Diffusion, génèrent des images de haute qualité mais présentent souvent un biais démographique significatif. Malgré la réception de prompts neutres (par exemple, « une photo d'un PDG »), ces modèles produisent systématiquement des représentations stéréotypées concernant le genre et la race, renforçant les biais sociaux existants et menant à une sous-représentation systématique de certains groupes. Les solutions existantes font face à des limitations critiques : les approches basées sur l'entraînement (réentraînement ou fine-tuning) sont coûteuses en calcul et difficiles à appliquer aux modèles déployés ou à code source fermé, tandis que les méthodes au moment de l'inférence reposent souvent sur une ingénierie de prompt heuristique ou des manipulations statiques de l'espace latent qui dégradent la qualité de l'image, l'alignement sémantique ou manquent d'adaptabilité dynamique.

Méthodologie : Pilotage de l'embedding de texte (Text Embedding Steering - TES)
Les auteurs proposent le Text Embedding Steering (TES), un cadre de travail sans entraînement qui atténue le biais démographique en optimisant directement les embeddings de texte conditionnels pendant le processus de diffusion, sans modifier les paramètres du modèle. L'observation centrale qui motive le TES est que les attributs démographiques sont largement déterminés lors des premières étapes du débruitage, lorsque la structure globale de l'image se forme.

La méthode opère via une stratégie d'optimisation en deux étapes intégrée au pipeline standard de guidage par classificateur sans texte (Classifier-Free Guidance - CFG) en utilisant l'échantillonnage DDIM :

1. Alignement global au stade précoce : Avant que les détails visuels fins n'émergent, le TES effectue une mise à jour de gradient initiale sur l'embedding de texte pour orienter la trajectoire de génération globale vers une distribution démographique cible prédéfinie.
2. Raffinement itératif lors du débruitage : Suite à l'alignement initial, le TES raffine continuellement l'embedding tout au long des étapes de débruitage ultérieures. Ce raffinement utilise un feedback basé sur CLIP dérivé des estimations intermédiaires d'« image propre » ($\hat{x}_0$) reconstruites à chaque étape temporelle.

Objectif d'optimisation
Le TES optimise une perturbation additive ($\Delta e$) de l'embedding de texte original ($e_0$), de telle sorte que $e_t = e_0 + \Delta e$. L'optimisation minimise une fonction de perte composite ($L_{total}$) calculée sur une fenêtre de temps spécifique où l'image reconstruite est sémantiquement significative mais où la trajectoire reste flexible :

• Perte d'attribut ($L_{attr}$) : Encourage l'image générée à s'aligner avec une description d'attribut cible (par exemple, « une personne de sexe féminin ») tout en s'opposant à un attribut contrastant (par exemple, « une personne de sexe masculin »), en utilisant la similitude cosinus de CLIP.
• Perte de profession ($L_{prof}$) : Préserve le contenu sémantique du prompt original (par exemple, « PDG ») pour éviter que le modèle ne s'éloigne du sujet prévu.
• Régularisation ($L_{reg}$) : Une pénalité $L_2$ sur la perturbation de l'embedding pour empêcher un écart excessif par rapport à l'embedding original.

Le cadre ajuste dynamiquement le taux d'apprentissage en fonction de l'étape temporelle, appliquant des mises à jour plus faibles durant les phases de bruit élevé et augmentant la force à mesure que des informations sémantiques fiables deviennent disponibles.

Contributions clés

1. Cadre sans entraînement : Le TES atténue le biais démographique en optimisant continuellement les embeddings de texte pendant l'inférence, ne nécessant aucun réentraînement du modèle, ni fine-tuning, ni modules auxiliaires.
2. Stratégie en deux étapes : Les auteurs identifient l'importance critique de l'intervention précoce pour le contrôle de la trajectoire globale, combinée au raffinement itératif pour maintenir la stabilité et prévenir le retour vers des résultats biaisés.
3. Contrôle dynamique sensible au contexte : Contrairement aux méthodes reposant sur des directions fixes ou des mappages statiques, le TES adapte l'embedding en fonction des estimations intermédiaires de l'image propre, permettant un pilotage démographique sensible au contexte.

Résultats expérimentaux
Des expériences approfondies ont été menées sur Stable Diffusion v2.1 (et v1.5 pour la généralisation) sur six catégories de professions (ex: PDG, infirmière, chauffeur de taxi) et deux attributs démographiques (genre et race).

• Équité : Le TES surpasse significativement les autres bases de comparaison sans entraînement (ex: LightFair, EntiGen) et le Stable Diffusion original. Pour le débaisage de genre, il a réduit la métrique Bias-O de 0,85 (base) à 0,26 et la disparité d'équité (FD) de 0,54 à 0,13. Pour le débaisage de race, le Bias-O est passé de 0,63 à 0,15.
• Qualité et Sémantique : Malgré un débaisage agressif, le TES maintient une qualité d'image compétitive. Il a obtenu les meilleurs scores FID (226,13 pour le genre, 228,52 pour la race) et des scores CLIP-T élevés, indiquant un fort alignement sémantique texte-image. La méthode préserve avec succès la sémantique de la profession et la cohérence visuelle tout en modifiant les attributs démographiques.
• Études d'ablation : Les résultats confirment que tant l'alignement au stade précoce que le raffinement itératif sont nécessaires ; l'utilisation d'une seule étape conduit soit à un faible contrôle de l'équité, soit à une instabilité de l'alignement sémantique. De plus, l'inclusion de la perte de préservation de la profession est essentielle pour maintenir le sujet voulu.

Signification et affirmations
L'article affirme que le TES démontre que l'optimisation de l'embedding de texte au moment de l'inférence est une solution pratique et évolutive pour la génération sensible à l'équité. En découplant l'atténuation du biais du réentraînement du modèle, l'approche offre un mécanisme « plug-and-play » qui peut être appliqué aux modèles de diffusion existants et déployés. Les auteurs soutiennent que leur méthode atteint un équilibre supérieur entre équité et qualité d'image par rapport à l'état de l'art, produisant des représentations plus équilibrées et réalistes des rôles sociaux sans sacrifier la fiabilité ou la fidélité visuelle du contenu généré. Ce travail souligne que le pilotage dynamique et sensible au contexte des embeddings est une voie viable pour réduire les biais démographiques systématiques dans l'IA générative.