Résumé Technique : DebFilter

Énoncé du Problème

Les modèles de diffusion texte-à-image, bien que théoriquement équivalents aux modèles génératifs basés sur le score, souffrent de biais sociaux et sémantiques inhérents. Ces biais, spécifiquement liés au genre, à l'âge et à la profession, sont encodés dans les plongements textuels extraits de modèles vision-langage préentraînés (par exemple, CLIP). Au cours du processus de débruitage, ces plongements biaisés sont propagés et amplifiés par les mécanismes de guidage du modèle, en particulier les couches d'attention croisée. Par conséquent, même des invites neutres (par exemple, « une personne qui travaille comme médecin ») produisent souvent des résultats biaisés ou stéréotypés. Les stratégies d'atténuation existantes reposent généralement sur un réentraînement ou un ajustement fin coûteux en calcul du réseau de score ou de l'encodeur de texte, nécessitant des jeux de données équilibrés et des ressources importantes, ce qui limite leur praticité pour les applications réelles.

Méthodologie : DebFilter

Les auteurs proposent DebFilter, un cadre léger et sans entraînement conçu pour atténuer les biais lors de la phase d'inférence des modèles de diffusion texte-à-image. La méthode fonctionne en ajustant sélectivement les composantes de valeur au sein du mécanisme d'attention croisée, plutôt qu'en modifiant les poids du modèle.

Mécanisme Central

1. Correction des Biais par Ajustement de la Valeur : La méthode observe que la prédiction d'erreur du modèle à chaque étape de débruitage est principalement influencée par la dynamique de l'attention croisée. Plus précisément, le plongement de conditionnement $c$ définit les représentations de clé et de valeur. DebFilter introduit un vecteur de correction de biais $\Delta c$ au signal de conditionnement original.
2. Alignement de l'Attention Croisée : L'approche vise à aligner la sortie de l'attention croisée d'une invite neutre $c$ avec celle d'une invite explicite de correction de biais $c'$ (par exemple, aligner « un médecin » avec « une femme médecin »).
   • La prédiction de débruitage $\hat{\epsilon}_\theta(z_t, c)$ est traitée comme une fonction des sorties de l'attention croisée.
   • La méthode calcule un vecteur de valeur cible $\hat{v}_m$ pour un indice de token spécifique $m$ (correspondant au concept biaisé) en résolvant un problème d'optimisation des moindres carrés. Cette optimisation minimise la différence entre la sortie de l'attention croisée source et la sortie cible dérivée de l'invite explicite.
3. Estimation Unifiée du Guidage : Étant donné que le U-Net contient plusieurs blocs d'attention avec des profondeurs et des têtes variables, la méthode estime indépendamment le vecteur de valeur cible pour chaque couche et chaque tête. Ces estimations sont ensuite agrégées à l'aide d'une régression des moindres carrés pondérée pour dériver un plongement débiaisé unifié $c^{new}_m$.
4. Guidage de Débiaisage Stable (DebFilter) : Pour assurer l'évolutivité et éviter de calculer des corrections pour chaque invite, la méthode calcule le décalage $\Delta c = c^{new}_m - c_m$ sur plusieurs invites et les moyenne. Ce décalage moyen, nommé DebFilter, sert de direction de correction universelle et stable applicable à toute invite contenant le concept cible.
5. Application au Moment de l'Inférence : Lors de l'inférence, ce décalage fixe est ajouté au plongement de conditionnement. La méthode se concentre sur les premières étapes de débruitage (généralement les deux premières) où les structures grossières et les attributs de haut niveau sont déterminés, garantissant que la correction des biais n'interfère pas avec les affinages ultérieurs de texture ou de style.

Caractéristiques Clés

• Sans Entraînement : Ne nécessite aucune donnée supplémentaire ni mise à jour du modèle.
• Contrôle Fin : En identifiant des indices de tokens spécifiques, la méthode permet un contrôle au niveau de l'objet dans des scènes multi-objets (par exemple, changer le genre d'un « médecin » tout en maintenant une « infirmière » inchangée).
• Réversibilité : Le vecteur de correction peut être inversé (en changeant le signe) pour appliquer le filtre dans la direction opposée (par exemple, homme-vers-femme vs femme-vers-homme).

Contributions Clés

1. Débiaisage Sans Entraînement : Introduction d'une méthode pour Stable Diffusion qui atténue les biais en ajustant les mécanismes d'attention croisée lors de l'inférence, éliminant ainsi le besoin de réentraînement.
2. Contrôle au Niveau de l'Objet : Démonstration d'un contrôle ciblé dans les images multi-objets, permettant de débiaiser des concepts spécifiques tout en préservant la cohérence spatiale et d'autres attributs.
3. Évolutivité Pratique : Présentation d'une approche flexible qui améliore l'équité sans modifier l'architecture du modèle ni exiger de jeux de données de débiaisage curatés pour chaque nouvelle application.

Résultats Expérimentaux

Les auteurs ont évalué DebFilter sur Stable Diffusion v2.1 (et SDXL pour des comparaisons spécifiques) en utilisant des métriques de biais de genre et d'âge.

• Atténuation du Biais de Genre :
  • Évalué sur 87 professions (58 à dominance masculine, 29 à dominance féminine).
  • Ratio de Biais ($\Delta$) : DebFilter a considérablement réduit l'écart absolu normalisé par rapport à un équilibre de genre de 50 % à travers les professions, surpassant des bases de référence telles que TIME, UCE et MIST.
  • Score de Transition (TS) : La méthode a obtenu un score de transition proche du ratio cible (par exemple, 0,5), démontrant un contrôle précis sur la proportion d'échantillons débiaisés.
  • Asymétrie (Skew) : DebFilter a obtenu le score SKEW le plus bas (62,1) par rapport aux autres méthodes, indiquant une distribution de genre plus équilibrée à travers les professions.
  • CLIPScore : Les images débiaisées ont maintenu une forte alignement avec les invites textuelles, correspondant souvent ou dépassant le CLIPScore du modèle standard, confirmant que la fidélité sémantique a été préservée.
• Atténuation du Biais d'Âge :
  • Atténuation réussie des biais d'âge pour les professions associées à des groupes d'âge spécifiques (par exemple, « horloger » vs « barista »).
  • La méthode a naturellement ajusté les attributs visuels tels que la coiffure et la texture de la peau tout en préservant l'action et l'arrière-plan.
• Scénarios Multi-Objets :
  • Démonstration de la capacité à appliquer différents filtres de débiaisage à différents objets au sein d'une seule invite (par exemple, « un médecin et une infirmière »), inversant avec succès les représentations de genre pour des entités spécifiques sans affecter les autres.

Importance et Revendications

L'article revendique que DebFilter offre une voie évolutive et efficace vers une génération texte-à-image plus équitable et inclusive. En opérant entièrement au moment de l'inférence, il répond à l'impraticabilité computationnelle du réentraînement de modèles à grande échelle. Les auteurs soulignent que leur méthode fournit un contrôle fin et interprétable sur l'intensité du débiaisage tout en maintenant la fidélité sémantique des résultats générés.

L'importance réside dans la démonstration que des perturbations subtiles du guidage textuel peuvent efficacement remodeler le paysage de la fonction de score pour supprimer les biais latents. Les auteurs positionnent DebFilter non pas comme un remplacement de la curation de jeux de données ou du réentraînement de modèles, mais comme une solution pratique et immédiate pour atténuer les biais sociaux dans les modèles génératifs déployés. Ils notent que la méthode est extensible à d'autres concepts de biais tels que l'origine ethnique ou les attributs culturels, bien que leurs expériences actuelles se concentrent sur le genre et l'âge.

L'article conclut que l'ajustement contrôlé du guidage fournit un mécanisme puissant pour une créativité pilotée par l'IA socialement responsable, faisant progresser l'inclusivité et la contrôlabilité des modèles génératifs sans la surcharge d'un entraînement supplémentaire.