Résumé Technique : EquiSteer

Problématique

Les modèles de diffusion texte-image (T2I), bien que puissants pour les tâches créatives, reproduisent et amplifient systématiquement les biais démographiques présents dans leurs données d'entraînement. Pour des prompts courants tels que « une photo d'un infirmier » ou « une photo d'un PDG », les modèles orientent systématiquement les résultats vers des genres spécifiques (femme et homme, respectivement) plutôt que de refléter le prompt de manière neutre. Les approches de débiaisage existantes présentent des limitations significatives :

• Les méthodes basées sur le fine-tuning nécessitent l'accès aux poids du modèle et à des données supplémentaires, ceい qui entrave la scalabilité et le transfert entre architectures.
• Les méthodes basées sur le guidage (guidance) opèrent souvent au niveau du batch, échouant à débiaiser les échantillons individuels et peinant face aux scénarios multi-attributs.
• Les interventions sur les embeddings de texte sont sensibles à la formulation du prompt et offrent un contrôle spatial limité sur l'image générée.

De plus, les méthodes actuelles ne parviennent souvent pas à distinguer les prompts neutres en termes d'attributs (ex: « un médecin ») des prompts spécifiques à un attribut (ex: « un médecin homme »), entraînant la modification involontaire d'attributs explicitement demandés.

Méthodologie : EquiSteer

Les auteurs proposent EquiSteer, un cadre de travail sans entraînement (training-free) opérant lors de l'inférence, qui oriente les activations de l'attention croisée (cross-attention - CA) pour obtenir une génération d'images plus équitable. La méthode opère par échantillon sans modifier les poids du modèle. Elle s'appuie sur le mécanisme CASteer mais le détourne de la suppression de concept vers un débiaisage contrôlé.

Le cadre se compose de trois composantes clés :

1. Vecteurs de direction précalculés (Precomputed Steering Vectors)

Pour chaque attribut cible (ex: genre, race, âge), EquiSteer précalcule des vecteurs de direction dans l'espace d'activation de la CA. Ces vecteurs sont dérivés de paires de prompts contrastifs (ex: « un homme » vs « une femme ») et capturent la direction dans l'espace d'activation associée à des attributs démographiques spécifiques.

2. Mécanisme de filtrage sensible au prompt (Prompt-Aware Gating Mechanism)

Pour éviter la modification des prompts qui spécifient explicitement un attribut, EquiSteer introduit un mécanisme de filtrage (gating).

• Détection : Il mesure l'alignement entre la sortie de la CA et le vecteur de direction de l'attribut via une statistique de produit scalaire ($\langle ca^{out}_{ltk}, s^X_{lt} \rangle$).
• Seuillage : En évaluant la réponse maximale du token à une couche de filtrage spécifique ($l_{gate}$) et à un instant $t=0$, le système distingue les prompts spécifiques à un attribut des prompts neutres.
• Action : Si le signal dépasse un seuil calibré, le prompt est traité comme spécifique à un attribut, et l'intervention est ignorée (génération vanilla). Sinon, le débiaisage est appliqué.

3. Orientation adaptative avec orthogonalisation

Pour les prompts neutres où le débiaisage est déclenché, EquiSteer effectue deux étapes pour assurer une injection d'attribut propre :

• Orthogonalisation : Avant d'injecter l'attribut cible, la sortie de la CA est projetée pour être orthogonale au sous-espace engendré par tous les vecteurs de direction d'attributs. Cela élimine les signaux d'attributs préexistants et potentiellement conflictuels qui pourraient conduire à des artefacts de mélange d'attributs.
• Magnitude adaptative : La force d'orientation ($\alpha$) n'est pas fixe mais calibrée pour correspondre à la force de signal typique observée dans les prompts spécifiques à un attribut. Cela garantit que l'attribut cible est exprimé avec une magnitude suffisante sans être trop faible ou écrasant.

La méthode supporte le débiaisage multi-concept (ex: genre + race + âge) en appliquant ces étapes séquentiellement par concept à chaque couche d'attention croisée.

Contributions Clés

1. Démonstration de la pilotabilité de la CA (CA Steerability) : L'article établit que les activations de l'attention croisée encodent des attributs démographiques de manière à permettre un pilotage direct lors de l'inférence pour le contrôle de l'équité.
2. Cadre EquiSteer : L'introduction d'une méthode sans entraînement comprenant un filtrage sensible au prompt et une orthogonalisation de l'espace d'attribut. Cette conception répond spécifiquement aux modes de défaillance du pilotage de base : la préservation des prompts spécifiques et la prévention des générations de types « attributs mixtes ».
3. Validation complète : La méthode est validée sur quatre backbones T2I distincts (SD-1.5, SD-2.1, SDXL et SANA) et plusieurs concepts démographiques (genre, race, âge, morphologie, lunettes).

Résultats Expérimentaux

Les auteurs ont évalué EquiSteer par rapport à des bases de comparaison récentes, incluant FairDiffusion, Unified Concept Editing (UCE) et Text Embedding Intervention (TEI).

• Amélioration de l'équité : EquiSteer réduit l'écart de parité moyen jusqu'à 87 % par rapport au modèle non débiaisé et jusqu'à 47 % par rapport au meilleur baseline disponible (TEI).
• Préservation des attributs : Contrairement à d'autres méthodes qui dégradent les performances sur certains prompts, EquiSteer maintient une haute fidélité aux prompts spécifiques à un attribut (ex: générer correctement « un infirmier homme » lorsqu'il est demandé), atteignant des scores de préservation quasi parfaits.
• Qualité et Alignement : La méthode préserve la qualité de l'image et l'alignement texte-image, les scores CLIP et CMMD restant compétitifs avec les modèles vanilla et les autres baselines.
• Généralisation : L'approche se transfère efficacement à travers différentes familles de prompts, incluant les prompts paraphrasés, contextuels longs et compositionnels, sans nécessiter de recalibrage.
• Débiaisage multi-concept : Le cadre gère avec succès le débiaisage simultané de plusieurs attributs (ex: genre, race, âge et morphologie) en une seule passe de génération.

Signification et Revendications

L'article affirme qu'EquiSteer offre une voie pratique et scalable vers une génération d'images guidée par le texte plus équitable. En opérant entièrement lors de l'inférence sans réentraînement, il surmonte les barrières de données et de calcul associées aux approches basées sur le fine-tuning. Les auteurs soulignent que leur méthode est la première à combiner efficacement le contrôle par échantillon avec la capacité de distinguer les prompts neutres des prompts spécifiques, résolvant ainsi les problèmes d'« attributs mixtes » et de « sur-correction » qui ont limité les techniques de pilotage précédentes.

Ce travail suggère que l'interprétabilité de l'attention croisée peut être directement exploitée comme un mécanisme d'équité, fournissant une solution robuste et agnostique au modèle qui s'intègre naturellement dans les pipelines d'échantillonnage standards. Les auteurs notent que bien que la méthode soit polyvalente, elle repose sur un calibrage spécifique au concept (vecteurs de direction et seuils) et opère actuellement au niveau de l'image, ce qui peut présenter des défis pour les prompts hautement compositionnels comportant plusieurs entités.