Résumé Technique : CO-ALIGN – Atténuation Efficace des Biais dans les Modèles de Diffusion T2I via les Graphes de Concepts

1. Énoncé du Problème

Les modèles de diffusion Text-to-Image (T2I) reproduisent et amplifient systématiquement les biais démographiques (genre, race, âge) hérités de leurs corpus d'entraînement (ex. : LAION-5B). Ces biais ne sont pas de simples artefacts superficiels, mais des propriétés structurelles de l'organisation des concepts appris par le modèle, où les concepts biaisés partagent un substrat neural disproportionné avec des attributs stéréotypés.

Les techniques existantes d'atténuation des biais interviennent généralement à un seul niveau de la pipeline de génération :

• Encodeur de Texte Uniquement : Les méthodes affinent les plongements (embeddings) ou orientent les signaux d'inférence pour supprimer les directions biaisées. Cependant, cela laisse l'organisation interne des concepts du débruiteur (denoiser) inchangée. Par conséquent, le débruiteur reçoit des signaux de conditionnement hors distribution qu'il ne peut interpréter de manière cohérente, ce qui conduit à des sorties sémantiquement incohérentes.
• Débruiteur Uniquement : Les méthodes modifient les poids d'attention croisée ou les espaces latents pour réorienter les prompts. Cependant, l'encodeur de texte continue d'orienter les prompts sous-spécifiés (ex. : « une infirmière ») vers des plongements d'attributs biaisés, ce qui annule partiellement la correction du côté du débruiteur.

Le problème central identifié est que traiter l'encodeur de texte et le débruiteur comme des cibles de correction indépendantes est sous-optimal. Corriger l'un sans l'autre perturbe leur harmonie géométrique, entraînant un compromis où l'amélioration de l'équité se traduit par une forte augmentation de l'incohérence sémantique.

2. Méthodologie : CO-ALIGN

Les auteurs proposent CO-ALIGN (Concept Ontology Alignment), un cadre qui atténue le biais en alignant les ontologies de concepts internes de l'encodeur de texte et du débruiteur vers une topologie cible. L'hypothèse centrale est que le biais réside dans les relations entre les concepts plutôt que dans les représentations individuelles, et qu'une atténuation efficace nécessite une harmonie géométrique conjointe entre les composants.

A. Extraction du Graphe de Concepts

CO-ALIGN construit des graphes de concepts pondérés ($G$) pour les deux composants, où les nœuds représentent des concepts et les arêtes représentent la force du substrat neural partagé.

• Graphe de l'Encodeur de Texte ($G_{TE}$) : Défini par la similitude cosinus par paire des plongements de l'état caché moyen normalisés $L_2$ pour un vocabulaire de concepts $C$.
• Graphe du Débruiteur ($G_U$) : Défini à l'aide de « empreintes digitales de neurones de concepts ». Les auteurs identifient des sous-ensembles épars de paramètres (neurones de concepts) dans les matrices de projection d'attention croisée ($W^K, W^Q, W^V$) qui sont critiques pour un concept spécifique. Les arêtes du graphe sont calculées comme la similitude cosinus moyenne des profils de gradient masqués (empreintes digitales) de ces neurones à travers les couches et les têtes.

B. Objectif d'Alignement

Le cadre aligne le graphe de concepts actuel ($A$) vers une matrice d'adjacence cible ($A_{GT}$) qui encode une topologie souhaitée (ex. : proximité égale entre « Infirmier » et « Infirmier homme » et « Infirmière femme »).

• Perte de Classement Différentiable ($L_{rank}$) : Opère ligne par ligne sur un sous-ensemble supervisé de concepts (concepts cibles). Elle utilise des rangs souples dérivés de comparaisons par paires sigmoïdes différentiables pour aligner les classements de similitude actuels sur des cibles de rang dur dérivées de $A_{GT}$.
• Perte d'Ancre Statique ($L_{anchor}$) : Empêche la dérive des concepts « ancres » (ex. : variantes d'attributs spécifiques) en pénalisant les écarts par rapport à leurs représentations pré-alignement.
• Perte de Préservation ($L_{pres}$) : Une perte de prédiction de bruit standard sur des paires de référence garantit que le modèle ne souffre pas d'oubli catastrophique des concepts en dehors du périmètre d'édition.

L'objectif total est $L = \delta \cdot L_{rank} + \gamma \cdot L_{pres} + L_{anchor}$. L'alignement est effectué séquentiellement : d'abord sur l'encodeur de texte, puis sur le débruiteur (recalibré selon la nouvelle géométrie).

C. Propriété Émergente : Propagation de Voisinage

Une découverte clé est qu'aligner un concept supervisé tire son voisinage sémantique vers la topologie cible sans supervision directe. Cet effet de « propagation d'étiquettes », analogue à l'apprentissage semi-supervisé basé sur les graphes, permet de traiter les concepts de contournement adverses (concepts sémantiquement adjacents à une cible qui échappent à l'désapprentissage) en les intégrant dans le rayon de localité de la cible de désapprentissage.

3. Principales Contributions

1. Diagnostic de l'Échec à Composant Unique : L'article démontre que les techniques d'atténuation de biais à composant unique (encodeur uniquement ou débruiteur uniquement) font inévitablement un compromis entre l'équité et la cohérence de la génération, laissant un biais résiduel ou produisant des sorties incohérentes.
2. Cadre CO-ALIGN : Une approche novatrice qui extrait et aligne conjointement des graphes de concepts provenant à la fois de l'encodeur de texte et du débruiteur, préservant l'harmonie géométrique entre eux.
3. Performance Supérieure : CO-ALIGN surpasse les méthodes de l'état de l'art en réalisant une réduction significative du biais tout en maintenant une haute qualité d'image et une cohérence sémantique.
4. Robustesse du Désapprentissage : L'article exploite l'effet de propagation de voisinage pour améliorer considérablement la robustesse adversaire des techniques de désapprentissage de concept post-hoc, les rendant efficaces contre les prompts de contournement sans modifier la procédure de désapprentissage.

4. Résultats Expérimentaux

Les expériences ont été menées sur Stable Diffusion v1.5 à travers quatre professions (infirmier/infirmière, médecin, pompier, réceptionniste) et trois axes démographiques (genre, race, âge).

• Équité : CO-ALIGN a obtenu les scores de Disparité d'Équité (FD) les plus bas, montrant une amélioration de 30 % de l'équité de genre et une amélioration de 75,4 % de l'équité de race par rapport aux autres bases de comparaison.
• Qualité d'Image : La méthode a amélioré la fidélité de l'image de 2,8 % (CLIP-I) et réduit la distance de Fréchet Inception (FID) de 11,4 par rapport au modèle de base, surpassant toutes les méthodes de comparaison.
• Cohérence : Crucialement, CO-ALIGN a réduit les sorties sémantiquement incohérentes de 88 % par rapport au modèle de base. En revanche, les méthodes à composant unique ont montré une forte augmentation de l'incohérence à mesure que l'équité s'améliorait.
• Robustesse du Désapprentissage : Appliqué comme étape de pré-alignement pour le désapprentissage (ciblant la « nudité »), CO-ALIGN a considérablement réduit le taux de réussite des prompts de contournement adverses. Par exemple, le prompt « Creampie », qui générait de la nudité dans 88 à 100 % des cas avec les méthodes de base, est tombé à 0–32 % après le pré-alignement par CO-ALIGN.

5. Signification et Revendications

L'article affirme que CO-ALIGN représente un changement de paradigme : on ne traite plus le biais comme une propriété de paramètres individuels, mais comme une asymétrie dans la topologie interne des concepts du modèle. En imposant un alignement conjoint, la méthode atteint un équilibre Pareto-optimal entre l'équité et la qualité de génération que les méthodes à composant unique ne peuvent atteindre.

Au-delà de l'atténuation du biais, les auteurs soulignent l'effet de propagation de voisinage comme une propriété émergente significative. Cela permet au cadre de renforcer la robustesse des mécanismes de sécurité existants (comme le désapprentissage de concept) contre les attaques adverses, suggérant que l'alignement structurel de l'ontologie du modèle est un outil puissant pour le déploiement d'une IA responsable.

Les auteurs restent modestes quant aux limites, notant que l'extraction du graphe du débruiteur est coûteuse en calcul et que la méthode est actuellement validée uniquement sur Stable Diffusion v1.5, nécessant une adaptation pour les architectures basées sur les Transformers comme DiT ou SDXL. Ils reconnaissent également que si CO-ALIGN réduit le biais, il ne peut éliminer totalement les biais structurels inhérents aux données d'entraînement collectées sur le web.