Aligned but Stereotypical? How System Prompts Shape Demographic Bias in LLM-Based Text-to-Image Models

Résumé Technique : Alignés mais stéréotypés ? Comment les prompts système façonnent le biais démographique dans les modèles de génération d'images par texte basés sur les LLM

Énoncé du problème
Les systèmes récents de génération de texte en image (T2I) utilisent de plus en plus les grands modèles de langage (LLM) pour le conditionnement textuel afin d'interpréter et d'enrichir les prompts des utilisateurs, visant ainsi à améliorer l'alignement texte-image et le raisonnement compositionnel. Cependant, cet article identifie un effet secondaire critique : l'intégration du conditionnement basé sur les LLM introduit des hypothèses démographiques implicites dans la génération d'images, même lorsque les prompts des utilisateurs sont neutres ou sous-spécifiés. Les auteurs postulent que, bien que ces systèmes améliorent l'adhérence au prompt, ils peuvent simultanément amplifier le biais démographique, créant un arbitrage entre équité et alignement. Une attention particulière est portée aux prompts système — des instructions intégrées qui guident le LLM dans l'interprétation des entrées utilisateur — en tant que voie de propagation de biais jusqu'alors peu explorée.

Méthodologie
Pour étudier ce phénomène, les auteurs introduisent COMPBIAS, un benchmark complet composé de 1 024 prompts organisés en quatre niveaux de complexité :

1. Neutre (L1) : Prompts d'occupations (ex. : « Un botaniste »).
2. Attribut (L2) : Prompts avec un attribut démographique explicite (ex. : « Un botaniste asiatique »).
3. Attribut + Contexte (L3) : Prompts enrichis de contextes d'action.
4. Étendu (L4) : Descriptions longues générées par un LLM à partir d'occupations de base.

L'étude évalue huit modèles T2I récents, incluant des bases non fondées sur les LLM (ex. : SD3.5, FLUX.1) et des systèmes basés sur les LLM (ex. : SANA1.5, Qwen-Image, FLUX.2). Le biais est quantifié à l'aide d'un score de Disparité Équitable (FD) normalisé, mesurant l'écart des distributions démographiques générées par rapport à une référence uniforme, tandis que la fidélité est évaluée via la similitude CLIP et GenEval.

Principaux résultats et analyse diagnostique

1. Biais induit par le LLM : Les systèmes T2I basés sur les LLM présentent systématiquement des scores de biais démographique plus élevés que les bases non fondées sur les LLM à travers tous les niveaux de complexité de prompt. De plus, à mesure que les prompts deviennent plus complexes, l'alignement texte-image et le biais démographique augmentent tous deux, révélant une tension entre fidélité sémantique et équité.
2. Le rôle des prompts système : À travers une analyse contrôlée dans l'espace d'embedding textuel, les auteurs démontrent que les prompts système par défaut remodèlent activement les entrées neutres des utilisateurs en représentations démographiquement biaisées avant que la synthèse de l'image ne commence.
   • Décalage d'embedding : La suppression des prompts système affaiblit les associations de genre dans les embeddings textuels sans dégrader significativement la fidélité sémantique.
   • Texte décodé : Le décodage des représentations textuelles intermédiaires révèle que les prompts système introduisent des descripteurs démographiques (ex. : termes genrés) absents du prompt original de l'utilisateur.
   • Propagation : Il existe une forte corrélation (64 % d'accord) entre les attributs démographiques inférés dans le texte décodé et les images finales générées, confirmant que le biais se propage du traitement du langage vers les sorties visuelles.

Solution proposée : FAIRPRO
Motivés par la découverte que les prompts système sont une source primaire de biais, les auteurs proposent FAIRPRO (FAIRness-aware System PROmpt), un cadre de débaisage sans entraînement, appliqué au moment du test.

• Mécanisme : Au lieu de supprimer les prompts système (ce qui réduit l'enrichissement) ou de réécrire les prompts de l'utilisateur (ce qui est moins efficace), FAIRPRO génère dynamiquement des instructions système spécifiques à l'entrée et respectueuses de l'équité.
• Processus : Étant donné un prompt utilisateur $u$, FAIRPRO utilise un LLM pour identifier les complétions potentiellement stéréotypées et construit un prompt système révisé $s_{fair}$ qui préserve les contraintes explicitement spécifiées par l'utilisateur (ex. : « homme ») tout en imposant la diversité sur les attributs non spécifiés (ex. : ethnicité, âge).
• Efficacité : La méthode ne nécessite qu'un seul appel supplémentaire au LLM, ce qui entraîne un surcoût computationnel minimal (ex. : ~1,05x pour Qwen-Image) et aucun changement de l'architecture du générateur d'images sous-jacent.

Résultats
Les expériences sur huit modèles et le benchmark COMPBIAS démontrent que FAIRPRO :

• Réduit le biais : Diminue substantiellement les scores de biais démographique pour le genre, l'âge, l'ethnicité et les attributs d'apparence par rapport aux réglages par défaut et aux bases « sans prompt système ».
• Maintient la fidélité : Préserve une haute adhérence texte-image et une capacité de contrôle du prompt, évitant la perte de fidélité associée à la simple suppression des prompts système.
• Améliore la diversité : Augmente la diversité visuelle de la pose, des vêtements et de l'arrière-plan pour les attributs non spécifiés sans outrepasser les contraintes explicites de l'utilisateur.
• Se généralise : Montre une performance robuste sur des benchmarks externes (TIBET) et sur différentes familles de modèles.
• Ablation : L'étude confirme que le prompting adaptatif à l'entrée et l'auto-audit structuré sont des composants critiques ; les instructions d'équité statiques ou la simple réécriture du prompt utilisateur sont insuffisantes.

Signification et revendications
L'article affirme que le conditionnement textuel basé sur les LLM n'est pas seulement une interface passive pour la compréhension des prompts, mais un mécanisme actif capable d'encoder et de transmettre un biais démographique. La portée de ce travail réside dans :

1. L'identification d'un nouveau vecteur de biais : Mettre en évidence les prompts système comme un point d'intervention critique et sous-exploré pour le biais dans les systèmes T2I modernes.
2. Une analyse diagnostique : Fournir la preuve que le biais provient en amont, lors de l'étape de conditionnement du langage, déplaçant ainsi l'attention de la mitigation de la génération d'images vers l'interprétation du prompt.
3. Une atténuation pratique : Introduire FAIRPRO comme une solution efficace, agnostique au modèle et sans entraînement, qui équilibre l'équité avec les capacités enrichies du conditionnement basé sur les LLM.

Les auteurs maintiennent une position modeste, reconnaissant que leur approche atténue les distributions de sorties biaisées au moment du test, mais ne supprime pas les biais encodés dans les paramètres des modèles génératifs sous-jacents. Ils notent également les limites concernant l'utilisation de catégories démographiques discrètes et la dépendance au contexte pour définir des distributions « équitables ».