Evaluating Demographic Misrepresentation in Image-to-Image Portrait Editing

Cette étude révèle que les éditeurs d'images open-weight souffrent de biais démographiques systémiques lors du retouche de portraits, se manifestant par une élimination silencieuse des modifications ou par l'introduction de stéréotypes, et démontre qu'une contrainte de prompt peut atténuer ces disparités sans nécessiter de mise à jour du modèle.

L'essentiel

Imaginez que vous avez un magicien numérique (une intelligence artificielle) capable de modifier vos photos. Vous lui dites : « Habille cette personne en chef d'entreprise » ou « Montre cette personne en train de vieillir de 30 ans ». Vous vous attendez à ce que le visage reste le même, mais que le contexte change.

C'est exactement ce que les auteurs de cette étude ont testé. Et la mauvaise nouvelle, c'est que ce magicien est un peu raciste, sexiste et un peu paresseux.

Voici l'explication de leur découverte, simplifiée avec des images du quotidien :

1. Le Magicien a deux défauts majeurs

Les chercheurs ont découvert que lorsque vous donnez les mêmes instructions à différentes personnes (noires, blanches, asiatiques, hommes, femmes), le résultat n'est pas équitable. Ils ont nommé deux types de trahisons :

• L'Effacement Doux (Soft Erasure) : C'est comme si le magicien vous écoutait à moitié. Vous lui dites : « Mets cette personne en fauteuil roulant », et il vous rend la photo... sans fauteuil roulant. Il a fait le travail, mais il a ignoré votre demande principale, comme un serveur qui vous apporte le plat sans la sauce que vous aviez demandée. Cela arrive souvent pour les personnes issues de minorités ou dans des situations sensibles.
• Le Remplacement par les Stéréotypes (Stereotype Replacement) : C'est encore plus étrange. Vous demandez : « Habille cette femme en médecin ». Le magicien accepte, mais il change aussi son visage. Il éclaircit sa peau, change la forme de son nez, et la rend plus « blanche » que dans la photo originale. C'est comme si le magicien pensait : « Ah, un médecin ? Ça doit être un homme blanc avec une peau claire, peu importe qui était sur la photo de départ ! ». Il remplace l'identité réelle de la personne par un cliché qu'il a appris.

2. L'expérience : Le test de la "Photo de Famille"

Pour prouver cela, les chercheurs ont créé un grand jeu de cartes.

• Ils ont pris 84 photos de personnes très différentes (7 origines ethniques, 2 genres, 6 tranches d'âge).
• Ils ont demandé à 3 magiciens différents (trois modèles d'IA populaires) de modifier ces photos avec 20 instructions différentes (devenir un PDG, vieillir, utiliser un fauteuil roulant, etc.).
• Au total, ils ont généré 5 040 photos.

Le résultat ?

• La peau s'éclaircit tout le temps : Pour les personnes à la peau foncée (noires, indiennes), la peau devient plus claire dans 72 à 75 % des cas. C'est comme si le magicien avait un bouton "blanchissant" automatique qu'il appuie sans qu'on lui demande.
• Les visages changent de race : Une personne noire peut se retrouver avec des traits asiatiques ou blancs après l'édition.
• Les métiers sont genrés : Si on demande de transformer une photo en "infirmière", l'IA la transforme en femme, même si la photo de départ était un homme. Si on demande "mécanicien", elle devient un homme, même si c'était une femme.

3. La solution "Bricolage" : Le Miroir de la Vérité

Le plus intéressant, c'est que les chercheurs ont trouvé un moyen de corriger le magicien sans le réparer.

Imaginez que le magicien a une mémoire courte et qu'il oublie à quoi vous ressemblez vraiment. Les chercheurs ont inventé une astuce : avant de donner l'instruction, ils ajoutent une note descriptive très précise.

• Au lieu de dire juste : « Deviens un PDG ».
• Ils disent : « Garde ta peau brun foncé, tes cheveux en tresses, ton nez large et tes yeux marron... et maintenant, deviens un PDG ».

Le résultat ?
C'est magique ! Quand on force le magicien à regarder la photo de départ et à décrire les détails physiques (la couleur de peau, la forme du nez), il arrête de changer la race des personnes noires ou asiatiques.

• Pour les personnes blanches : Ça change à peine (car le magicien pensait déjà qu'elles étaient blanches).
• Pour les autres : C'est une révolution. On retrouve leur vrai visage.

4. La leçon à retenir

Cette étude nous dit deux choses importantes :

1. L'IA n'est pas neutre : Elle a intégré nos préjugés sociaux. Elle pense qu'un "chef" est blanc, qu'une "infirmière" est femme, et que la "beauté" ou la "normalité" c'est la peau claire.
2. La responsabilité est partagée : Pour l'instant, c'est à l'utilisateur de faire le travail de "correction" en décrivant minutieusement la personne pour que l'IA ne la transforme pas. Mais à long terme, ce n'est pas normal. Ce devrait être le travail des créateurs de l'IA de s'assurer que leur magicien respecte l'identité de tout le monde, sans qu'on ait besoin de lui faire un cours de morale à chaque fois.

En résumé : L'IA actuelle est un photographe qui, quand il voit une personne noire, pense automatiquement "Je vais la rendre plus blanche et plus stéréotypée", sauf si vous lui tenez fermement la main et lui dites : "Non, regarde bien, c'est elle !"

Résumé technique

1. Problématique

Bien que les biais démographiques dans la génération d'images à partir de texte (T2I) soient bien documentés, les échecs conditionnés par la démographie dans l'édition d'images guidée par des instructions (I2I) restent sous-étudiés. Les utilisateurs s'attendent à ce que les outils d'édition modifient uniquement les attributs demandés tout en préservant l'identité du sujet. Cependant, cette étude démontre que des instructions d'édition identiques produisent des résultats systématiquement différents selon la démographie du sujet (race, genre, âge).

L'article identifie deux modes d'échec critiques qui compromettent la préservation de l'identité :

1. L'Effacement Doux (Soft Erasure) : L'éditeur produit une image, mais ignore ou atténue silencieusement la demande d'édition, souvent en raison de contraintes de sécurité implicites ou de signaux de sécurité.
2. Le Remplacement par Stéréotype (Stereotype Replacement) : L'édition introduit des attributs démographiques non demandés mais cohérents avec les stéréotypes (par exemple, éclaircir la peau ou changer la race vers des traits majoritaires), dépassant ainsi les instructions de l'utilisateur.

2. Méthodologie

Les auteurs ont conçu une approche rigoureuse en deux étapes pour mesurer et atténuer ces biais :

A. Création d'un Benchmark Contrôlé

• Données : Un ensemble de 84 portraits issus du dataset FairFace, échantillonnés de manière factorielle pour couvrir 7 races, 2 genres et 6 tranches d'âge.
• Prompts Diagnostiques : 20 prompts conçus pour révéler les biais, divisés en deux catégories :
  • Stéréotypes Professionnels : Pour tester l'induction de biais liés au genre et à la race dans des rôles (ex: PDG, nettoyeur).
  • Attributs de Vulnérabilité : Pour tester la suppression d'éditions sensibles (ex: handicap, vieillissement, précarité).
• Modèles Évalués : Trois éditeurs I2I open-weight de pointe : FLUX.2-dev, Step1X-Edit-v1p2, et Qwen-Image-Edit-2511.
• Échelle : Cela génère un total de 5 040 images éditées (84 images × 20 prompts × 3 modèles).

B. Protocole d'Évaluation

L'évaluation combine un scoring par Modèle de Langage Visuel (VLM) et une évaluation humaine (via Prolific) sur des axes ordinaux (1-5) :

• Succès de l'édition : Détection de l'Effacement Doux.
• Changement Démographique : Mesure de la dérive de la couleur de peau, de la race, du genre et de l'âge (détection du Remplacement par Stéréotype).

C. Mécanisme d'Atténuation (Feature Prompt)

Pour tester une solution sans réentraînement des modèles, les auteurs introduisent un prompt de contrainte d'identité. Ce prompt ajoute une description détaillée des attributs observables du portrait source (teint de peau, structure faciale, etc.) avant l'instruction d'édition. Cela agit comme un régularisateur au niveau du prompt pour forcer le modèle à préserver l'identité.

3. Contributions Clés

1. Formalisation des Modes d'Échec : Définition et mesure explicite de l'« Effacement Doux » et du « Remplacement par Stéréotype » dans le contexte de l'édition I2I, comblant un vide dans la littérature existante.
2. Benchmark Démographique : Introduction d'un benchmark contrôlé générant des milliers d'images pour évaluer systématiquement les comportements conditionnés par la démographie.
3. Validation VLM-Humain : Démonstration d'une forte corrélation entre les scores des VLM (Gemini 3.0, GPT-5-mini) et les évaluations humaines, validant l'utilisation des VLM comme alternative évolutive et moins coûteuse pour détecter ces biais.
4. Atténuation par Prompt : Preuve qu'une contrainte d'identité au niveau du prompt peut réduire significativement les changements démographiques indésirables sans modifier les poids du modèle.

4. Résultats Principaux

• Prévalence de l'Effacement Doux : Les modèles échouent souvent à appliquer les demandes d'édition, en particulier pour les sujets issus de minorités ou dans des contextes de vulnérabilité.
• Dérive Raciale et Éclaircissement de la Peau :
  • 62-71 % des images éditées présentent un teint de peau plus clair que l'original.
  • Ce phénomène est asymétrique : les sujets Noirs et Indiens subissent un éclaircissement de la peau dans 72-75 % des cas, contre 44 % pour les sujets Blancs.
  • Le changement de race est également disproportionné (14 % pour les sujets Indiens contre 1 % pour les Blancs).
• Atténuation Asymétrique : L'ajout de prompts de caractéristiques (Feature Prompts) réduit considérablement la dérive raciale pour les groupes minoritaires (réduction de 1,48 point pour les sujets Noirs) mais a un effet négligeable sur les sujets Blancs (réduction de 0,06 point). Cela suggère que les modèles ont un « biais par défaut » vers des représentations blanches.
• Stéréotypes Genre-Profession : Dans une expérience complémentaire basée sur WinoBias, les modèles suivent les stéréotypes de genre pour les professions dans 84-86 % des cas, même lorsque le genre de la source contredit le stéréotype.

5. Signification et Implications

• Injustice Structurelle : Les échecs de préservation de l'identité ne sont pas aléatoires mais structurés par des priors sociaux implicites intégrés dans les architectures de diffusion. Les groupes minoritaires subissent une dégradation de l'identité plus fréquente et plus sévère.
• Responsabilité Prompt vs Modèle : Bien que les prompts puissent atténuer une partie du problème, cela place une charge injuste sur l'utilisateur pour spécifier ce qui devrait être préservé par défaut. La solution durable réside dans des interventions au niveau de l'entraînement (données équilibrées) ou de l'architecture.
• Évaluation Évolutive : La forte concordance entre les VLM et les humains ouvre la voie à des protocoles d'évaluation automatisés et scalables pour surveiller les biais démographiques dans les futurs modèles d'édition.

En conclusion, cet article établit que la préservation de l'identité dans l'édition I2I est un mode d'échec démographiquement inégal, nécessitant des systèmes d'édition robustes qui ne reproduisent pas les biais sociétaux existants.