A Large-scale Evaluation of Text-guided Models for Facial Editing

Imaginez un artiste numérique capable de changer la couleur des cheveux d'une personne, d'ajouter une paire de lunettes ou de faire tourner sa tête pour regarder l'horizon, tout cela en tapant simplement une phrase dans un ordinateur. C'est la promesse de l'édition d'images guidée par le texte, un domaine en pleine croissance où l'intelligence artificielle apprend à comprendre le langage humain et à appliquer ces instructions à des photographies. Pendant des années, des chercheurs ont conçu des systèmes capables de tels exploits, mais ils se heurtaient souvent à un défi spécifique : faire en sorte que la personne sur la photo garde son apparence tout en effectuant les modifications demandées. Les anciennes méthodes pouvaient soit trop modifier le visage, le rendant méconnaissable, soit ne permettre que des ajustements très limités, comme le changement de l'angle de la tête. Aujourd'hui, une nouvelle génération d'outils a émergé, prétendant résoudre ces problèmes en offrant la capacité de réaliser des éditions complexes et réalistes basées sur des invites textuelles. Mais à mesure que ces outils deviennent plus puissants, une question cruciale demeure : fonctionnent-ils de la même manière pour tout le monde, ou possèdent-ils des failles cachées qui traitent injustement différents groupes de personnes ?

Une équipe de chercheurs s'est donné pour mission de répondre à cette question en mettant à l'épreuve six des modèles d'édition guidée par le texte les plus populaires. Ils n'ont pas seulement demandé aux ordinateurs d'effectuer quelques changements aléatoires ; ils ont mené une évaluation massive et systématique impliquant près d'un million d'éditions d'images. L'objectif était de voir si ces modèles pouvaient gérer une séquence de quatre instructions différentes consécutives, comme changer la couleur des cheveux, puis ajouter un chapeau, puis changer le chapeau, et enfin tourner la tête. Pour ce faire, les chercheurs ont créé une nouvelle bibliothèque étendue de 169 tâches d'édition spécifiques axées sur les cheveux, les accessoires et la position de la tête. Ils ont testé les modèles sur deux grandes collections de photos de célébrités, assurant un mélange diversifié d'hommes et de femmes, de jeunes et de personnes âgées, ainsi que de personnes aux tons de peau clairs et foncés.

Les résultats ont brossé un tableau clair de l'état actuel de ces technologies. Les modèles se sont révélés tout à fait capables de gérer les changements de cheveux et d'accessoires. Lorsqu'on leur demandait de changer une coiffure ou d'ajouter une paire de lunettes de soleil, la plupart des systèmes fonctionnaient bien, suivant les instructions tout en préservant la reconnaissance du visage de la personne. Cependant, ces mêmes modèles éprouvaient des difficultés significatives lorsqu'on leur demandait de changer la pose d'une personne, par exemple en la faisant regarder vers la gauche ou la droite. Dans ces cas, les systèmes échouaient souvent à suivre la commande ou modifiaient le visage de manière à rendre la personne méconnaissable.

Peut-être plus préoccupante encore fut la découverte que tous les modèles avaient tendance à « sur-éditer ». Cela signifie que, lorsqu'une instruction spécifique est donnée, l'ordinateur modifie souvent des éléments qui n'ont pas été demandés. Par exemple, si un utilisateur demande au modèle de changer la coiffure d'une personne pour une coupe au carré, le modèle pourrait également changer la couleur des cheveux en brun, même si l'utilisateur n'a jamais demandé de changement de couleur. Les chercheurs ont constaté que cela arrivait fréquemment, les modèles effectuant environ 25 changements supplémentaires et non désirés pour 100 instructions données. Ces erreurs n'étaient pas aléatoires ; elles découlaient souvent du fait que les modèles apprenaient des associations incorrectes, comme croire qu'une coiffure spécifique va toujours avec une couleur de cheveux spécifique.

L'étude a également mis au jour des biais importants dans la manière dont ces modèles traitaient différentes personnes. La sur-édition n'était pas répartie uniformément sur tous les visages. Les modèles étaient beaucoup plus susceptibles de faire des changements non désirés lors de l'édition de visages d'hommes, particulièrement ceux ayant des tons de peau foncés, et lors de l'édition de visages de personnes âgées. Par exemple, lorsqu'on demandait de modifier les cheveux d'un homme à la peau foncée, le système était bien plus susceptible de modifier accidentellement d'autres traits, comme ajouter une pilosité faciale ou altérer le teint, par rapport à l'édition du visage d'une femme à la peau claire. De même, les modèles étaient moins performants pour préserver l'identité des visages plus âgés, les faisant souvent paraître plus jeunes ou modifiant leurs traits de manière plus radicale que ceux des personnes plus jeunes.

Ces conclusions suggèrent que, bien que les outils d'édition guidée par le texte deviennent assez puissants pour un usage réel, ils ne sont pas encore parfaits. Ils fonctionnent bien pour des tâches simples comme l'ajout d'un chapeau ou le changement de couleur de cheveux, mais ils luttent encore avec des mouvements plus complexes et portent des biais cachés qui peuvent mener à des résultats injustes ou inexacts pour certains groupes. Les chercheurs soulignent que les travaux futurs doivent se concentrer sur la correction de ces habitudes de sur-édition et sur la garantie que la technologie traite chaque visage avec le même niveau de précision et de respect, quels que soient l'âge, le genre ou le teint de la peau. Tant que ces problèmes ne seront pas résolus, les utilisateurs doivent être conscients que ces artistes numériques sont encore en apprentissage, et qu'ils peuvent parfois changer plus que ce qui leur est demandé.