Résumé technique : Génération d'images effrayantes

Énoncé du problème

Cet article étudie un potentiel « cycle vicieux » au sein de l'environnement informationnel moderne, où les modèles d'IA générative (GenAI) et les médias visuels en ligne interagissent pour amplifier le contenu émotionnel négatif. Les auteurs émettent l'hypothèse que les systèmes de GenAI, entraînés sur de vastes quantités de données de traces numériques provenant des réseaux sociaux, peuvent présenter un biais systémique vers la production d'images qui évoquent des émotions négatives — spécifiquement la peur — indépendamment du ton émotionnel du texte de l'utilisateur. Ce biais pourrait perpétuer une boucle de rétroaction : les créateurs de contenu produisent des médias chargés émotionnellement pour favoriser l'engagement, les modèles d'IA surreprésentent ces émotions négatives dans le contenu généré, et ce contenu est ensuite ingéré dans les futurs ensembles de données d'entraînement, faussant davantage les modèles.

Méthodologie

Jeux de données

L'étude utilise deux jeux de données principaux :

1. EmoSet : Un jeu de données multiclasse de 118 102 images annotées avec l'une des huit émotions discrètes (Amusement, Émerveillement, Contentement, Excitation, Colère, Dégoût, Peur, Tristesse) en utilisant le modèle de Mikels. Il a été utilisé pour l'ajustement fin (fine-tuning) et la validation de modèles de reconnaissance d'émotions d'images.
2. DiffusionDB : Un vaste jeu de données de prompts texte-vers-image contenant 14 millions d'images générées par Stable Diffusion. Les auteurs ont analysé un sous-ensemble de 10 000 paires prompt-image (le sous-ensemble « 2m-first-10k ») pour comparer les prompts sources aux images générées.

Pipeline de reconnaissance des émotions

Pour évaluer le biais émotionnel, les auteurs ont développé et validé des méthodes automatisées de reconnaissance des émotions pour les deux modalités :

• Reconnaissance de l'émotion par l'image : Les auteurs ont évalué trois approches : des modèles vision-langage zero-shot (BLIP, CLIP, ALBEF), un pipeline d'auto-légendage (auto-captioning) et des classifieurs d'images affinés. Ils ont affiné trois architectures (le Vision Transformer de Google, le Swin Transformer de Microsoft et ConvNeXT) sur le jeu de données EmoSet. Le Vision Transformer (ViT) de Google affiné a obtenu le score F1 moyen macro le plus élevé (0,7343) et a été sélectionné comme outil principal pour l'analyse d'images.
• Reconnaissance de l'émotion par le texte : Pour les prompts textuels, les auteurs ont employé Demux-MEmo, un modèle de pointe conçu pour la reconnaissance d'émotions multi-labels. Ils ont testé des configurations pré-entraînées sur les benchmarks SemEval-2018, Paletz et GoEmotions. Demux-MEmo a été choisi pour sa capacité à gérer des états émotionnels complexes et multi-labels et à résoudre les prédictions contradictoires (par exemple, distinguer des émotions cooccurrentes comme la peur et la tristesse).
• Alignement cross-modalité : Pour comparer les étiquettes de texte et d'image, les auteurs ont mappé les divers ensembles d'émotions des modèles de texte (par exemple, les 27 classes de GoEmotions) vers le groupement d'Ekman et les catégories d'EmoSet. Cette cartographie a regroupé les émotions positives en une étiquette unique « Joie » afin d'assurer la cohérence entre les modalités.

Mesure du biais

L'objectif central était de mesurer le « biais émotionnel involontaire » en calculant les taux de vrais positifs (TPR) et les taux de faux positifs (FPR) pour chaque émotion :

• TPR (Rappel) : La fréquence à laquelle une image évoque l'émotion E sachant que le prompt contenait l'émotion E.
• FPR : La fréquence à laquelle une image évoque l'émotion E sachant que le prompt ne contenait pas l'émotion E.
• Définition du biais : Une émotion est considérée comme biaisée si le modèle présente à la fois un TPR élevé (réplication forte de l'émotion du prompt) et un FPR élevé (génération de l'émotion même sans être sollicitée). Les auteurs ont utilisé le bootstrapping avec 1 000 rééchantillonnages pour calculer les valeurs moyennes de TPR/FPR et les intervalles de confiance à 95 %.

Résultats clés

1. Validation du modèle

Le modèle ViT affiné a démontré des performances robustes sur le jeu de données EmoSet, surpassant de manière significative les bases de référence zero-shot et d'auto-légendage. La validation sur le jeu de données externe Emotion6 a montré un fort accord avec les annotations humaines, à l'exception de la « colère », pour laquelle le modèle a nettement moins bien performé. Crucialement, les tests sur des images de bruit gaussien aléatoire ont montré que le modèle ne présentait pas de biais par défaut marqué vers une émotion particulière, suggérant que les biais observés dans la génération ne sont pas des artefacts du modèle de reconnaissance lui-même.

2. Corrélations cross-modalité

Lors de la comparaison de l'ensemble des émotions entre les prompts textuels et les images générées, les corrélations étaient généralement faibles. Même après l'agrégation aux six émotions d'Ekman, les corrélations restaient basses (corrélation moyenne cross-modalité de 0,0327), la « peur » présentant la corrélation maximale de 0,0609. Cela indique que la distribution émotionnelle dans les images générées ne reflète pas naturellement la distribution dans les prompts sources.

3. Preuve d'un biais systémique de la peur

L'analyse du sous-ensemble de DiffusionDB a révélé un biais distinct vers la peur :

• Stable Diffusion : La peur a présenté le TPR le plus élevé (environ 60 %) et le FPR le plus élevé (proche de 40 %). Cela suggère que si un prompt évoque la peur, l'image le fera probablement aussi ; inversement, si un prompt n'évoque pas la peur, il existe toujours une probabilité significative que l'image générée le fasse.
• Autres émotions : Les TPR pour la tristesse, le dégoût, la surprise et la colère étaient faibles (< 50 %), et les FPR pour ces émotions étaient également faibles (< 10 %), indiquant qu'elles sont rarement générées à moins d'être explicitement sollicitées. La « Joie » était la seule autre émotion préservée à travers les modalités plus d'un tiers du temps.

4. Généralisabilité à travers les modèles

Pour déterminer si ce biais était spécifique à Stable Diffusion, les auteurs ont testé :

• GPT-Image-1.5 d'OpenAI : En utilisant 1 642 prompts de DiffusionDB, le modèle GPT a présenté un profil de biais presque identique, la peur ayant les taux de TPR et de FPR les plus élevés.
• Stable Diffusion XL (SDXL) : Utilisant les mêmes prompts, SDXL a également montré les taux les plus élevés pour la peur, suivis de la joie. Bien que SDXL présente une séparation légèrement plus marquée des FPR pour les autres émotions par rapport aux autres modèles, la dominance de la peur reste constante.

Signification et affirmations

L'article prétend fournir des preuves empiriques soutenant l'hypothèse selon laquelle les modèles d'IA générative possèdent une propension structurelle à surreprésenter la peur, indépendamment du prompt d'entrée. Les auteurs soutiennent que cela est probablement le résultat de données d'entraînement surreprésentant le contenu effrayant, lui-même produit de la nature des réseaux sociaux axée sur l'engagement.

La signification de ces résultats réside dans le potentiel d'un « cycle vicieux » :

1. Les systèmes d'IA génèrent des images provoquant la peur même lorsqu'elles ne sont pas sollicitées.
2. Ces images entrent dans l'environnement informationnel numérique.
3. Étant donné que les émotions négatives sont contagieuses et stimulent l'engagement, ce contenu reçoit une visibilité élevée.
4. Ce contenu est ensuite ingéré dans les données d'entraînement pour la génération suivante de modèles d'IA, renforçant et amplifiant le biais.

Les auteurs concluent que ce biais pose des risques pour le bien-être psychologique des utilisateurs (particulièrement concernant l'anxiété) et pourrait influencer la mobilisation politique et l'instabilité. Ils préconisent une approche multidisciplinaire pour mieux aligner la reconnaissance des émotions par l'IA avec les connaissances psychologiques et pour développer des outils permettant aux utilisateurs et aux concepteurs d'atténuer ces biais.

Limites

L'article reconnaît plusieurs limites :

• Inadéquation des étiquettes : L'absence d'une correspondance parfaite de 1 pour 1 entre les taxonomies d'émotions utilisées pour le texte (GoEmotions, Paletz, SemEval) et pour les images (EmoSet/Mikels) a nécessité de regrouper les catégories, ce qui pourrait occulter certaines nuances.
• Multi-classe vs Multi-label : Le jeu de données EatoSet impose une étiquette d'émotion unique par image (multi-classe), alors que l'expérience émotionnelle humaine est souvent multi-label. Cette simplification peut ne pas capturer pleinement la complexité de l'évocation émotionnelle.
• Absence de classe neutre : Les modèles d'images sont entraînés pour identifier une émotion dominante même dans les images neutres, ce qui peut conduire à des comparaisons biaisées avec les modèles de texte qui peuvent identifier de faibles niveaux de multiples émotions ou la neutralité.

Les auteurs appellent à la création de nouveaux jeux de données d'émotions d'images complets utilisant des évaluations numériques multi-labels pour répondre à ces limitations structurelles dans les travaux futurs.