EmoCtrl: Controllable Emotional Image Content Generation

Le papier présente EmoCtrl, une méthode innovante qui permet de générer des images fidèles à un contenu descriptif tout en exprimant une émotion cible contrôlée, comblant ainsi la lacune des modèles existants qui sacrifient soit la cohérence du contenu, soit l'expressivité émotionnelle.

L'essentiel

Imaginez que vous êtes un chef cuisinier. Jusqu'à présent, les robots qui dessinent des images (les modèles d'IA comme Stable Diffusion) étaient excellents pour préparer le plat exact que vous demandiez : si vous disiez "un chien sur un tapis", ils vous donnaient un chien sur un tapis. Mais il y avait un problème : le plat était toujours sans saveur, sans âme. C'était comme un chien en plastique : il ressemblait à un chien, mais il ne transmettait aucune émotion.

D'un autre côté, certains robots savaient mettre de la "saveur" (de l'émotion), mais ils gâchaient le plat en cours de route. Si vous demandiez un chien joyeux, ils pouvaient vous donner un chien qui pleure ou un chien qui ressemble à un chat, juste pour essayer d'être triste ou joyeux.

EmoCtrl, c'est le nouveau chef étoilé qui résout ce dilemme. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Le "Goût" manquant

Le but de ce travail est de créer une image qui respecte deux règles en même temps :

1. Le contenu : "Je veux un chien sur un tapis." (Le plat de base).
2. L'émotion : "Je veux que ce chien soit joyeux." (La saveur).

Les anciens modèles ne savaient pas faire les deux en même temps. Soit ils étaient trop rigides (pas d'émotion), soit ils étaient trop créatifs (ils changeaient le chien).

2. La Solution : EmoCtrl, le "Chef Magicien"

Les chercheurs ont créé un système appelé EmoCtrl qui agit comme un chef qui a deux assistants magiques :

• L'Assistant des Mots (Amélioration Textuelle) :
  Imaginez que vous donnez l'ordre "Dessine un chien" à un robot. L'Assistant des Mots intervient et dit : "Attends, le mot 'chien' ne suffit pas ! Si on veut de la joie, il faut ajouter des détails invisibles : 'un chien qui court avec un ballon coloré', 'des yeux brillants', 'une queue qui remue'".
  Il transforme votre phrase simple en une description riche et émotionnelle avant même que l'image ne soit dessinée.

• L'Assistant des Couleurs (Amélioration Visuelle) :
  Même si le texte est parfait, le robot doit encore savoir comment peindre. L'Assistant Visuel donne des instructions directes au pinceau : "Pour la joie, utilise des couleurs vives, de la lumière chaude, des formes rondes". Pour la tristesse, il dirait : "Utilise des tons gris, des ombres longues, une lumière froide".
  Cela permet de peindre l'émotion directement sur la toile, sans changer le sujet principal.

3. Le Goût-Testeur (L'Optimisation des Préférences)

C'est la partie la plus intelligente. Après que le robot a dessiné l'image, un "Gourmet" (un système d'évaluation) la goûte.

• Est-ce que c'est bien un chien ? (Oui/Non)
• Est-ce que ça fait rire ? (Oui/Non)
• Est-ce que c'est beau ? (Oui/Non)

Si l'image n'est pas assez drôle, le robot reçoit une "punition" et doit réessayer en ajustant ses couleurs ou ses détails. Il apprend ainsi, par essais et erreurs, à plaire aux humains.

4. Le Résultat : Une Cuisine Parfaite

Grâce à cette méthode, EmoCtrl peut prendre une instruction simple comme "Un arbre dans le parc" et, selon l'émotion demandée, créer :

• Joie : Un arbre aux feuilles dorées sous un soleil radieux, avec des oiseaux qui chantent.
• Tristesse : Le même arbre, mais avec des feuilles mortes, sous une pluie grise et un ciel bas.
• Peur : Le même arbre, mais tordu, avec des branches qui ressemblent à des griffes dans le brouillard.

En résumé :
EmoCtrl est comme un chef qui ne se contente pas de suivre la recette (le contenu), mais qui comprend aussi l'ambiance de la soirée (l'émotion). Il sait exactement quels ingrédients (couleurs, lumières, détails) ajouter pour que le plat (l'image) fasse exactement ce que vous voulez : vous faire rire, vous faire pleurer ou vous émerveiller, tout en restant fidèle à ce que vous avez commandé.

C'est une avancée majeure car cela permet de créer des images qui ne sont pas seulement de "belles photos", mais de véritables œuvres d'art capables de toucher le cœur du spectateur.

Résumé technique

1. Problématique et Contexte

La génération d'images par intelligence artificielle (Text-to-Image) a fait des progrès significatifs en termes de fidélité sémantique (respect du contenu décrit), mais elle échoue souvent à contrôler l'tonalité émotionnelle de l'image générée.

• Le défi : Les modèles existants comme Stable Diffusion (SD) préservent le contenu mais manquent de conscience émotionnelle. À l'inverse, les modèles axés sur l'émotion (comme EmoGen) améliorent l'expression affective mais déforment souvent le contenu sémantique.
• La tâche proposée : Les auteurs introduisent la Génération de Contenu Image Émotionnel Contrôlable (C-EICG). L'objectif est de générer des images qui respectent strictement une description de contenu (ex: « Un chien sur le sol ») tout en exprimant une émotion cible spécifique parmi les 8 catégories de Mikels (amusement, colère, crainte, contentement, excitation, dégoût, peur, tristesse).

2. Méthodologie : Le Framework EmoCtrl

Pour combler le fossé entre la fidélité du contenu et l'expressivité émotionnelle, les auteurs proposent EmoCtrl, un cadre reposant sur trois piliers principaux :

A. Construction de Données (EmoSet+ et EmoEditSet+)

Les jeux de données existants manquaient de conditions de contenu précises couplées à des étiquettes émotionnelles.

• Les auteurs ont enrichi les jeux de données EmoSet et EmoEditSet en utilisant des modèles de langage multimodaux (MLLM) et des LLM pour générer des descriptions détaillées (captions) et extraire des concepts visuels neutres.
• Ils ont créé des quadruplets annotés : {émotion, concept, caption affective, image}. Cela permet d'apprendre au modèle à lier des émotions abstraites à des indices visuels concrets (ex: lier « tristesse » à des tons désaturés et une atmosphère sombre, plutôt qu'à un objet triste spécifique).

B. Architecture du Modèle (Deux modules d'amélioration)

EmoCtrl intègre deux modules complémentaires pour enrichir l'expression affective sans sacrifier le contenu :

1. Amélioration Émotionnelle Textuelle (Textual Emotion Enhancement) :

   • Utilise un LLM (fine-tuné avec LoRA) pour enrichir la description textuelle de l'utilisateur.
   • Introduit des tokens d'émotion apprenables ($v_t$) qui agissent comme des ancres sémantiques pour chaque catégorie d'émotion.
   • Le LLM fusionne le token d'émotion avec le contenu d'entrée pour produire un prompt textuel « conscient de l'émotion » (ex: transformer « Un chien » en « Un chien joyeux courant dans l'herbe avec un ballon colorique » pour l'émotion « Amusement »).

2. Amélioration Émotionnelle Visuelle (Visual Emotion Enhancement) :

   • Injecte directement des indices perceptuels dans le modèle de diffusion (Stable Diffusion).
   • Utilise des tokens d'émotion visuels ($v_v$) partagés, projetés dans l'espace de conditionnement du modèle de diffusion via un mécanisme d'attention croisée.
   • Ces tokens guident la génération vers des caractéristiques perceptuelles spécifiques (couleur, luminosité, style) associées à l'émotion cible, complétant les indices sémantiques du texte.

C. Optimisation par Préférence Guidée par l'Émotion (Emotion-driven Preference Optimization - EDPO)

Pour aligner le modèle sur les préférences humaines, les auteurs ne se contentent pas de l'entraînement supervisé classique.

• Ils utilisent un algorithme d'optimisation de politique par groupes (GRPO).
• Une récompense composite est calculée pour chaque image générée, combinant :
  1. Récompense d'émotion ($R_{emo}$) : Probabilité que l'image corresponde à la catégorie d'émotion cible.
  2. Récompense de polarité ($R_{pol}$) : Assure que l'image respecte la polarité (positive/negative) de l'émotion cible.
  3. Récompense générale ($R_{pick}$) : Utilise PickScore pour garantir la qualité visuelle et l'alignement texte-image global.
• Cette approche permet d'affiner le modèle pour qu'il génère des images non seulement émotionnellement justes, mais aussi esthétiquement plaisantes.

3. Résultats Expérimentaux

Comparaison Quantitative

EmoCtrl a été évalué sur un ensemble d'inférence de 608 images (76 descriptions de contenu × 8 émotions) et comparé à des modèles de base (SD, SDXL, PixArt), des méthodes de personnalisation (DreamBooth, Textual Inversion) et des méthodes affectives existantes (EmoGen, EmotiCrafter).

• Précision Émotionnelle (Emo-A) : EmoCtrl atteint 64,64 %, surpassant largement EmoGen (45,23 %) et les autres modèles.
• Précision du Contenu (CLIP-A) : Il maintient une fidélité au contenu élevée (83,06 %), comparable aux meilleurs modèles Text-to-Image, contrairement aux méthodes affectives qui dégradent souvent le contenu.
• Précision Jointe (EC-A) : C'est le métrique clé pour la tâche C-EICG. EmoCtrl obtient 50,99 %, dépassant significativement la deuxième meilleure méthode (DreamBooth à 24,86 %).

Étude Utilisateur

Une étude avec 48 participants a confirmé la supériorité de EmoCtrl :

• 88,75 % des participants ont préféré EmoCtrl pour l'évocation de l'émotion.
• 86,77 % l'ont préféré pour la fidélité du contenu.
• 87,76 % ont jugé le résultat équilibré.

Études d'Abalation

Les expériences montrent que chaque composant est crucial :

• Sans les tokens textuels ($v_t$), le modèle peine à ancrer la sémantique de l'émotion.
• Sans les tokens visuels ($v_v$), la qualité perceptuelle et le réalisme chutent drastiquement.
• Sans l'optimisation par préférence (EDPO), l'alignement avec les préférences humaines diminue.

4. Contributions Clés

1. Définition de la tâche C-EICG : Introduction d'un nouveau paradigme pour la génération d'images contrôlant simultanément le contenu sémantique et l'émotion.
2. Création de jeux de données annotés : Construction de EmoSet+ et EmoEditSet+ avec des triplets (émotion, contenu, caption affective) pour l'apprentissage supervisé.
3. Architecture hybride : Proposition de deux modules d'amélioration (textuel et visuel) couplés à une optimisation par préférence spécifique à l'émotion.
4. Performance supérieure : Démonstration que EmoCtrl surpasse l'état de l'art en maintenant un équilibre optimal entre fidélité sémantique et expressivité émotionnelle.

5. Signification et Applications

• Créativité et Art : EmoCtrl permet aux artistes de générer des images dans des styles spécifiques (ex: Matisse, Picasso) tout en contrôlant l'ambiance émotionnelle (ex: une ville joyeuse vs une ville sombre).
• Robustesse : Le modèle généralise bien à des tâches complexes comme la génération multi-émotions (combinaison d'émotions de même polarité ou opposées).
• Limites et Perspectives : La méthode dépend actuellement uniquement de l'entrée textuelle et de la qualité du jeu de données d'entraînement (EmoSet). Les auteurs suggèrent que l'extension vers des entrées visuelles et des datasets de haute résolution pourrait encore améliorer les performances.

En résumé, EmoCtrl représente une avancée majeure en informatique affective visuelle, résolvant le compromis historique entre « dire ce qu'on voit » et « faire ressentir une émotion » dans la génération d'images par IA.