🤖 AI

EmoStyle: Affective Conditioning of Style-Specialist Experts for Emotional Image Generation

EmoStyle est un cadre de travail lauréat du premier prix du défi AffectiveArt 2026 qui comble l'écart de contrôle dans la génération d'images affectives en utilisant un LLM pour inférer les indices affectifs et des experts LoRA spécifiques au style pour moduler un générateur basé sur Z-Image, garantissant que les sorties s'alignent sur les invites, les styles artistiques et les émotions cibles.

Auteurs originaux : Dexiang Hong, Yijie Guo, Weidong Chen, Xinyan Liu, Zixuan Zou, Zhendong Mao, Yongdong Zhang

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dexiang Hong, Yijie Guo, Weidong Chen, Xinyan Liu, Zixuan Zou, Zhendong Mao, Yongdong Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de peindre un tableau basé sur une seule phrase, comme « un robot triste dans une ville pluvieuse ». Mais voici le piège : vous ne devez pas seulement dessiner un robot ; vous devez faire en sorte qu'il adopte un style artistique spécifique (peut-être l'« Impressionnisme » ou l'« Encre de Chine ») et, plus important encore, vous devez faire ressentir la tristesse au spectateur sans même que le robot ne pleure.

C'est le défi que l'équipe EmoStyle a relevé. Ils ont construit un système intelligent qui agit comme un directeur artistique super organisé, un caméléon changeur de style et un critique d'art rigoureux, tout cela en un seul. Leur objectif ? Remporter le AffectiveArt Challenge 2026 (Track 1), et devinez quoi ? Ils ont décroché la première place.

Voici comment fonctionne leur tour de magie, décomposée en trois étapes simples :

1. Le « Lecteur de Pensées » (Le Raisonneur LLM)

D'habitude, si vous dites simplement à un ordinateur « dessine un robot triste », il pourrait dessiner un robot qui a l'air joyeux ou confus parce qu'il ne sait pas comment exprimer la tristesse. Il a besoin de plus d'indices.

Dans les données d'entraînement, l'ordinateur disposait d'une antisèche avec des notes secrètes comme « Valence : Basse », « Arousal : Élevé » et « Émotion dominante : Chagrin ». Mais au moment du test (lorsqu'ils devaient réellement créer l'art), ces antisèches avaient disparu ! L'ordinateur n'avait plus que la courte phrase.

La solution d'EmoStyle : Ils ont engagé un « Lecteur de Pensées » IA (un raisonneur LLM). Avant de dessiner le moindre pixel, ce Lecteur de Pensées examine la courte phrase et le style artistique cible, puis devine les notes secrètes manquantes. Il détermine les coordonnées émotionnelles exactes (à quel point l'image doit être positive/négative et calme/excitée) et décide même si l'image doit être large ou haute. Il transforme une idée vague en un plan détaillé et structuré.

2. Le « Caméléon de Style » et l'« Injecteur d'Émotion »

Maintenant, l'ordinateur a un plan, mais il doit peindre. La plupart des peintres IA essaient d'apprendre tout en même temps, ce qui peut devenir désordonné. EmoStyle a fait quelque chose de plus intelligent :

Le Caméléon de Style (Experts LoRA) : Imaginez que vous avez une paire de lunettes différente pour chaque style artistique. Si vous voulez de la « Renaissance », vous mettez les lunettes de la Renaissance ; si vous voulez de l'« Ukiyo-e », vous changez pour celles-là. L'équipe a entraîné un petit « expert » spécialisé (appelé adaptateur LoRA) pour chacun des 8 styles artistiques utilisés (comme l'Encre de Chine, le Baroque et le Réalisme Soviétique). Quand l'ordinateur doit peindre, il choisit simplement la bonne paire de lunettes. Cela permet de garder un style super cohérent.
L'Injecteur d'Émotion (Conditionnement Affectif) : Mais attendez, comment faire pour que le robot de la Renaissance paraisse triste ? Vous ne vous contentez pas d'ajouter le mot « triste » dans le prompt une nouvelle fois. Au lieu de cela, ils ont pris le plan émotionnel du « Lecteur de Pensées » et l'ont transformé en un code secret (un vecteur). Ils ont injecté ce code directement dans le cerveau de la machine à peindre (les blocs de débruitage) en utilisant une technique de modulation de type AdaLN. Voyez cela comme le fait de chuchoter une instruction secrète directement à l'oreille de l'artiste pendant qu'il peint, lui disant exactement comment modifier ses coups de pinceau pour transmettre ce sentiment spécifique.

3. Le « Critique d'Art Rigoureux » (Raffinement guidé par VLM)

Même avec un excellent plan et les bonnes lunettes, le premier essai peut encore être un peu décalé. Peut-être que le robot a l'air trop joyeux, ou que les couleurs sont incorrectes.

Ainsi, le système ne se contente pas de générer une seule image. Il génère plusieurs candidats (comme si l'on esquissait cinq versions différentes). Ensuite, il fait appel à un « Critique d'Art Rigoureux » (un Modèle de Langage-Vision). Ce critique examine chaque esquisse et les note sur quatre points :

Est-ce que cela correspond au prompt ?
Est-ce que cela ressemble au bon style artistique ?
Est-ce que cela transmet réellement la bonne émotion ?
La qualité visuelle est-elle élevée ?

Le critique choisit le vainqueur. Si aucun n'est assez bon, il peut même déclencher une régénération. Cela se produit sans avoir besoin de réentraîner tout le système ; c'est juste une étape de sélection intelligente à la fin.

Les Résultats : Cela a-t-il fonctionné ?

L'équipe a testé son système sur un ensemble de données appelé EmoArt, qui contient plus de 132 664 peintures. Ils ont comparé leur système complet contre le modèle de base et d'autres peintres IA célèbres.

Le Score : Leur système, USTC_PI_LAB_TEAM, a obtenu un Score Global de 0,80, battant l'équipe classée deuxième, EmoForge, qui a obtenu 0,78.
La Preuve : Ils ont mesuré à quel point leurs images étaient proches de l'art réel à l'aide d'une métrique appelée FID (Frechet Inception Distance). Plus elle est basse, mieux c'est. Leur système complet a fait chuter le FID de 75,83 (le modèle de base) à 58,63, ce qui signifie que les images sont beaucoup plus réalistes et fidèles au style.
Les Tests « Et si ? » : Ils ont également mené des expériences pour voir ce qui se passe si l'on retire certaines parties de leur système.
- Si l'on retirait le « Lecteur de Pensées » (la planification affective), les images devenaient un peu moins bonnes pour capturer les détails spécifiques.
- Si l'on retirait le « Caméléon de Style » (les experts LoRA spécifiques), la cohérence du style chutait de manière significative.
- Si l'on retirait le « Critique d'Art Rigoureux » (l'étape de raffinement), la qualité de l'image finale diminuait.

Ce qu'ils N'ont Pas Fait

Il est important de savoir ce que ce système n'est pas. Les auteurs ont explicitement exclu le simple fait de réécrire le prompt avec plus de mots ou d'utiliser les notes émotionnelles comme texte supplémentaire dans la description. Ils ont constaté que ces méthodes étaient instables et ne donnaient pas assez de contrôle précis à l'ordinateur. Au lieu de cela, ils ont insisté sur la conversion des émotions en ce « code » secret injecté directement dans les couches de la machine.

Ils n'ont pas non plus essayé de construire un seul modèle géant qui apprend tout. Au lieu de cela, ils ont gardé le cerveau principal gelé et ont simplement remplacé les petits modules « experts » pour chaque style.

L'Essentiel

L'équipe EmoStyle a démontré qu'en décomposant le problème — d'abord en planifiant l'émotion, puis en choisissant l'expert de style approprié, et enfin en laissant un critique choisir le meilleur résultat — on peut créer de l'art qui ne se contente pas de paraître correct, mais qui semble juste. Ils ont prouvé que séparer le style de l'émotion et utiliser un « Lecteur de Pensées » intelligent pour combler les lacunes est une stratégie gagnante, leur assurant la première place du défi 2026.

Résumé Technique : EmoStyle

Énoncé du Problème

L'article traite du défi de la génération d'images artistiques sensibles aux émotions, une tâche exigeant qu'un modèle satisfasse simultanément trois contraintes : la fidélité sémantique à un texte d'entrée, l'adhérence à un style artistique spécifié et l'expression d'un état émotionnel cible.

La difficulté fondamentale réside dans le fossé de contrôle entre les entrées disponibles lors du test et les conditions fines requises pour la génération. Bien que les ensembles de données d'entraînement (tels qu'EmoArt) contiennent des annotations structurées riches — incluant des attributs visuels, des scores de valence-arousal, des émotions dominantes et des étiquettes d'effet thérapeutique — ces indices structurés sont absents au moment du test. Le modèle ne reçoit qu'un prompt compact et un compartiment de style cible. Par conséquent, le générateur doit inférer implicitement comment traduire l'émotion cible en paramètres visuels spécifiques (couleur, éclairage, coups de pinceau, composition, ligne et mise en page) sans guidage explicite, une tâche que les modèles de diffusion conditionnés par prompt standards peinent à accomplir avec une grande fidélité.

Méthodologie

Les auteurs proposent EmoStyle, un cadre construit sur le modèle de diffusion Z-Image. Le système opère via un pipeline en quatre étapes conçu pour combler l'écart entre les prompts compacts et les états de génération structurés :

1. Planification de l'Affect par Prompt (Raisonneur LLM)

Au lieu de réécrire le prompt ou de générer des attributs visuels en forme libre, le système emploie un raisonneur LLM pour inférer les variables affectives et de mise en page manquantes. Étant donné la légende d'entrée ( $x_i$ ) et le compartiment de style cible ( $y_i$ ), le raisonneur prédit un plan affectif structuré ( $P_i$ ) composé de :

Résumé affectif ( $F_i$ ) : Scores continus de valence ( $v$ ) et d'arousal ( $\eta$ ), une étiquette d'émotion dominante ( $e$ ), et des étiquettes d'effet thérapeutique ( $H$ ).
Décision du rapport d'aspect ( $\rho$ ) : Une orientation de toile prédite pour guider la résolution.

Ces prédictions sont dérivées de vocabulaires prédéfinis et de plages continues normalisées, garantissant que les signaux de contrôle restent compacts et stables.

2. Experts LoRA Spécifiques aux Compartiments

Pour gérer la diversité des styles artistiques, le cadre adopte une approche de Mélange d'Experts (MoE) adaptée aux compartiments de style disponibles (ex: encre lavée, ukiyo-e, gongbi, renaissance, abstrait, etc.).

Pour chaque compartiment de style, un adaptateur LoRA (Low-Rank Adaptation) dédié est entraîné sur le sous-ensemble correspondant de l'ensemble de données EmoArt tout en gardant le backbone Z-Image gelé.
Lors de l'inférence, le système sélectionne de manière déterministe l'expert LoRA correspondant au compartiment de style cible. Cela fournit des a priori spécifiques au compartiment pour la couleur, la texture, le coup de pinceau et la composition, assurant la cohérence du style sans mécanismes de routage complexes.

3. Modulation de la Condition Affective

Le plan affectif inféré est encodé en un vecteur de condition affective compact ( $c_{i,aff}$ ) et injecté dans le réseau de débruitage.

Encodage : Les coordonnées continues valence-arousal sont encodées via un encodage positionnel sinusoïdal, tandis que les étiquettes d'émotions et d'effets thérapeutiques discrètes sont mappées vers des embeddings apprenables. Ceux-ci sont combinés avec un terme d'interaction pour capturer la relation entre l'intensité continue et les types d'émotions discrètes.
Modulation : Le vecteur affectif est injecté via une modulation résiduelle de type AdaLN. Plutôt que d'ajouter une nouvelle couche, la tête affective prédit des décalages résiduels ( $\Delta s, \Delta g$ ) aux paramètres d'échelle et de porte natifs des blocs de Z-Image. Cela permet aux indices émotionnels inférés de guider directement les caractéristiques intermédiaires (couches Attention et MLP) pendant que le LoRA de style gère l'apparence artistique.

4. Raffinement des Candidats Guidé par VLM

Reconnaissant qu'une génération stochastique unique peut échouer à satisfaire tous les contraintes simultanément, le cadre emploie une stratégie de raffinement au moment du test.

Plusieurs images candidates sont générées en utilisant différentes graines aléatoires (seeds).
Un juge VLM (Vision-Language Model) (Qwen3.5-397B-A17B) évalue chaque candidat selon quatre critères : alignement avec le prompt, cohérence du style, cohérence du plan affectif, et qualité visuelle sans référence.
Le candidat ayant le score agrégé le plus élevé est sélectionné comme sortie finale, ne nécessitant aucun entraînement supplémentaire.

Principales Contributions

L'article expose trois contributions principales :

Planificateur Affectif basé sur LLM : Un mécanisme qui infère les indices affectifs structurés manquants (valence-arousal, étiquettes d'émotion) et de mise en page (rapport d'aspect) à partir de prompts compacts, les convertissant en variables de génération exploitables.
Cadre Découplé Style-Affect : Une architecture novatrice sur Z-Image qui sépare la sélection du style (via des experts LoRA par compartiment) de la modulation affective (via l'injection de résidus de type AdaLN). Cela permet aux mêmes indices affectifs d'être rendus avec des a priori distincts et spécifiques au style.
Raffinement Guidé par VLM : Une stratégie de test sans entraînement qui classe les candidats générés selon des critères multidimensionnels (contenu, style, affect, qualité) pour atténuer les échecs de génération.

Résultats Expérimentaux

Le cadre a été évalué dans la Track 1 du AffectiveArt Challenge 2026 (Génération d'images artistiques sensibles aux émotions) en utilisant l'ensemble de données EmoArt.

Performance au Challenge : La soumission de l'équipe USTC_PI_LAB_TEAM a obtenu la 1ère place avec un score global de 0,80, surpassant la deuxième équipe (EmoForge, 0,78).
Métriques Quantitatives : Sur l'ensemble de validation local, le cadre complet EmoStyle a réduit le FID (Frechet Inception Distance) de 75,84 (Z-Image de base) à 58,64, indiquant une amélioration significative du réalisme visuel. L'AAS (Attribute Alignment Score) est passé de 0,73 à 0,79, démontrant un meilleur alignement avec les attributs cibles.
Études d'Ablation :
- Le retrait de la prédiction du rapport d'aspect a causé la dégradation la plus importante du FID (jusqu'à 72,59), soulignant l'importance de la planification de la mise en page.
- Le retrait du LoRA spécifique au style a entraîné une baisse notable de l'alignement du style (de 0,75 à 0,71), confirmant la nécessité d'adaptateurs spécialisés.
- Le retrait du raffinement des candidats a dégradé à la fois le FID et l'AAS, validant l'utilité de la sélection guidée par VLM.
Comparaison Inter-Backbones : Appliqué à d'autres backbones (Flux2, GPT Image 2, Nano Banana 2) en utilisant uniquement les composants agnostiques du modèle (planification et raffinement), EmoStyle a tout de même amélioré les performances, bien que l'architecture complète sur Z-Image ait produit les meilleurs résultats globaux.

Signification et Revendications

L'article affirme qu'EmoStyle comble efficacement le fossé entre les prompts non structurés et le contrôle fin requis pour la génération artistique émotionnelle. En modélisant explicitement l'inférence des états affectifs et en découplant la spécialisation du style de la modulation émotionnelle, le cadre permet au générateur de « décider non seulement de ce qu'il doit représenter, mais aussi de la manière dont l'émotion cible doit être exprimée ».

Les auteurs positionnent ce travail comme une solution au « fossé de contrôle » dans la génération au moment du test, démontant que le raisonnement structuré (planification par LLM) combiné à l'adaptation efficace des paramètres (LoRA) et à l'augmentation par le test (raffinement par VLM) peut atteindre des résultats de pointe dans la conception créative sensible aux émotions sans réentraîner le backbone de diffusion de base. Le succès dans l'AffectiveArt Challenge 2026 sert de validation empirique de cette approche de conditionnement affectif structuré.