EmoStory: Emotion-Aware Story Generation

L'article présente EmoStory, un cadre de génération d'histoires visuelles en deux étapes qui intègre la planification par agents et la composition consciente des régions pour produire des récits cohérents et subjectivement stables guidés par des émotions explicites.

L'essentiel

Imaginez que vous êtes un réalisateur de cinéma, mais au lieu de tourner des films avec des acteurs et des caméras, vous utilisez un ordinateur magique capable de dessiner des images à partir de mots. Jusqu'à présent, ce cinéma numérique était un peu ennuyeux : il savait très bien dessiner un chien ou un panda, mais il ne savait pas vraiment comment faire ressentir quelque chose au spectateur. Le chien pouvait être là, mais était-il joyeux, effrayé ou triste ? L'ordinateur ne le savait pas vraiment.

C'est là qu'intervient EmoStory, une nouvelle invention présentée par des chercheurs de l'Université de Shenzhen. Voici comment cela fonctionne, expliqué simplement avec quelques images mentales.

1. Le Problème : Un Dessin sans Âme

Auparavant, si vous demandiez à l'ordinateur : « Dessine une histoire de chien », il vous sortait une série d'images correctes mais neutres. C'est comme si un acteur jouait une scène de tragédie avec un sourire figé. L'histoire est là, mais l'émotion manque.

Le défi, c'est que les émotions sont abstraites. Comment dire à un ordinateur de dessiner de la « peur » ? Il ne peut pas juste copier le mot « peur ». Il doit comprendre que la peur, c'est des arbres sombres, des chauves-souris, des ombres menaçantes.

2. La Solution : Deux Agents Magiques (Le Scénariste et l'Émotionniste)

Pour résoudre ce problème, les chercheurs ont créé EmoStory, qui fonctionne comme une petite équipe de deux experts qui travaillent ensemble avant même de dessiner la première image.

• L'Agent Émotion (Le Chef d'Orchestre) : Imaginez un expert qui a lu des milliers de livres et vu des milliers de films. Quand vous lui dites « Peur », il ne pense pas juste au mot. Il ouvre un grand arbre de connaissances et dit : « Ah, pour la peur, il nous faut une forêt sombre, des chauves-souris, peut-être un crâne. » Il transforme l'émotion abstraite en objets concrets.
• L'Agent Écrivain (Le Scénariste) : Une fois que l'Agent Émotion a choisi les objets, l'Agent Écrivain prend le relais. Il écrit une histoire fluide et logique. Il dit : « D'accord, notre chien va traverser une forêt sombre, il va voir des chauves-souris, puis il va rencontrer un squelette. » Il crée le scénario image par image.

Grâce à ces deux agents, l'ordinateur ne dessine plus au hasard. Il a un scénario émotionnel précis.

3. La Magie du Dessin : Le Peintre à Masque

Une fois le scénario écrit, vient le moment de dessiner. C'est ici que la deuxième partie d'EmoStory entre en jeu, et c'est un peu comme un peintre très précis qui utilise un masque.

Imaginez que vous devez peindre un portrait (le chien) dans un décor (la forêt effrayante).

• Le problème habituel : Les ordinateurs ont tendance à mélanger les choses. Ils pourraient essayer de peindre le chien dans le crâne, ou faire fondre les oreilles du chien avec les branches des arbres. Le résultat est flou et bizarre.
• La solution d'EmoStory : Ils utilisent une technique de « désentanglement » (détachement) des régions.
  • Ils disent à l'ordinateur : « Toi, tu dessines uniquement le chien, et tu ne le changes pas, peu importe ce qui se passe autour. » (C'est la zone du sujet).
  • Et ils disent : « Toi, tu dessines uniquement la forêt, les chauves-souris et l'ambiance effrayante, mais tu ne touches jamais au chien. » (C'est la zone des éléments émotionnels).

C'est comme si le peintre utilisait un pochoir parfait pour le chien, et qu'il pouvait peindre librement tout le reste du tableau pour créer l'ambiance, sans jamais salir le visage du chien. Cela garantit que le chien reste le même dans toutes les images (cohérence) tout en changeant d'ambiance (émotion).

4. Le Résultat : Des Histoires qui Touchent

Grâce à cette méthode, EmoStory peut générer des histoires visuelles où :

• Un panda peut être heureux (ensoleillé, avec des fleurs, sur un canapé).
• Le même panda peut être triste (sous la pluie, dans un cimetière, avec des fleurs fanées).

Les tests ont montré que cette méthode est bien meilleure que les précédentes. Les humains préfèrent ces histoires car elles sont à la fois cohérentes (le personnage ne change pas de visage) et émotionnelles (on ressent vraiment ce que le personnage ressent).

En Résumé

EmoStory, c'est comme donner à un ordinateur un cœur et un scénariste.

1. Le scénariste (les agents) décide quoi dessiner pour créer une émotion.
2. Le peintre (le générateur) utilise un masque pour s'assurer que le héros de l'histoire reste reconnaissable, même si le décor change radicalement pour raconter une émotion différente.

C'est un grand pas en avant pour transformer de simples images générées par IA en véritables histoires qui nous font rire, pleurer ou avoir peur.

Résumé technique

Voici un résumé technique détaillé de l'article « EmoStory: Emotion-Aware Story Generation » en français, structuré selon les points demandés.

1. Problématique

La génération d'histoires visuelles (story generation) vise à produire des séquences d'images cohérentes racontant une narration tout en maintenant la consistance du sujet principal à travers les images. Bien que les méthodes existantes aient fait des progrès significatifs grâce aux modèles de diffusion, elles présentent une limitation majeure : elles sont largement neutres sur le plan émotionnel.

Les approches actuelles se concentrent sur ce qui apparaît dans l'histoire (le sujet), mais négligent comment l'histoire doit être interprétée émotionnellement. Or, l'émotion est fondamentale pour engager le public et façonne les thèmes narratifs, la sélection des éléments visuels et les indices de composition (lumière, couleur, etc.). Le défi technique réside dans la capacité à ancrer des concepts abstraits (comme la « peur » ou la « joie ») dans des éléments visuels concrets et à les exprimer de manière cohérente à travers une séquence d'images sans perdre la consistance du sujet principal.

2. Méthodologie : Le Framework EmoStory

Pour répondre à ces défis, les auteurs proposent EmoStory, un framework à deux étapes qui intègre la planification d'histoire basée sur des agents et la génération d'histoire consciente des régions.

A. Planification d'histoire basée sur des agents (Agent-based Story Planning)

Cette première étape transforme les émotions abstraites en prompts narratifs concrets grâce à deux agents collaboratifs :

• Agent d'Émotion (Emotion Agent) : Utilise une base de connaissances dérivée du jeu de données EmoSet (un grand ensemble de données visuelles émotionnelles). Il construit des « arbres de facteurs émotionnels » qui relient un mot d'émotion (ex: « Amusement ») à des éléments visuels représentatifs (ex: « manège », « barbe à papa »). Pour un sujet donné et une émotion cible, cet agent sélectionne les éléments visuels les plus cohérents pour générer un script d'histoire ($S$) contenant le sujet, les éléments émotionnels, le thème et l'événement.
• Agent d'Écriture (Writer Agent) : Prend le script d'histoire et le transforme en une série de prompts cohérents et engageants ($P$). Il assure que tous les prompts partagent le même sujet (pour la consistance) tout en variant les éléments émotionnels pour enrichir l'expressivité narrative.

B. Génération d'histoire consciente des régions (Region-aware Story Generation)

Cette étape génère les images tout en préservant la consistance du sujet et en injectant les éléments émotionnels de manière précise. Elle repose sur une désenchevêtrement des régions (Region Disentanglement) :

• Désenchevêtrement des régions : L'image est divisée en deux masques : une région de sujet ($M_{sub}$) et une région d'éléments émotionnels ($M_{ele}$). Cela évite que le sujet et les éléments de fond ne fusionnent de manière indésirable (ex: un canard qui devient un « canard de manège »).
• Alignement du sujet (Subject Alignment) : Un module utilise le masque du sujet pour mélanger les caractéristiques de l'image de référence et de l'image en cours de génération. Cela permet de maintenir la consistance du sujet tout en intégrant les informations sémantiques des prompts textuels.
• Composition émotionnelle (Emotional Composition) : Un module utilise le masque des éléments ($M_{ele}$) et un facteur d'amélioration ($\alpha$) pour guider l'attention croisée (cross-attention). Cela force les éléments émotionnels à se concentrer uniquement sur les zones non occupées par le sujet, assurant ainsi une expressivité émotionnelle claire sans déformer le sujet principal.

3. Contributions Clés

• Nouvelle Tâche : Introduction de la génération d'histoires conscientes des émotions, une tâche visant à créer des séquences d'images cohérentes avec des directions émotionnelles explicites.
• Framework EmoStory : Proposition d'une architecture à deux étapes combinant la planification par agents (pour ancrer l'émotion dans le texte) et la génération consciente des régions (pour ancrer l'émotion dans l'image).
• Jeu de Données et Évaluation : Construction d'un nouveau jeu de données d'évaluation contenant 600 histoires (25 sujets × 8 émotions × 3 histoires chacune) et définition de métriques spécifiques (Précision Émotionnelle, Alignement du Prompt, Consistance du Sujet).

4. Résultats

Les auteurs ont évalué EmoStory en le comparant à huit méthodes de l'état de l'art (incluant StoryDiffusion, ConsiStory, StoryGen, etc.) sur le nouveau jeu de données.

• Comparaison Quantitative : EmoStory surpasse toutes les méthodes concurrentes sur les trois métriques :
  • Précision Émotionnelle : 70,17 % (meilleure capacité à évoquer l'émotion cible).
  • Alignement du Prompt : 82,06 %.
  • Consistance du Sujet : 71,70 %.
  • Les graphiques montrent qu'EmoStory réussit à trouver un équilibre optimal entre expressivité émotionnelle et qualité de l'histoire, là où les autres méthodes échouent souvent à l'un ou l'autre (soit des images neutres, soit des sujets déformés).
• Comparaison Qualitative : Les résultats visuels montrent que les méthodes existantes produisent souvent des éléments visuels neutres ou des artefacts (effondrement du visage, distorsion des membres) lorsqu'elles tentent d'intégrer des émotions complexes. EmoStory génère des interactions émotionnelles claires (ex: un koala dans un cadre ensoleillé pour la « satisfaction ») tout en gardant le sujet identique.
• Étude Utilisateur : Une étude avec 38 participants a confirmé la supériorité humaine d'EmoStory, obtenant 74,23 % de votes pour l'évocation émotionnelle et 68,42 % pour la consistance du sujet, bien au-dessus des méthodes de référence.

5. Signification et Impact

Ce travail est significatif car il comble un vide majeur dans la génération d'images narratives : la dimension affective.

• Avancement Technique : Il démontre que l'intégration d'agents de planification et de mécanismes de contrôle spatial (désenchevêtrement de régions) permet de résoudre le compromis classique entre consistance du sujet et richesse sémantique/émotionnelle.
• Applications Potentielles : Cette technologie ouvre la voie à des outils de création de contenu plus immersifs pour le cinéma, la bande dessinée, la publicité et les jeux vidéo, où l'émotion est un vecteur narratif central.
• Limites et Perspectives : Les auteurs reconnaissent que le modèle se limite actuellement à 8 émotions discrètes et à un seul sujet. Les travaux futurs viseront à gérer des émotions plus complexes, des interactions multi-sujets et des prompts plus longs.

En résumé, EmoStory établit une nouvelle référence pour la génération d'histoires visuelles en prouvant qu'il est possible de contrôler explicitement l'ambiance émotionnelle d'une séquence d'images tout en garantissant une cohérence narrative et visuelle rigoureuse.