💬 NLP

Large Emotional World Model

Cet article introduit le Large Emotional World Model (LEWM), un nouveau cadre qui intègre l'émotion humaine en tant que variable d'état centrale pour prédire les futurs états émotionnels et physiques, démontrant des améliorations de performance significatives dans les tâches de prédiction de l'état du monde, de compréhension de l'émotion et de raisonnement général.

Auteurs originaux : Changhao Song, Yazhou Zhang, Hui Gao, Chang Yang, Peng Zhang

Publié 2026-07-30

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Changhao Song, Yazhou Zhang, Hui Gao, Chang Yang, Peng Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot comment conduire une voiture. Si vous ne lui montrez que les lois de la physique, il apprend que s'il percute un mur de briques, la voiture s'arrête. C'est le « monde physique ». Mais si vous voulez que ce robot conduise dans une ville pleine de gens, la physique ne suffit pas. Il doit comprendre que si un conducteur lui coupe la route, l'autre conducteur pourrait se mettre en colère, piler sur les freins ou hurler. Si le robot ne prédit pas cette émotion, il ne peut pas prédire ce qui va se passer ensuite. C'est la grande question dans un domaine appelé les « Modèles de Monde » (World Models). Les scientifiques essaient de construire des cerveaux numériques qui ne se contentent pas de voir ce qui se passe en ce moment, mais qui peuvent simuler la façon dont le futur va se dérouler. Pendant longtemps, ces cerveaux numériques étaient comme des moteurs de physique : excellents pour déplacer des blocs et des balles, mais terribles pour comprendre pourquoi les humains font ce qu'ils font. Ils passaient à côté de l'ingrédient secret : les sentiments.

Ce document présente un nouveau type de cerveau numérique appelé le Large Emotional World Model (LEWM). Les chercheurs, Changhao Song et son équipe de l'Université de Tianjin, ont réalisé que pour prédire le futur dans un monde humain, il faut d'abord prédire les sentiments. Ils ont construit un nouvel ensemble de données massif appelé EWH (Emotion-Why-How), qui est comme une bibliothèque de 10 850 courtes histoires vidéo. Chaque histoire montre une personne, ce qu'elle ressentait avant, ce qu'elle a fait, comment ses sentiments ont changé, et ce qui s'est passé ensuite. Considérez cela comme un livre de type « Choisissez votre propre aventure » où les rebondissements dépendent entièrement de savoir si le personnage est heureux, en colère ou triste.

En utilisant cette bibliothèque, ils ont entraîné le LEWM à réfléchir en deux étapes, comme un détective résolvant un mystère. D'abord, le modèle demande : « Étant donné ce qui vient de se passer, comment cette personne se sentira-t-elle ensuite ? » Il prédit l'émotion. Deuxièmement, il demande : « Maintenant que je sais comment elle se sent, que va-t-elle faire ensuite ? » En plaçant l'émotion au milieu, le modèle peut voir que le même accident de la route pourrait mener à une conversation calme si le conducteur est heureux, ou à une dispute hurlante s'il est en colère. Les résultats sont impressionnants : sur leur nouvel ensemble de données émotionnelles, le LEWM est jusqu'à 45,72 % plus précis que les modèles précédents. Il est également devenu meilleur pour comprendre les émotions en général (en s'améliorant de 17,47 % sur un test) et est même devenu plus intelligent pour répondre à des questions complexes sur la politique et la science sans perdre sa capacité à comprendre le monde physique. Le document suggère qu'en apprenant à l'IA à se soucier des sentiments, nous ne la rendons pas seulement plus gentille ; nous la rendons bien meilleure pour prédire comment le monde humain réel fonctionne réellement.

Résumé Technique : Large Emotional World Model (LEWM)

Énoncé du Problème

Les modèles de monde actuels sont principalement conçus pour apprendre les lois physiques régissant les transitions d'état (par exemple, le mouvement des objets, la continuité spatiale). Bien qu'efficaces pour simuler le monde physique, ils échouent à capturer le « monde humain », où les actions, les décisions et les interactions sont profondément façonnées par des dynamiques affectives internes. Les modèles existants traitent rarement l'émotion comme un facteur causal explicite dans les transitions d'état. Par conséquent, ils ne peuvent pas prédire avec précision les états futurs dans des environnements centrés sur l'humain où un même événement physique (par exemple, un accident de la route) peut mener à des trajectoires divergentes selon l'état émotionnel de l'agent (par exemple, une résolution coopérative versus une confrontation hostile).

Méthodologie

1. Construction du Jeu de Données : Emotion-Why-How (EWH)

Pour remédier au manque de données concernant les transitions d'états émotionnels, les auteurs ont construit EWH, le premier jeu de données de modèle de monde centré sur les dynamiques émotionnelles.

Sources de Données : 2 258 vidéos à la première personne provenant de TikTok/Douyin et 1 583 épisodes de huit séries télévisées (ex: Friends, The Office), couvrant divers contextes tels que le domicile, le lieu de travail et les voyages.
Structure : Le jeu de données contient 10 850 tuples de transition sensibles aux émotions. Chaque tuple est formalisé sous la forme $T = \langle(S_0, E_0), H, (S_1, E_1)\rangle$ $T = ⟨(S_{0}, E_{0}), H, (S_{1}, E_{1})⟩$ , où :
- $S_0, S_1$ : États observables (vidéo synchronisée, audio, image).
- $E_0, E_1$ : États émotionnels (étiquetés comme neutre, bonheur, tristesse, colère, peur, surprise, dégoût).
- $H$ : La trajectoire de comportement intermédiaire.
Logique Why-How : La structure lie explicitement le « Pourquoi » (la raison affective du comportement) et le « Comment » (l'effet de la transition émotionnelle sur l'évolution de l'état futur).
Pipeline : Un pipeline en quatre étapes impliquant la segmentation vidéo, l'extraction de transitions sensibles aux émotions (en utilisant Qwen3.5-VL et GPT-5), la construction d'échantillons et un contrôle de qualité rigoureux (filtrage automatique + vérification humaine).

2. Architecture du Modèle : Large Emotional World Model (LEWM)

LEWM est un cadre multimodal composé d'un encodeur–LLM–décodeur multimodal qui factorise la prédiction future en deux étapes couplées :

Encodage Multimodal de l'État du Monde : Les états observables ( $V, A, I$ ) et l'émotion actuelle ( $E_t$ ) sont encodés via des encodeurs spécifiques à chaque modalité et projetés dans l'espace d'embedding du LLM. Les trajectoires de comportement ( $H_t$ ) sont tokenisées sous forme de texte.
Modélisation de la Transition Sensible à l'Émotion (Prédiction Factorisée) :
- Étape 1 (Prédiction de l'Émotion) : Le modèle prédit d'abord le futur état émotionnel ( $\hat{E}_{t+1}$ ) étant donné le contexte actuel : $p(E_{t+1} | S_t, E_t, H_t)$ .
- Étape 2 (Prédiction de l'État) : L'émotion prédite est utilisée comme signal de conditionnement pour guider la prédiction du futur état du monde : $p(S_{t+1} | S_t, E_t, H_t, \hat{E}_{t+1})$ .
- Cette conception suppose que les états futurs sont médiés par des transitions affectives, et non seulement par des observations externes.
Génération Autorégressive : Le modèle utilise des jetons de génération dédiés ([IMG], [VID], [AUD]) pour générer de manière autorégressive les futurs états multimodaux.
Optimisation : Une fonction de perte multi-tâches supervise conjointement la classification de l'émotion future, la génération de jetons autorégressifs et la prédiction de l'état futur multimodal (via la distance dans l'espace d'embedding).

Principales Contributions

Formulation de la Modélisation de Monde Affective : L'article introduit le concept d'intégration de l'émotion comme variable d'état clé dans les modèles de monde afin de capturer à la fois l'évolution de l'état physique et les causes affectives.
Jeu de Données EWH : La création du premier jeu de données de modèle de monde explicitement centré sur les transitions d'états émotionnels, comblant l'écart entre la reconnaissance d'émotions statique et la modélisation de monde dynamique.
Architecture LEWM : La proposition d'un cadre de prédiction factorisé qui conditionne la prédiction de l'état du monde sur les états émotionnels prédits, démontrant que cette approche améliore les performances sans sacrifier les capacités de raisonnement général.

Résultats Expérimentaux

Prédiction de l'État du Monde

EWH (Monde Émotionnel) : LEWM a obtenu les meilleures performances sur 10 tâches sur 12. Comparé au baseline WorldGPT, il améliore la prédiction vidéo jusqu'à 45,73 % et la prédiction audio jusqu'à 24,75 %.
WorldNet (Monde Physique) : LEWM montre des gains constants (jusqu'à 3,94 %) même dans les contextes du monde physique, particulièrement dans la prédiction audio, suggérant que les dynamiques émotionnelles fournissent des indices complémentaires pour les transitions physiques.
Ablation : Le retrait du conditionnement émotionnel (« No Emotion ») dégrade systématiquement les performances. L'utilisation de l'« Oracle Future » (émotion réelle) produit les gains les plus élevés, indiquant un potentiel significatif d'amélioration avec une prédiction d'émotion plus précise.

Compréhension de l'Émotion

MELD : LEWM a réalisé une amélioration de 17,47 % du Weighted-F1 sur l'analyse de sentiment et des gains significatifs sur la reconnaissance d'émotions fines.
Généralisation : Le modèle surpasse son backbone sur le benchmark exigeant GoEmotions (28 classes), indiquant que l'apprentissage des transitions émotionnelles produit des représentations émotionnelles transférables.

Raisonnement Général

Benchmarks (MMLU, HellaSwag, VQAv2, NExT-QA) : LEWM reste comparable au baseline WorldGPT sur les tâches de raisonnement général. Notamment, il a obtenu un gain de 6,10 % en sciences politiques (MMLU) et de 5,95 % en reconnaissance animale (VQAv2), démontrant que la modélisation de l'émotion ne nuit pas, et peut même améliorer, le raisonnement général.

Analyse Contrefactuelle

Les expériences d'intervention (remplacement de l'émotion d'entrée tout en maintenant l'état et le comportement constants) ont montré que LEWM produit des changements structurés et non nuls dans les prédictions d'états futurs à travers les modalités. Les émotions à haute activation ont induit des divergences plus importantes, confirmant que le modèle traite l'émotion comme une variable active dans la prédiction de l'état futur.

Signification et Revendications

L'article affirme que l'incorporation de l'émotion dans les modèles de monde permet une simulation plus réaliste des environnements centrés sur l'humain. En allant au-delà de la prédiction de l'état physique pour modéliser les dynamiques affectives, LEWM étend la compréhension prédictive des agents intelligents. Ce travail établit les fondations pour des « agents socialement ancrés » capables de mieux modéliser le comportement humain, l'interaction et la prise de décision. Les auteurs soulignent que leur approche ne se contente pas de classifier statiquement les émotions, mais modélise l'évolution dynamique de l'émotion en tant que moteur causal des futurs états du monde.