💻 computer science

AffectVerse: Emotional World Models for Multimodal Affective Computing

AffectVerse est un modèle de langage large multimodal qui améliore le raisonnement émotionnel en intégrant un Module de Monde des Émotions pour effectuer une prédiction affective latente à court horizon par l'intermédiaire de l'imagination temporelle intermodale et de l'agrégation de croyances, capturant ainsi les dynamiques affectives et atteignant des performances supérieures sur neuf benchmarks.

Auteurs originaux : Bo Zhao, Fanghua Ye, Yixin Ji, Sicheng Zhao, Xiaojiang Peng, Zitong YU

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bo Zhao, Fanghua Ye, Yixin Ji, Sicheng Zhao, Xiaojiang Peng, Zitong YU

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardiez une interview d'embauche à la télévision. Le candidat commence à parler, et sa voix se met à trembler à peine. Son sourire semble un peu trop serré, comme un masque. Un humain qui observe cela n'attend pas la fin de la phrase pour deviner ce que ressent la personne. Au contraire, notre cerveau lance instantanément une simulation « et si » : « S'ils continuent à parler ainsi, vont-ils craquer ? Ou sont-ils simplement nerveux ? » Nous mettons à jour notre hypothèse (notre « croyance ») en temps réel à mesure que de nouveaux indices arrivent.

Les modèles informatiques actuels de reconnaissance des émotions sont un peu comme un photographe qui ne prend une photo qu'une fois l'événement terminé. Ils analysent l'ensemble de la vidéo, de l'audio et du texte, puis disent : « D'accord, c'était triste. » Ils manquent le processus dynamique de la manière dont l'émotion s'est construite.

Ce papier présente AffectVerse, un nouveau modèle d'IA qui tente de penser davantage comme un observateur humain. Au lieu de simplement regarder ce qui s'est passé, il apprend à imaginer ce qui va se produire en se basant sur ce qu'il a vu jusqu'à présent.

Voici comment cela fonctionne, décomposé en étapes simples :

1. L'idée centrale : le « Module Monde des Émotions »

Imaginez le cerveau de l'IA comme possédant un moteur d'imagination spécial appelé le Module Monde des Émotions (EWM). Alors que les modèles d'IA standards se contentent de lire le passé, ce moteur fait trois choses :

Étape 1 : Le Voyageur dans le temps (Imagination temporelle intermodale)
Imaginez que vous regardez un film et que l'écran devient noir pendant une seconde. Un humain pourrait deviner ce qui va se passer ensuite en se basant sur la musique et le visage de l'acteur. AffectVerse fait cela mathématiquement. Il examine la vidéo et l'audio qu'il a vus jusqu'à présent et tente de prédire à quoi la vidéo et l'audio ressembleraient quelques secondes plus tard. Il ne voit pas réellement le futur ; il crée une version « fantôme » du futur pour tester sa compréhension.
- L'analogie : C'est comme un joueur d'échecs qui regarde trois coups en avant. Il ne joue pas encore les coups, mais il les simule pour comprendre le flux du jeu.
Étape 2 : Le Résumé (Agrégation des croyances MAMA)
L'IA a maintenant généré ces « clips fantômes » du futur. Mais elle ne peut pas réinjecter tout un film dans son cerveau. Elle utilise donc un filtre intelligent appelé MAMA pour compresser tous ces moments futurs imaginés en quelques « jetons de croyance ».
- L'analogie : Pensez à cela comme un présentateur de journal qui résume une actualité brûlante. Au lieu de lire tout le script, il vous donne la « une » de ce qui est susceptible de se passer ensuite. Ces titres sont les « croyances ».
Étape 3 : L'Injection (Injection de croyance)
Enfin, l'IA prend ces « titres de croyance » et les réinsère dans sa conversation principale. Maintenant, lorsque l'IA décide quelle émotion la personne ressent, elle ne regarde pas seulement le passé ; elle prend également en compte sa propre prédiction du futur.
- L'analogie : C'est comme un détective qui ne regarde pas seulement la scène de crime (le passé) mais qui a aussi un pressentiment sur qui est le coupable probable (la croyance future). Ce pressentiment l'aide à résoudre l'affaire plus vite et plus précisément.

2. Comment il apprend (L'entraînement)

Le modèle est entraîné à l'aide d'un tour de force ingénieux. On lui montre un extrait vidéo, mais l'écran est coupé prématurément (comme une version « sans spoilers »).

L'IA doit deviner à quoi ressembleront et sonneront le reste de la vidéo.
Si elle devine correctement, elle reçoit une récompense.
Cela force l'IA à apprendre les modèles de la manière dont les émotions évoluent dans le temps (par exemple, comment un sourire se transforme en froncement de sourcils, ou comment une voix calme devient tremblante).

Une fois qu'elle a appris cette compétence de « prédiction du futur », elle n'a plus besoin que l'écran soit coupé. Lorsqu'elle regarde une vidéo complète, elle utilise cette même compétence pour construire une compréhension plus solide et plus précise de l'émotion.

3. Les résultats

Les chercheurs ont testé AffectVerse sur neuf ensembles de données différents (collections de vidéos avec audio et texte).

Le résultat : AffectVerse a surperformé les autres modèles de premier plan (comme AffectGPT et Qwen2.5-Omni) avec une marge significative (environ 2,5 % à 5 % de mieux en moyenne).
Pourquoi c'est important : Le papier montre qu'en enseignant à l'IA à « imaginer » les quelques secondes suivantes d'une interaction, elle devient beaucoup meilleure pour comprendre des émotions complexes et changeantes. Elle gère beaucoup mieux les situations où l'audio ou la vidéo pourraient manquer ou être coupés court que les modèles qui se contentent d'examiner des instantanés statiques.

Résumé

En bref, AffectVerse est une IA qui ne regarde pas seulement le présent ; elle simule constamment l'immédiat futur. En « imaginant » comment une émotion pourrait se dérouler, elle construit une « croyance » plus robuste sur ce que ressent la personne, conduisant à une reconnaissance émotionnelle plus intelligente et plus précise. Elle transforme la reconnaissance des émotions d'une photo statique en un film dynamique.

Résumé Technique : AffectVerse, Modèles de Monde Affectif pour le Calcul Affectif Multimodal

1. Énoncé du Problème

Les modèles de langage multimodaux de grande taille (MLLM) actuels traitent généralement la reconnaissance des émotions comme une tâche de correspondance de motifs statiques sur des entrées audiovisuelles et textuelles complètes. Ce paradigme échoue à capturer la dynamique temporelle de l'affect, telle que l'escalade, le rétablissement ou les conflits intermodaux, réduisant ainsi des processus émotionnels complexes à des instantanés statiques. Alors que les humains infèrent les émotions en intégrant des indices observés avec des prédictions sur la manière dont les états affectifs peuvent se dérouler, les MLLM existants manquent d'un mécanisme pour modéliser ces « états de croyance prédictifs » dans le cadre d'observations partielles. L'article identifie un fossé entre la reconnaissance multimodale statique et la nature temporellement évolutive de l'inférence affective humaine.

2. Méthodologie

Les auteurs proposent AffectVerse, un modèle construit sur Qwen2.5-Omni intégrant un Module de Monde Émotionnel (EWM). Contrairement aux modèles de monde traditionnels utilisés en apprentissage par renforcement qui prédisent les états futurs basés sur les actions et les récompenses, AffectVerse emploie une formulation sans action conçue spécifiquement pour l'inférence affective. L'EWM opère selon le principe du traitement prédictif, où le modèle prédit des représentations audiovisuelles futures latentes à partir de préfixes observés pour mettre à jour l'état de croyance du LLM.

L'EWM se compose de trois composants principaux :

2.1 Imagination Temporelle Intermodale

Fondée sur le traitement prédictif et les théories de l'intégration multisensorielle, ce module prédit les représentations futures vidéo et audio à partir des jetons passés.

Mécanisme : Il utilise un processus de déploiement multi-étapes ( $S=3$ ) avec des jetons de requête future apprenables ( $N_s=8$ ).
Contexte Intermodal : Chaque branche d'imagination d'une modalité porte attention à la fois à ses propres jetons passés et aux jetons passés de l'autre modalité, distingués par des embeddings de balises apprenables ( $e_{self}, e_{cross}$ ).
Signal d'Entraînement : Le module est entraîné via un objectif auto-supervisé où les jetons futurs prédits sont comparés aux jetons futurs réels (détachés du flux de gradient principal) en utilisant une combinaison de pertes de similarité MSE et Cosinus. Cela force le modèle à apprendre les régularités de transition sans nécessiter de données futures au moment de l'inférence.

2.2 Agrégation de Croyance MAMA (Attention Multi-étapes Sensible à la Modalité)

Inspiré du Modèle de Processus Composant de Scherer, ce module agrège les jetons imaginés multi-étapes en de compacts « jetons de croyance ».

Processus : Il assemble les jetons vidéo et audio imaginés dans une banque de mémoire, distingués par des embeddings de type.
Capacité Dynamique : Le nombre de jetons de requête de croyance ( $N_q$ ) s'adapte aux modalités disponibles (8 pour la modalité double, 4 pour la modalité unique).
Injection de Frontière : Pour préserver le contexte au point de division temporelle, les jetons de croyance agrégés sont augmentés par une injection résiduelle des derniers « jetons de frontière » observés ( $v_b, a_b$ ) du passé.

2.3 Injection de Croyance

Les jetons de croyance compacts résultants sont projetés de nouveau dans la dimension cachée du LLM et intercalés dans la séquence de jetons à deux positions spécifiques :

Immédiatement après le dernier jeton audiovisuel (pour enrichir l'encodage textuel avec le contexte affectif).
Immédiatement avant la région de réponse (pour fournir une « priorité émotionnelle » à la génération de réponse).
Cette stratégie garantit que le LLM peut porter attention à la fois aux preuves observées et aux continuations affectives imaginées pendant le raisonnement.

2.4 Stratégie d'Entraînement

Découpage Temporel : Pendant l'entraînement, un ratio de conservation aléatoire $\kappa \sim \text{Uniform}[0.7, 1.0)$ est appliqué pour tronquer les jetons futurs, simulant des observations partielles.
Abandon de Modalité : Une modalité est abandonnée aléatoirement avec une probabilité $p=0.15$ pour améliorer la robustesse face aux preuves sensorielles manquantes.
Objectifs : Le modèle est entraîné de bout en bout avec deux pertes : Perte de Modélisation du Langage ( $L_{lm}$ ) pour la performance de la tâche et Perte d'Imagination ( $L_{imagine}$ ) pour l'apprentissage de représentations prédictives, équilibrées avec $\lambda_{img}=1.0$ .

3. Contributions Clés

Modèle de Monde Sans Action pour l'Affect : Une adaptation novatrice de l'apprentissage de représentations prédictives de style modèle de monde au calcul affectif, éliminant le besoin d'actions, de récompenses ou de politiques de contrôle.
Module de Monde Émotionnel (EWM) : Une architecture spécifique comprenant l'Imagination Temporelle Intermodale, l'Agrégation de Croyance MAMA et l'Injection de Croyance, permettant aux MLLM de raisonner sur les dynamiques affectives latentes.
Modélisation de l'État de Croyance Prédictif : Démontrant que la formulation de la compréhension des émotions comme modélisation d'états de croyance prédictifs sous observations partielles produit des performances supérieures par rapport aux approches de fusion statique.
Évaluation Complète : Des expériences étendues sur neuf benchmarks (MER2023/2024, MELD, IEMOCAP, MOSI, MOSEI, SIMS, OV-MERD+) montrant des améliorations constantes.

4. Résultats Expérimentaux

AffectVerse a été évalué sur neuf benchmarks dans trois configurations de modalités (Audio+Texte, Vidéo+Texte, Audio+Vidéo+Texte).

Résultats Principaux : Dans la configuration complète Audio+Vidéo+Texte, AffectVerse a obtenu un score moyen de 77,34 %, surpassant la forte base de référence Qwen2.5-Omni (74,76 %) et AffectGPT (74,77 %) de +2,57 %. Il s'est classé premier sur 8 benchmarks sur 9.
Robustesse : Le modèle a démontré une dégradation gracieuse sous troncature temporelle (variation de $\kappa$ ) et modalités manquantes. Notamment, une troncature temporelle modérée pendant l'entraînement a agi comme un régularisateur, améliorant parfois les performances par rapport à un entraînement sur observation complète sur des jeux de données spécifiques (par exemple, CMU-MOSI).
Études d'Ablation :
- Prédiction Temporelle : L'ajout du découpage temporel seul a amélioré la base de référence de +0,87 %.
- Imagination Intermodale : Cela a fourni le plus grand gain unique (+1,00 % par rapport au découpage temporel), soulignant l'importance de tirer parti des indices complémentaires intermodaux.
- Construction de Croyance : L'agrégation MAMA, l'injection intercalée et l'injection résiduelle de frontière ont contribué à des gains additifs, confirmant la nécessité du pipeline complet EWM.
- Hyperparamètres : Les performances optimales ont été trouvées avec $S=3$ étapes de déploiement et une probabilité d'abandon de modalité de $p=0.15$ .

5. Signification et Revendications

L'article revendique que la modélisation de l'état de croyance prédictif est une alternative pratique et efficace pour le calcul affectif. En traitant l'émotion non pas comme une catégorie perceptuelle fixe mais comme un processus se déroulant dans le temps façonné par l'inférence prédictive, AffectVerse permet aux modèles de mettre à jour leur compréhension à mesure que de nouvelles preuves arrivent, séparant les indices transitoires des états affectifs finaux.

Les auteurs positionnent ce travail comme un pont entre la science affective (spécifiquement le traitement prédictif et les théories de l'évaluation) et l'apprentissage profond multimodal. Ils affirment que leur module de monde « sans action » encode avec succès des indices de transition prédictifs d'un changement affectif ultérieur, permettant une reconnaissance des émotions plus robuste et dynamique sans nécessiter de signaux invisibles au moment de l'inférence.

Limites Reconnues :
Les auteurs notent que l'évaluation actuelle repose sur des hyperparamètres de déploiement et de ratio de conservation fixes. L'analyse de robustesse se concentre sur les observations partielles de modalités et temporelles plutôt que sur des décalages de domaine plus larges (par exemple, bruit, accent, changements de sujet). Un travail futur est suggéré pour étendre la modélisation de la croyance prédictive à un alignement plus fort, une évaluation des décalages de domaine et un suivi des émotions au niveau du dialogue.