🤖 AI

Nuanced Emotion Recognition Based on a Segment-based MLLM Framework Leveraging Qwen3-Omni for AH Detection

Cet article propose un cadre de reconnaissance des émotions basé sur des segments et utilisant le modèle multimodal Qwen3-Omni pour détecter l'ambivalence et l'hésitation dans les vidéos en analysant les incohérences intermodales, atteignant une précision de 85,1 % sur le jeu de données BAH.

Auteurs originaux : Liang Tang, Hongda Li, Jiayu Zhang, Long Chen, Shuxian Li, Siqi Pei, Tiaonan Duan, Yuhao Cheng

Publié 2026-03-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Liang Tang, Hongda Li, Jiayu Zhang, Long Chen, Shuxian Li, Siqi Pei, Tiaonan Duan, Yuhao Cheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Film : Détecter les "Hésitations" et les "Doutes" dans les vidéos

Imaginez que vous regardez une vidéo d'une personne qui doit prendre une décision difficile, comme dire "oui" à un mariage ou "non" à un nouveau travail. Parfois, cette personne ne dit pas clairement ce qu'elle pense. Son visage sourit (le texte dit "oui"), mais sa voix tremble (le ton dit "non"). C'est ce qu'on appelle l'ambivalence ou l'hésitation.

C'est très subtil. Pour un humain, c'est parfois difficile à repérer. Pour un ordinateur classique, c'est presque impossible, car il regarde souvent juste le visage ou juste la voix, sans comprendre le conflit entre les deux.

🧠 La Solution : Un "Super-Détective" Numérique

Les chercheurs de Lenovo (les auteurs de l'article) ont créé un nouveau système pour résoudre ce problème. Voici comment ils ont fait, étape par étape, avec des analogies simples :

1. Le Problème : Trop d'informations d'un coup

Les vidéos sont longues. Si on donne une vidéo de 10 minutes à un super-ordinateur (un "Grand Modèle de Langage Multimodal" comme Qwen3-Omni), c'est comme essayer de lui faire avaler un éléphant entier d'un seul coup. Il s'étouffe, il oublie les détails importants et ça coûte trop cher en énergie.

2. La Stratégie : La technique du "Ciseaux" (Segmentation)

Au lieu de donner la vidéo entière, les chercheurs ont eu une idée brillante : découper la vidéo en petits morceaux.

Imaginez que vous avez un long film. Au lieu de le montrer en entier, vous le coupez en petits clips de 5 secondes.
Pourquoi 5 secondes ? Parce que les moments de doute (l'hésitation) sont souvent brefs, comme un éclair. En regardant ces petits moments, l'ordinateur peut se concentrer sur l'action sans se perdre dans le reste du film.

3. Le Cerveau : Qwen3-Omni, le détective à 360°

Ils ont utilisé un modèle d'intelligence artificielle très puissant appelé Qwen3-Omni.

L'analogie : Imaginez un détective privé qui a trois sens surdéveloppés. Il regarde le visage (les expressions), il écoute la voix (le ton, les tremblements) et il lit ce que la personne dit (les mots).
Le génie de ce système, c'est qu'il sait repérer quand ces trois sens ne sont pas d'accord. Si le visage sourit mais que la voix est triste, le détective sait : "Attends, il y a un conflit ici ! C'est de l'hésitation !".

4. L'Entraînement : Apprendre avec des exemples précis

Pour entraîner ce détective, ils ne lui ont pas donné n'importe quelles vidéos.

Ils ont pris une base de données spéciale (appelée BAH) où des experts ont déjà marqué exactement quand et où l'hésitation se produit.
Ils ont "nourri" l'IA avec ces petits clips de 5 secondes, lui demandant : "Est-ce que tu vois un signe de doute ici ?"
Ils ont utilisé une technique appelée LoRA (qui est comme un "tutoriel rapide" pour l'IA) et une méthode de "vote" (voir plus bas).

5. Le Vote des Experts (Ensemble Learning)

Pour être sûr de ne pas se tromper, ils n'ont pas utilisé un seul détective, mais plusieurs.

Ils ont entraîné plusieurs versions de l'IA avec des réglages légèrement différents.
À la fin, pour chaque vidéo, ils demandent à tous ces détectives leur avis. Si la majorité dit "Oui, c'est de l'hésitation", alors la réponse est "Oui". C'est comme un jury de 3 juges : c'est beaucoup plus fiable qu'un seul juge.

🏆 Le Résultat : Une Réussite Éclatante

Le résultat est impressionnant :

Leur système a atteint 85,1 % de réussite pour détecter ces états émotionnels complexes.
C'est bien mieux que les anciennes méthodes.

💡 En Résumé

Ce papier nous dit essentiellement : "Pour comprendre les doutes humains dans les vidéos, ne regardez pas le film en entier d'un coup. Coupez-le en petits morceaux, utilisez un super-ordinateur capable de voir, entendre et lire en même temps, et faites voter plusieurs de ces ordinateurs pour être sûr de votre réponse."

C'est une avancée majeure pour la santé numérique. Imaginez des applications qui pourraient aider des thérapeutes à repérer quand un patient hésite vraiment à changer ses habitudes de vie, ou des systèmes qui pourraient mieux comprendre nos émotions dans nos interactions avec les robots.

Titre de l'article

Reconnaissance Nuancée des Émotions Basée sur un Framework MLLM par Segments, Exploitant Qwen3-Omni pour la Détection de l'Ambivalence et de l'Hésitation (A/H)

1. Problématique

La reconnaissance des émotions dans les vidéos est une tâche centrale en informatique affective, mais la détection d'états psychologiques subtils et complexes, tels que l'Ambivalence et l'Hésitation (A/H), reste un défi majeur.

Nature du problème : Contrairement aux émotions de base (joie, tristesse), l'A/H se manifeste par des conflits émotionnels où l'individu éprouve simultanément des attitudes positives et négatives.
Difficultés techniques : Ces états se traduisent souvent par des incohérences inter-modales (ex. : un discours positif avec un ton hésitant) ou intra-modales (ex. : expressions faciales fluctuantes). Les systèmes de reconnaissance traditionnels peinent à capturer ces nuances.
Contraintes des modèles actuels : L'utilisation directe de vidéos longues avec des Modèles de Langage Multimodaux (MLLM) se heurte à des limites de tokens, à des coûts de calcul élevés et à l'introduction de bruit contextuel, alors que les signaux d'A/H sont souvent concentrés dans de courts segments temporels (moyenne de 4,29 secondes).

2. Méthodologie

Les auteurs proposent un pipeline de reconnaissance en trois étapes, conçu pour optimiser l'efficacité computationnelle tout en exploitant la puissance de raisonnement des MLLM.

A. Prétraitement et Segmentation Temporelle

Extraction basée sur l'annotation : Le jeu de données BAH (1 427 vidéos, 300 participants) fournit des annotations temporelles précises.
- Si une vidéo ne contient pas d'A/H, elle est conservée en entier.
- Si elle contient de l'A/H, seuls les segments temporels annotés sont extraits (recadrage), éliminant ainsi le bruit contextuel.
Stratégie de "Clip" (Segments) : Pour respecter les limites de tokens des grands modèles, les segments sont divisés en clips d'une durée maximale de 5 secondes.
- Si la durée < 5s : conservation telle quelle.
- Si la durée ≥ 5s : découpage en clips consécutifs de 5s.
- Les segments résiduels trop courts sont ignorés.

B. Adaptation du Modèle Multimodal (Qwen3-Omni)

Modèle de base : Utilisation de Qwen3-Omni-30B-A3B, un MLLM capable de traiter conjointement des entrées vidéo, audio et textuelles.
Format d'entraînement : Chaque clip est converti en un format de conversation multimodale comprenant :
- L'entrée vidéo (images).
- L'entrée audio.
- Un prompt spécifique demandant au modèle de déterminer la présence d'A/H.
Sortie cible : Le modèle est entraîné pour répondre par <answer>Yes</answer> ou <answer>No</answer>.

C. Techniques d'Entraînement et d'Inférence

Frameworks : Utilisation du framework MS-Swift pour l'entraînement.
Stratégies de Fine-tuning :
- LoRA (Low-Rank Adaptation) : Adaptation paramétrique efficace (Rank 8, Alpha 32, LR 1e-5, 1 epoch).
- Full Fine-tuning : Mise à jour de tous les paramètres (LR 1e-6, 2-3 epochs).
Agrégation et Vote Majoritaire :
- Niveau Clip : Prédiction binaire pour chaque clip.
- Niveau Vidéo : Une vidéo est classée positive si au moins un de ses clips est prédit positif (règle de maximisation : $y_{video} = \max(y_i)$ ).
- Ensemble (Voting) : Plusieurs modèles (entraînés avec différentes configurations) sont combinés via un vote majoritaire pour réduire la variance et améliorer la robustesse sur les échantillons ambigus.

3. Contributions Clés

Modélisation Temporelle par Clips : Proposition d'une stratégie simple mais efficace de segmentation en clips de 5 secondes, permettant aux MLLM de capturer les signaux locaux d'A/H tout en respectant les contraintes de tokens.
Adaptation d'un MLLM Puissant : Première adaptation réussie de Qwen3-Omni-30B-A3B pour la tâche de reconnaissance A/H, exploitant ses capacités de raisonnement inter-modale pour détecter les conflits émotionnels subtils.
Performance Empirique Supérieure : Démonstration qu'une combinaison de segmentation temporelle et de modèles multimodaux massifs dépasse significativement les approches existantes.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données BAH avec une évaluation basée sur la précision, le rappel et le F1-score.

Configuration de référence :
- Qwen3-Omni-v1 (LoRA, 1 epoch) : 81,9 % de précision.
- Qwen3-Omni-v2 (Full Fine-tuning, 2 epochs) : 79,8 %.
- Qwen3-Omni-v3 (Full Fine-tuning, 3 epochs) : 65,3 % (suggérant un surapprentissage ou une dégradation avec trop d'epochs sans régularisation adaptée).
Résultat Final (Ensemble) :
- La combinaison des modèles via un vote majoritaire a permis d'atteindre une précision de 85,1 % sur l'ensemble de test.
- Ce résultat surpasse nettement les meilleures performances individuelles et les benchmarks précédents.

5. Signification et Impact

Ce travail démontre que les grands modèles multimodaux, lorsqu'ils sont couplés à des stratégies de segmentation temporelle appropriées, peuvent surmonter les limites des systèmes traditionnels pour détecter des états émotionnels complexes comme l'ambivalence et l'hésitation.

Applications : Ces résultats ouvrent la voie à des systèmes de santé numérique plus avancés, capables de fournir des interventions adaptatives basées sur l'analyse comportementale fine.
Innovation : La méthode valide l'efficacité de l'approche "Diviser pour régner" (segmentation) appliquée aux MLLM pour traiter des vidéos longues, transformant un problème de reconnaissance d'émotion en une tâche de raisonnement multimodal gérable et précise.

Le code source de la méthode est disponible publiquement sur GitHub, favorisant la reproductibilité et l'avancement de la recherche dans ce domaine.