MEGC2026: Micro-Expression Grand Challenge on Visual Question Answering

Le défi MEGC2026 lance deux nouvelles tâches de question-réponse sur vidéo (ME-VQA et ME-LVQA) pour évaluer les capacités des modèles multimodaux à analyser les micro-expressions faciales, qu'elles soient courtes ou longues, en exploitant leurs puissantes capacités de raisonnement.

L'essentiel

Imaginez que vous êtes un détective privé, mais au lieu de chercher des empreintes digitales, vous cherchez des mensonges ou des émotions cachées sur le visage des gens. C'est exactement ce que propose ce nouveau défi scientifique appelé MEGC 2026.

Voici une explication simple de ce projet, imagée avec des analogies de la vie quotidienne.

1. Le Problème : Le "Bourdonnement" Invisible

Parfois, quand quelqu'un essaie de cacher ce qu'il ressent (par exemple, un menteur qui sourit pour tromper, ou quelqu'un de très nerveux qui essaie de rester calme), son visage fait un petit mouvement involontaire et ultra-rapide. C'est ce qu'on appelle une micro-expression.

• L'analogie : Imaginez un tremblement de terre. Les vraies émotions sont comme un séisme majeur : tout le monde le voit, ça dure longtemps, c'est clair. Les micro-expressions, elles, sont comme un léger frémissement du sol qui ne dure qu'une fraction de seconde (moins d'une demi-seconde). C'est si court que l'œil humain ne le voit presque jamais, et c'est souvent le seul signe que la personne ne dit pas la vérité.

2. Le Défi : Apprendre aux Robots à être des Détectives

Pendant des années, les chercheurs ont essayé d'entraîner des ordinateurs à repérer ces frémissements. Mais cette année (2026), le défi change de donne. Au lieu de juste dire "Ah, il y a une micro-expression !", on demande aux intelligences artificielles (les robots) de répondre à des questions sur ce qu'elles voient, comme un humain le ferait.

Le défi propose deux niveaux de difficulté, comme dans un jeu vidéo :

Niveau 1 : Le "Flash" (ME-VQA)

• La mission : On donne au robot une très courte vidéo (un instantané) et on lui pose une question simple.
• L'analogie : C'est comme si vous montriez une photo à un ami et que vous lui demandiez : "Regarde bien, est-ce que son sourcil se lève ?" ou "Est-ce qu'il a l'air triste ou en colère ?".
• Le but : Le robot doit utiliser son "cerveau" (une intelligence artificielle avancée) pour décrire ce qu'il voit en langage naturel.

Niveau 2 : Le "Long Métrage" (ME-LVQA)

• La mission : C'est beaucoup plus dur. On donne au robot une vidéo longue (comme un film ou une scène de vie réelle) et on lui pose des questions complexes.
• L'analogie : Imaginez regarder un film de 30 minutes où le personnage principal essaie de garder son calme tout au long d'une conversation tendue. Vous demandez au robot : "Combien de fois a-t-il failli craquer ? À quel moment précis a-t-il eu peur ?"
• Le défi : Le robot doit non seulement voir le frémissement, mais aussi se souvenir de ce qui s'est passé 10 minutes avant, comprendre le contexte, et faire le lien entre le début et la fin. C'est comme essayer de trouver une aiguille dans une botte de foin, alors que l'aiguille bouge et que la botte de foin est énorme !

3. Les Outils : Les "Super-Cerveaux"

Pour relever ce défi, les participants utilisent des modèles d'intelligence artificielle très puissants (appelés MLLM ou LVLM).

• L'analogie : Imaginez que vous donnez à un enfant un livre de contes (les vidéos) et qu'il doit apprendre à lire. Au début, il ne comprend rien (c'est le "Zéro-shot" : le robot essaie sans avoir appris). Ensuite, on lui fait lire des milliers de livres similaires pour qu'il apprenne les règles (c'est le "Fine-tuning" ou l'apprentissage).
• Le résultat actuel : Les chercheurs ont testé ces robots. Ils sont assez bons pour dire "Il y a une émotion" (comme dire "C'est un gros tremblement"), mais ils ont encore beaucoup de mal à distinguer les détails fins (comme dire "C'est un frémissement de peur spécifique"). C'est comme si le robot voyait la fumée, mais avait du mal à dire si c'est un incendie ou juste un barbecue.

4. Pourquoi est-ce important ?

Ce n'est pas juste un jeu pour les robots.

• L'analogie : Si vous apprenez à un robot à détecter ces micro-signaux, vous pourriez l'utiliser pour aider les psychologues à mieux comprendre leurs patients, pour détecter des mensonges dans des situations de sécurité critique, ou même pour améliorer les interactions entre humains et machines.

En résumé

Le MEGC 2026 est une compétition mondiale où les meilleurs cerveaux artificiels s'affrontent pour devenir les meilleurs détecteurs d'émotions cachées.

1. Ils doivent regarder des vidéos.
2. Ils doivent répondre à des questions précises sur ce qui se passe dans le visage.
3. Ils doivent réussir à voir l'invisible (les micro-mouvements) même dans des vidéos très longues et chaotiques.

C'est un pas de géant pour rendre les machines plus "humaines" dans leur compréhension des sentiments, même les plus secrets.

Résumé technique

Voici un résumé technique détaillé de l'article « MEGC2026 : Micro-Expression Grand Challenge on Visual Question Answering », présenté en français.

1. Problématique et Contexte

Les micro-expressions faciales (ME) sont des mouvements involontaires et brefs (généralement < 500 ms) apparaissant lorsqu'une personne tente de supprimer une émotion, souvent dans des contextes à haute enjeu. Bien que la reconnaissance, le repérage (spotting) et la génération de ME aient fait l'objet de nombreuses recherches, l'analyse de ces phénomènes par des modèles de langage multimodaux (MLLM) et des modèles vision-langage (LVLM) est un domaine émergent.

Le défi MEGC 2026 vise à évaluer et faire progresser l'état de l'art dans l'analyse des ME en introduisant deux tâches basées sur le Question-Réponse Visuelle (VQA) :

1. ME-VQA (Video Question Answering) : Compréhension de ME sur de courtes séquences vidéo.
2. ME-LVQA (Long-Video Question Answering) : Une tâche nouvelle et plus complexe visant à analyser des séquences vidéo longues et naturelles, nécessitant un raisonnement temporel étendu.

L'objectif est de passer d'une simple classification d'émotions à une interaction naturelle et interprétable via le langage, capable de décrire les attributs, les unités d'action (AU) et la dynamique temporelle des micro-expressions.

2. Méthodologie et Tâches

A. Tâche 1 : ME-VQA (Réponse aux questions sur vidéo courte)

• Formulation : Le modèle reçoit une courte séquence vidéo de ME et une question en langage naturel. Il doit générer une réponse textuelle décrivant l'émotion, les unités d'action ou fournir une analyse détaillée.
• Données : Utilisation du jeu de données ME-VQA-v2, dérivé des annotations de SAMM, CASME II et SMIC. Le jeu de test contient 24 clips (7 de SAMM, 17 de CAS(ME)3).
• Méthodes de base (Baselines) : Les auteurs utilisent les modèles Qwen2.5VL-3B et Qwen3VL-4B.
  • Deux régimes sont testés : Zero-Shot (ZS) et Fine-Tuning (FT) via QLoRA (Low-Rank Adaptation) appliqué à l'encodeur visuel et aux couches de projection.
• Métriques d'évaluation :
  • Classification d'émotion : Score F1 non pondéré (UF1) et Rappel Moyen Non Pondéré (UAR) pour les classes grossières (positif, négatif, surprise) et fines (joie, surprise, peur, dégoût, colère, tristesse).
  • Qualité du texte généré : BLEU et ROUGE-1.

B. Tâche 2 : ME-LVQA (Réponse aux questions sur vidéo longue)

• Formulation : Nouvelle tâche introduite en 2026. Le modèle analyse des vidéos longues (naturelles) et répond à des questions complexes nécessitant un raisonnement temporel. Les questions couvrent :
  • Le comptage d'événements (nombre total d'expressions, de ME, de macro-expressions).
  • La catégorisation d'événements (ME vs Macro-expressions).
  • L'analyse d'attributs (liste des unités d'action présentes).
• Données : Jeu de données ME-LVQA contenant des vidéos de SAMM-LV et CAS(ME)3. Le jeu de test comprend 30 vidéos longues.
• Méthodes de base : Même modèles (Qwen2.5VL-3B et Qwen3VL-4B) avec fine-tuning sur un sous-ensemble restreint (5 sujets de SAMM + 5 de CAS(ME)3).
• Métriques d'évaluation :
  • Comptage (Régression) : Erreur Absolue Moyenne (MAE) et Erreur Quadratique Moyenne (RMSE).
  • Prédiction d'ensembles (Unités d'Action) : Score F1 basé sur les ensembles et Indice de Jaccard.
  • Classification binaire (ME vs MaE) : UF1 et UAR.

3. Résultats Clés

Pour ME-VQA (Courtes vidéos)

• Performance globale : Les modèles LLM/VLM montrent des capacités modérées pour la classification d'émotions grossières (UF1 ~0.24–0.33 en Zero-Shot), mais échouent presque totalement sur la classification fine (UF1 proche de 0).
• Impact du Fine-Tuning : Le fine-tuning améliore légèrement la classification grossière (notamment sur CAS(ME)3) et améliore significativement la qualité linguistique (BLEU/ROUGE). Cependant, la différenciation fine des émotions reste un défi majeur, indiquant que les modèles actuels peinent à capturer les subtilités des ME.

Pour ME-LVQA (Longues vidéos)

• Dégradation des performances : Les résultats sont nettement inférieurs à ceux de la tâche VQA courte, soulignant la difficulté accrue de la compréhension vidéo longue.
• Limites du comptage et du repérage : Les erreurs (MAE/RMSE) restent élevées pour le comptage des événements et la reconnaissance des unités d'action, même après fine-tuning.
• Facteur limitant : Les auteurs attribuent ces résultats modestes à la diversité limitée des données d'entraînement (seulement 10 sujets), ce qui empêche un apprentissage invariant à l'identité et une généralisation robuste aux dynamiques temporelles subtiles.

4. Contributions Principales

1. Introduction de deux nouvelles tâches VQA : Définition formelle de ME-VQA et de la nouvelle tâche ME-LVQA, déplaçant le paradigme de la simple classification vers l'analyse sémantique et temporelle via le langage naturel.
2. Création de jeux de données : Publication des jeux de données ME-VQA-v2 et ME-LVQA (incluant des clips inédits de CAS(ME)3) pour entraîner et évaluer les modèles.
3. Évaluation des MLLM/LVLM : Fourniture d'une analyse approfondie des performances des modèles Qwen (2.5VL et 3VL) sur des tâches de micro-expressions, mettant en lumière leurs forces (génération de texte) et leurs faiblesses (détection fine et raisonnement temporel long).
4. Plateforme Leaderboard : Mise en place d'un leaderboard public pour encourager la comparaison des algorithmes.

5. Signification et Perspectives

Ce travail marque une évolution significative dans la recherche sur les micro-expressions. En intégrant les capacités de raisonnement multimodal des grands modèles de langage, le défi MEGC 2026 vise à rendre l'analyse des ME plus interprétable et flexible.

Cependant, les résultats soulignent que l'état de l'art actuel n'est pas encore prêt pour une application robuste en conditions réelles, en particulier pour les vidéos longues. Les défis majeurs identifiés sont :

• La capacité des modèles à distinguer les micro-expressions subtiles des mouvements faciaux normaux.
• La nécessité de données d'entraînement plus vastes et plus diversifiées (plus de sujets) pour éviter le surapprentissage spécifique à l'identité.
• L'amélioration des mécanismes de raisonnement temporel à long terme.

En conclusion, MEGC 2026 pose les bases pour une nouvelle génération de systèmes d'analyse affective capables de dialoguer avec l'utilisateur, tout en identifiant clairement les verrous technologiques à débloquer pour atteindre une fiabilité pratique.