egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks

Ce papier présente egoEMOTION, le premier jeu de données couplant vision égocentrique et signaux physiologiques pour la reconnaissance de l'émotion et de la personnalité dans des tâches réelles, établissant ainsi de nouvelles bases pour la modélisation affective du comportement humain.

L'essentiel

🎥 Le Film de votre Vie : Quand vos lunettes "sentent" vos émotions

Imaginez que vous portez des lunettes intelligentes (comme celles de Meta Project Aria) qui enregistrent tout ce que vous voyez, où vous regardez et comment bouge votre tête. Jusqu'à présent, ces lunettes étaient comme des caméras de surveillance muettes : elles voyaient ce que vous faisiez (manger, marcher, travailler), mais elles ne comprenaient pas comment vous vous sentiez à ce moment-là.

Les chercheurs de l'ETH Zurich se sont dit : "Et si on donnait une voix à ces lunettes ? Et si on pouvait comprendre non seulement ce que vous faites, mais aussi si vous êtes joyeux, stressé, ou même quel genre de personne vous êtes ?"

C'est là qu'intervient egoEMOTION.

🧩 Le Grand Puzzle : Un nouveau jeu de données

Pour entraîner une intelligence artificielle à comprendre les émotions, il faut lui montrer des milliers d'exemples. C'est ce que les auteurs ont créé : un immense puzzle multimodal (un ensemble de données) qui relie trois choses qui ne parlaient jamais ensemble auparavant :

1. Ce que vous voyez (la caméra des lunettes).
2. Ce que votre corps ressent (votre cœur qui bat, votre respiration, la transpiration de votre peau).
3. Ce que vous ressentez vraiment (ce que vous dites à voix haute : "Je suis triste" ou "Je suis excité").

C'est comme si on donnait à un détective non seulement la vidéo du crime, mais aussi le rythme cardiaque du suspect et son journal intime.

🎭 Comment ça a été filmé ? (Le tournage)

Pour créer ce puzzle, ils ont invité 43 personnes à porter ces lunettes pendant environ 2 heures. Le scénario se divisait en deux actes :

• Acte 1 : Le Cinéma Émotionnel. Les participants regardaient des vidéos conçues pour provoquer des réactions spécifiques (une vidéo drôle, une scène effrayante, un moment triste). C'est comme un test de stress contrôlé.
• Acte 2 : La Vie Réelle. Ensuite, ils devaient faire des tâches quotidiennes : jouer à un jeu vidéo, peindre un tableau, ou essayer de faire rire un ami. C'est la partie "naturelle", où les émotions surgissent sans qu'on les force.

À chaque moment, les participants devaient dire : "Comment je me sens ?" en utilisant des échelles simples (comme des smileys) et en décrivant leur personnalité (sont-ils timides ? ambitieux ?).

🔍 La Grande Découverte : Les yeux disent plus que le cœur !

C'est ici que ça devient fascinant. Habituellement, pour savoir si quelqu'un est stressé, on regarde son cœur (électrocardiogramme) ou sa peau (transpiration). C'est comme essayer de deviner la météo en regardant un thermomètre.

Mais avec egoEMOTION, les chercheurs ont découvert quelque chose de surprenant :

Les lunettes seules (la caméra et le suivi du regard) sont souvent meilleures pour prédire les émotions que les capteurs médicaux collés sur le corps !

L'analogie du détective :
Imaginez deux détectives :

• Le Détective Médical écoute le cœur du suspect. C'est utile, mais le cœur peut battre vite parce qu'il a couru, pas seulement parce qu'il a peur.
• Le Détective des Lunettes observe les yeux et la tête. Il voit si le regard fuit, si les pupilles se dilatent, ou si la tête se penche.

Résultat : Le Détective des Lunettes a souvent mieux compris l'émotion réelle que le Détective Médical. Pourquoi ? Parce que nos yeux et nos mouvements de tête trahissent nos pensées et nos sentiments de manière très directe, même quand on essaie de les cacher.

🚀 Pourquoi est-ce important pour nous ?

Ce projet ouvre la porte à une nouvelle ère pour nos technologies :

1. Des assistants plus intelligents : Imaginez un assistant virtuel qui, en voyant que vous êtes frustré (grâce à votre regard et votre posture), vous propose automatiquement de simplifier une tâche ou de mettre de la musique calme.
2. La santé mentale : Des lunettes pourraient aider à détecter précocement des signes de dépression ou d'anxiété en observant les changements subtils dans votre comportement quotidien.
3. Comprendre l'humain : Cela nous aide à réaliser que pour vraiment comprendre une action (comme conduire une voiture ou travailler), il faut comprendre l'état émotionnel de la personne qui la fait.

🏁 En résumé

egoEMOTION, c'est comme donner un cœur et une âme aux lunettes intelligentes. Au lieu de juste voir le monde, elles commencent à le ressentir. Et la leçon principale ? Parfois, pour comprendre ce qu'une personne ressent, il suffit de regarder où elle pose son regard, bien plus que de mesurer son pouls.

C'est un pas de géant vers des machines qui ne sont pas seulement intelligentes, mais aussi émotionnellement intelligentes.

Résumé technique

1. Problématique

La vision égocentrique (vue à la première personne) a fait des progrès significatifs dans la reconnaissance d'actions, la manipulation d'objets et la prédiction du regard. Cependant, les benchmarks actuels négligent les états internes des individus, tels que les émotions et la personnalité, qui façonnent leurs décisions et leurs comportements. Les systèmes de vision existants supposent souvent des participants affectivement neutres et uniformes, ce qui limite leur capacité à modéliser des comportements dépendants de l'humeur, de l'excitation (arousal) ou des traits de personnalité.

Il existe un manque de données multimodales combinant la vision égocentrique et les signaux physiologiques dans des scénarios réels, avec des annotations d'états affectifs riches et nuancées. La plupart des études antérieures se concentrent sur des environnements de laboratoire contrôlés ou utilisent des capteurs portables intrusifs sans vision égocentrique.

2. Méthodologie

A. Collecte de Données et Protocole Expérimental

Les auteurs ont créé le jeu de données egoEMOTION, composé de plus de 50 heures d'enregistrements provenant de 43 participants.

• Matériel : Utilisation des lunettes Meta Project Aria pour la vision égocentrique et le suivi oculaire, complétées par une suite de capteurs physiologiques (PPG auriculaire et nasal, ECG, EDA, RSP, IMU).
• Protocole : Deux sessions distinctes pour chaque participant :
  1. Session A (Induite) : Vision de 9 clips vidéo conçus pour eliciter des émotions spécifiques (colère, peur, dégoût, etc.) basées sur la roue des émotions de Mikels, suivie d'un clip neutre.
  2. Session B (Naturaliste) : Réalisation de 7 activités du quotidien (ex: jouer à Jenga, peindre, écrire une lettre triste, jouer à Flappy Bird) pour simuler des interactions réelles.
• Annotations : Après chaque stimulus, les participants ont auto-rapporté leur état affectif via :
  • Le modèle circulaire (SAM) pour la Valence, l'Arousal et la Dominance (V-A-D).
  • Une version pondérée de la Roue des Émotions de Mikels (9 classes : amusement, contentement, excitation, émerveillement, neutralité, peur, tristesse, dégoût, colère).
  • Le questionnaire Big Five (BFI-2) pour les traits de personnalité.

B. Extraction de Caractéristiques (Features)

Pour les tâches de benchmark, les auteurs ont extrait 612 caractéristiques à partir des signaux bruts :

• Vision égocentrique : Taille de la pupille, intensité des pixels, caractéristiques Fisherface (réduction de dimensionnalité pour les visages), direction du regard (yaw/pitch), clignements, micro-expressions (via LBP-TOP).
• Physiologie : Statistiques temporelles (moyenne, écart-type, énergie, etc.) et spectrales (HRV) pour l'ECG, l'EDA, la respiration (RSP) et le PPG.
• Mouvement : Magnitude de l'accélération (IMU).

C. Tâches de Benchmark et Modèles

Trois tâches de prédiction ont été définies :

1. Classification continue de l'affect : Prédiction binaire (faible/élevé) de la Valence, de l'Arousal et de la Dominance.
2. Classification d'émotions discrètes : Prédiction des 9 émotions cibles.
3. Inférence de traits de personnalité : Prédiction des 5 traits du Big Five.

Les auteurs ont comparé des méthodes d'apprentissage automatique classiques (SVM, Random Forest) avec des approches d'apprentissage profond (CNN, Transformers) en utilisant une validation croisée "leave-one-subject-out" (LOSO).

3. Contributions Clés

1. Premier jeu de données multimodal égocentrique : C'est le premier dataset public couplant la vision égocentrique (lunettes) et les signaux physiologiques pour la reconnaissance d'émotions et de personnalité, couvrant à la fois des tâches induites et naturalistes.
2. Annotations riches et nuancées : Utilisation simultanée du modèle V-A-D et d'une pondération des émotions discrètes, permettant de capturer des émotions mixtes complexes, contrairement aux étiquettes binaires simples.
3. Nouveaux benchmarks et résultats surprenants :
   • Définition de trois tâches de référence avec des lignes de base (baselines).
   • Démonstration que les signaux égocentriques seuls (notamment le suivi oculaire et le mouvement de la tête) surpassent souvent les signaux physiologiques traditionnels (ECG, EDA) pour la prédiction de l'affect et de la personnalité dans des scénarios réels.
4. Accès responsable : Publication du dataset et du code sous licence open-source, avec des protocoles de sécurité stricts pour protéger la vie privée des participants (données sensibles).

4. Résultats Principaux

Les résultats expérimentaux (mesurés par le score F1) montrent des tendances significatives :

• Reconnaissance de l'affect continu :
  • Les signaux des lunettes égocentriques seules atteignent un score F1 moyen de 0,74, surpassant légèrement les capteurs portables traditionnels (0,70) et le modèle combiné (0,75).
  • La taille de la pupille et l'intensité des pixels sont des indicateurs particulièrement forts.
• Reconnaissance d'émotions discrètes :
  • Les lunettes seules obtiennent un F1 moyen de 0,46, nettement supérieur au hasard (0,11) et aux capteurs portables seuls (0,24).
  • L'IMU (accéléromètre) et l'intensité de la pupille sont les modaliés les plus performantes pour les émotions comme la peur et le dégoût.
• Prédiction de la personnalité :
  • Les lunettes seules (F1 = 0,57) surpassent les capteurs portables (F1 = 0,50).
  • Le suivi du regard (eye gaze) s'avère être la modalité individuelle la plus performante pour cette tâche.
• Comparaison Classique vs Deep Learning :
  • De manière inattendue, les méthodes classiques (SVM, Random Forest) ont surpassé les modèles d'apprentissage profond (CNN, Transformers) sur ce dataset, suggérant que l'extraction de caractéristiques manuelles est actuellement plus efficace pour ces signaux spécifiques ou que les modèles profonds nécessitent plus de données pour généraliser correctement.

5. Importance et Impact

Le papier egoEMOTION marque un tournant dans la recherche sur la vision égocentrique en intégrant la dimension affective et dispositionnelle (personnalité) comme des axes centraux de la perception.

• Au-delà du comportement observable : Il permet de passer de la simple reconnaissance d'actions ("ce que la personne fait") à la compréhension des états internes ("pourquoi elle le fait" et "comment elle se sent").
• Applications potentielles : Ce travail ouvre la voie à des systèmes d'interaction humain-ordinateur (HCI) plus adaptatifs et empathiques, applicables dans la santé mentale, l'éducation, le travail de productivité et les environnements de réalité mixte.
• Validation de la vision égocentrique : Il démontre que les lunettes intelligentes modernes, grâce au suivi oculaire et aux capteurs intégrés, peuvent capturer des signaux émotionnels aussi riches, voire plus pratiques, que les capteurs physiologiques invasifs traditionnels.

En conclusion, egoEMOTION établit une nouvelle fondation pour la modélisation du comportement humain pilotée par l'affect, en fournissant une ressource de données cruciale pour le développement de systèmes d'IA plus intelligents et sensibles aux émotions.