Improving Emotion Classification by Combining fNIRS-Derived Hemodynamic Responses with Peripheral Physiological Signals

Cette étude démontre que la combinaison des signaux hémodynamiques fNIRS avec des mesures physiologiques périphériques (EDA et PPG) améliore significativement la classification des émotions (éveil et valence) indépendante du sujet, atteignant un score F1 macro-moyen de 0,73 pour l'éveil.

L'essentiel

🧠 Le Détective des Émotions : Quand le Cerveau et le Corps parlent ensemble

Imaginez que vous essayez de deviner l'humeur d'un ami sans qu'il vous le dise. Vous pourriez regarder son visage (s'il sourit ou fait la moue), mais parfois, les gens cachent bien leurs sentiments. C'est là que la science entre en jeu.

Cette étude cherche à répondre à une question simple : Peut-on mieux comprendre les émotions d'une personne en combinant ce qui se passe dans son cerveau avec ce qui se passe dans son corps ?

Pour le savoir, les chercheurs ont joué au "jeu des détectives" en utilisant trois outils différents.

1. Les Trois Outils du Détective

Les chercheurs ont équipé des volontaires de trois capteurs, comme s'ils étaient des super-héros de la technologie :

• Le "Scanner de Cerveau" (fNIRS) : C'est un casque léger qui éclaire le front avec de la lumière. Il ne voit pas les pensées, mais il voit le sang bouger. Quand une partie du cerveau travaille dur (par exemple, quand on est très excité), elle consomme plus d'oxygène. C'est comme voir les lumières s'allumer dans une ville la nuit pour savoir où il y a de l'activité.
• Le "Détecteur de Sueur" (EDA) : Des capteurs sur les doigts mesurent la conductivité de la peau. Même si vous ne transpirez pas visiblement, votre peau change légèrement quand vous êtes stressé ou excité. C'est le signe que votre système nerveux est en mode "alerte".
• Le "Compteur de Cœur" (PPG) : Un petit capteur sur le doigt qui suit les battements du cœur, un peu comme un stéthoscope numérique.

2. Le Défi : Regarder des Vidéos Musicales

Pour tester ces outils, les chercheurs ont montré à 30 étudiants des clips musicaux japonais de 60 secondes.

• Certains clips étaient très excitants (rap rapide, musique forte).
• D'autres étaient calmes (musique douce).
• Certains étaient joyeux, d'autres tristes.

Pendant que les étudiants regardaient, les trois capteurs enregistraient tout. Ensuite, les étudiants devaient dire : "Est-ce que je me sens très excité ou pas ?" et "Est-ce que je me sens heureux ou triste ?".

3. La Grande Révélation : Le Duo Gagnant

Les chercheurs ont ensuite utilisé un ordinateur (une intelligence artificielle simple) pour essayer de deviner l'émotion de l'étudiant uniquement en regardant les données des capteurs, sans que l'étudiant ne parle.

Voici ce qu'ils ont découvert :

• Le cerveau seul (fNIRS) : C'est un bon détective, il arrive à deviner l'émotion environ 65 % du temps. C'est déjà bien !
• Le corps seul (Sueur ou Cœur) : C'est un peu moins précis, surtout pour deviner si quelqu'un est triste ou heureux.
• Le Super-Duo (Cerveau + Sueur) : C'est ici que la magie opère ! En combinant le scanner de cerveau et le détecteur de sueur, la précision grimpe à 73 % pour deviner l'excitation.

L'analogie du puzzle :
Imaginez que l'émotion est un grand puzzle.

• Le scanner de cerveau vous donne les pièces du centre du puzzle.
• Le détecteur de sueur vous donne les pièces des bords.
• Si vous essayez de faire le puzzle avec seulement les pièces du centre, vous avez une idée, mais ce n'est pas complet.
• Si vous ajoutez les pièces des bords (la sueur), le tableau devient beaucoup plus clair et vous pouvez voir l'image finale beaucoup plus facilement.

4. Pourquoi est-ce important ?

Cette étude est spéciale pour deux raisons :

1. Elle fonctionne avec n'importe qui : Les chercheurs ont créé un modèle qui fonctionne même s'ils ne connaissent pas la personne. C'est comme apprendre à conduire une voiture sans avoir besoin de réapprendre à chaque fois que vous changez de véhicule.
2. C'est simple et robuste : Ils n'ont pas utilisé des mathématiques ultra-complexes. Ils ont utilisé des méthodes simples qui fonctionnent bien, même si la personne bouge un peu. C'est crucial pour utiliser cette technologie dans la vraie vie (par exemple, dans une voiture ou un bureau), et pas seulement dans un laboratoire silencieux.

En résumé

Cette étude nous dit que pour comprendre les émotions des gens sans qu'ils aient à parler, il faut écouter à la fois leur cerveau et leur corps. Le cerveau nous dit "où" l'émotion se passe, et le corps (via la sueur) nous dit "à quel point" elle est forte. Ensemble, ils forment une équipe imbattable pour deviner ce que nous ressentons, même quand nous gardons le silence.

Résumé technique

Titre : Amélioration de la classification des émotions par la combinaison des réponses hémodynamiques dérivées de la fNIRS et des signaux physiologiques périphériques

1. Problématique

La reconnaissance automatique des émotions (affect) est cruciale pour le développement d'interfaces adaptatives et d'applications de bien-être. Bien que les méthodes d'auto-évaluation (questionnaires) soient la référence, elles sont intrusives et inadaptées à une évaluation continue. Les approches basées sur l'apprentissage automatique utilisant des signaux physiologiques offrent une alternative prometteuse.

Cependant, des défis persistent :

• L'EEG (électroencéphalographie), bien que sensible aux changements rapides, est très sensible aux artefacts de mouvement et aux interférences électromagnétiques, limitant son utilisation en environnements naturels.
• La fNIRS (spectroscopie fonctionnelle proche infrarouge) est plus robuste aux artefacts mais sa combinaison avec des mesures périphériques pour la classification d'émotions indépendante du sujet (cross-subject) reste peu explorée.
• Il est incertain si l'ajout de signaux périphériques (comme l'activité électrodermale - EDA, et la pléthysmographie - PPG) améliore significativement la performance par rapport à la fNIRS seule, en particulier pour les dimensions fondamentales de l'affect : l'éveil (arousal) et la valence.

2. Méthodologie

A. Participants et Protocole

• Sujets : 35 étudiants japonais sains (24 hommes, 11 femmes, âge moyen : 20,7 ans). Après exclusion de 5 sujets pour des problèmes techniques, 30 sujets ont été retenus pour l'analyse finale.
• Stimuli : 12 vidéos musicales japonaises de 60 secondes, sélectionnées parmi 40 candidates pour induire des réponses affectives fortes et fiables. Les stimuli couvrent quatre catégories : éveil élevé/faible et valence élevée/faible.
• Évaluation : Les sujets ont évalué leur éveil et leur valence subjectifs à l'aide de l'échelle SAM (Self-Assessment Manikin) après chaque vidéo.

B. Acquisition des Données
Trois modalités ont été enregistrées simultanément :

1. fNIRS (Système central) : 34 canaux couvrant les cortex frontal et temporal. Mesure des concentrations en hémoglobine oxygénée (O2Hb) et désoxygénée (HHb) à 10 Hz.
2. EDA (Système périphérique) : Mesure de la conductance cutanée sur les doigts (index et majeur gauches) à 51,2 Hz.
3. PPG (Système périphérique) : Mesure du pouls par capteur optique sur l'index gauche à 51,2 Hz.

C. Prétraitement et Extraction de Caractéristiques

• fNIRS : Correction des artefacts de mouvement par ondelettes, filtrage passe-bas (0,5 Hz), suppression des tendances polynomiales et normalisation Z. Les 34 canaux ont été moyennés en 5 régions anatomiques (préfrontal médian, latéral gauche/droit, temporal gauche/droit).
  • Caractéristiques : Moyenne, écart-type et pente temporelle pour O2Hb et HHb dans chaque région (30 caractéristiques au total).
• EDA : Décomposition en composantes tonique et phasique. Extraction de 9 caractéristiques (autocorrélation, écart-type, asymétrie, aplatissement, nombre de pics, amplitude moyenne des pics).
• PPG : Extraction de 27 caractéristiques de variabilité de la fréquence cardiaque (domaine temporel et fréquentiel) via la boîte à outils NeuroKit2.

D. Classification et Évaluation

• Objectif : Classification binaire (Élevé vs Faible) de l'éveil et de la valence.
• Modèle : Machine à vecteurs de support (SVM) avec noyau RBF.
• Validation : Validation croisée en 5 plis groupée par sujet (les données d'un même sujet ne sont jamais dans les ensembles d'entraînement et de test simultanément) pour garantir l'évaluation indépendante du sujet.
• Stratégie : Comparaison de configurations unimodales (fNIRS, EDA, PPG) et multimodales (combinaisons de deux ou trois modalités).
• Analyse statistique : Tests de permutation pour la signification globale et test de Wilcoxon signé pour les comparaisons paires. Importance des caractéristiques par permutation.

3. Résultats Clés

• Performance Globale : La combinaison fNIRS + EDA a obtenu les meilleures performances pour les deux dimensions :
  • Éveil (Arousal) : Score F1 macro-moyen de 0,73 (fNIRS seul : 0,65 ; EDA seul : 0,69).
  • Valence : Score F1 macro-moyen de 0,64 (fNIRS seul : 0,58 ; EDA seul : 0,51).
• Comparaison des Modalités :
  • L'ajout de l'EDA à la fNIRS a systématiquement amélioré les résultats par rapport à la fNIRS seule.
  • La combinaison fNIRS + PPG a également amélioré la performance, mais moins que fNIRS + EDA.
  • La combinaison EDA + PPG (sans fNIRS) a donné des résultats inférieurs ou non significatifs, suggérant une redondance entre ces deux signaux périphériques pour cette tâche.
  • La fNIRS seule a permis une classification statistiquement significative, confirmant la pertinence des signaux hémodynamiques centraux.
• Importance des Caractéristiques :
  • Pour l'éveil, les caractéristiques dérivées de l'EDA (notamment les réponses cutanées phasiques) ont dominé l'importance dans le modèle combiné.
  • Pour la valence, les caractéristiques de la fNIRS ont montré une importance relative plus élevée, suggérant que la valence nécessite une information complémentaire des deux systèmes (central et périphérique) pour être bien discriminée.

4. Contributions Principales

1. Validation de l'approche multimodale indépendante du sujet : L'étude démontre empiriquement que l'intégration de la fNIRS avec des signaux périphériques (EDA) améliore la classification des émotions sans nécessiter de modèles dépendants du sujet.
2. Priorité à la reproductibilité : Contrairement aux approches récentes utilisant le Deep Learning complexe, cette étude utilise des caractéristiques simples (moyenne, écart-type, etc.) et des classificateurs classiques (SVM), rendant le pipeline transparent et facilement reproductible.
3. Analyse différentielle des dimensions affectives : Mise en évidence que l'éveil est principalement porté par les signaux périphériques (EDA), tandis que la valence bénéficie d'une synergie entre les signaux centraux (fNIRS) et périphériques.
4. Robustesse environnementale : Confirmation du potentiel de la fNIRS, moins sensible aux artefacts de mouvement et au bruit électromagnétique que l'EEG, pour des applications dans des environnements naturels.

5. Signification et Perspectives

Cette recherche soutient l'idée que les systèmes d'affect computing centrés sur la fNIRS, enrichis par des mesures périphériques simples comme l'EDA, constituent une voie prometteuse pour le déploiement de la reconnaissance des émotions dans des contextes réels (non contrôlés).

Limites et travaux futurs :

• L'étude se concentre sur une population jeune et majoritairement masculine ; la généralisation à d'autres groupes démographiques doit être vérifiée.
• L'utilisation de caractéristiques simples et de SVM suggère que des méthodes de fusion de capteurs plus avancées (Deep Learning) pourraient potentiellement améliorer encore les performances, au prix d'une complexité accrue.
• D'autres modalités périphériques (ECG, température cutanée, EMG) méritent d'être explorées pour compléter la fNIRS.

En conclusion, l'intégration de la fNIRS et de l'EDA représente un compromis optimal entre performance, robustesse et simplicité méthodologique pour la classification d'émotions indépendante du sujet.