Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals

Résumé Technique : Modélisation Temporelle Profonde et Fusion d'Ensemble pour la Reconnaissance Émotionnelle Multimodale

Énoncé du Problème
La détection précise et en temps réel des états émotionnels et du stress humain à partir de signaux physiologiques est cruciale pour le suivi de la santé mentale, l'informatique de l'affect et les technologies portables (wearables). Bien que les méthodes traditionnelles reposent sur des auto-évaluations subjectives, les avancées récentes des capteurs portables (ex. : EDA, ECG, respiration, accélérométrie) permettent une inférence basée sur les données. Cependant, des défis importants subsistent pour modéliser efficacement les dépendances temporelles, gérer des modalités de capteurs hétérogènes et optimiser les stratégies de fusion afin de garantir la généralisation entre différents utilisateurs. La littérature existante évalue souvent des architectures uniques ou des stratégies de fusion spécifiques de manière isolée, manquant ainsi d'une comparaison unifiée et contrôlée des principaux modèles de deep learning temporel (LSTM, TCN, Transformer) à travers des contextes unimodaux, multimodaux et d'ensemble.

Méthodologie
Les auteurs présentent un cadre d'évaluation complet utilisant le jeu de données WESAD, un benchmark multimodal impliquant 15 participants sous des conditions de base (baseline), de stress et d'amusement. L'étude utilise un protocole de validation croisée Leave-One-Subject-Out (LOSO-CV) pour assurer une généralisation indépendante du sujet.

• Prétraitement des Données : Les signaux provenant de l'Empatica E4 (poignet : EDA, BVP, TEMP, ACC) et du RespiBAN (poitrine : RES, ECG, ACC) ont été rééchantillonnés à 4 Hz, segmentés en fenêtres non chevauchantes de 10 étapes, et normalisés par sujet pour éviter toute fuite de données.
• Architectures de Modèles : Trois architectures distinctes de deep learning temporel ont été implémentées :
  • LSTM : Un LSTM bidirectionnel à deux couches conçu pour capturer les dépendances temporelles à long terme et les transitions graduelles dans les états affectifs.
  • TCN : Une pile de convolutions causales dilatées 1D avec des connexions résiduelles, optimisée pour le traitement parallèle et l'extraction de caractéristiques temporelles multi-échelles.
  • Transformer : Un encodeur compact utilisant l'auto-attention multi-têtes pour modéliser les dépendances sur des pas de temps arbitraires sans supposer de structure locale, capable de se concentrer sur les segments temporels saillants.
• Stratégies de Fusion :
  • Fusion Précoce (Niveau Capteur) : Les caractéristiques du poignet et de la poitrine ont été concaténées le long de la dimension des canaux avant l'entrée dans les modèles.
  • Fusion Tardive (Niveau Ensemble) : Une stratégie d'ensemble a été mise en œuvre en faisant la moyenne des sorties de probabilité softmax des trois modèles indépendamment entraînés (LSTM, TCN, Transformer) pour produire une prédiction finale.
• Études d'Ablation : Les auteurs ont mené des études d'ablation approfondies en entraînant les modèles sur des entrées uniquement au niveau du poignet et uniquement au niveau de la poitrine pour quantifier la contribution individuelle de chaque modalité.

Résultats Clés
Les expériences ont produit les mesures de performance suivantes (rapportées comme moyenne ± écart type sur les plis LOSO) :

• Performance de l'Ensemble : L'ensemble de fusion tardive a atteint la performance globale la plus élevée, atteignant une précision de 98,91 ± 0,13 % et un score F1 macro de 98,56 ± 0,17 %. Cette approche a démontré une stabilité supérieure, avec une variance nettement plus faible entre les sujets par rapport aux modèles individuels.
• Comparaison des Architectures (Multimodale) : Dans le contexte multimodal, l'architecture Transformer a systématiquement obtenu la précision la plus élevée parmi les modèles autonomes (99,02 ± 0,51 %), grâce à sa capacité à modéliser des dépendances temporelles complexes via l'auto-attention.
• Performance Spécifique à la Modalité :
  • Poignet uniquement : Le modèle TCN a obtenu les meilleurs résultats dans la configuration poignet uniquement (98,20 ± 0,41 % de précision), surpassant à la fois le LSTM et le Transformer dans ce paramètre d'ablation spécifique.
  • Poitrine uniquement : Le LSTM a obtenu les résultats les plus solides pour les entrées poitrine uniquement, bien que la performance globale soit inférieure aux configurations poignet uniquement.
• Contribution de la Modalité : La fusion multimodale a systématiquement surpassé les configurations unimodales pour toutes les architectures. Cependant, les modèles poignet uniquement ont montré des performances compétitives, suggérant la faisabilité pour des applications portables à ressources limitées. La classe « Amusement » a systématiquement généré des scores plus bas pour tous les modèles, soulignant la difficulté de classifier cet état par rapport au stress ou à la ligne de base.

Contributions Clés

1. Cadre de Benchmarking Unifié : Le papier établit une comparaison systématique et agnostique de l'architecture utilisant les modèles LSTM, TCN et Transformer sous des contextes unimodaux, multimodaux et d'ensemble, en utilisant un protocole LOSO-CV cohérent sur le jeu de données WESAD.
2. Stratégie de Double Fusion : L'étude démontre l'efficacité de la combinaison de la fusion précoce des capteurs (concaténation de caractéristiques) et de la fusion d'ensemble tardive (moyenne des probabilités), montrant que cette double approche tire parti à la fois de la synergie inter-capteurs et de la réduction de la variance.
3. Aperçus sur les Modalités et les Architectures : Ce travail clarifie que si les Transformers excellent dans les contextes multimodaux, les TCN et les LSTM restent hautement efficaces dans les scénarios limités en capteurs (poignet uniquement), fournissant des conseils pratiques pour la conception de systèmes basés sur le matériel disponible.
4. Analyse de Robustesse : En rapportant les écarts types sur 15 plis LOSO, l'étude fournit une estimation fiable de la variabilité inter-sujets, démontant que les méthodes d'ensemble réduisent considérablement la variance et améliorent la généralisation.

Signification et Revendications
Les auteurs affirment que leurs conclusions offrent des perspectives pratiques pour le développement de systèmes de reconnaissance d'émotions robustes et évolutifs. Plus précisément, l'article soutient que :

• Les méthodes d'ensemble sont hautement efficaces pour la reconnaissance émotionnelle physiologique, offrant une précision et une stabilité supérieures par rapport aux approches à modèle unique.
• La fusion de capteurs est critique, mais les signaux du poignet uniquement (communs dans les montres intelligentes) peuvent supporter une reconnaissance précise, rendant la technologie viable pour un déploiement réel et non invasif.
• Il n'existe pas une architecture unique « meilleure » pour tous les scénarios ; le choix optimal dépend de la modalité d'entrée (ex. : TCN pour le poignet uniquement, Transformer pour le multimodal).
• Ce travail comble une lacune dans la littérature en fournissant une analyse comparative contrôlée de ces trois principales architectures temporelles, isolant les effets du choix de l'architecture, de la modalité du capteur et de la conception de la fusion sur la performance de la reconnaissance de l'affect.

L'article conclut que la combinaison de la fusion de capteurs et de la fusion basée sur l'ensemble est une direction prometteuse pour la création de systèmes fiables de détection du stress et des émotions physiologiques.