Decision-Level Fusion for Robust Wearable Affect Recognition

Résumé Technique : Fusion au Niveau de la Décision pour une Reconnaissance Robuste de l'Affection par Dispositifs Portables

Énoncé du Problème
La reconnaissance automatique des états affectifs (spécifiquement l'état de base, le stress et l'amusement) à partir de signaux physiologiques portables rencontre des défis majeurs dans le déploiement réel. Bien que des jeux de données comme WESAD facilitent l'évaluation, les pipelines actuels peinent à gérer le caractère non stationnaire, bruité et dépendant du sujet des séries temporelles physiologiques. Deux limitations principales sont identifiées :

1. Extraction de Caractéristiques : Les méthodes courantes reposant sur des caractéristiques spectrales à base fixe (par exemple, la puissance de bande FFT, la densité spectrale de puissance de Welch) supposent une stationnarité locale. Ces approches lissent souvent excessivement des motifs transitoires discriminatifs de courte durée, pourtant critiques pour distinguer les états affectifs.
2. Intégration Multimodale : La détection en conditions réelles est sujette aux artefacts, aux défaillances de signal et aux modalités manquantes. Les approches traditionnelles de fusion précoce (au niveau des caractéristiques) supposent souvent la disponibilité complète des capteurs, entraînant une dégradation des performances lorsque les capteurs sont bruyants ou indisponibles.

Méthodologie
Les auteurs proposent un pipeline en trois étapes conçu pour répondre à la non-stationnarité et à l'instabilité des capteurs :

1. Extraction de Caractéristiques Non Stationnaires (FBSE-EWT) :
   Au lieu des transformées de Fourier à fenêtre fixe, l'article introduit une méthode d'analyse de signal hybride combinant l'Expansion en Série de Fourier-Bessel (FBSE) avec la Transformée en Ondelettes Empiriques (EWT).

   • FBSE : Représente le signal fenêtré à l'aide de bases de Bessel, qui exhibent un comportement de type modulation d'amplitude, adapté aux signaux non stationnaires à large bande.
   • EWT : Effectue une segmentation spectrale pilotée par les données. Contrairement aux banques d'ondelettes fixes, l'EWT apprend les bandes d'ondelettes directement à partir du spectre du signal en détectant des minima significatifs dans un histogramme du spectre FBSE.
   • Construction des Caractéristiques : La méthode reconstruit les modes à partir de ces filtres adaptatifs et extrait des descripteurs de dimension fixe, incluant l'énergie du mode, l'énergie logarithmique et l'entropie du mode. Cela préserve les structures spectrales transitoires que les méthodes à base fixe pourraient rejeter.

2. Prédiction par Capteur Unique (SSP) :
   Chaque modalité (ECG, EDA, BVP, EMG, ACC) est traitée indépendamment par un prédicteur dédié. Les auteurs utilisent un Perceptron Multicouche (MLP) avec une activation ReLU et une couche de sortie softmax.

   • Le MLP produit une distribution de probabilité ($P_i$) sur les classes affectives et un score de confiance ($F1_i$) représentant la fiabilité du prédicteur.
   • Cette conception modulaire permet à chaque capteur d'apprendre indépendamment des motifs discriminants de l'affect, évitant la complexité des modèles temporels (comme les CNN/LSTM) tout en maintenant l'efficacité pour des jeux de données plus petits.

3. Agrégation au Niveau de la Décision Sensible à l'Incertitude :
   Plutôt que de fusionner les données brutes ou les caractéristiques, le pipeline agrège les prédictions indépendantes au niveau de la décision. La prédiction finale est une moyenne pondérée des probabilités individuelles des capteurs, où les pondérations sont déterminées par :

   • L'Incertitude Prédictive : Mesurée via l'entropie de l'information ($H(P_i)$) de l'instance de prédiction spécifique. Une entropie plus faible (certitude plus élevée) augmente le poids.
   • La Fiabilité de la Modalité : Mesurée par le score F1 global ($F1_i$) du prédicteur par capteur unique.
   • Règle de Fusion : La probabilité agrégée pour une classe $e$ est calculée comme suit :
     $$P_T(e) = \frac{1}{\gamma} \sum_{i \in T} (1 - H(P_i))^{F1_i} \cdot P_i(e)$$
     où $\gamma$ est un facteur de normalisation. Cette conception garantit que les capteurs incertains ou peu fiables contribuent moins à la décision finale, permettant une dégradation gracieuse lorsque les capteurs tombent en panne ou sont bruyants.

Contributions Clés

1. Représentation Adaptative : Une représentation non stationnaire (FBSE-EWT) qui isole les modes spectraux transitoires via une segmentation pilotée par les données, préservant mieux la structure dynamique des signaux physiologiques que les méthodes à base fixe.
2. Mécanisme de Fusion Robuste : Une règle de fusion de décision modulaire et sensible à l'incertitude qui pondère les contributions des capteurs en fonction à la fois de l'entropie spécifique à l'instance et de la fiabilité globale de la modalité, assurant la stabilité face aux données manquantes ou bruyantes.
3. Validation Empirique : Une évaluation sur le jeu de données WESAD démontrant l'efficacité de cette approche pour la reconnaissance d'affect à trois classes.

Résultats
Évalué sur le jeu de données WESAD (15 sujets, 5 capteurs, 3 classes), le cadre proposé a produit les résultats suivants :

• Fusion au Niveau de la Décision vs Fusion au Niveau des Caractéristiques : L'agrégation au niveau de la décision s'est révélée être ≈84 % aussi bonne ou meilleure que l'agrégation au niveau des caractéristiques. Dans ≈48 % des cas, la fusion au niveau de la décision était strictement supérieure.
• Robustesse à la Taille de l'Équipe : L'agrégation au niveau de la décision a constamment surpassé l'agrégation au niveau des caractéristiques pour toutes les tailles d'équipe (de capteurs uniques à des quatuors complets).
• Évolutivité : La précision s'est améliorée à mesure que davantage de capteurs participaient à l'agrégation, confirmant l'avantage de l'intégration multimodale même lorsque les capteurs individuels varient en qualité.

Signification et Revendications
L'article revendique que le pipeline proposé offre une robustesse améliorée pour la reconnaissance de l'affect par dispositifs portables dans des environnements de détection hétérogènes et partiellement fiables. En passant de la fusion au niveau des caractéristiques à la fusion au niveau de la décision et en employant une décomposition spectrale adaptative, le système émet des états de croyance calibrés plutôt que des prédictions excessivement confiantes. Cela est particulièrement significatif pour l'aide à la décision basée sur des agents dans les contextes de santé et de soins, où les interventions doivent être déclenchées de manière conservatrice en cas d'incertitude. Les auteurs positionnent ce travail comme une étape vers des systèmes de santé conscients de l'affect et déployables, capables de gérer les réalités de la physiologie non stationnaire et des défaillances de capteurs sans nécessiter de connaissances expertes sur des caractéristiques de signal spécifiques pour l'intégration.