Stimulus identity rather than emotion drives EEG classification on the FACED dataset

Résumé technique : L'identité du stimulus plutôt que l'émotion régit la classification EEG sur le jeu de données FACED

Énoncé du problème
Les ensembles de données de référence fiables sont fondamentaux pour faire progresser la reconnaissance des émotions basée sur l'EEG. Le jeu de données d'EEG pour l'informatique affective à granularité fine (FACED), qui est actuellement le plus grand ensemble de données d'émotion EEG disponible publiquement comprenant 123 sujets et neuf catégories d'émotions, est devenu un benchmark largement adopté. Cependant, cet article identifie une faille critique dans l'utilité de ce jeu de données : la performance de classification sur FACED semble refléter l'identité du stimulus plutôt que l'émotion réelle. L'étude soutient que les protocoles d'évaluation actuels sur FACED sont susceptibles de subir des biais découlant de choix de conception spécifiques, menant à des mesures de précision gonflées ou trompeuses qui ne se généralisent pas au véritable décodage émotionnel.

Méthodologie
Les auteurs ont employé une analyse comparative utilisant deux approches de classification distinctes : un classificateur linéaire (LinearSVC) et un modèle d'apprentissage profond (CLISA). Pour isoler les moteurs de la performance de classification, l'étude a mené trois manipulations expérimentales spécifiques sur les données FACED :

1. Analyse Sentiment vs Non-Sentiment : Les auteurs ont comparé la performance de classification sur les essais où les sujets ont explicitement déclaré ressentir l'émotion assignée par rapport aux essais où ils ne la ressentaient pas.
2. Remplacement des étiquettes : L'étude a remplacé les étiquettes originales assignées au stimulus (l'émotion que la vidéo était censée évoquer) par les auto-évaluations individuelles de l'émotion réellement ressentie par le sujet, puis a réévalué la précision de la classification.
3. Réduction des stimuli : Les auteurs ont réduit le jeu de données à une seule vidéo par catégorie d'émotion, écartant ainsi les deux tiers des données, afin de tester si la précision persistait lorsque la variabilité des stimuli était minimisée.

Résultats clés
Les résultats expérimentaux ont produit trois conclusions principales qui remettent en question la validité de FACED en tant que benchmark de reconnaissance d'émotions :

• Performance indiscernable : La performance de classification est restée comparable, que les sujets aient déclaré ressentir l'émotion cible ou non, suggérant que le modèle n'apprend pas les états émotionnels mais plutôt les caractéristiques du stimulus.
• Dégradation de la performance avec les auto-évaluations : Lorsque les étiquettes assignées au stimulus ont été remplacées par les auto-évaluations individuelles, la précision de la classification a chuté de manière significative. Cela indique que les modèles entraînés sur les étiquettes originales échouent à capturer l'expérience émotionnelle subjective des participants.
• Augmentation de la précision via la réduction des stimuli : Contraiquement à l'attente selon laquelle moins de données nuiraient à la performance, la précision a augmenté lorsque le jeu de données a été réduit à une seule vidéo par émotion. Ce résultat contre-intuitif confirme que les modèles exploitent l'identité du stimulus (caractéristiques visuelles ou auditives spécifiques propres à une vidéo) plutôt que la catégorie émotionnelle elle-même.

Analyse de la cause profonde
L'article attribue ces découvertes à trois choix de conception spécifiques inhérents à FACED :

1. Peu de stimuli par catégorie : Le nombre limité de vidéos uniques par catégorie d'émotion crée une corrélation forte entre le stimulus et l'étiquette.
2. Étiquettes assignées au stimulus : Le recours à l'émotion prévue de la vidéo plutôt qu'au sentiment réellement rapporté par le sujet introduit un problème de bruit d'étiquetage.
3. Séparations temporelles intra-vidéo : L'utilisation de séparations temporelles pour la validation croisée (séparer les données d'une même vidéo entre l'entraînement et le test) permet au modèle d'apprendre l'autocorrélation temporelle et les caractéristiques spécifiques du stimulus, qui se généralisent ensuite parfaitement au jeu de test sans apprendre l'émotion sous-jacente.

Signification et recommandations
L'article conclut que les benchmarks actuels sur FACED mesurent probablement la capacité à reconnaître des clips vidéo spécifiques plutôt que le décodage d'états émotionnels. Pour guider les recherches futures et prévenir ces biais, les auteurs proposent cinq recommandations spécifiques pour les conceptions d'études de décodage d'émotions :

• Renforcer la diversité des stimuli pour garantir de multiples stimuli uniques par catégorie d'émotion.
• Implémenter une indépendance temporelle dans la séparation des données pour éviter la fuite de caractéristiques spécifiques au stimulus.
• Prioriser la validation des étiquettes en utilisant les auto-évaluations plutôt qu'en se fiant uniquement aux étiquettes assignées au stimulus.
• (Implicitement) Concevoir des expériences qui testent et atténuent explicitement les biais d'identité du stimulus.

La portée de ce travail réside dans son appel à réévaluer la validité des benchmarks largement utilisés. En exposant la vulnérabilité de FACED aux biais d'identité du stimulus, l'article vise à orienter la communauté vers des conceptions expérimentales plus rigoureuses qui font réellement progresser le domaine de la reconnaissance des émotions par EEG.