💬 NLP

DementiaBank-Emotion: A Multi-Rater Emotion Annotation Corpus for Alzheimer's Disease Speech (Version 1.0)

Cet article présente DementiaBank-Emotion, le premier corpus d'annotation d'émotions par plusieurs évaluateurs pour la parole liée à la maladie d'Alzheimer, qui révèle que les patients atteints de la maladie d'Alzheimer expriment significativement plus d'émotions non neutres que les témoins sains et présentent des motifs acoustiques distincts, tels qu'une modulation de la hauteur réduite pour la tristesse, tout en fournissant des ressources pour faire progresser la recherche sur la reconnaissance des émotions dans les populations cliniques.

Auteurs originaux : Cheonkam Jeong, Jessica Liao, Audrey Lu, Yutong Song, Christopher Rashidian, Donna Krogh, Erik Krogh, Mahkameh Rasouli, Jung-Ah Lee, Nikil Dutt, Lisa M Gibbs, David Sultzer, Julie Rousseau, Jocelyn Lu

Publié 2026-02-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cheonkam Jeong, Jessica Liao, Audrey Lu, Yutong Song, Christopher Rashidian, Donna Krogh, Erik Krogh, Mahkameh Rasouli, Jung-Ah Lee, Nikil Dutt, Lisa M Gibbs, David Sultzer, Julie Rousseau, Jocelyn Ludlow, Margaret Galvez, Alexander Nuth, Chet Khay, Sabine Brunswicker, Adeline Nyamathi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre l'humeur d'une pièce en écoutant les gens parler. Habituellement, si quelqu'un est triste, sa voix descend dans les graves et ralentit. Si quelqu'un est heureux, sa voix peut devenir plus forte et plus rapide. C'est comme un instrument de musique jouant différentes notes pour correspondent au sentiment.

Maintenant, imaginez essayer de faire cela avec des personnes atteintes de la maladie d'Alzheimer. Leurs voix peuvent sembler un peu « plates » ou différentes à cause de la maladie, ce qui rend difficile de deviner ce qu'elles ressentent simplement en écoutant.

Ce document présente un nouvel outil appelé DementiaBank-Emotion. Considérez cela comme une immense bibliothèque, soigneusement organisée, d'enregistrements vocaux de personnes atteintes d'Alzheimer et de personnes en bonne santé, mais avec une touche spéciale : chaque phrase a été étiquetée par une équipe d'experts pour deviner l'émotion derrière elle.

Voici ce que les chercheurs ont découvert, en utilisant des comparaisons simples :

1. La découverte de la « Surprise » : Plus d'émotion, pas moins

Vous pourriez penser que parce que la maladie d'Alzheimer affecte le cerveau, les personnes atteintes de cette maladie montreraient moins d'émotions, comme une radio dont on aurait baissé le volume.

Ce qu'ils ont trouvé : En réalité, c'est l'inverse qui s'est produit. Les personnes atteintes d'Alzheimer ont montré des émotions non neutres (comme la joie, la surprise ou la tristesse) dans environ 17 % de leurs phrases. Les personnes en bonne santé ne montraient ces émotions que dans environ 6 % de leurs phrases.
L'analogie : C'est comme un film où le personnage avec l'intrigue de « perte de mémoire » fait en fait des expressions faciales et des gestes plus dramatiques que le personnage « sain ». Les chercheurs suggèrent que cela pourrait être dû au fait que les patients utilisent les émotions comme un moyen de compenser lorsqu'ils peinent à trouver les mots justes.

2. Le problème de l'« Instrument Cassé »

Même si les patients montraient plus d'émotions, leurs voix ne sonnaient pas toujours comme cela.

Le constat : Lorsque des personnes en bonne santé étaient tristes, leur voix descendait considérablement en hauteur (comme un chanteur atteignant une note plus basse). Lorsque des personnes atteintes d'Alzheimer étaient tristes, leurs voix ne changeaient presque pas du tout.
L'analogie : Imaginez deux pianos. Le piano sain joue une chanson triste avec des notes graves et profondes. Le piano de l'Alzheimer essaie de jouer la même chanson triste, mais les touches sont coincées, donc il sonne presque comme une chanson neutre. Les chercheurs appellent cela l'« aplatissement acoustique ».
Note importante : Les chercheurs admettent que ce résultat est basé sur un très petit nombre d'exemples de « tristesse » (seulement 5 chez les personnes en bonne santé et 15 chez les patients), ils doivent donc vérifier à nouveau cela avec plus de données avant d'en être certains.

3. Le « Bouton de Volume » fonctionne toujours

Bien que la hauteur (les notes hautes ou basses) soit parfois plate, la puissance sonore fonctionnait toujours comme un signal.

Le constat : À l'intérieur du groupe de personnes atteintes d'Alzheimer, les chercheurs pouvaient distinguer les émotions par la force avec laquelle la personne parlait. Lorsqu'elles étaient heureuses ou surprises, elles parlaient plus fort. Lorsqu'elles étaient neutres ou tristes, elles parlaient plus doucement.
L'analogie : Même si le « bouton de hauteur » est cassé, le « bouton de volume » fonctionne toujours. Si vous tournez le volume, vous pouvez dire qu'elles sont excitées ou surprises, même si le ton de la voix semble un peu plat.

4. Le « Piège du Rire »

L'une des parties les plus difficiles de ce projet a été de comprendre ce que le rire signifiait.

Le défi : Dans le langage normal, le rire signifie généralement « Joie ». Mais dans le langage lié à l'Alzheimer, les gens rient souvent lorsqu'ils sont bloqués en essayant de trouver un mot ou qu'ils se sentent embarrassés.
La solution : L'équipe a organisé des « ateliers de calibration » (comme un camp d'entraînement pour les étiqueteurs) pour apprendre à faire la différence. Ils ont appris à distinguer le « rire joyeux » (qui est de la joie) du « rire d'impuissance » (qui est en fait de la tristesse ou de la frustration).
L'analogie : C'est comme distinguer un rire de pur amusement face à une blague, d'un petit rire nerveux quand on fait tomber ses clés. Les deux sont des rires, mais ils signifient des choses très différentes.

5. Pourquoi cela importe (selon l'article)

L'article explique que les ordinateurs sont actuellement mauvais pour comprendre ces voix car ils sont entraînés sur des personnes en bonne santé qui parlent de manière très claire et exagérée.

L'idée principale : Pour construire de meilleurs outils capables de comprendre les personnes atteintes d'Alzheimer, nous avons besoin de données qui ressemblent à leur réalité, et non à l'idée qu'une personne saine s'en fait. Cette nouvelle bibliothèque fournit ces données, ainsi que le « manuel de règles » utilisé par les experts pour identifier les émotions.

Ce que l'article ne dit pas

Il ne prétend pas que les médecins peuvent utiliser cela dès maintenant pour diagnostiquer Alzheimer.
Il ne dit pas que les patients ressentent définitivement ces émotions intérieurement ; les étiquettes sont basées sur ce que les experts ont entendu et perçu, et non sur ce que les patients pensaient réellement.
Il ne promet pas que cela va immédiatement résoudre les problèmes de communication, mais plutôt que cela constitue la première étape (les données) pour aider les chercheurs à essayer de les résoudre plus tard.

En résumé, cet article est comme si l'on remettait aux chercheurs un nouveau dictionnaire spécialisé pour une langue qui était auparavant très difficile à lire. Il montre que bien que la « musique » de la voix puisse être un peu plate, les « paroles » et le « volume » racontent toujours une histoire riche d'émotions que nous commençons à peine à comprendre.

Résumé Technique : DementiaBank-Emotion (Version 1.0)

Énoncé du Problème
Bien que l'analyse computationnelle de la parole liée à la maladie d'Alzheimer (MA) ait progressé de manière significative dans l'identification des marqueurs linguistiques (ex. : réduction de la diversité lexicale, simplification syntaxique) et des caractéristiques diagnostiques acoustiques, la dimension affective de la parole liée à la MA reste sous-explorée. Les ressources existantes de reconnaissance de l'émotion par la parole (SER), telles qu'IEMOCAP et RAVDESS, reposent sur une parole jouée ou scriptée issue de populations saines, qui présente souvent des expressions émotionnelles prototypiques. Ces ressources ne parviennent pas à traiter les défis uniques de la parole clinique spontanée, où les changements pathologiques de la voix (ex. : affect plat), les ruptures pragmatiques et les comportements de compensation (ex. : rire de sauvegarde de la face) confondent les correspondances émotion-acoustique standards. Il existe un manque critique de corpus annotés reflétant les expressions émotionnelles réelles des individus souffrant de troubles cognitifs, ce qui entrave le développement de technologies d'assistance sensibles aux émotions et une compréhension nuancée de la progression de la maladie.

Méthodologie
Les auteurs présentent DementiaBank-Emotion (v1.0), le premier corpus d'annotation émotionnelle multi-évaluateurs spécifiquement dédié à la parole liée à la MA.

Source de Données : Le corpus extrait 1 492 énoncés provenant de 108 locuteurs (54 patients atteints de MA et 54 témoins sains) issus de l'ensemble d'entraînement du défi ADReSS 2020, un sous-ensemble du corpus DementiaBank Pitt. Tous les participants ont réalisé la tâche de description d'image « Cookie Theft ».
Schéma d'Annotation : L'étude utilise les six émotions de base d'Ekman (joie, tristesse, peur, colère, surprise, dégoût) ainsi qu'une catégorie neutre.
Composition des Annotateurs : Une équipe multidisciplinaire de 11 évaluateurs, comprenant des experts cliniques (chercheurs en soins infirmiers, infirmiers praticiens, psychiatres) et des chercheurs techniques (informatique, gestion), a effectué l'étiquetage.
Processus de Calibrage : Pour traiter l'ambiguïté inhérente à la parole clinique, l'équipe a mené des ateliers de calibrage itératifs. Les résultats clés incluent :
- Priorité Prosodique : Établissement d'un principe de « Défaut au Neutre » où une intonation plate l'emporte sur un contenu lexical chargé d'émotion (ex. : étiqueter « robbing » comme neutre s'il est prononcé sans intonation).
- Sous-types de Rire : Distinction entre le « rire joyeux » (joie) et le « rire d'impuissance » (tristesse/coping), une distinction critique pour la parole liée à la MA où le rire sert souvent une fonction de sauvegarde de la face.
- Identification de la Surprise : Étiquetage des énoncés présentant des changements de hauteur dramatiques ou un accent sur des éléments inattendus (focalisation de l'information) comme étant de la surprise.
Fiabilité et Arbitrage : La fiabilité inter-juges a été mesurée via le $\kappa$ de Fleiss. Pour les données de la MA, la fiabilité est passée de 0,094 à 0,313 après calibrage. Un algorithme d'arbitrage hiérarchique a déterminé les étiquettes de référence (gold-standard), privilégiant le consensus majoritaire et les préférences non-neutres en cas d'égalité, avec des scores de confiance utilisés pour départager les cas. Les cas ambigus (137 MA, 9 contrôles) ont été exclus de l'analyse de distribution mais conservés pour l'étude acoustique.
Analyse Acoustique : Les caractéristiques ont été extraites via openSMILE avec l'ensemble de caractéristiques eGeMAPS. La F0 a été normalisée en demi-tons par rapport à la moyenne de chaque locuteur pour isoler la dynamique intonationnelle des bases physiologiques. Les analyses statistiques ont inclus l'ANOVA pour la différenciation des émotions et des modèles linéaires à effets mixtes pour les interactions groupe-par-émotion.

Contributions Clés

Premier Corpus d'Émotion pour la MA : Publication du premier corpus annoté par multi-évaluateurs pour la parole liée à la MA, contenant 1 492 énoncés avec un $\kappa$ de Fleiss compris entre 0,2-3 et 0,31.
Cadre d'Annotation Clinique : Documentation des défis spécifiques de l'annotation de la parole clinique, incluant des directives pour distinguer les mécanismes de coping (ex. : rire d'impuissance) des émotions réelles, ainsi que la publication des matériels d'ateliers de calibrage.
Résultats Empiriques sur l'Expression : Démonstration que les patients atteints de MA expriment significativement plus d'émotions non-neutres (16,9 %) que les témoins sains (5,7 %).
Aperçus Acoustiques-Prosodiques : Identification d'un « aplatissement acoustique » dans la parole liée à la MA, où la réalisation prosodique des émotions (spécifiquement la tristesse) est atténuée par rapport aux témoins, malgré des taux d'expression émotionnelle plus élevés.

Résultats

Distribution des Émotions : Les patients atteints de MA ont présenté un taux d'émotions non-neutres significativement plus élevé (16,9 %) que les témoins (5,7 % ; $p < ,001$ ). La joie était l'émotion non-neutre la plus fréquente dans les deux groupes, suivie de la surprise.
Différenciation Acoustique : Au sein du groupe MA, la loudness (intensité sonore) a différencié de manière significative les catégories d'émotion. Les énoncés de joie et de surprise étaient significativement plus forts que les énoncés neutres et de tristesse. Les autres caractéristiques acoustiques (F0, jitter, shimmer, HNR) n'ont montré aucune différenciation significative par émotion après normalisation du locuteur.
Interaction de Groupe (Aplatissement Acoustique) : Une analyse exploratoire a révélé une interaction Groupe $\times$ Émotion significative pour la F0 ( $p = ,023$ ). Lors de l'expression de la tristesse, les locuteurs témoins ont montré une diminution substantielle de la F0 ( $\Delta = -3,45$ demi-tons), tandis que les locuteurs atteints de MA ont montré un changement minimal ( $\Delta = +0,11$ demi-ton). Cela suggère une dissociation où les patients atteints de MA expriment plus de contenu émotionnel mais avec une modulation prosodique réduite.
Ambiguïté : Les cas ambigus dans la parole liée à la MA étaient caractérisés par une F0, une variance de F0, une loudness et une HNR significativement plus basses, suggérant que l'ambiguïté provient souvent de indices prosodiques insuffisants dus à un affect plat.

Signification et Revendications
L'article affirme que DementiaBank-Emotion constitue une ressource fondamentale pour comprendre les dimensions affectives de la parole liée à la MA, qui sont distinctes des schémas de parole sains. Les auteurs soutiennent que le taux plus élevé d'expression non-neutre chez les patients atteints de MA reflète probablement le déploiement d'expressions émotionnelles comme stratégies de coping pour les difficultés linguistiques plutôt que comme des états émotionnels purement spontanés.

L'étude souligne une lacune critique pour les systèmes automatisés : bien que les patients atteints de MA expriment plus d'émotions, leur réalisation prosodique est atténuée (« aplatissement acoustique »). Cela suggère que les systèmes de reconnaissance d'émotions automatisés entraînés uniquement sur des caractéristiques acoustiques issues de populations saines pourraient échouer à détecter les émotions dans la parole liée à la MA ou classer erronément les comportements de compensation (comme le rire d'impuissance) comme de la joie. Les auteurs postulent qu'une reconnaissance d'émotion efficace dans les populations cliniques nécessite des approches multimodales intégrant des indices prosodiques, linguistiques et pragmatiques, et que les corpus annotés par des experts sont essentiels pour entraîner de tels systèmes.

Les auteurs restent modestes quant à la découverte de l'« aplatissement acoustique », notant qu'elle repose sur des échantillons limités (particulièrement pour la tristesse) et nécessite une réplication. Ils soulignent que le corpus, les directives et les matériels de calibrage sont mis à disposition pour soutenir les recherches futures sur la relation entre l'expression émotionnelle, la sévérité cognitive et la progression de la maladie.