Toward using Speech to Sense Student Emotion in Remote Learning Environments

Cet article propose l'utilisation de la parole issue de tâches d'autorégulation pour détecter les émotions des étudiants dans les environnements d'apprentissage à distance, en démontrant que ces signaux vocaux spontanés présentent des variations perceptibles et prédictibles selon les dimensions de valence, d'activation et de dominance.

L'essentiel

🎓 Le Problème : L'École à Distance, c'est un peu "Muet"

Imaginez que vous êtes dans une classe normale. Le prof voit si vous avez l'air confus, ennuyé ou excité. Il peut ajuster son cours en temps réel : "Oh, ils ont l'air perdus, je vais ralentir."

Maintenant, imaginez l'école à distance (comme sur Zoom ou Moodle). C'est souvent comme parler à un mur. Vous répondez à des questions, mais le système ne sait pas si vous êtes frustré, content ou si vous vous ennuyez à mourir. C'est comme essayer de cuisiner un gâteau sans jamais pouvoir le goûter avant la fin : vous ne savez pas si ça a du sel ou pas.

🎙️ L'Idée Géniale : Écouter la "Voix" des Émotions

Les chercheurs de ce papier (venant de Suisse) ont eu une idée : et si on utilisait la voix des étudiants pour deviner leurs émotions ?

Au lieu de seulement écrire des réponses (ce qui est froid et sans émotion), ils ont demandé aux étudiants de parler pour répondre à des questions d'auto-évaluation. C'est comme passer d'un SMS à un message vocal. Même si l'étudiant ne crie pas de joie ou ne pleure pas, sa voix contient des micro-signaux (le ton, la vitesse, l'intensité) qui trahissent ce qu'il ressent.

🔍 L'Expérience : Créer une "Carte au Trésor" des Émotions

Pour prouver que ça marche, ils ont fait trois choses principales :

1. La Récolte (Le Dataset SPOT-ED) :
   Ils ont pris 56 étudiants qui répondaient à des questions en parlant. Ils ont coupé ces enregistrements en petits morceaux (comme des éclats de verre) pour analyser chaque phrase individuellement. C'est leur "trésor" de données.

2. Le Jury Humain (L'Étiquetage) :
   Avant de demander à un ordinateur de deviner, ils ont demandé à 6 humains (des psychologues et des linguistes) d'écouter ces petits morceaux de voix. Ils devaient noter chaque voix sur une échelle de 1 à 9 selon trois critères, qu'on peut comparer à un thermomètre émotionnel :

   • Valence (La température) : Est-ce que c'est positif (soleil ☀️) ou négatif (orage ⛈️) ?
   • Arousal (L'énergie) : Est-ce que la personne est calme (sommeil 😴) ou excitée (course-poursuite 🏃) ?
   • Dominance (Le pouvoir) : Est-ce que la personne se sent faible (victime 🐭) ou forte (maître du jeu 🦁) ?

   Résultat : Les humains ont été d'accord entre eux ! Cela prouve que même dans une conversation seule (monologue), la voix porte bien des émotions.

3. Le Robot Détective (La Prédiction Automatique) :
   Ensuite, ils ont entraîné des intelligences artificielles (des "robots détectives") pour qu'elles écoutent ces voix et devinent les notes du thermomètre sans l'aide des humains.

   • Ils ont utilisé deux types de "yeux" pour le robot :
     • L'œil expert : Qui regarde les détails techniques du son (comme un ingénieur du son).
     • L'œil moderne : Un robot qui a lu des millions d'heures de conversations pour apprendre par lui-même (ce qu'on appelle l'apprentissage profond).
   • Le résultat : En combinant les deux, le robot a réussi à prédire les émotions avec une précision étonnante. C'est comme si le robot apprenait à lire entre les lignes de la voix.

💡 La Conclusion : Pourquoi c'est important ?

Ce papier nous dit une chose simple mais puissante : On peut utiliser la voix pour "sentir" ce que ressent un étudiant à distance.

Imaginez un futur où votre plateforme d'apprentissage, en entendant votre voix trembler un peu ou devenir trop monotone, vous dit : "Hé, tu sembles stressé ou fatigué. Veux-tu prendre une pause ou changer de méthode ?"

Cela permettrait de transformer l'école à distance, souvent froide et solitaire, en une expérience plus humaine, où le système comprend non seulement ce que vous apprenez, mais aussi comment vous le vivez.

En résumé : La voix est un pont invisible entre l'étudiant solitaire et le système éducatif. Ce papier montre comment construire ce pont pour rendre l'apprentissage à distance plus chaleureux et plus efficace.

Résumé technique

1. Problématique et Contexte

L'apprentissage à distance (en particulier de manière asynchrone) souffre d'un manque de signaux émotionnels non verbaux par rapport aux salles de classe en présentiel. Or, les émotions jouent un rôle crucial dans les fonctions cognitives (attention, mémoire, résolution de problèmes).

• Le défi : Comment détecter automatiquement les états émotionnels des étudiants dans un environnement d'apprentissage à distance sans perturber le processus d'apprentissage ni recourir à des méthodes artificielles (comme l'acting ou les setups Wizard-of-Oz) ?
• L'approche proposée : Utiliser les tâches d'auto-contrôle (self-control tasks) intégrées aux plateformes d'apprentissage. Ces tâches demandent aux étudiants de répondre oralement à des questions ouvertes et de fournir une réflexion sur leur apprentissage. L'hypothèse est que ces monologues spontanés, bien que basés sur des connaissances, contiennent des indices paralinguistiques révélateurs de l'émotion.
• Question de recherche : Les réponses vocales spontanées aux tâches d'auto-contrôle présentent-elles des variations perceptibles selon les dimensions émotionnelles (Valence, Arousal, Dominance - VAD) et ces variations peuvent-elles être prédites automatiquement ?

2. Méthodologie

A. Collecte et Constitution du Jeu de Données (SPOT-ED)

• Source : Données collectées auprès de 56 étudiants de l'Université des Sciences Appliquées à distance (FFHS, Suisse) lors d'un semestre de printemps 2021.
• Tâche : Les étudiants ont utilisé une interface Moodle pour enregistrer des réponses vocales à des questions ouvertes et des réflexions d'apprentissage.
• Prétraitement :
  • 815 enregistrements bruts (4,7 heures) ont été collectés.
  • Segmentation en segments sémantiquement complets (chunks) basée sur les silences longs (via l'alignement forcé MFA).
  • Analyse de sentiment textuelle (modèle BERT allemand) pour équilibrer la sélection des données (ratio 4:4:2 pour positif/négatif/neutre).
  • Résultat : La base de données SPOT-ED (Spoken Online Tasks - Emotions Database), contenant 1h21 de parole (1 132 segments) provenant de 56 locuteurs.

B. Évaluation Subjective (Annotation)

• Annotateurs : 6 auditeurs natifs (psychologues, linguiste, éducateur).
• Protocole :
  • Formation via un test A/B sur le corpus VAM (corpus de talk-shows allemands) pour familiariser les annotateurs avec les dimensions VAD.
  • Annotation des segments SPOT-ED sur une échelle SAM (Self-Assessment Manikin) à 9 points pour la Valence, l'Arousal et la Dominance.
  • Fusion des annotations : Utilisation de l'estimateur pondéré des évaluateurs (EWE - Evaluator Weighted Estimator) pour calculer une étiquette agrégée, tenant compte de la fiabilité individuelle de chaque annotateur.
• Qualité : Accord inter-annotateur modéré à élevé (corrélation $r \ge 0,6$ pour toutes les dimensions), comparable aux études précédentes sur des corpus de talk-shows.

C. Prédiction Automatique

• Objectif : Prédire les scores VAD continus à partir de la parole.
• Représentations de caractéristiques (Features) :
  1. Basées sur la connaissance (Knowledge-based) : Ensemble de caractéristiques COMPARE (extrait via OpenSMILE), incluant la prosodie, le spectre et les cepstres (6373 dimensions).
  2. Basées sur l'apprentissage profond (Neural embeddings) :
     • HUBERT (Large)
     • WAVLM (Large)
     • W2V2-MSP (Wav2Vec 2.0 finetuné sur MSP-PODCAST pour la prédiction d'émotion dimensionnelle).
• Modèles de régression : Machines à vecteurs de support (SVR) avec noyau RBF.
• Protocoles expérimentaux :
  • Dépendant du locuteur (Speaker-dependent) : Entraînement et test sur les mêmes locuteurs (validation croisée 5-fold).
  • Indépendant du locuteur (Speaker-independent) : Entraînement sur un groupe de locuteurs, test sur un groupe laissé de côté (Leave-One-Speaker-Group-Out).

3. Résultats Clés

A. Variabilité Émotionnelle

Les analyses montrent que la parole spontanée issue des tâches d'auto-contrôle présente une variation perceptible sur les trois dimensions VAD. La distribution des étiquettes EWE agrégées couvre une large gamme, similaire à celle observée dans des corpus de dialogues plus expressifs (comme VAM), confirmant que le contexte d'apprentissage génère des signaux émotionnels exploitables.

B. Performance de Prédiction

Les résultats de régression (Tableau IV) démontrent la faisabilité de la prédiction automatique :

• Corrélations : Les modèles atteignent des corrélations de Spearman et Pearson modérées à élevées (ex: jusqu'à 0,76 pour la dominance en mode dépendant du locuteur).
• Erreur (RMSE) : Les erreurs quadratiques moyennes sont faibles (ex: ~0,060 pour la valence en mode indépendant du locuteur).
• Combinaison de caractéristiques : L'approche la plus performante consiste à combiner les caractéristiques traditionnelles (COMPARE) et les embeddings neuronaux (spécifiquement COMPARE + W2V2-MSP). Cette combinaison améliore les performances par rapport aux modèles utilisant une seule source de caractéristiques et réduit l'écart entre les scénarios dépendant et indépendant du locuteur.
• Analyse des caractéristiques : L'analyse CCC (Concordance Correlation Coefficient) révèle que les descripteurs basés sur la pente spectrale (spectral slope) et la longueur du spectre sont les plus prédictifs, suggérant des similarités acoustiques avec d'autres corpus émotionnels malgré la nature différente de la parole (monologue vs dialogue).

4. Contributions Principales

1. Création du corpus SPOT-ED : Premier jeu de données public (ou décrit) contenant des monologues spontanés d'étudiants dans un contexte réel d'apprentissage à distance, annoté selon les dimensions VAD.
2. Validation de la méthode : Preuve que les tâches d'auto-contrôle avec entrée vocale peuvent servir de canal pour la détection d'émotion sans nécessiter de scénarios artificiels.
3. Évaluation comparative : Analyse comparative des représentations de caractéristiques (traditionnelles vs SSL) pour la prédiction d'émotion dans ce contexte spécifique, montrant l'intérêt de la fusion de caractéristiques.
4. Méthodologie d'annotation : Mise en place d'un protocole rigoureux d'annotation dimensionnelle pour de la parole spontanée non provoquée, avec une évaluation de la qualité via EWE.

5. Signification et Perspectives

Cette étude ouvre la voie à l'intégration transparente des technologies de traitement de la parole paralinguistique dans la boucle d'apprentissage à distance.

• Applications potentielles :
  • Conception pédagogique : Adapter les tâches ou le contenu en fonction de l'état émotionnel détecté (ex: réduire la frustration, augmenter l'engagement).
  • Feedback : Générer des retours automatiques pour les enseignants (sur l'état de la classe) et les étudiants (sur leur propre progression émotionnelle).
• Défis restants :
  • Interprétation des fluctuations émotionnelles dans le contexte spécifique de l'apprentissage (différence entre frustration liée à la difficulté et frustration liée au système).
  • Combinaison de ces signaux vocaux avec d'autres sources de données (texte, comportement de navigation) pour une vision holistique.

En conclusion, l'article démontre qu'il est techniquement possible de transformer les interactions vocales éducatives quotidiennes en données exploitables pour améliorer l'expérience d'apprentissage à distance.