Multimodal Speaker Identification in Classroom Environments

Résumé Technique : Identification Multimodale des Locuteurs en Milieu Scolaire

Énoncé du Problème
L'analyse automatisée du discours dans les classes de maternelle à la terminale (K-12) se heurte à des obstacles majeurs dus à une « tempête parfaite » de conditions acoustiques : des niveaux élevés de bruit de fond non stationnaire, une réverbération significative et les caractéristiques spectrales hautement variables de la parole des enfants. Les systèmes traditionnels d'identification du locuteur (SID) reposant uniquement sur la biométrie acoustique échouent fréquemment dans ces environnements, peinant à distinguer les locuteurs cibles du « bruit de babillage » des discussions entre pairs. Plus précisément, les modèles purement acoustiques affichent une faible précision lors de l'identification des élèves individuels, les confondant souvent les uns avec les autres ou attribuant par erreur la parole au mauvais rôle (enseignant vs élève). Cette limitation entrave le développement de systèmes de rétroaction évolutifs et équitables capables de suivre la participation individuelle des élèves et la qualité de l'enseignement.

Méthodologie
L'étude propose un cadre multimodal qui ancre les plongements (embeddings) acoustiques dans un contexte sémantique dérivé de modèles de langage de grande taille (LLM) et de transcriptions. L'approche utilise les données du jeu de données du Center for Educational Data Science and Innovation (EDSI), plus précisément un sous-ensemble de huit classes de mathématiques contenant 2 801 énoncés étiquetés.

1. Préparation et Annotation des Données :

   • Vérité Terrain (Ground Truth) : Deux annotateurs formés ont identifié les locuteurs à l'aide de pistes audio mixtes, d'enregistrements vidéo, de plans de classe et de listes d'élèves. Les divergences ont été résolues par consensus, aboutissant à un ensemble de données final de 2 801 énoncés avec un kappa de Cohen de 0,90 (accord quasi parfait).
   • Enrôlement Vocal : Des plongements de référence ont été créés à partir d'enregistrements d'enrôlement de 30 à 60 secondes de professeurs et d'élèves consentants, segmentés en fenêtres chevauchantes de 3 secondes.

2. Ingénierie des Caractéristiques (Feature Engineering) :
   Le système extrait des caractéristiques de deux modalités principales :

   • Caractéristiques Acoustiques : Les plongements de locuteurs sont générés à l'aide du modèle SpeechBrain ECAPA-TDNN (pré-entraîné sur VoxCeleb), produisant des vecteurs de 192 dimensions. Les caractéristiques incluent les distances cosinus entre les plongements d'énoncés et les plongements d'enrôlement, ainsi que les statistiques de similitude intra-groupe.
   • Caractéristiques Sémantiques/Contextuelles : Un LLM (GPT-5-mini) traite la transcription pour effectuer un « ancrage contextuel ». Il déduit l'identité du locuteur à partir d'indices discursifs (par exemple, un enseignant nommant un élève). Cela génère une caractéristique binaire indiquant la confiance du LLM et les statistiques de distance par rapport aux autres énoncés attribués au même locuteur par le LLM.
   • Caractéristiques Additionnelles : La durée de l'énoncé et les étiquettes de diarisation basées sur la transcription (par exemple, « S1 », « S2 ») sont incluses. Les valeurs manquantes sont gérées via des valeurs sentinelles (-999).

3. Architecture du Modèle :

   • La tâche est formulée comme un problème de classification binaire : prédire si un locuteur candidat est le véritable locuteur d'un énoncé donné.
   • Un classificateur de boosting de gradient XGBoost est employé pour intégrer des caractéristiques hétérogènes (distances acoustiques, inférences sémantiques, durée).
   • Stratégie d'Entraînement : Une approche de validation croisée imbriquée est utilisée. Une boucle externe effectue une validation de type « Leave-One-Session-Out » (entraînement sur 7 sessions, test sur 1), tandis qu'une boucle interne gère l'optimisation des hyperparamètres via l'optimisation bayésienne (Optuna).
   • Calibration : Une calibration sigmoïde (mise à l'échelle de Platt) est appliquée pour garantir que les probabilités prédites reflètent les probabilités réelles.

Résultats Clés
L'approche multimodale a démontré des gains de performance significatifs par rapport à une base de référence purement acoustique (ECAPA-TDNN utilisant uniquement les plongements VoxCeleb) :

• Différenciation des Rôles : Le modèle a atteint une précision de 99,3 % pour distinguer les enseignants des élèves, une amélioration substantielle par rapport à la base de référence de 88,0 %. Cette performance est robuste, même pour les énoncés de moins d'une seconde.
• Identification Individuelle des Élèves :
  • Global : Le modèle multimodal a amélioré la précision de l'identification exacte des élèves de 39,0 % (base de référence acoustique) à 50,3 %.
  • Énoncés Plus Longs : Pour les énoncés dépassant 5 secondes, la précision s'élève à 76,9 % (contre 64,9 % pour la base de référence).
  • Performance Top-k : Le système s'est avéré très efficace en tant que filtre de candidats. Pour les énoncés de plus de 10 secondes, la précision Top-3 a atteint 95,8 %, et la précision Top-10 a atteint 100 %.
• Dépendance à la Durée : La performance évolue strictement avec la longueur de l'énoncé. Les courts énoncés (0–1s) présentent une précision Top-1 de 41,0 %, tandis que les interventions substantielles (>10s) atteignent 79,2 %.

Signification et Revendications
L'article affirme que l'intégration du contexte sémantique dérivé des LLM avec les plongements acoustiques crée une méthode robuste pour l'attribution du discours en classe dans des environnements adverses. La principale importance réside dans :

1. Faisabilité de la Rétroaction Automatisée : La différenciation quasi parfaite entre enseignant et élève (99,3 %) permet l'automatisation fiable des métriques axées sur le comportement de l'enseignant (par exemple, l'« Uptake » ou le « Questionnement »), qui nécessitaient auparavant une analyse manuelle.
2. Suivi Granulaire des Élèves : Bien que l'identification d'élèves spécifiques dans des énoncés courts et pauvres en contexte reste un défi, le modèle parvient à isoler avec succès les « contributions à haute valeur » (interventions longues et substantielles) avec une fiabilité élevée (95,8 % de précision Top-3). Cela permet de suivre la maîtrise et les modèles d'engagement individuels des élèves à grande échelle.
3. Changement de Paradigme : L'étude valide un passage de l'identification de locuteur purement acoustique à une « diarisation adaptative aux LLM », où le contexte linguistique sert d'ancre nécessaire pour résoudre les ambiguïtés que les signaux acoustiques seuls ne peuvent résoudre, particulièrement compte tenu de la similitude acoustique entre les locuteurs pairs et de la nature hors domaine de la parole enfantine pour les modèles entraînés sur des adultes.

Les auteurs concluent que cette approche est une étape cruciale vers une analyse de classe équitable et évolutive, tout en reconnaissant la nécessité de travaux futurs pour améliorer la résolution du discours de classe rapide et sub-seconde.