emg2speech: Synthesizing speech from electromyography using self-supervised speech models

Titre : emg2speech : Synthèse de la parole à partir de signaux électromyographiques (EMG) utilisant des modèles de parole auto-supervisés

1. Problématique et Contexte

Les interfaces cerveau-machine (ICM) invasives ont démontré leur capacité à restaurer la parole chez des patients atteints d'aphasie ou de sclérose latérale amyotrophique (SLA). Cependant, leur déploiement est limité par les risques chirurgicaux, les coûts élevés et la nécessité d'implants.
L'objectif de ce travail est de développer une interface de parole non invasive basée sur l'électromyographie (EMG). Le défi principal réside dans la conversion directe des signaux EMG des muscles orofaciaux en audio, sans modèle articulaire explicite ni entraînement de vocodeur spécifique, et surtout sans alignement temporel connu entre le signal EMG et la parole audio (cas clinique fréquent où l'enregistrement audio est impossible ou dégradé, comme chez les patients SLA ou laryngectomisés).

2. Méthodologie

L'approche proposée repose sur trois piliers fondamentaux : l'exploitation des représentations de modèles de parole auto-supervisés (S3), une modélisation géométrique des signaux EMG, et une architecture de séquence-à-séquence sans alignement.

A. Hypothèse Centrale et Représentations S3
Les auteurs postulent que les représentations apprises par des modèles de parole auto-supervisés (comme HuBERT, Wav2Vec 2.0, WavLM) encodent implicitement les mécanismes articulaires.

• Découverte clé : Il existe une relation linéaire forte entre les représentations S3 ($H$) et la puissance électrique des potentiels d'action musculaire ($D(E)$, la diagonale de la matrice de covariance EMG).
• Preuve : Une simple régression linéaire permet de prédire la puissance EMG à partir des représentations S3 avec un coefficient de corrélation de $r = 0.85$. De plus, les vecteurs de puissance EMG associés à des gestes articulaires distincts forment des clusters séparables dans l'espace des caractéristiques.

B. Traitement des Données EMG
Au lieu d'utiliser des spectrogrammes bruts ou des signaux redressés, l'étude propose deux représentations :

1. Matrices de covariance (SPD) : Pour capturer la structure de co-activation spatiale entre les 31 électrodes.
2. Vecteur de puissance ($D(E)$) : La diagonale de la matrice de covariance, représentant la puissance par canal.
   Ces représentations sont plus compactes et capturent mieux la structure articulaire globale que les méthodes traditionnelles.

C. Architecture du Modèle (emg2speech)
Le pipeline fonctionne en deux étapes principales, évitant l'alignement frame-à-frame :

1. Encodage EMG vers Unités Discrètes :
   • Les signaux EMG (sous forme de $vec(E)$, $D(E)$ ou spectrogrammes $vec(B)$) sont entrés dans un réseau de convolution temporel TDS (Time-Depth Separable) avec un champ récepteur causal de 1 seconde.
   • Le modèle est entraîné pour prédire des unités discrètes HuBERT ($dis(H)$) extraites d'un modèle pré-entraîné, en utilisant la perte CTC (Connectionist Temporal Classification). La perte CTC permet d'apprendre sans connaître l'alignement exact entre l'entrée EMG et la cible audio.
2. Synthèse Audio :
   • La séquence d'unités prédites est convertie en audio via un vocodeur pré-entraîné (Tacotron).

D. Décodage Guidé par les Phonèmes
Pour améliorer la qualité, les auteurs introduisent un mécanisme de décodage guidé par les phonèmes.

• Le modèle possède deux têtes de prédiction : une pour les unités HuBERT et une pour les phonèmes.
• Une perte de cohérence est ajoutée pour s'assurer que la distribution des unités prédites est compatible avec la distribution des phonèmes prédits (via une table de recherche pré-calculée $P(\text{phonème} | \text{unité})$).
• Cela permet d'exploiter la structure phonétique connue pour régulariser l'apprentissage des unités acoustiques.

3. Contributions Clés

1. Nouveaux Jeux de Données Open Source :

   • DATA GENERAL : Un corpus à grand vocabulaire (~9 heures, 6800 mots uniques) enregistré sur un participant sain.
   • DATA ALS : Un corpus à petit vocabulaire (~1 heure, 300 mots) enregistré sur une patiente atteinte de SLA articulant silencieusement.
   • DATA OROFACIAL GESTURES : 12 participants effectuant 13 gestes orofaciaux distincts.
   • Ces ensembles constituent l'une des ressources publiques les plus complètes pour la conversion EMG-parole.

2. Modélisation Fondée sur les Mécanismes Articulaires :

   • Démonstration que les modèles S3 encodent l'information articulaire.
   • Conception d'un encodeur léger fonctionnant efficacement avec peu de données (jusqu'à 40 minutes pour le cas SLA).

3. Approche sans Alignement (Alignment-Free) :

   • Contrairement aux travaux précédents, le modèle n'a pas besoin de paires EMG-Audio synchronisées, ce qui le rend applicable à des scénarios cliniques réalistes (parole silencieuse, absence de voix).

4. Résultats

Les expériences ont été menées sur les deux jeux de données (Sain et SLA).

• Corrélation Linéaire : La prédiction linéaire de la puissance EMG ($D(E)$) depuis les représentations HuBERT atteint un $r = 0.85$, confirmant l'hypothèse de lien structurel.
• Performance de Décodage (Unit Error Rate - UER) :
  • Sur le jeu de données sain (DATA GENERAL), l'utilisation de la représentation de covariance complète ($vec(E)$) donne les meilleurs résultats avec un UER de 56,08 %.
  • L'ajout du décodage guidé par les phonèmes réduit l'UER à 51,81 %.
  • Sur le jeu de données SLA, l'UER est de 46,98 % avec le décodage guidé.
• Intelligibilité (Word Error Rate - WER) :
  • Évalué par transcription humaine sur les audios synthétisés.
  • DATA GENERAL : WER moyen de 62,55 %.
  • DATA ALS : WER moyen de 50,82 %.
  • Bien que ces taux d'erreur soient élevés par rapport à la reconnaissance vocale standard, ils sont comparables aux performances des interfaces neuronales invasives (qui oscillent souvent entre 40-60 % de WER dans des conditions similaires de faible vocabulaire ou de parole silencieuse).
• Qualité Perceptuelle : Le score d'opinion moyen (MOS) est de 3,79/5, indiquant que la parole synthétisée est acoustiquement plausible et naturelle, même si le contenu linguistique n'est pas parfaitement restitué.

5. Signification et Impact

Ce travail représente une avancée majeure pour les interfaces de communication non invasives :

• Accessibilité Clinique : Il offre une voie vers la restauration de la parole pour des patients ne pouvant pas subir de chirurgie (SLA, laryngectomie, dysarthrie) en utilisant uniquement des électrodes de surface.
• Efficacité des Données : La méthode démontre qu'il est possible d'entraîner des systèmes performants avec très peu de données (1 heure pour un patient SLA), un critère crucial pour les applications cliniques où la collecte de données est difficile.
• Fondement Théorique : La découverte du lien linéaire fort entre les représentations S3 et l'activité musculaire suggère que les modèles de langage modernes capturent intrinsèquement la physique de la production de la parole, ouvrant la voie à de nouvelles architectures d'interface neuronale.
• Reproductibilité : La mise à disposition de codes, de modèles et de jeux de données complets comble un vide important dans la littérature, permettant des comparaisons équitables et l'accélération de la recherche dans ce domaine.

En conclusion, emg2speech établit un nouveau standard pour la synthèse de la parole à partir de signaux musculaires, prouvant qu'une approche non invasive, basée sur l'apprentissage auto-supervisé et sans alignement temporel, est viable et prometteuse pour les prothèses de communication.