emg2speech: Synthesizing speech from electromyography using self-supervised speech models

1. Planteamiento del Problema

El trabajo aborda el desafío de crear una interfaz de habla neuromuscular no invasiva que traduzca señales electromiográficas (EMG) de los músculos orofaciales directamente en audio. El objetivo principal es permitir que personas con condiciones que afectan la producción de voz (como la esclerosis lateral amiotrófica - ELA, laringectomía o disartria) recuperen la capacidad de comunicarse sin necesidad de cirugía invasiva.

Desafíos clave identificados:

• Falta de alineación temporal: A diferencia de muchos enfoques anteriores, este sistema no asume que se conocen las alineaciones temporales exactas entre la señal EMG y el audio de referencia durante el entrenamiento. Esto es crucial para escenarios clínicos donde las grabaciones paralelas pueden ser inexistentes o poco fiables.
• Datos limitados: La recolección de grandes conjuntos de datos de EMG es difícil y costosa, especialmente con pacientes clínicos.
• Complejidad de la articulación: Mapear la actividad muscular cruda a características de habla complejas requiere capturar la estructura geométrica y articulatoria de las señales.

2. Metodología

Los autores proponen un pipeline de extremo a extremo que utiliza modelos de habla auto-supervisados (S3) como espacio de representación intermedio.

A. Análisis de la Relación EMG-S3

Un hallazgo fundamental del estudio es la relación lineal fuerte entre las representaciones de modelos S3 (como HuBERT, Wav2Vec 2.0, WavLM) y la potencia eléctrica de la actividad muscular (EMG).

• Se demostró que las representaciones S3 codifican implícitamente mecanismos articuladores.
• Un mapeo lineal simple puede predecir la potencia del EMG ($D(E)$) a partir de las representaciones S3 con una correlación de $r = 0.85$.
• Las señales de EMG asociadas a gestos articulatorios distintos forman clusters estructurados y separables en el espacio de características.

B. Arquitectura del Modelo

El sistema utiliza una arquitectura de red neuronal convolucional causal de profundidad temporal (TDS) para aprender el mapeo inverso (de EMG a S3) sin alineación frame a frame.

1. Entrada: Se procesan señales EMG de 31 canales (electrodos en cuello, barbilla, mandíbula, mejillas y labios). Se extraen características como:
   • Matrices de covarianza ($E$) y su diagonal ($D(E)$), que representan la potencia del potencial de acción muscular.
   • Espectrogramas de EMG ($B$).
2. Codificador: La señal EMG se pasa a través de un módulo de "tolerancia a desplazamientos" (para manejar variabilidad espacial de los electrodos) y luego a la red TDS.
3. Objetivo de Entrenamiento: El modelo predice unidades discretas de HuBERT (extraídas de un modelo S3 preentrenado) utilizando la Pérdida de Clasificación Temporal Conectada (CTC). La CTC permite entrenar sin necesidad de alineación temporal estricta entre la entrada EMG y la salida de unidades.
4. Decodificación con Guía Fonética: Para mejorar la calidad, se introduce un enfoque de doble cabeza:
   • Una cabeza predice las unidades de HuBERT.
   • Otra cabeza predice fonemas directamente.
   • Se añade una pérdida de consistencia que fuerza a las predicciones de unidades a ser coherentes con la estructura fonética, mejorando la fidelidad del audio generado.
5. Síntesis de Audio: Las unidades de HuBERT predichas se envían a un vocoder preentrenado (Tacotron) para generar la onda de audio final.

3. Contribuciones Clave

1. Nuevos Conjuntos de Datos (Open Source):

   • DATA GENERAL: Un corpus de gran vocabulario (~9 horas, >6,800 palabras únicas) de un participante sano.
   • DATA ALS: Un corpus de vocabulario limitado (~1 hora, ~300 palabras) de una participante con ELA que articula en silencio.
   • DATA OROFACIAL GESTURES: Datos de gestos orofaciales discretos de 12 participantes.
   • Estos son algunos de los recursos públicos más grandes y completos disponibles para la conversión EMG-audio.

2. Descubrimiento Teórico: Se estableció por primera vez una relación cuantitativa y lineal entre las señales EMG y las representaciones de modelos S3, demostrando que estos modelos capturan la mecánica articulatoria subyacente.

3. Arquitectura Interpretativa y Robusta: Se diseñó un codificador ligero basado en mecanismos articuladores que funciona eficazmente incluso con datos limitados (ej. 40 minutos de datos de un paciente con ELA).

4. Enfoque sin Alineación: El sistema aprende a mapear EMG a audio sin requerir pares EMG-audio sincronizados en el entrenamiento, lo que lo hace más viable clínicamente.

4. Resultados

Los experimentos se realizaron tanto con el participante sano como con el paciente con ELA.

• Representaciones de Entrada: El uso de la matriz de covarianza vectorizada ($vec(E)$) superó a los espectrogramas de EMG ($vec(B)$) en la predicción de unidades de HuBERT.
• Precisión de Decodificación (Tasa de Error de Unidad - UER):
  • En el conjunto de datos general (DATA GENERAL), el modelo con $vec(E)$ y decodificación guiada por fonemas logró un UER del 51.81%.
  • En el conjunto de datos ALS (DATA ALS), el UER fue del 46.98%.
• Inteligibilidad (Tasa de Error de Palabra - WER):
  • Evaluado por transcriptores humanos, el sistema alcanzó un WER promedio de 62.55% para el participante sano y 50.82% para el paciente con ELA.
  • Estos resultados son comparables a los obtenidos por interfaces neuronales invasivas (BCI) en la literatura reciente, a pesar de ser un sistema no invasivo y entrenado sin alineación temporal.
• Calidad Perceptual: La puntuación media de opinión (MOS) fue de 3.79/5, indicando que el audio generado es perceptiblemente plausible y similar al habla, incluso cuando la transcripción de palabras no es perfecta.

5. Significado e Impacto

Este trabajo representa un avance significativo en la tecnología de prótesis neurales no invasivas:

• Accesibilidad: Ofrece una vía para restaurar la comunicación funcional a personas con pérdida de voz sin los riesgos y costos de la cirugía cerebral.
• Eficiencia de Datos: Demuestra que es posible lograr un rendimiento robusto con cantidades relativamente pequeñas de datos de entrenamiento, un factor crítico para pacientes clínicos.
• Fundamento Teórico: Proporciona una explicación mecánica de por qué los modelos de habla auto-supervisados son efectivos para tareas de interfaz cerebro-máquina: codifican la estructura articulatoria que se refleja en la actividad muscular.
• Reproducibilidad: Al publicar los datos, el código y los detalles de implementación, el estudio establece un nuevo estándar de referencia reproducible para la comunidad, superando las limitaciones de trabajos anteriores que usaban conjuntos de datos privados o pipelines opacos.

En resumen, emg2speech demuestra que es posible sintetizar habla inteligible directamente desde señales musculares faciales utilizando representaciones de modelos de lenguaje modernos, abriendo nuevas posibilidades para la asistencia a personas con discapacidades del habla severas.