emg2speech: Synthesizing speech from electromyography using self-supervised speech models

Resumo Técnico: emg2speech

1. O Problema

Interfaces neurais e neuromusculares têm o potencial de restaurar a capacidade de comunicação em indivíduos com condições como anartria, disartria ou esclerose lateral amiotrófica (ELA). Enquanto as interfaces cérebro-computador (BCI) invasivas (como neuropróteses de córtex motor) demonstraram sucesso, elas exigem cirurgia, são caras e apresentam riscos clínicos.

A abordagem não invasiva usando Eletromiografia (EMG) de músculos orofaciais é promissora, mas enfrenta desafios significativos:

• Falta de Alinhamento Temporal: Em cenários clínicos reais (ex: pacientes com ELA que falam silenciosamente ou laringectomizados), não há pares de dados sincronizados entre o sinal EMG e o áudio correspondente.
• Complexidade da Mapeamento: O sinal EMG é ruidoso, não estacionário e altamente dependente do indivíduo.
• Limitações de Dados: A coleta de grandes conjuntos de dados de EMG é difícil e cara.
• Reprodutibilidade: Trabalhos anteriores frequentemente usam vocabulários pequenos e não liberam dados ou códigos completos, dificultando a comparação justa.

O objetivo deste trabalho é criar um sistema end-to-end que converta sinais EMG diretamente em áudio, sem modelagem articulatória explícita, sem treinamento de vocoders do zero e, crucialmente, sem assumir alinhamento temporal conhecido entre o EMG e o áudio durante o treinamento.

2. Metodologia

A abordagem proposta, emg2speech, baseia-se na descoberta de que representações de fala auto-supervisionadas (S3) codificam implicitamente mecanismos articulatórios que se correlacionam linearmente com a potência elétrica muscular.

A. Representações de EMG e Descoberta Chave

• Análise de Estrutura: Os autores demonstraram que a matriz de covariância do EMG (e especificamente sua diagonal, representando a potência do potencial de ação muscular por canal, $D(E)$) forma clusters estruturados e separáveis para diferentes gestos articulatórios.
• Correlação Linear com S3: A descoberta central é que as representações de fala de modelos auto-supervisionados (como HuBERT, Wav2Vec 2.0, WavLM) têm uma relação linear forte com a potência do EMG. Um mapeamento linear simples consegue prever a potência do EMG a partir das representações S3 com uma correlação de $r = 0.85$.
• Implicação: Isso sugere que os modelos S3 aprendem a "física" da articulação, tornando-os um espaço de representação ideal para mapear sinais musculares.

B. Arquitetura do Modelo
O sistema utiliza um pipeline de conversão EMG $\to$ Representação S3 $\to$ Áudio:

1. Entrada: Sinais EMG brutos são processados em covariâncias ($E$), potências diagonais ($D(E)$) ou espectrogramas ($B$).
2. Codificador (Encoder): Uma rede convolucional causal de separação tempo-profundo (TDS - Time-Depth Separable), adaptada de trabalhos anteriores de digitação por EMG.
   • Inclui um módulo tolerante a deslocamentos espaciais para lidar com variações na colocação dos eletrodos.
   • O codificador mapeia as características do EMG para unidades discretas do modelo HuBERT ($dis(H)_{HuBERT}$).
3. Treinamento sem Alinhamento: Utiliza a perda CTC (Connectionist Temporal Classification), permitindo que o modelo aprenda o mapeamento entre sequências de EMG e unidades de fala sem necessidade de alinhamento quadro a quadro.
4. Decodificação Guiada por Fonemas: Para melhorar a qualidade, o modelo é treinado com duas cabeças de previsão:
   • Uma para unidades HuBERT.
   • Uma para fonemas.
   • Uma perda de consistência é aplicada para garantir que as previsões de unidades sejam coerentes com a estrutura fonética.
5. Síntese de Áudio: As unidades HuBERT preditas são convertidas em áudio usando um vocoder Tacotron pré-treinado (congelado), eliminando a necessidade de treinar um vocoder específico para EMG.

C. Dados Utilizados
Os autores lançaram três conjuntos de dados:

1. DATA GENERAL: 9 horas de dados de um participante saudável (vocabulário amplo, ~6.800 palavras).
2. DATA ALS: 1 hora de dados de um paciente com ELA articulando silenciosamente (~300 palavras).
3. DATA OROFACIAL GESTURES: 12 participantes realizando 13 gestos orofaciais distintos para validar a estrutura dos clusters.

3. Principais Contribuições

1. Novo Conjunto de Dados e Benchmark: Liberação de um dos maiores conjuntos de dados públicos de EMG-para-fala até a data, incluindo dados de um paciente com ELA, permitindo avaliação reprodutível em vocabulário amplo.
2. Descoberta Teórica: Estabelecimento de uma relação quantitativa linear entre representações S3 e a potência do EMG, provando que modelos de fala auto-supervisionados codificam mecanismos articulatórios.
3. Arquitetura Eficiente e Interpretável: Desenvolvimento de um codificador leve baseado em mecanismos articulatórios que funciona bem com poucos dados (até 40 minutos de dados de um paciente com ELA).
4. Abordagem sem Alinhamento: Um sistema robusto que não requer pares EMG-áudio sincronizados, tornando-o viável para cenários clínicos onde o áudio é inaudível ou não está disponível.
5. Decodificação Guiada por Fonemas: Demonstração de que incorporar a estrutura fonética melhora significativamente a precisão da decodificação das unidades de fala.

4. Resultados

• Correlação: A correlação linear entre as representações HuBERT e a potência do EMG atingiu r = 0.85, confirmando a hipótese de que as representações S3 capturam a atividade muscular.
• Desempenho de Decodificação (UER - Taxa de Erro de Unidade):
  • No conjunto DATA GENERAL, o uso de características de covariância completa ($vec(E)$) com decodificação guiada por fonemas reduziu a Taxa de Erro de Unidade (UER) para 51,81% (comparado a 56,08% sem o guia fonético).
  • No conjunto DATA ALS (paciente com ELA), a UER foi de 46,98% com a abordagem guiada por fonemas.
• Inteligibilidade (WER - Taxa de Erro de Palavra):
  • Avaliada por transcritores humanos, a Taxa de Erro de Palavra (WER) média foi de 62,55% para o participante saudável e 50,82% para o paciente com ELA.
  • Nota: Embora a WER pareça alta comparada a sistemas de reconhecimento de voz tradicionais, ela é competitiva com interfaces neurais invasivas de ponta (que variam entre 43% e 54% em condições similares de vocabulário e dados) e supera trabalhos anteriores de EMG não invasivo que usavam vocabulários restritos.
• Qualidade Perceptiva: A pontuação média de opinião (MOS) foi de 3,79 em uma escala de 1 a 5, indicando que o áudio gerado é acusticamente plausível e soa como fala humana, mesmo com erros de transcrição.

5. Significado e Impacto

O trabalho emg2speech representa um avanço significativo na área de interfaces cérebro-computador e próteses neurais:

• Acessibilidade: Oferece uma solução não invasiva que pode beneficiar uma gama mais ampla de pacientes (incluindo laringectomizados e pessoas com ELA) sem a necessidade de cirurgia cerebral.
• Viabilidade Clínica: Ao remover a dependência de alinhamento temporal EMG-áudio, o sistema torna-se aplicável a pacientes que não conseguem produzir som, um cenário onde métodos anteriores falhavam.
• Eficiência de Dados: Demonstra que é possível obter resultados funcionais com quantidades relativamente pequenas de dados de treinamento (crucial para pacientes com doenças degenerativas que não podem treinar por longos períodos).
• Reprodutibilidade: A disponibilização de dados, código e benchmarks abre caminho para a comunidade científica avançar de forma colaborativa, superando a "caixa preta" de trabalhos anteriores.

Em suma, o artigo valida que a combinação de modelos de fala auto-supervisionados com sinais EMG permite a síntese de fala direta e funcional, estabelecendo um novo estado da arte para interfaces de fala silenciosa não invasivas.