Evaluating Speech Articulation Synthesis with Articulatory Phoneme Recognition

Resumo Técnico: Avaliação da Síntese de Articulação da Fala com Reconhecimento Articulado de Fonemas

Declaração do Problema
A avaliação da síntese de articulação da fala—especificamente a geração de formas do trato vocal condicionadas a sequências fonéticas—carece de uma métrica de qualidade robusta e objetiva. Métricas tradicionais, como distâncias ponto-a-ponto-mais-próximo, são limitadas por variabilidade substancial inter e intra-falante e frequentemente falham em capturar nuances da produção de fonemas, como locais corretos de articulação. Além disso, essas métricas têm dificuldade em diferenciar entre modelos generativos avançados (por exemplo, sistemas sem modelo versus baseados em autoencoder) que podem parecer indistinguíveis por distância geométrica, mas diferem em estabilidade temporal e precisão articulatória. A análise subjetiva é difícil devido à exigência de conhecimento especializado em anatomia do trato vocal e acústica. Consequentemente, há necessidade de uma métrica que capture melhor informações fonéticas e inteligibilidade sem depender exclusivamente da reconstrução acústica.

Metodologia
Os autores propõem utilizar o reconhecimento de fonemas como métrica proxy para avaliar a qualidade das características articulatórias sintetizadas. A hipótese central é que um reconhecedor de fonemas treinado em dados articulatórios pode capturar melhor nuances de produção (por exemplo, local de articulação) do que métricas tradicionais de distância.

1. Conjunto de Dados: O estudo utiliza um corpus de 2,5 horas de fala de uma única falante nativa francesa, composto por imagens de Ressonância Magnética em Tempo Real (RT-MRI) (50 Hz), áudio filtrado e anotações fonéticas manuais. O conjunto de dados é dividido em conjuntos de treinamento (1.399 enunciados), validação (116) e teste (114).
2. Extração de Características:
   • Características Articulatórias: Contornos de dez articuladores do trato vocal (cartilagem aritenóide, epiglote, incisivo inferior, lábio inferior, faringe, palato mole, cartilagem tireóide, língua, lábio superior e pregas vocais) são extraídos. Estes são concatenados em um vetor de 2 canais e 500 dimensões.
   • Codificação de Sonorização: Como a RT-MRI de sagital mediana carece de dados de excitação das pregas vocais, uma codificação categórica representando informações de sonorização é adicionada ao conjunto de características.
   • Características Sintéticas: O estudo avalia três sintetizadores da literatura existente:
     • Média de contornos por fonema: Uma linha de base que faz a média dos contornos por fonema.
     • Sistema sem modelo: Gera formas diretamente a partir de sequências de fonemas sem um modelo articulatório explícito.
     • Sistema baseado em autoencoder: Gera parâmetros articulatórios baseados em uma arquitetura de autoencoder.
3. Arquitetura do Modelo: Um reconhecedor de fonemas baseado na arquitetura Deep Speech 2 é empregado. Consiste em um bloco adaptador (para mapear entradas articulatórias de 500D para 80D), seguido por cinco blocos convolucionais residuais e três blocos recorrentes (GRU), terminando com um classificador linear.
4. Treinamento e Avaliação:
   • O reconhecedor é treinado em características acústicas (espectrogramas Mel) e características articulatórias reais (com e sem codificação de sonorização) para estabelecer linhas de base.
   • O reconhecedor treinado é então testado nas características articulatórias sintéticas geradas pelos três sintetizadores.
   • Métricas: A métrica principal de avaliação é a Taxa de Erro de Fonemas (PER) calculada via distância de Levenshtein. Adicionalmente, o Embedding Estocástico de Vizinhança T-Distribuída (t-SNE) é utilizado para visualizar as representações de características aprendidas pelos modelos.

Principais Resultados

• Desempenho da Linha de Base: O reconhecedor treinado em características articulatórias reais (com codificação de sonorização) alcançou uma PER de 21,66%, comparável à PER de 23,30% alcançada usando o sinal acústico. Isso sugere que os contornos articulatórios sozinhos retêm informações fonéticas suficientes para rivalizar com sinais acústicos, apesar da ausência de informações de fonte.
• Comparação de Sintetizadores:
  • Sistema Sem Modelo: Surpreendentemente, este sistema alcançou a menor PER (20,59%) entre todos os conjuntos testados, superando até mesmo as características articulatórias reais. Os autores sugerem que isso pode ocorrer porque o sintetizador filtra o ruído presente nos dados brutos de MRI, gerando articulações mais limpas.
  • Sistema Baseado em Autoencoder: Este sistema resultou em uma PER mais alta (31,69%) do que a abordagem sem modelo, indicando que reproduz menos informações fonéticas, apesar de alegações anteriores de melhor aprendizado de local de articulação.
  • Linha de Base de Média de Contornos: Como esperado, a abordagem simplista de média de contornos teve o pior desempenho (PER de 43,18%).
• Análise de Confusão: As matrizes de confusão revelaram fraquezas específicas. O sistema sem modelo exibiu altas taxas de omissão para vogais labiais, posteriores e arredondadas, provavelmente devido à falta de dados de arredondamento labial ou dificuldade em aproximar o fechamento labial. O sistema de autoencoder mostrou altas taxas de omissão em todas as classes, tornando difícil isolar falhas articulatórias específicas.
• Embeddings de Características: Os gráficos t-SNE demonstraram que adicionar codificação de sonorização criou grupos distintos e separáveis no espaço de embedding para características articulatórias, uma estrutura não tão aparente nas características acústicas.

Significado e Alegações
O artigo alega que o Reconhecimento Automático de Fala (ASR) serve como uma métrica objetiva viável e eficaz para avaliar a síntese de articulação da fala. Os autores argumentam que:

1. Riqueza Fonética: Características articulatórias extraídas de RT-MRI são foneticamente ricas e, quando combinadas com codificação de sonorização, contêm informações comparáveis ou superiores às do sinal acústico em termos de reconhecimento de fonemas.
2. Capacidade de Diferenciação: Diferentemente de métricas de distância geométrica, o reconhecimento de fonemas pode discriminar significativamente entre diferentes modelos generativos (por exemplo, distinguindo a estabilidade temporal do sistema sem modelo da do sistema baseado em autoencoder).
3. Alinhamento com a Percepção: O erro de reconhecimento correlaciona-se com percepções qualitativas da fala sintetizada (por exemplo, estabilidade e inteligibilidade), fornecendo uma medida objetiva para o que anteriormente era uma avaliação subjetiva.

Os autores mantêm uma postura modesta, observando que seus resultados são específicos de um único falante devido ao alto custo e às restrições logísticas da coleta de dados de RT-MRI. Eles não afirmam que o método é uma solução universal para todos os falantes ainda, mas propõem que o reconhecimento de fonemas independente do falante oferece uma direção promissora para futuras avaliações multi-falantes e normalização implícita do falante em pipelines de treinamento de síntese.