Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal

Resumo Técnico: Avaliação de Pronúncia Leve via Surpresa de Tokens de Fala Discretos

Definição do Problema
A avaliação automatizada de pronúncia (PA) tradicionalmente depende de corpora não nativos rotulados ou de modelos de Reconhecimento Automático de Fala (ASR) com alinhamento forçado para calcular as pontuações de Goodness of Pronunciation (GoP). Esses requisitos criam barreções significativas: coletar dados de aprendizes rotulados é caro e específico para cada domínio, enquanto o alinhamento forçado exige inventários de fonemas e modelagem explícita ao nível de fonema. Consequentemente, desenvolver sistemas de PA confiáveis para línguas de baixos recursos, variedades em perigo ou estilos de fala especializados (ex: recitação litúrgica) continua sendo difícil. As abordagens de regressão existentes, que mapeiam representações para pontuações de especialistas, ainda exigem dados de treinamento de não nativos caros.

Metodologia
Os autores propõem um framework leve que opera primariamente com recursos de fala nativa, suportando pontuação não supervisionada ou calibração leve com um pequeno conjunto de enunciados pontuados. O sistema evita inventários de fonemas, alinhamento forçado e rótulos de má pronúncia de aprendizes. O pipeline consiste nos seguintes módulos:

1. Áudio-para-Unidade-Discreta (Audio2DUnit):

   • Um codificador de Aprendizado Auto-Supervisionado (SSL) congelado (HuBERT) extrai representações de nível de quadro a partir de fala contínua.
   • Um código de busca K-means, treinado exclusivamente em fala nativa, quantiza esses embeddings em um vocabulário simbólico discreto ($K=512$).
   • Isso converte a fala do aprendiz em uma sequência de tokens discretos ($t_1, \dots, t_N$) que capturam padrões acústicos, fluência e prosódia sem depender de rótulos fonéticos.

2. Modelo de Linguagem de Tokens Nativos (TLM):

   • Um modelo de linguagem n-grama é treinado em sequências de tokens discretos derivadas de fala nativa.
   • Este modelo aprende o prior fonotático nativo. Durante a inferência, ele calcula a surpresa do token ($S(t_i) = -\log_2 P(t_i | t_{i-2}, t_{i-1})$). Uma surpresa maior indica um desvio das regularidades fonotáticas nativas, servindo como um proxy para erros de pronúncia.

3. Texto-para-Unidade-Discreta (Text2DUnit) & Alinhamento (Opcional):

   • Quando transcrições de referência estão disponíveis, um modelo seq2seq (Text2DUnit) mapeia o texto para o mesmo espaço de unidade discreta dos tokens acústicos.
   • O Dynamic Time Warping (DTW) alinha a sequência de tokens acústicos do aprendiz com a sequência de tokens derivada do texto canônico.
   • O custo de alinhamento é calculado usando a distância L2 entre os centroides K-means no espaço de embedding SSL, permitindo comparações acusticamente significativas (ex: distinguir entre clusters de vogais semelhantes versus substituições fonéticas distintas).

4. Extração de Características & Fusão:

   • Características de Surpresa: Inclui o Desvio Padrão da Surpresa (capturando picos localizados), Taxa de Pico (proporção de tokens que excedem um limiar derivado do nativo) e Duração.
   • Características de Alinhamento: Inclui Distância DTW (custo de caminho normalizado), Taxa de Desajuste de Tokens, Desvio Padrão de Surpresa de Desajuste e Desvio Padrão de Surpresa Ponderado (amplificando sinais onde a alta surpresa coincide com a distância acústica).
   • Regressão: Estas características são fundidas via um modelo simples de Regressão Ridge. O sistema pode funcionar de forma não supervisionada (usando as características diretamente como indicadores) ou de forma levemente supervisionada (calibrado com um pequeno conjunto de enunciados de aprendizes pontuados).

Principais Contribuições

• Framework Leve: Introduz um sistema de PA que suporta pontuação não supervisionada com ou sem texto de referência e não requer dados de aprendizes para o treinamento principal do prior fonotático.
• Características Discretas Treinadas em Nativo: Propõe o uso de surpresa de tokens derivada de treinamento apenas com nativos para detectar desvios fonotáticos, eliminando a necessidade de inventários de fonemas ou alinhamento forçado.
• Alinhamento em Espaço Discreto: Adiciona um módulo Text2DUnit–DTW guiado por transcrição que alinha tokens de aprendiz e nativos em um espaço discreto compartilhado, derivando características finas e sensíveis a erros sem um sistema de ASR.
• Desempenho: Demonstra que a combinação de características de surpresa e alinhamento supera a pontuação baseada apenas em áudio e alcança resultados competitivos contra baselines supervisionados em benchmarks padrão.

Resultados
Experimentos foram conduzidos no SpeechOcean762 (falantes de mandarim-inglês não nativos) e L2-ARCTIC (avaliação cross-dataset).

• SpeechOcean762:

  • Não Supervisionado: A distância DTW guiada por transcrição sozinha alcançou um Coeficiente de Correlação de Pearson (PCC) de 0,633 para Precisão (Accuracy), superando baselines zero-shot como m de aMRT (0,60).
  • Levemente Supervisionado: A combinação de características de áudio e guiadas por transcrição com um regressor Ridge melhorou o PCC de Precisão para 0,668 (treinado em 100h de dados nativos) e 0,661 (treinado em 960h). Isso se aproxima do desempenho de baselines totalmente supervisionados (ex: HMamba em 0,807) enquanto requer significativamente menos dados rotulados.
  • Análise de Características: Em configurações não supervisionadas, a distância DTW e a taxa de desajuste foram os preditores mais fortes. O desvio padrão da surpresa forneceu valor complementar.

• Generalização (L2-ARCTIC):

  • O modelo treinado no SpeechOcean762 foi transferido para o L2-ARCTIC sem retreinamento, alcançando um PCC de Precisão de 0,506.
  • A calibração leve no dataset alvo melhorou este valor para 0,527.

• Eficiência de Dados:

  • O framework permaneceu estável mesmo quando os dados de treinamento nativo foram reduzidos de ~960 horas para ~100 horas, com o PCC de Precisão caindo apenas marginalmente (0,661 vs 0,668). Isso sugere que o método é eficaz em cenários de baixos recursos.

Significância e Alegações
O artigo afirma que este framework oferece uma solução prática para a avaliação de pronúncia em cenários onde dados de aprendizes rotulados são escassos ou indisponíveis. Ao alavancar tokens de fala discretos e treinamento apenas com nativos, remove-se a dependência de alinhamento forçado e inventários de fonemas. Os autores posicionam este trabalho como um passo para permitir a PA para línguas de baixos recursos e domínios especializados. Embora a avaliação atual foque em inglês não nativo, os autores observam que o design de treinamento apenas com nativos torna a abordagem promissora para configurações não inglesas e de baixos recursos, embora declarem explicitamente que o teste dessas configurações específicas está reservado para trabalhos futuros. O método alcança desempenho competitivo com requisitos computacionais e de dados significativamente menores em comparação com abordagens supervisionadas tradicionais.