Goodness-of-pronunciation without phoneme time alignment

1. Problema e Motivação

O objetivo da avaliação de fala é classificar automaticamente a proficiência oral de um falante, uma tarefa crucial para o aprendizado de idiomas assistido por computador. Tradicionalmente, esses sistemas dependem de modelos de Reconhecimento Automático de Fala (ASR) síncronos com o quadro (frame-synchronous) e fonêmicos, treinados com grandes quantidades de dados pareados de fala e texto anotado.

O principal desafio identificado pelos autores é a escassez de dados para idiomas de baixo recurso (low-resource languages). Coletar e anotar dados pareados de fala-texto para treinar modelos ASR específicos de cada idioma é caro e difícil. Embora existam modelos fundacionais de fala open-source e multilíngues (como o Whisper) treinados de forma fracamente supervisionada, eles apresentam incompatibilidades para a extração de características tradicionais de avaliação de fala:

• São assíncronos com o quadro (não fornecem alinhamentos de tempo precisos por fonema).
• Não modelam explicitamente fonemas (saída em tokens de byte-pair encoding ou palavras).
• Isso impede o cálculo direto de características essenciais como Goodness-of-Pronunciation (GOP), Taxa de Fala (SR) e Duração Normalizada (ND) em nível de fonema.

2. Metodologia Proposta

O artigo propõe uma arquitetura que permite a avaliação de fala utilizando modelos baseados em foundation (como o Whisper) sem a necessidade de um modelo ASR específico treinado para o idioma-alvo. A abordagem envolve três inovações principais:

A. Cálculo de Posteriores de Fonemas via Rede de Confusão (CN)

Como o Whisper não fornece alinhamentos de fonemas, os autores propõem derivar esses dados a partir de uma lista N-best gerada pelo modelo:

1. Decodificação: Gera-se uma lista N-best de hipóteses de texto.
2. Normalização: O texto é normalizado (remoção de pontuação, conversão de números) e transliterado/romanizado se necessário.
3. Mapeamento: As palavras são convertidas em sequências de fonemas usando um léxico e um modelo Grapheme-to-Phoneme (G2P).
4. Rede de Confusão (CN): Constrói-se uma Rede de Confusão em nível de fonema a partir da lista N-best. A CN representa hipóteses concorrentes e permite calcular a probabilidade de cada fonema em cada posição da sequência.
5. Extração de Características: A partir da CN, calculam-se características análogas ao GOP (CN-GOP), Log-Posterior Ratio (LPR) e Log-Phoneme Posterior (LPP), sem necessidade de alinhamento temporal exato.

B. Substituição de Características de Duração e Taxa de Fala

As características tradicionais de SR e ND exigem alinhamento de fonemas. A proposta substitui essas por versões em nível de palavra:

• Utilizam-se os pesos de atenção do modelo Whisper para estimar alinhamentos de tempo em nível de palavra.
• A SR e ND são calculadas para cada palavra e atribuídas aos fonemas que compõem essa palavra.

C. Arquitetura de Atenção Cruzada (Cross-Attention)

Para combinar características de nível de fonema (derivadas da CN) com características de nível de quadro (extraídas de modelos SSL como wav2vec 2.0 ou XLSR), que tradicionalmente exigem alinhamento para pooling (média), os autores propõem:

• Uso de uma camada de atenção cruzada (baseada em Transformer Decoder).
• A sequência de fonemas atua como Query, e a sequência de quadros (SSL) atua como Key e Value.
• Restrição de Atenção: Para evitar que o modelo aprenda associações aleatórias com poucos dados, a atenção é restringida: cada posição de fonema só pode atender aos quadros que pertencem à mesma palavra (usando o alinhamento de palavra do Whisper). Isso elimina a necessidade de alinhamento de fonemas explícito.

3. Contribuições Principais

1. Independência de Dados Pareados: Elimina a necessidade de treinar um modelo ASR específico para o idioma-alvo com dados pareados de fala-texto para a etapa de extração de características.
2. Compatibilidade com Modelos Fracamente Supervisionados: Adapta modelos como o Whisper (assíncronos e não fonêmicos) para tarefas de avaliação de fala que tradicionalmente exigem modelos síncronos.
3. Arquitetura de Fusão Sem Alinhamento: Propõe o uso de atenção cruzada com restrições baseadas em palavras para fundir características de diferentes granularidades (fonema vs. quadro) sem alinhamento temporal rígido.
4. Validação em Idiomas de Baixo Recurso: Demonstra a viabilidade da abordagem em um idioma com poucos dados disponíveis (Tâmil), superando ou igualando baselines que dependem de modelos híbridos treinados localmente.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados SpeechOcean762 (Inglês) e um conjunto interno de Tâmil.

• Desempenho em Inglês (SpeechOcean762):

  • As características extraídas do Whisper (via CN) e combinadas com a arquitetura de atenção cruzada performaram comparavelmente ao baseline que utiliza um modelo ASR híbrido síncrono (PCC ~0.74-0.75 vs 0.75).
  • A restrição da atenção cruzada ao nível de palavra foi crucial para recuperar o desempenho perdido ao remover o alinhamento de fonemas.
  • Características de nível de palavra (Word-level GOP) não mostraram melhoria adicional significativa sobre as características de nível de fonema.

• Desempenho em Tâmil (Idioma de Baixo Recurso):

  • O modelo proposto (Whisper + Atenção Cruzada) superou o baseline híbrido treinado com dados internos limitados de Tâmil.
  • PCC: O modelo proposto alcançou 0.629, enquanto o baseline híbrido com pooling de fonemas obteve 0.547.
  • MSE: O modelo proposto obteve 0.569, superior ao baseline de 0.637.
  • Isso sugere que, em cenários de baixo recurso, confiar em um modelo multilíngue aberto treinado em dados massivos e diversos é mais eficaz do que tentar treinar um modelo específico com dados escassos.

• Decodificação via Rede de Confusão:

  • A aplicação de decodificação via CN na lista N-best do Whisper reduziu consistentemente a Taxa de Erro de Palavras (WER) em comparação com a seleção da melhor hipótese (1-best), validando a utilidade da CN para este tipo de modelo.

5. Significado e Conclusão

O trabalho demonstra que a avaliação de fala de alta qualidade não depende estritamente de modelos ASR fonêmicos síncronos treinados especificamente para o idioma. Ao utilizar modelos fundacionais multilíngues (como Whisper) combinados com técnicas de Rede de Confusão e arquiteturas de atenção cruzada, é possível:

• Reduzir drasticamente a barreira de entrada para a criação de sistemas de avaliação de fala em idiomas de baixo recurso.
• Aproveitar os avanços contínuos em modelos de foundation abertos sem a necessidade de retreinamento complexo.
• Manter ou até superar a precisão de sistemas tradicionais, tornando a tecnologia mais acessível e escalável globalmente.

Em resumo, a proposta oferece um caminho viável para expandir a avaliação de fala para dezenas de novos idiomas sem o custo proibitivo de anotação de dados de fala-texto.