Resumo Técnico: Avaliação Automatizada de Pronúncia para a Fala de Crianças Pequenas Coreanas

Declaração do Problema

Os transtornos dos sons da fala (TSF) constituem aproximadamente 44% dos transtornos de comunicação pediátricos na Coreia do Sul. Apesar da prevalência desses transtornos, ferramentas de avaliação automatizadas especificamente projetadas para a fala de crianças pequenas coreanas permanecem subdesenvolvidas. As soluções existentes enfrentam três limitações primárias:

1. Especificidade de Linguagem e Idade: A maioria dos modelos automatizados é treinada em adultos falantes de inglês sob condições controladas e falha em se generalizar para a fonologia coreana ou para as características acústicas de crianças entre 2 e 5 anos.
2. Confundimentos Acústicos: Em ambientes de gravação doméstica coreanos, as cuidadoras (frequentemente mulheres jovens) utilizam frequentemente o aegyo — um estilo de fala agudo e exagerado para expressar afeto. O perfil acústico do aegyo (frequência fundamental elevada, alta variabilidade) mimetiza de perto a fala da criança pequena, fazendo com que os sistemas convencionais de diarização de locutor falhem em separar a criança do cuidador.
3. Gargalos Manuais: Avaliações padronizadas como o Teste de Articulação e Fonologia Urimal (UTAP) e a ferramenta digital Hi-DongDong dependem de pontuação manual, que é intensiva em tempo e sujeita à variabilidade interavaliador.

Metodologia

Os autores propõem um pipeline automatizado de ponta a ponta que integra diarização de locutor neural com aprendizado auto-supervisionado (SSL) para pontuação de pronúncia.

1. Construção do Conjunto de Dados

O estudo introduz um novo corpus aprovado pelo IRB, consistindo em 53 gravações de crianças coreanas (de 2 a 5 anos) e seus cuidadores.

• Protocolo: As gravações seguem o protocolo de repetição induzida do Hi-DongDong, onde um cuidador modela uma palavra alvo e a criança a repete.
• Condições: Os dados foram coletados em ambientes domésticos naturalísticos usando dispositivos pessoais (smartphones, tablets), introduzindo variabilidade na qualidade do microfone e ruído de fundo.
• Anotação: Um subconjunto de 34 sujeitos (com gravações de múltiplos locutores) foi anotado por três revisores independentes. Isso rendeu 1.190 rótulos binários de correção de nível de palavra para consoantes e 748 para vogais. Os rótulos foram determinados por votação de quórum (regra da maioria).

2. Diarização de Locutor

Para isolar segmentos de fala da criança, os autores avaliaram três modelos de diarização pré-treinados:

• Pyannote.audio: Segmentação neural com embedding de locutor e agrupamento (clustering).
• SpeechBrain: Utiliza embeddings x-vector e agrupamento espectral.
• NeMo SortFormer: Um transformador baseado em codificador que emprega um mecanismo de Ordenação por Tempo de Chegada (ATS). Esta arquitetura resolve o problema de permutação em configurações de múltiplos locutores ao ordenar os tokens de locutor com base em sua primeira aparição, treinando o modelo para aprender a ordenação temporal conjuntamente com os rótulos de locutor.

O desempenho foi medido usando a Taxa de Erro de Diarização (DER) e a precisão da contagem de locutores.

3. Pontuação de Pronúncia (Aprendizado Auto-Supervisionado)

Uma vez isolados os segmentos de fala da criança, o sistema avaliou a correção de consoantes e vogais usando uma abordagem de dois estágios:

• Extração de Características: Um backbone SSL congelado codifica segmentos de áudio de nível de palavra em embeddings de nível de quadro (frame-level). Três backbones foram testados:
  • wav2vec2-large-xlsr-korean: Modelo ajustado especificamente para o coreano.
  • HuBERT-large: Pré-treinado no English LibriSpeech com predição de unidade discreta mascarada.
  • WavLM-large: Pré-treinado em diversos áudios em inglês com um objetivo de denoising de fala mascarada.
• Estratégias de Pooling: Os embeddings foram agregados usando Mean, Attention, Statistics e Multi-layer Fixed-Weight pooling.
• Classificação: Vetores agrupados foram alimentados em um classificador de regressão logística com regularização L2 para prever a correção binária.
• Estratégia de Ensemble: Os autores empregaram um ensemble cross-model, direcionando a predição de consoantes para o melhor modelo para essa tarefa e a predição de vogais para o melhor para aquela tarefa, em vez de apenas tirar a média de todos os modelos.

Principais Resultados

Desempenho de Diarização

• O NeMo SortFormer superou significativamente os outros modelos, alcançando 88,69% de precisão na contagem de locutores e uma DER de 33,04%.
• Pyannote e SpeechBrain falharam em separar adequadamente os segmentos da criança e do cuidador (DER > 136%), provavelmente devido à semelhança acústica entre o aegyo e a fala da criança pequena.
• O erro restante no NeMo SortFormer é atribuído a sobreposições de sons agudos, o que introduz ruído na classificação subsequente.

Desempenho de Pontuação de Pronúncia

• Comparação de Modelos:
  • O modelo wav2vec2 específico para coreano teve desempenho inferior (Mean BA: 0,531), sugerindo que seu ajuste fino de ASR não capturou as nuances acústicas detalhadas da fala de crianças pequenas tão efetivamente quanto os modelos SSL gerais.
  • O WavLM-large destacou-se na reconhecimento de vogais (Acurácia Balanceada [BA] = 0,831), provavelmente devido ao seu objetivo de pre-treinamento de denoising que preserva as características do envelope espectral.
  • O HuBERT-large destacou-se no reconhecimento de consoantes (BA = 0,720), provavelmente devido à predição de unidades discretas que captura padrões articulatórios.
• Pooling: As estratégias de Statistics pooling e Multi-layer Fixed-Weight pooling geralmente produziram os melhores resultados.
• Desempenho do Ensemble: O ensemble cross-model (HuBERT para consoantes, WavLM para vogais) alcançou uma acurácia balanceada média de 0,782 (Consonant BA: 0,720; Vowel BA: 0,845).

Significância e Contribuições

O artigo reivindica três contribuições principais:

1. Conjunto de Dados: A criação de um novo conjunto de dados aprovado pelo IRB de fala de crianças pequenas coreanas com rótulos de correção binária de nível de palavra, anotados por revisores independentes.
2. Benchmarking: Uma avaliação sistemática de sistemas de diarização em gravações de interação entre criança e cuidador coreanos, destacando o desafio específico do aegyo e demonstrando a superioridade das arquiteturas de transformadores ordenadas por tempo de chegada neste contexto.
3. Pipeline: Um pipeline de ponta a ponta automatizado para pontuação de pronúncia que elimina a necessidade de segmentação manual. O estudo demonstra que modelos SSL pré-treinados em fala de adultos em inglês podem ser transferidos significativamente para a avaliação de crianças coreanas sem ajuste fino de domínio específico.

Os autores enfatizam que, embora o erro de diarização residual introduza algum ruído, o pipeline consegue automatizar o processo de segmentação e pontuação, oferecendo uma alternativa escalável à avaliação clínica manual. A natureza complementar de WavLM (vogais) e HuBERT (consoantes) sugere uma estratégia robusta de "dividir para conquistar" para a avaliação de fala pediátrica de baixo recurso.