Phoneme-Level Mispronunciation Screening in Polish-Speaking Children with an Explainable Assistant

Resumo Técnico: Triagem de Erros de Pronúncia ao Nível de Fonema em Crianças Falantes de Polonês com um Assistente Explicável

Definição do Problema

Os transtornos dos sons da fala (SSDs) são prevalentes na primeira infância, mas o acesso oportuno à avaliação especializada é frequentemente limitado pela capacidade reduzida e pelos longos tempos de espera. Essa lacuna motiva o desenvolvimento de ferramentas de triagem leves para uso fora do ambiente clínico. No entanto, a aplicação da ASR (Reconhecimento Automático de Fala) padrão à fala infantil é problemática devido às diferenças acústicas (tractos vocais mais curtos, formantes mais altos), alta variabilidade intra-falante e a presença de realizações não canônicas sistemáticas que fazem parte do desenvolvimento normal. Além disso, sistemas ASR de ponta a ponta dependem fortemente de priors de modelos de linguagem que podem "normalizar" realizações incomuns em direção a palavras prováveis, mascarando assim erros de contraste mínimo essenciais para detectar erros de pronúncia.

O polonês apresenta um desafio específico para a triagem automática devido ao seu denso inventário consonantal e frequentes agrupamentos, particularmente em relação aos sibilantes. Na prática clínica polonesa, os sibilantes são categorizados em três séries (syczący, ciszący e szumiący), onde substituições (ex: /ù/ → [s]) e distorções requerem um tratamento clínico distinto. O objetivo deste trabalho não é construir um sistema de transcrição geral, mas criar um mecanismo sensível e interpretável para sinalizar prováveis erros e localizá-los ao nível de token para a prática guiada por cuidadores.

Metodologia

Os autores propõem um pipeline de triagem consistindo em três componentes principais: um reconhecedor acústico, um módulo de triagem baseado em alinhamento e um assistente fundamentado em templates.

1. Modelo Acústico e Representação de Token
O sistema utiliza um codificador baseado em wav2vec2 inicializado a partir de um checkpoint polonês (jonatasgrosman/wav2vec2-large-xlsr-53-polish). Para melhorar a estabilidade em segmentos densos de sibilantes e fornecer contexto específico da tarefa, um pós-codificador Transformer de 6 camadas é adicionado. O modelo é treinado utilizando a Classificação Temporal Conexionista (CTC).

• Inventário de Tokens: As pronúncias são representadas como tokens do tipo IPA delimitados por espaços. Crucialmente, o vocabulário é estendido com tokens IPA entre colchetes (ex: [s], [ù]) para representar resultados de substituição julgados por especialistas. Esses tokens entre colchetes servem como evidência explícita de desvio.
• Adaptação: O modelo é adaptado para a fala infantil e o vocabulário estendido usando Fine-Tuning de Parâmetros Eficientes (PEFT). Especificamente, módulos LoRA (rank $r=32$, $\alpha=64$) são injetados nas projeções de atenção e subcamadas de feed-forward, e as últimas 6 camadas do codificador são descongeladas. Isso resulta em 33,3% de parâmetros treináveis.

2. Triagem Baseada em Alinhamento
O sistema realiza um alinhamento de erro mínimo (Levenshtein) entre a sequência canônica proposta ($y_{ref}$) e a sequência produzida reconhecida ($\hat{y}$).

• Tipagem de Erro: As operações de alinhamento (Match, Substituição, Inserção, Deleção) são interpretadas. Para alvos sibilantes/africados, as substituições são mapeadas para categorias interpretáveis (ex: mudança no lugar de articulação, alternância de sonoridade ou incompatibilidade de modo).
• Confiança: Um escore de confiança ($c_i$) é calculado como a média da probabilidade posterior do token reconhecido sobre os frames atribuídos a ele pelo colapso greedy de CTC. Este escore é usado estritamente como um sinal de supressão (ex: solicitar uma nova gravação se a confiança for baixa) em vez de uma probabilidade calibrada.

3. Assistente Explicável
O vetor de triagem (alvo, realizado, tipo, posição, confiança) é alimentado em um assistente voltado para o cuidador.

• Fundamentação em Template: O feedback é gerado a partir de um inventário fixo e revisável de templates escritos por clínicos.
• Limites de Segurança: O sistema evita explicitamente o diagnóstico clínico. Inclui regras de recusa para incerteza e não faz alegações médicas. Se a confiança for baixa ou a evidência for inconsistente, o sistema solicita uma nova gravação em vez de fornecer conselhos detalhados.

Principais Contribuições

1. Reconhecedor de Token Consciente de Substituição: Um modelo baseado em wav2vec2 com um pós-codificador Transformer compacto de 6 camadas, ajustado para a fala infantil polonesa com um inventário de tokens estendido que inclui marcadores de substituição entre colchetes.
2. Avaliação Orientada à Triagem: Uma avaliação em um conjunto de teste de 10 crianças não vistas que reporta tanto a qualidade do reconhecimento quanto o desempenho de um proxy de triagem conservador para incompatibilidades de sibilantes alvo.
3. Design de Assistente Fundamentado em Template: Uma arquitetura de sistema que traduz triagens ao nível de token em feedback amigável para o cuidador com limites de segurança explícitos e um plano para validação com o clínico no loop.

Resultados

O sistema foi avaliado em um conjunto de teste de 10 crianças não vistas (559 enunciados) usando um inventário fixo de prompts diagnósticos.

• Desempenho de Reconhecimento: O reconhecedor alcançou 88,7% de correspondência exata de sequência (496/559 enunciados) e 95,0% de precisão de token. A Taxa de Erro de Palavra (WER) foi de 5,95% e a Taxa de Erro de Caractere (CER) foi de 4,09%.
• Estudos de Ablação: Remover o pós-codificador reduziu a correspondência exata de sequência para 84,5%. Usar um baseline WavLM-Base em vez de wav2vec2 resultou em uma correspondência exata inferior de 78,6%.
• Desempenho do Proxy de Triagem: Usando a presença de um token entre colchetes na posição alvo como um sinalizador de incompatibilidade, o sistema alcançou:
  • Precisão: 72,9%
  • Recall: 61,4%
  • F1 Score: 0,67
  • Taxa de Falso Positivo (FPR): 2,7% em itens corretos alvo.
• Análise de Erro: Entre os enunciados não exatos, 92,1% continham exatamente uma substituição de nível unitário. Destes, 60,3% foram confusões entre canônico e colchetes, indicando que o sistema frequentemente detecta o desvio, mas tem dificuldade com a categorização precisa entre rótulos canônicos e entre colchetes.

Significância e Alegações

O artigo afirma que o reconhecimento de tokens baseado em SSL pode servir como uma base prática para a triagem orientada a cuidadores em polonês. Ao focar em contrastes provocados e alinhar-se a alvos canônicos, o sistema evita as armadilças dos priors de modelos de linguagem que mascaram erros de contraste mínimo. A alta taxa de correspondência exata apoia o alinhamento estável e a tipagem de erro downstream.

Os autores enfatizam que o sistema é uma ferramenta de triagem, não de diagnóstico. A significância reside no design de um "proxy de triagem conservador" que prioriza a sensibilidade fonética e a explicabilidade sobre a qualidade de transcrição geral. O sistema sinaliza com sucesso prováveis erros com uma taxa de falso positivo baixa (2,7%), tornando-o adequado para uso doméstico, onde minimizar falsos positivos é crítico para evitar ansiedade desnecessária.

O artigo conclui que, embora os resultados atuais sejam promissores, uma avaliação mais ampla através de idades, severidades e condições de gravação é necessária antes da implementação. Trabalhos futuros incluem a expansão da cobertura além das substituições, validação da utilidade diagnóstica contra resultados clínicos e estudos de usuário para avaliar a clareza e segurança do feedback do assistente.