Adapting Foundation ASR Models to Dysarthric Speech: A Case Study

Resumo Técnico: Adaptando Modelos de ASR de Base para Fala Disártrica

Definição do Problema
Sistemas de Reconhecimento Automático de Fala (ASR), particularmente grandes modelos de base, alcançaram um desempenho próximo ao humano em benchmarks de fala padrão. No entanto, eles apresentam um desempenho insatisfatório quando confrontados com a fala disártrica, tornando-os ineficazes para usuários com distúrbios do controle motor da fala. Este estudo foca em um usuário específico afetado por Leucoencefalopatia Multifocal Progressiva (LMP) causada pelo vírus JC, resultando em disartria significativa. Os modelos de ASR padrão falharam completamente na fala deste usuário, exibindo uma Taxa de Erro de Palavras (WER) basal de 128,4%, o que efetivamente tornou a tecnologia pronta para uso inutilizável para a comunicação cotidiana.

Metodologia
Os autores desenvolveram um pipeline de ASR personalizado centrado na adaptação de modelos de base a dados específicos do locutor. A metodologia envolveu três componentes principais:

1. Coleta de Dados:

   • Conjunto de Dados Inicial: Utilizando a ferramenta TEQST, o usuário gravou 92 horas de fala de leitura em casa. Este conjunto de dados foi dividido em conjuntos de treinamento (89,8 horas), desenvolvimento (1,1 hora) e teste (1,1 hora). O conteúdo textual foi extraído do domínio de contos de fadas.
   • Coleta Contínua de Dados: Um aplicativo móvel foi implantado para uso no mundo real. O usuário podia corrigir erros de transcrição em tempo real. Essas correções, combinadas com o áudio original, geraram um adicional de 8,8 horas de dados de treinamento de alta qualidade e específicos do locutor.
   • Dados Totais: O conjunto de dados final compreendeu aproximadamente 100,8 horas de fala disártrica.

2. Estratégias de Adaptação de Modelo:

   • Modelos de Base: O estudo comparou dois modelos de base: Whisper (especificamente o whisper-large-v3) e Qwen3-ASR-1.7B.
   • Técnicas de Adaptação: Os autores avaliaram o ajuste fino completo (full fine-tuning) contra o Ajuste Fino de Parâmetros Eficientes (PEFT) usando Adaptação de Baixo Posto (LoRA).
   • Design Experimental: Os modelos foram ajustados com quantidades variadas de dados de adaptação (1,4 hora, 22,5 horas e o conjunto de dados completo) para analisar a relação entre o volume de dados e o desempenho.

3. Implantação do Sistema:

   • O modelo adaptado foi implantado via um aplicativo móvel (inicialmente Android, posteriormente iOS) projetado especificamente para usuários com controle motor fino limitado.
   • O sistema utiliza uma arquitetura de servidor (hospedada via faster-whisper no CTranslate2) para desonerar as demandas computacionais, garantindo uma inferência rápida em tempo real.
   • A interface apresenta um design de alto contraste com botão único e múltiplos modos de gravação (tocar para iniciar, pressionar e segurar, toque único) para acomodar deficiências motoras. Inclui um ciclo de feedback onde as correções do usuário são enviadas de volta ao servidor para refinar o modelo.

Resultados Principais
Os experimentos demonstraram que o ajuste fino personalizado melhora significativamente o desempenho do ASR para a fala disártrica:

• Baseline vs. Ajuste Fino: Partindo de uma WER basal de 128,4%, o ajuste fino do Whisper com apenas 1,4 hora de dados reduziu a WER para 15,8%.
• Escalabilidade de Dados: O desempenho melhorou continuamente com mais dados. O uso de 22,5 horas de dados resultou em uma WER de 10,7%. O melhor resultado foi alcançado utilizando o conjunto de dados completo (incluindo as correções do usuário), atingindo uma WER de 9,7%.
• Ajuste Fino vs. LoRA: O ajuste fino completo superou consistentemente a adaptação LoRA. O LoRA teve um desempenho substancialmente inferior (aumento relativo de erro de 15% a 39%) para as mesmas quantidades de dados. Os autores atribuem isso ao significativo descompasso acústico entre a fala padrão e a fala disártica, que exigiu a capacidade total do modelo para aprender de forma eficaz.
• Comparação de Modelos: O Whisper provou ser um modelo de base mais forte que o Qwen3-ASR para este usuário específico. O Qwen3-ASR alcançou uma WER entre 14% e 16%, mesmo com dados completos, enquanto o Whisper atingiu 9,7%.

Significância e Alegações
O artigo afirma que o ajuste fino personalizado pode transformar um modelo de ASR de base que falha na fala disártica em um sistema preciso e robusto o suficiente para implantação prática no mundo real. O estudo destaca que:

• Eficácia: Uma redução substancial na WER (de >128% para <10%) é alcançável com uma quantidade relativamente pequena de dados de adaptação (assim como pouco 1,4 hora para ganhos significativos, ~22,5 horas para uma relação custo-benefício favorável).
• Utilidade Prática: O aplicativo móvel implantado serve como uma ferramenta de comunicação funcional, permitindo a interação face a face natural e fornecendo um recurso de suporte para momentos em que a fala sozinha é insuficiente.
• Impacto no Usuário: Além das métricas técnicas, o usuário relatou aumento de confiança ao falar e uma melhoria na qualidade de vida, observando que a capacidade de usar o aplicativo como um recurso de suporte incentivou tentativas de fala mais frequentes.

Limitações e Trabalho Futuro
Os autores observam que o sistema atual depende de um servidor remoto, exigindo uma conexão com a internet. A implantação local no dispositivo permanece desafiadora devido às restrições computacionais, embora a quantização ou modelos menores possam ser necessários para iterações futuras. Além disso, o sistema é atualmente personalizado para um único locutor; os requisitos de dados para generalizar esta abordagem para outros locutores com diferentes perfis de disartria permanecem uma questão em aberto. A escala para múltiplos locutores simultaneamente através de um único modelo adaptativo é identificada como uma direção para pesquisas futuras.