Adapting Foundation ASR Models to Dysarthric Speech: A Case Study

Resumen Técnico: Adaptación de Modelos Fundacionales de ASR para el Habla Disártrica

Planteamiento del Problema
Los sistemas de Reconocimiento Automático del Habla (ASR), particularmente los modelos fundacionales de gran escala, han alcanzado un rendimiento cercano al humano en las evaluaciones estándar de habla. Sin embargo, funcionan deficientemente cuando se enfrentan al habla disártrica, lo que los hace ineficaces para usuarios con trastornos del habla motores. Este estudio se centra en un usuario específico afectado por Leucoencefalopatía Multifocal Progresiva (LMP) causada por el virus JC, lo que resulta en una disartria significativa. Los modelos ASR estándar fallaron completamente con el habla de este usuario, exhibiendo una tasa de error de palabras (WER) base del 128.4%, lo que efectivamente hizo que la tecnología comercial fuera inutilizable para la comunicación cotidiana.

Metodología
Los autores desarrollaron un flujo de trabajo de ASR personalizado centrado en la adaptación de modelos fundacionales a datos específicos del hablante. La metodología involucró tres componentes principales:

1. Recolección de Datos:

   • Conjunto de Datos Inicial: Utilizando la herramienta TEQST, el usuario grabó 92 horas de habla de lectura desde su hogar. Este conjunto de datos se dividió en conjuntos de entrenamiento (89.8 horas), desarrollo (1.1 horas) y prueba (1.1 horas). El contenido textual se extrajo del dominio de los cuentos de hadas.
   • Recolección Continua de Datos: Se implementó una aplicación móvil para el uso en el mundo real. El usuario podía corregir los errores de transcripción en tiempo real. Estas correcciones, junto con el audio original, generaron 8.8 horas adicionales de datos de entrenamiento de alta calidad y específicos del hablante.
   • Datos Totales: El conjunto de datos final comprendió aproximadamente 100.8 horas de habla disártrica.

2. Estrategias de Adaptación del Modelo:

   • Modelos Fundacionales: El estudio comparó dos modelos fundacionales: Whisper (específicamente whisper-large-v3) y Qwen3-ASR-1.7B.
   • Técnicas de Adaptación: Los autores evaluaron el ajuste fino completo (full fine-tuning) frente al Ajuste Fino de Parámetros Eficientes (PEFT) mediante la Adaptación de Bajo Rango (LoRA).
   • Diseño Experimental: Los modelos fueron ajustados con cantidades variables de datos de adaptación (1.4 horas, 22.5 horas y el conjunto de datos completo) para analizar la relación entre el volumen de datos y el rendimiento.

3. Despliegue del Sistema:

   • El modelo adaptado se desplegó a través de una aplicación móvil (inicialmente Android, posteriormente iOS) diseñada específicamente para usuarios con control motor fino limitado.
   • El sistema utiliza una arquitectura de lado del servidor (alojada mediante faster-whisper en CTranslate2) para descargar las demandas computacionales, asegurando una inferencia rápida en tiempo real.
   • La interfaz cuenta con un diseño de alto contraste de un solo botón con múltiples modos de grabación (tocar para iniciar, mantener presionado, toque único) para adaptarse a las discapacidades motoras. Incluye un bucle de retroalimentación donde las correcciones del usuario se envían de vuelta al servidor para refinar el modelo.

Resultvis Clave
Los experimentos demostraron que el ajuste fino personalizado mejora significativamente el rendimiento del ASR para el habla disártrica:

• Base vs. Ajuste Fino: Partiendo de una WER base de 128.4%, el ajuste fino de Whisper con solo 1.4 horas de datos redujo la WER al 15.8%.
• Escalamiento de Datos: El rendimiento mejoró de manera constante con más datos. El uso de 22.5 horas de datos produjo una WER del 10.7%. El mejor resultado se logró utilizando el conjunto de datos completo (incluyendo las correcciones del usuario), alcanzando una WER del 9.7%.
• Ajuste Fino vs. LoRA: El ajuste fino completo superó consistentemente a la adaptación LoRA. LoRA funcionó sustancialmente peor (un aumento relativo del error del 15% al 39%) para las mismas cantidades de datos. Los autores atribuyen esto al significativo desajuste acústico entre el habla estándar y la disártrica, que requirió la capacidad total del modelo para aprender eficazmente.
• Comparación de Modelos: Whisper demostró ser un modelo fundacional más fuerte que Qwen3-ASR para este usuario específico. Qwen3-ASR logró una WER entre el 14% y el 16% incluso con los datos completos, mientras que Whisper alcanzó el 9.7%.

Significancia y Reivindicaciones
El artículo sostiene que el ajuste fino personalizado puede transformar un modelo ASR fundacional que falla en el habla disártrica en un sistema lo suficientemente preciso y robusto para un despliegue práctico en el mundo real. El estudio destaca que:

• Efectividad: Es posible lograr una reducción sustancial de la WER (de >128% a <10%) con una cantidad relativamente pequeña de datos de adaptación (tan solo 1.4 horas para obtener ganancias significativas, ~22.5 horas para un equilibrio favorable).
• Utilidad Práctica: La aplicación móvil desplegada sirve como una ayuda de comunicación funcional, permitiendo la interacción natural cara a cara y proporcionando un recurso de respaldo para momentos en que el habla por sí sola es insuficiente.
• Impacto en el Usuario: Más allá de las métricas técnicas, el usuario reportó un aumento en la confianza al hablar y una mejora en la calidad de vida, señalando que la capacidad de usar la aplicación como respaldo fomentó intentos de habla más frecuentes.

Limitaciones y Trabajo Futuro
Los autores señalan que el sistema actual depende de un servidor remoto, lo que requiere una conexión a Internet. El despliegue local en el dispositivo sigue siendo un desafío debido a las restricciones computacionales, aunque la cuantización o modelos más pequeños podrían ser necesarios en futuras iteraciones. Además, el sistema está actualmente personalizado para un solo hablante; los requisitos de datos para generalizar este enfoque a otros hablantes con diferentes perfiles de disartria siguen siendo una pregunta abierta. Escalar a múltiples hablantes simultáneamente mediante un único modelo adaptativo se identifica como una dirección para la investigación futura.