FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition

Resumen Técnico: Acondicionamiento de Hablante Basado en FiLM para el Reconocimiento de Voz Patológica

Planteamiento del Problema
Los sistemas de Reconocimiento Automático del Habla (ASR) han alcanzado una alta precisión en el habla estándar, pero presentan dificultades significativas con el habla patológica, particularmente en individuos con trastornos neuromotores como la Esclerosis Lateral Amiotrófica (ELA) y la enfermedad de Parkinson (EP). Estas condiciones causan disartria, lo que deriva en problemas de claridad articulatoria, alteraciones prosódicas y una alta variabilidad entre hablantes. Esto crea un desajuste acústico con los datos normativos utilizados para entrenar los sistemas ASR modernos. Si bien la adaptación de dominio mediante el ajuste fino (fine-tuning) es una solución estándar, los corpus patológicos (por ejemplo, TORGO, NeuroVoz) suelen ser pequeños y carecen de diversidad de hablantes. Esta escasez hace que las estrategias de ajuste fino ávidas de datos sean propensas al sobreajuste (overfitting) y al olvido catastrófico, donde el modelo pierde su capacidad para reconocer el habla estándar. Además, la emergencia de los Modelos de Lenguaje de Gran Escala para el Habla (SpeechLLMs), que combinan codificadores de audio con LLMs para tareas más allá de la transcripción (por ejemplo, seguimiento de instrucciones), requiere estrategias de adaptación que preserven el conocimiento general y los pesos del modelo base.

Metodología
Los autores proponen una estrategia de adaptación eficiente en parámetros que condiciona un codificador de SpeechLLM congelado utilizando la Modulación Lineal por Características (FiLM, por sus siglas en inglés) impulsada por información del hablante. La arquitectura central involucra:

1. Modelo Base Congelado: Todo el SpeechLLM (específicamente Voxtral-Mini, que comprende un codificador Whisper-large-v3 y un decodificador Ministral-3B LLM) permanece congelado. No se actualizan los pesos del modelo base.
2. Extracción de Embebidos del Hablante: Un modelo de x-vector preentrenado (SiAmResNet34) extrae los embeddings del hablante a partir del audio bruto. Crucialmente, para los enunciados normativos (sanos), el embedding se pone a cero. Esto asegura que el mecanismo de adaptación no interfiera con el procesamiento del habla sana.
3. Inyección de FiLM: En cada capa del transformador de cada capa del codificador congelado, un MLP (Perceptrón Multicapa) dedicado de dos capas genera parámetros de modulación afín ($\gamma$ y $\beta$) y un factor de puerta escalar ($\alpha$) basado en el embedding del hablante.
   • La modulación se aplica como un residuo aprendido: $\tilde{H}_\ell = H_\ell + \alpha_\ell ((\gamma_\ell - 1) \odot H_\ell + \beta_\ell)$.
   • La puerta $\alpha$ se inicializa cerca de cero (mediante un sesgo de -2) y se entrena para abrirse progresivamente, asegurando que el modelo comience como una transformación de identidad.
4. Alcance del Entrenamiento: Solo se entrenan los generadores de FiLM y el extractor de embeddings del hablante. Para el habla patológica, el sistema adapta las representaciones internas; para el habla sana, el embedding puesto a cero obliga a las capas de FiLM a actuar como transformaciones de identidad, preservando el comportamiento original del modelo.

Contribuciones Clave

• Adaptación Basada en FiLM: El artículo introduce un método para condicionar un SpeechLLM congelado al habla patológica sin modificar los pesos base, preservando así la generalización al habla estándar.
• Comparación Sistemática: El estudio compara cuatro estrategias de adaptación—Ajuste Fino Completo (FFT), Ajuste Fino Solo del Codificador (EFT), LoRA (Completo y Solo del Codificador) y el Acondicionamiento de Hablante propuesto—a través de dominios patológicos de bajos recursos.
• Evaluación Paralingüística: Más allá de la Tasa de Error de Palabra (WER), los autores evalúan si la adaptación degrada la capacidad del modelo para responder preguntas relacionadas con el habla (Preguntas de Opción Múltiple o MCQA) sobre atributos del hablante (sexo y edad), una métrica crítica para los SpeechLLMs.

Resultados Experimentales
El enfoque fue evaluado en los conjuntos de datos TORGO (inglés) y NeuroVoz (español).

• Desempeño de ASR (WER):
  • Ajuste Fino: FFT y F-LoRA lograron los WER más bajos, superando significativamente al modelo base (por ejemplo, reduciendo el WER de TORGO de ~25% a ~11-12%).
  • Acondicionamiento de Hablante: El método basado en FiLM mostró una mejora bruta marginal en TORGO (25.15% a 23.24%), pero logró un WER competitivo del 16.36% cuando se combinó con un post-procesamiento basado en reglas. Esto sugiere que el método captura bien el contenido acústico pero produce hipótesis más ruidosas que los modelos totalmente ajustados.
  • NeuroVoz: Todos los métodos mostraron ligeras mejoras, siendo F-LoRA el que mejor desempeño tuvo (4.07%).
• Desempeño de MCQA:
  • Modelo Base: El modelo no modificado tuvo dificultades con la predicción de edad, pero funcionó por encima del azar en la predicción de sexo (53.5%).
  • Ajuste Fino: FFT y EFT mejoraron la precisión de la predicción de sexo (hasta 64.9%), sugiriendo que la adaptación agudizó la sensibilidad de las características del hablante. Sin embargo, F-LoRA colapsó hacia un rendimiento cercano al azar (8.4%), indicando una degradación severa en las capacidades de seguimiento de instrucciones.
  • Acondicionamiento de la Hablante: El método propuesto logró una precisión de sexo competitiva (60.7%), quedando solo 4.2 puntos porcentuales por detrás de EFT, mientras actualizaba solo ~1.6% de los parámetros totales. Crucialmente, mantuvo el comportamiento del modelo base para el habla sana por diseño.

Significancia y Reivindicaciones
El artículo afirma que el acondicionamiento de hablante basado en FiLM es una alternativa viable y eficiente en parámetros al ajuste fino tradicional para el reconocimiento de habla patológica. Su significancia principal radica en su capacidad para adaptarse a perfiles acústicos patológicos individuales mientras preserva estrictamente los pesos y el conocimiento general del modelo base. Esto es particularmente crítico para los SpeechLLMs, donde mantener la capacidad de realizar tareas no relacionadas con la transcripción (como responder preguntas) es tan importante como la precisión de la transcripción. Los autores concluyen que, si bien los modelos totalmente ajustados pueden ofrecer un WER bruto ligeramente mejor, el enfoque de acondicionamiento de hablante ofrece un equilibrio favorable entre eficiencia, generalización y la preservación de las capacidades de comprensión de audio más amplias, siempre que se utilice el post-procesamiento para refinar la salida.