S-DiverSe: Spanish Diverse Speech

Resumen Técnico: S-DiverSe: Spanish Diverse Speech

Planteamiento del Problema
Aunque el Reconocimiento Automático del Habla (ASR) ha logrado un éxito notable en los estándares de referencia de habla convencional, sigue teniendo dificultades con el habla afectada por condiciones neurológicas como la esclerosis lateral amiotrófica (ELA), la enfermedad de Parkinson (EP) y el accidente cerebrovascular. Estas condiciones suelen causar disartria, caracterizada por una reducción en la claridad de la articulación, una prosodia alterada y una inteligibilidad variable. Un obstáculo principal para el avance del ASR para estas poblaciones es la escasez de conjuntos de datos grandes y de alta calidad, particularmente para el español. Los recursos existentes en español son limitados en cobertura clínica, diversidad de dominio o condiciones de grabación, apoyándose a menudo en entornos clínicos controlados o en demografías sesgadas (por ejemplo, hablantes de edad avanzada). Esta falta de referentes obstaculiza el desarrollo de sistemas de ASR robustos para el habla patológica y limita el progreso en las herramientas de comunicación asistida.

Metodología
Los autores presentan S-DiverSe (Spanish Diverse Speech), un corpus diseñado para cerrar esta brecha. El conjunto de datos consiste en 3.2 horas de habla española "en el mundo real" (in-the-wild) grabada de 22 hablantes diagnosticados con ELA, EP o condiciones post-accidente cerebrovascular.

• Recolección de Datos: El audio se obtuvo de YouTube, filtrado según diagnósticos autoinformados y evidencia perceptual de habla no normativa, con preferencia por contextos espontáneos como entrevistas.
• Anotación: El corpus contiene 444 segmentos de audio transcritos manualmente. Tres lingüistas nativos de español realizaron la transcripción ortográfica, etiquetaron el sexo y la condición del hablante, y asignaron puntuaciones de inteligibilidad en una escala ordinal de 1 a 5. Los segmentos ininteligibles se marcaron como un y se mantuvieron las pausas de relleno.
• Composición del Conjunto de Datos: El corpus tiene un predominio masculino (87.4%) y una predominancia de la ELA (78.1%), lo que refleja la disponibilidad de datos en el mundo real más que un sesgo de recolección. Incluye metadatos sobre sexo, condición e inteligibilidad.
• Configuración Experimental: S-DiverSe se utilizó exclusivamente para la evaluación debido a su alta variabilidad y tamaño modesto, lo que haría que las divisiones de entrenamiento fueran poco fiables. El estudio evaluó cuatro sistemas de ASR: Whisper-large-v3, Voxtral-Mini, omniASR CTC 1B v2 y el sistema comercial ElevenLabs Scribe v2.
• Estrategias de Adaptación: Los autores investigaron dos enfoques de adaptación utilizando datos de otros corpora afectados por enfermedades neurológicas (TORGO y NeuroVoz) y Spanish Common Voice:
  1. Ajuste Fino (Fine-tuning): Incluyendo el ajuste fino completo (FFT) y la Adaptación de Bajo Rango (LoRA) aplicada a varios componentes del modelo (codificador, capas de atención, etc.).
  2. Post-procesamiento de Texto (PP): Un enfoque heurístico basado en reglas para mitigar las alucinaciones mediante el análisis de la repetición de caracteres, la colapso de palabras repetidas consecutivas y la reducción de frases repetidas.

Contribuciones Clave

1. Corpus S-DiverSe: El primer conjunto de datos de español "en el mundo real" que cubre múltiples condiciones neurológicas (ELA, EP, accidente cerebrovascular) con transcripciones humanas y metadatos. Los autores liberan las anotaciones para fomentar la investigación abierta.
2. Benchmarking: Evaluación de cuatro sistemas de ASR de última generación en S-DiverSe, proporcionando una línea base para el reconocimiento de habla patológica en español.
3. Análisis de Adaptación: Un estudio comparativo entre el ajuste fino y el post-procesamiento de texto para adaptar los modelos de ASR al habla neurológica fuera de dominio en español.

Resultados

• Rendimiento Base: Entre los modelos de pesos abiertos, omniASR CTC 1B v2 logró la menor Tasa de Error de Palabra (WER) en S-DiverSe, mientras que el sistema comercial Scribe v2 logró el mejor rendimiento general. Ningún modelo de pesos abiertos único dominó en todos los corpora probados (S-DiverSe, TORGO, NeuroVoz), lo que sugiere que la arquitectura y los datos de entrenamiento interactúan de forma distinta con patologías específicas.
• Inteligibilidad vs. WER: Se observó una relación inversa entre la inteligibilidad y el WER. En niveles bajos de inteligibilidad, los modelos de pesos abiertos se degradaron significamente, mientras que Scribe v2 mantuvo una robustez relativa.
• Hallazgos de la Adaptación:
  • Post-procesamiento: El post-procesamiento de texto heurístico demostró ser la estrategia de adaptación más robusta para S-DiverSe. Redujo consistentemente el WER sin perjudicar el rendimiento en el dominio de TORGO, lo que indica que una parte sustancial de los errores es corregible a nivel de texto.
  • Ajuste Fino: El ajuste fino mejoró consistentemente el rendimiento en el dominio (en TORGO/NeuroVoz) pero no logró generalizarse a los datos fuera de dominio de S-DiverSe. En algunos casos (por ejemplo, Whisper-large-v3 con FFT), el ajuste fino causó un olvido catastrófico, provocando WERs superiores al 100% en S-DiverSe debido al aumento de inserciones y sustituciones.
  • Composición de Datos: Añadir Spanish Common Voice (habla leída) a la mezcla de entrenamiento no mejoró el rendimiento en S-DiverSe en comparación con el uso exclusivo de datos patológicos, confirmando que el cuello de botella es el desajuste de dominio (condiciones acústicas) en lugar del desequilibrio lingüístico.

Significancia y Reivindicaciones
El artículo sostiene que S-DiverSe establece un benchmark necesario que expone las limitaciones de los sistemas de ASR actuales para manejar el habla patológica en español, heterogénea y en el mundo real. Los hallazgos subrayan un verdadero desfase de dominio: el habla leída limpia y los corpora clínicos controlados no pueden sustituir a los datos patológicos diversos del mundo real.

Crucialmente, los autores concluyen que para el habla neurológica en español fuera de dominio, el post-procesamiento de texto heurístico es más robusto que el ajuste fino. Los métodos de actualización de parámetros fallan al generalizarse más allá de la distribución de entrenamiento, independientemente de la composición del lenguaje. Esto resalta una necesidad urgente en la comunidad para la recolección de datos dedicados con una cobertura más amplia de accidentes cerebrovasculares y hablantes femeninas para avanzar en un ASR robusto para el habla patológica en español. El conjunto de datos está destinado a la evaluación y el desarrollo, no para la inferencia clínica.