Resumen Técnico: ESCUCHA – Un Benchmark de Habla en Español para Condiciones Acústicas Heterogéneas

Planteamiento del Problema

A pesar del rápido avance de los Grandes Modelos de Lenguaje de Audio (LALMs), los marcos de evaluación robustos para la comprensión del habla bajo condiciones acústicas realistas y heterogéneas siguen siendo insuficientes. Los benchmarks existentes son predominantemente anglocéntricos, dependen de un habla normativa (leída o curada) y a menudo sufren de contaminación entre entrenamiento y prueba debido a su derivación de conjuntos de datos existentes. Crucialmente, existe una brecha significativa en la evaluación de cómo los modelos manejan el habla no normativa, como aquella afectada por trastornos neuromotores (p. ej., ELA, disartria post-ictus), que presenta desafíos en la articulación, la prosodia y la inteligibilidad. Además, los benchmarks multilingües actuales o bien excluyen el español o lo evalúan únicamente a través de tareas de comprensión de lectura derivadas de texto que no requieren una verdadera comprensión de audio.

Metodología

Los autores presentan ESUCHA, el primer benchmark de comprensión de habla en español diseñado para evaluar LALMs a través de diversas condiciones acústicas y capacidades de razonamiento. La construcción del benchmark siguió un proceso de cuatro etapas:

1. Refinamiento de Objetivos y Categorías: Definición de tipos de preguntas y una taxonomía multietiqueta basada en habilidades perceptivas y de razonamiento.
2. Selección de Audio y Autoría de Preguntas: Obtención de 162.9 horas de audio "in-the-wild" de grabaciones públicas (principalmente YouTube), favoreciendo el habla espontánea. Esto incluyó estrategias de recuperación específicas para el habla patológica (ELA e ictus) basadas en diagnósticos autoinformados y metadatos.
3. Revisión Asistida por LLM: Uso de un LLM (Gemma-4-31B-IT) para señalar elementos para verificación manual respecto a la asignación de categorías, necesidad de audio, calidad de los distractores y corrección gramatical.
4. Evaluación: Benchmarking de modelos frente a anotadores humanos.

Composición del Benchmark:

• Escala: 1,000 preguntas curadas por expertos emparejadas con audio.
• Duración: Oscila entre 6.7 segundos y 85.2 minutos (mediana de 86.2s), con un total de 162.9 horas.
• Taxonomía: Cada pregunta está anotada con una taxonomía multietiqueta que comprende 9 categorías perceptivas (p. ej., reconocimiento léxico, identificación de hablante, emoción paralingüística) y 10 categorías de razonamiento (p. ej., razonamiento causal, razonamiento cuantitativo, ordenamiento temporal).
• Tipos de Tareas:
  • MCQA (900 ítems): Preguntas de opción múltiple con 2 a 4 opciones.
  • Seguimiento de Instrucciones de Audio (AIF) (100 ítems): Tareas abiertas donde la instrucción se entrega mediante audio hablado, requiriendo que el modelo recupere y siga la restricción.
  • Comparativas (254 ítems): Preguntas que requieren que el modelo relacione dos clips de audio separados.
  • Preguntas Habladas (100 ítems): Preguntas donde la propia pregunta está embebida en el audio.
• Subconjunto No Normativo: 158 preguntas (15.8%) presentan habla patológica de hablantes con ELA (114) o condiciones post-ictus (44), anotadas para niveles de inteligibilidad.

Configuración Experimental

El estudio evaluó una gama diversa de sistemas para distinguir entre la comprensión genuina de audio y las capacidades recuperables mediante transcripción o priors de texto:

• LALMs End-to-End: Incluyendo Audio-Flamingo-3, Qwen2.5-Omni, Qwen3-Omni-30B-A3B, Voxtral-Mini, Gemma-4-12B-IT y Gemini-2.5-Flash.
• Sistemas en Cascada: Un pipeline utilizando Whisper-Large-v3 para la transcripción seguido de Qwen3-4B-Instruct-2507.
• LLMs Solo de Texto: Modelos (variantes de Gemma-4, Qwen3-4B) provistos de preguntas y opciones pero sin entrada de audio.
• Baselines: Azar (random guessing), baselines posicionales (siempre seleccionar una opción específica) y anotadores humanos entrenados.

Resultados Clave

• Brecha Humano-Modelo: Los anotadores humanos entrenados lograron un 90.10% de precisión general, superando significativamente al mejor modelo, Qwen3-Omni-30B-A3B, que obtuvo un 74.40%. La mayoría de los otros modelos de audio se agruparon entre el 49% y el 53%.
• Rendimiento del Habla Patológica: Se observó una caída de rendimiento constante para la mayoría de los modelos al transicionar de habla normativa a patológica. Por ejemplo, Gemini-2.5-Flash y Gemma-4-12B-IT descendieron 19 y 15 puntos porcentuales, respectivamente. Por el contrario, Qwen3-Omni-30B-A3B y Voxtral-Mini mantuvieron o mejoraron ligeramente sus puntuaciones en ítems patológicos.
• Suficiencia de la Transcripción: El sistema en cascada (Whisper + LLM) alcanzó un 60.00% general, superando a todos los modelos de audio excepto a Qwen3-Omni-30B-A3B. Esto sugiere que una parte significativa del benchmark depende de la comprensión léxica recuperable de las transcripciones.
• Rendimiento de AIF: Qwen3-Omni-30B-A3B logró un 88.00% en Seguimiento de Instrucciones de Audio, superando la puntuación humana de 79.00% en este subconjunto específico.
• Baselines Solo de Texto: Los modelos solo de texto puntuaron cerca del azar para las variantes de Gemma (debido a la negativa a responder sin audio) pero alcanzaron un 41.00% con Qwen3-4B, indicando que la estructura de las preguntas y los priors del lenguaje permiten una resolución parcial sin audio.

Significancia y Reivindicaciones

El artículo reivindica ESCUCHA como un paso crítico hacia adelante por tres razones principales:

1. Primer Benchmark de Español "In-the-Wild": Es el primer benchmark que evalúa LALMs en audio en español y preguntas obtenidas directamente de condiciones del mundo real, evitando los riesgos de contaminación de los conjuntos de datos curados.
2. Evaluación de Habla No Normativa: Es el primer benchmark que evalúa específicamente la comprensión del habla y el razonamiento sobre habla patológica (ELA e ictus), resaltando una debilidad persistente en los LALMs actuales entrenados principalmente en audio limpio y leído.
3. Evaluación Integral del Razonamiento: Al combinar MCQA con tareas comparativas, habladas y de seguimiento de instrucciones, proporciona una evaluación amplia del comportamiento de los LALMs en diversas condiciones, revelando brechas de rendimiento sustanciales en comparación con las capacidades humanas.

Los autores concluyen que, si bien los modelos actuales muestran promesa, particularmente en el seguimiento de instrucciones, todavía luchan con la complejidad del habla española real y no normativa, y que el razonamiento acústico genuino sigue siendo un desafío distinto más allá de lo que la transcripción por sí sola puede resolver.