Preference-ASR: A Preference-Aware Test Set for Benchmarking ASR in the Era of Speech LLMs

Resumen Técnico: Preference-ASR

Planteamiento del Problema
Los benchmarks actuales de Reconocimiento Automático del Habla (ASR) no evalúan las capacidades de los modernos Modelos de Lenguaje de Gran Escala aumentados con voz (SpeechLLMs). Aunque los SpeechLLMs pueden seguir instrucciones en lenguaje natural para dictar el estilo y formato de la transcripción, la evaluación estándar depende de referencias fijas anotadas por humanos y de procesos de normalización "genéricos" (por ejemplo, convertir a minúsculas, convertir números a palabras, eliminar símbolos). Estos procesos de normalización borran las distinciones de formato que realmente interesan a los usuarios. Además, los conjuntos de prueba existentes (por ejemplo, Librispeech, SPGISpeech, Earnings-22) presentan convenciones de anotación inconsistentes respecto al formato de números, el manejo de disfluencias y el uso de mayúsculas. En consecuencia, las clasificaciones de los modelos reflejan qué tan bien un sistema se ajusta a las peculiaridades de un conjunto de datos específico, en lugar de su capacidad genuina para seguir las preferencias del usuario.

Metodología
Los autores presentan Preference-ASR, un conjunto de pruebas diseñado para evaluar la capacidad de los sistemas ASR para seguir instrucciones de preferencia en lenguaje natural. La metodología consta de tres componentes principales:

1. Construcción del Conjunto de Datos:

   • Fuente: El conjunto de datos se construye a partir de siete corpora de código abierto (AMI, Common Voice, Earnings-22, GigaSpeech, LibriSpeech, SPGISpeech, VoxPopuli), agrupando inicialmente 3,545 muestras.
   • Pipeline: Se empleó un proceso de dos etapas asistido por LLM con verificación humana.
     • Etapa 1: Un LLM (Qwen3-30B) clasifica cada muestra en una de cuatro categorías de preferencia: Normalización, Entidades, Disfluencias o Mayúsculas/Minúsculas (Case).
     • Etapa 2: El LLM genera instrucciones específicas y los correspondientes "textos de preferencia" (referencias) para cada muestra.
   • Deduplicación: Un orden basado en prioridades (Normalización > Entidades > Disfluencias > Mayúsculas/Minúsculas) asegura que cada muestra pertenezca a una única categoría.
   • Resultado Final: El conjunto de datos publicado contiene 3,210 tríos únicos (audio, instrucción, referencia) y 335 muestras base sin instrucciones de preferencia.

2. Categorías de Preferencia:

   • Normalización: Evalúa el manejo de números (dígitos frente a palabras), símbolos (notación de moneda/matemática frente a equivalentes verbales) y enlaces de sitios web.
   • Entidades: Evalúa el reconocimiento de entidades nombradas específicas (empresas, fármacos, etc.) y mide la "confabulación" incluyendo nombres de entidades falsos positivos en las instrucciones que están ausentes en el audio.
   • Disfluencias: Evalúa la capacidad de retener o eliminar palabras de relleno (um, ah), repeticiones, inicios falsos y errores gramaticales según las instrucciones.
   • Mayúsculas/Minúsculas (Case): Evalúa la adherencia a reglas de solo minúsculas o de puntuación y capitalización adecuadas.

3. Normalizador Consciente de la Preferencia (Preference-Aware Normalizer):
   Para evaluar el cumplimiento de manera justa, los autores proponen un normalizador personalizado que omite selectivamente los pasos de normalización que coinciden con la instrucción activa. Por ejemplo, si una instrucción solicita números en forma escrita (ITN), el normalizador no convierte la salida de dígitos del modelo a palabras, evitando la penalización de un comportamiento correcto.

Configuración Experimental
El estudio evalúa cuatro modelos:

• Parakeet-TDT-0.6B-v3: Un baseline tradicional no basado en LLM (sin entrada de instrucción).
• Canary-Qwen-2.5B: Un modelo híbrido con un backend de LLM Qwen 2.5, entrenado en pares ASR estándar sin ajuste de preferencia.
• Phi-4-Multimodal: Un modelo de 5.6B que integra voz, visión y texto.
• Qwen3-Omni-30B: Un modelo multimodal nativo entrenado con sesgo contextual.

Los modelos fueron evaluados bajo dos configuraciones: Default (prompt estándar) e Instructed (instrucción de preferencia añadida). El rendimiento se midió utilizando tanto el WER Estándar (normalización completa) como el WER Consciente de la Preferencia (normalización selectiva).

Resultados Clave

• Cambios en el Ranking: Las clasificaciones de los modelos cambian significativamente dependiendo del tipo de preferencia, un fenómeno que queda oculto en la evaluación estándar. Por ejemplo, Qwen3-Omni supera a los demás en cumplimiento de normalización y disfluencias cuando se le instruye, pero su rendimiento se degrada bajo la evaluación estándar, lo que enmascara estas diferencias.
• Sensibilidad a la Instrucción:
  • Qwen3-Omni muestra un fuerte cumplimiento para el formato (normalización, mayúsculas/minúsculas, disfluencias), pero exhibe alucinación de entidades, insertando nombres de entidades de los prompts incluso cuando están ausentes en el audio (el WER aumenta del 5.12% al 12.85% en entidades).
  • Canary-Qwen muestra una sensibilidad mínima a las instrucciones en todas las categorías, lo que sugiere que un backbone de LLM por sí solo, sin entrenamiento de alineación específico de preferencias, es insuficiente para el seguimiento de instrucciones en ASR.
  • Phi-4 demuestra un fuerte cumplimiento para las disfluencias cuando se le instruye, pero falla significativamente en las instrucciones de mayúsculas/minúsculas, lo que indica un seguimiento de instrucciones dependiente de la categoría.
• Sensibilidad al Prompt: Incluso cambios menores en la redacción de prompts genéricos (sin directivas de preferencia) causaron cambios medibles en el WER de los SpeechLLMs (por ejemplo, Phi-4), resaltando su sensibilidad a la redacción del prompt.

Significancia y Reivindicaciones
El artículo afirma que Preference-ASR es el primer conjunto de pruebas que condiciona la verdad de campo (ground truth) a instrucciones de formato explícitas especificadas por humanos, exponiendo así diferencias de calidad que los benchmarks tradicionales pasan por alto. Los autores argumentan que, a medida que los SpeechLLMs evolucionan, la evaluación debe ir más allá de las referencias fijas para probar directamente las capacidades de seguimiento de instrucciones. Los resultados resaltan un compromiso crítico: aunque los modelos pueden seguir instrucciones de formato, tienen dificultades para equilibrar el contexto del prompt textual con la evidencia acústica, lo que conduce a alucinaciones en el reconocimiento de entidades. Los autores concluyen que los benchmarks actuales son insuficientes para la era de los SpeechLLMs y que el trabajo futuro debe abordar las preferencias de múltiples hablantes y los entornos multilingües.

Limitaciones
Los autores reconocen que el conjunto de datos es exclusivamente en inglés, aún no cubre preferencias de múltiples hablantes y requirió verificación manual de los textos generados por LLM, particularmente para las tareas de normalización donde el contexto acústico no puede inferirse únicamente a partir del texto.