Evaluation of Automatic Speech Recognition Using Generative Large Language Models

Título: Evaluación del Reconocimiento Automático de Voz (ASR) mediante Modelos de Lenguaje Grandes (LLM) Generativos

1. El Problema

La evaluación tradicional de los sistemas de Reconocimiento Automático de Voz (ASR) se basa principalmente en la Tasa de Error de Palabras (WER). Sin embargo, el WER presenta limitaciones críticas:

• Falta de sensibilidad semántica: Trata todos los errores por igual, sin distinguir entre errores que alteran drásticamente el significado y errores menores (como puntuación o mayúsculas).
• Baja correlación con la percepción humana: No siempre refleja la calidad percibida por un usuario final ni se alinea con tareas posteriores (downstream tasks).
• Falta de interpretabilidad: Las métricas semánticas existentes (basadas en similitud cosena de embeddings) ofrecen puntuaciones continuas (ej. 0.75) que son difíciles de interpretar en comparación con los porcentajes de error.

Aunque se han explorado modelos codificadores (encoders) como BERT para métricas semánticas, los Modelos de Lenguaje Grandes basados en decodificadores (Decoder-based LLMs) como GPT, Llama o Gemma han recibido poca atención en este contexto específico, a pesar de sus capacidades demostradas en otras tareas.

2. Metodología

Los autores evaluaron la relevancia de los LLMs basados en decodificadores utilizando el conjunto de datos HATS (que incluye anotaciones humanas sobre la calidad de los errores de ASR). La investigación se abordó a través de tres ejes experimentales:

• A. Selección de la mejor hipótesis ("LLM como juez"):

  • Se planteó una tarea de comparación binaria: dado un texto de referencia y dos hipótesis de transcripción incorrectas, el LLM debe seleccionar cuál es más cercana a la referencia.
  • Se utilizó un prompt de "un solo disparo" (one-shot) que solicitaba al modelo justificar su razonamiento (cadena de pensamiento) antes de elegir la opción A o B.
  • Se probaron diversos modelos (GPT-4, Qwen, Gemma) de diferentes tamaños.

• B. Métrica Semántica basada en Embeddings de LLM:

  • Se extrajeron representaciones vectoriales (embeddings) de las transcripciones utilizando diferentes familias de LLMs.
  • Se compararon varias estrategias de agregación (pooling) para convertir la secuencia de tokens en un vector fijo: último token, media simple, media ponderada, etc.
  • Se calculó la distancia semántica (SemDist) basada en la similitud cosena entre la referencia y la hipótesis, comparando su correlación con las anotaciones humanas.

• C. Clasificación Cualitativa de Errores:

  • Se evaluó la capacidad del LLM para asignar etiquetas cualitativas a pares (referencia, hipótesis) de forma independiente.
  • Las categorías eran: Idéntico, Útil (significado preservado), Malo (significado parcialmente alterado) e Incomprensible (significado perdido).
  • Se analizó la coherencia entre estas clasificaciones y las puntuaciones de similitud semántica.

3. Contribuciones Clave

• Validación del "LLM como Juez": Demostración de que los LLMs generativos pueden superar a las métricas tradicionales (WER, CER) y a las métricas semánticas basadas en codificadores (como SemDist con CamemBERT) en la tarea de seleccionar la transcripción más fiel al significado humano.
• Análisis de Embeddings de Decodificadores: Investigación exhaustiva sobre cómo las representaciones internas de los LLMs (típicamente entrenados para predecir el siguiente token) pueden utilizarse como vectores semánticos robustos, incluso con estrategias de agregación simples.
• Interpretabilidad Mejorada: Propuesta de un enfoque que no solo evalúa la calidad, sino que clasifica los errores en categorías semánticas comprensibles para humanos, superando la opacidad de las puntuaciones numéricas continuas.

4. Resultados Principales

• Selección de Hipótesis:

  • Los mejores LLMs (GPT-4.1 y Qwen3.5-35B) alcanzaron un 92-94% de acuerdo con los anotadores humanos en el subconjunto de consenso estricto.
  • En comparación, el WER solo alcanzó un 63% de acuerdo.
  • Los LLMs superaron incluso a métricas semánticas avanzadas como SemDist con CamemBERT-large (90% en el mejor caso).
  • Modelos de código abierto (Qwen3.5-35B) lograron un rendimiento comparable a modelos propietarios de vanguardia (GPT-4.1).

• Embeddings y Pooling:

  • No hubo una correlación directa entre el tamaño del modelo y la calidad del embedding para esta tarea; modelos más pequeños a veces superaron a los más grandes.
  • El token final (last token) fue generalmente la peor estrategia de agregación (ej. Qwen3.5-27B obtuvo 59%), debido a que su entrenamiento se centra en predecir el siguiente token y no en capturar el significado global.
  • La media (mean pooling) resultó ser la estrategia más efectiva y robusta, a menudo superando a métodos más complejos.
  • Los modelos fine-tuned específicamente para embeddings (ej. Qwen3-Embedding-8B) obtuvieron los mejores resultados (89%), cerrando la brecha con los métodos de pooling.

• Clasificación Cualitativa:

  • Los LLMs mostraron una alta coherencia entre sus etiquetas cualitativas y las puntuaciones de similitud semántica, validando su capacidad para entender la gravedad de los errores de forma interpretable.

5. Significado e Impacto

Este estudio marca un cambio de paradigma en la evaluación de sistemas ASR:

1. Superioridad Semántica: Confirma que los LLMs generativos capturan matices perceptuales (como la tolerancia a disfluencias o la coherencia gramatical) que las métricas basadas en caracteres/palabras ignoran.
2. Alternativa Accesible: Demuestra que modelos de código abierto pueden rivalizar con los mejores modelos propietarios para la evaluación, democratizando el acceso a métricas de alta calidad.
3. Hacia la Evaluación Interpretativa: Sugiere que el futuro de la evaluación de ASR no debe ser solo numérico, sino cualitativo y explicativo, permitiendo a los desarrolladores entender por qué una transcripción es mala, no solo cuánto falla.
4. Anotación Automatizada: Los LLMs pueden sustituir o complementar la anotación humana costosa, proporcionando etiquetas de calidad semántica a gran escala.

En conclusión, los LLMs basados en decodificadores ofrecen una vía prometedora y altamente interpretable para alinear la evaluación automática de sistemas de voz con la percepción humana real.