HALAS: A Human-Annotated Dataset of Hallucinations of Modern ASR Systems

Resumen Técnico: HALAS – Un conjunto de datos de alucinaciones de sistemas ASR modernos anotado por humanos

Declaración del Problema
Los sistemas de Reconocimiento Automático del Habla (ASR) de extremo a extremo son propensos a generar "alucinaciones": texto erróneo en las transcripciones que no corresponde al audio hablado. Aunque los métodos de mitigación y detección existentes se evalúan a menudo en audio que no es de habla o en conjuntos de datos artificialmente corrompidos, existe una falta de evaluaciones rigurosas basadas en alucinaciones que ocurren naturalmente en el habla real. Los enfoques de detección actuales, incluidos aquellos que dependen de la validación basada en referencias o métricas proxy sin referencia, no han sido probados suficientemente contra alucinaciones anotadas por humanos en habla no procesada, lo que limita su aplicabilidad práctica.

Metodología
Los autores presentan HALAS (Hallucination Annotations for Large-scale ASR Systems), el primer conjunto de datos de alucinaciones de ocurrencia natural anotado por humanos. El proceso de creación del conjunto de datos involucró los siguientes pasos:

1. Fuente de Datos: Los autores utilizaron el conjunto de datos Earnings 22 (E22), que comprende 119 horas de grabaciones de llamadas de ganancias en inglés de 27 países.
2. Selección de Modelos: Se seleccionaron siete modelos ASR de última generación basados en su rendimiento en el Open ASR Leaderboard: cuatro versiones de OpenAI Whisper (large v3, large v3 Turbo, large v2 y un Crisper Whisper ajustado) y tres modelos de Nvidia Nemo (Canary-1B, Canary-1B-Flash y Parakeet-TDT v2).
3. Selección de Candidatos: Para maximizar la prevalencia de las alucinaciones, los autores utilizaron la tasa de error de palabra (WER) inter-modelo como un proxy de la dificultad del audio. Se priorizaron los segmentos de audio donde los modelos produjeron transcripciones significativamente diferentes. El preprocesamiento consistió en eliminar los archivos marcados como "inaudibles" o "idioma extranjero", y normalizar las predicciones para eliminar el bucle repetitivo para fines de cálculo de métricas.
4. Anotación Humana: Diez anotadores profesionales (inglés B2+) etiquetaron los datos. Crucialmente, las anotaciones se realizaron comparando las predicciones de ASR directamente contra la grabación de audio, no contra las transcripciones de referencia proporcionadas por el conjunto de datos E22 (las cuales se encontraron frecuentemente incorrectas). Los anotadores marcaron segmentos específicos como "Alucinación", "Bucle" o "Alucinación de Bucle". Un tercer anotador actuó como árbitro para resolver desacuerdos, resultando en un alto acuerdo inicial (kappa de Cohen = 0.87).
5. Estructura del Conjunto de Datos: El conjunto de datos final contiene 3,611 archivos de audio con etiquetas a nivel de segmento para los siete modelos. Está dividido en conjuntos de entrenamiento (2,866 archivos, tasa de alucinación del 33.6%) y de prueba (745 archivos, tasa de alucinación del 22.6%), estratificados por reunión de origen, WER y duración.

Contribuciones Clave
El artículo presenta tres contribuciones primarias:

1. El Conjunto de Datos HALAS: Un nuevo conjunto de datos de alucinaciones de modelos ASR de última generación (SOTA) sobre habla real, disponible públicamente y con etiquetas de alucinaciones anotadas por humanos, ofreciendo granularidad a nivel de segmento.
2. Análisis Empírico: El primer análisis exhaustivo de los patrones de alucinación en modelos ASR de última generación sobre datos reales, revelando un fuerte solapamiento de vocabulario entre modelos y la ocurrencia de alucinaciones incluso en escenarios de bajo WER.
3. Marco de Evaluación (Benchmarking): Un marco riguroso para evaluar los métodos de detección de alucinaciones contra errores de ocurrencia natural anotados por humanos, yendo más allá de las evaluaciones artificiales o de no-habla.

Resultados y Análisis

• Patrones de Alucinación: Los siete modelos exhibieron alucinaciones, con tasas que oscilaron entre el 21.4% y el 43.8%. El análisis reveló que las alucinaciones están fuertemente sesgadas hacia un pequeño conjunto de frases frecuentes (por ejemplo, "you", "thank you", "okay"). En promedio, el 55% de las alucinaciones marcadas correspondieron a las 10 frases principales para un modelo dado.
• Similitud entre Modelos: Las puntuaciones de similitud de Jensen-Shannon indicaron un fuerte solapamiento de distribución en las frases alucinadas entre los modelos, particularmente entre las variantes de Whisper.
• Evaluación de Severidad: Utilizando un LLM (GPT-4o mini) para clasificar la severidad, los autores encontraron que las alucinaciones suelen ser binarias: o bien son rellenos benignos (menores) o interrupciones semánticas mayores (severas), siendo los errores "moderados" menos frecuentes. Modelos como Parakeet y Crisper Whisper tendieron hacia inserciones menores, mientras que Canary y Whisper v2 exhibieron tasas más altas de errores severos.
• Desempeño de la Detección:
  • Métricas Proxy: Las métricas estándar como WER y Perplejidad mostraron una eficacia limitada (ROC-AUC ~0.60–0.72) porque las alucinaciones en HALAS son a menudo fluidas y concisas. Las métricas semánticas (BERTScore, SeMaScore) y la Tasa de Error de Caracteres (CER) funcionaron mejor, alcanzando un ROC-AUC de aproximadamente 0.81.
  • Métodos SOTA: Al evaluar los métodos de detección, los clasificadores de incrustación de decodificador (DE) sin referencia superaron a los métodos basados en LLM con referencia. El mejor detector (un clasificador DE de múltiples capas utilizando las capas 2, 13 y 23) logró una puntuación F1 de 56.1% en el conjunto de prueba de HALAS. En contraste, los LLM (GPT-4o mini, Gemini 2.0 Flash) alcanzaron puntuaciones F1 alrededor del 41%, sufriendo a menudo de baja precisión o bajo recall.
  • Generalización: Los detectores entrenados en HALAS demostraron la capacidad de generalizarse a través de diferentes arquitecturas ASR (regímenes de entrenamiento OWN frente a OTHER) y funcionaron incluso mejor en datos fuera de dominio de no-habla, lo que sugiere que HALAS captura patrones de error fundamentales.

Significado
El artículo establece a HALAS como el primer benchmark riguroso y no artificial para la detección y mitigación de alucinaciones en ASR. Los autores argumentan que el problema de detectar alucinaciones en el habla natural es significativamente más desafiante de lo demostrado anteriormente en conjuntos de datos artificiales, como lo evidencia el desempeño modesto de los métodos de detección actuales de última generación (F1 ~53–56%). El conjunto de datos permite el desarrollo de detectores que pueden identificar alucinaciones sin depender de un texto de referencia (ground-truth), una capacidad crítica para el despliegue en el mundo real donde las transcripciones de referencia no están disponibles.