HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics

A continuación se presenta un resumen técnico detallado del artículo "HATS: Un conjunto de datos abierto que integra la percepción humana aplicado a la evaluación de métricas de reconocimiento automático del habla".

1. Planteamiento del Problema

Los sistemas de Reconocimiento Automático del Habla (ASR) se evalúan tradicionalmente utilizando la Tasa de Error de Palabras (WER) y la Tasa de Error de Caracteres (CER). Estas métricas cuentan el número de palabras o caracteres incorrectos en relación con una transcripción de referencia. Sin embargo, los autores argumentan que estas métricas son insuficientes porque:

• Son orientadas al sistema en lugar de orientadas al ser humano.
• Carecen de comprensión semántica (por ejemplo, sustituir "gato" por "perro" se penaliza igual que "gato" por "coche", aunque la primera podría ser más comprensible).
• No tienen en cuenta el hecho de que los humanos a menudo pueden extraer el significado de una oración a pesar de los errores de transcripción, siempre que los errores no sean fundamentales.

Existe una necesidad de métricas de evaluación que se correlacionen más estrechamente con la percepción humana de la calidad de la transcripción, particularmente para transcripciones destinadas al consumo humano (por ejemplo, subtítulos, mensajes).

2. Metodología

El Conjunto de Datos HATS

La contribución central es la creación de HATS (Transcripción Evaluada por Humanos Lado a Lado), un nuevo conjunto de datos abierto para el idioma francés.

• Fuente: Las transcripciones se generaron a partir del corpus de prueba REPERE (aproximadamente 10 horas de audio de emisiones de radio/televisión) utilizando 10 sistemas ASR diferentes (8 sistemas de extremo a extremo basados en Speechbrain/wav2vec2/XLS-R, y 2 sistemas DNN-HMM basados en Kaldi).
• Protocolo de Anotación:
  • Tarea: Un experimento "lado a lado" donde 143 participantes humanos se presentaron con una transcripción de referencia escrita y dos hipótesis automáticas (de diferentes sistemas ASR).
  • Restricción: Los participantes debían elegir la hipótesis "mejor". No se les permitió seleccionar "igual".
  • Selección de Estímulos: Para asegurar que la tarea fuera desafiante e informativa, los tripletes no se seleccionaron aleatoriamente. Se filtraron basándose en tres criterios:
    1. Las hipótesis deben diferir entre sí y de la referencia.
    2. Las hipótesis de todos los sistemas se contrastaron entre sí.
    3. Selección basada en métricas: Los pares se eligieron para crear escenarios específicos:
       • Puntajes iguales/diferentes: Las métricas coinciden o discrepan sobre la calidad.
       • Conflicto de métricas: Una métrica favorece la Hipótesis A mientras otra favorece la Hipótesis B.
       • Ambigüedad: Casos donde WER/CER son iguales pero las métricas semánticas difieren.
• Volumen de Datos: 1.000 tripletes de referencia-hipótesis, resultando en 7.150 anotaciones totales (cada triplete evaluado por al menos 7 participantes).
• Fiabilidad Inter-evaluador: El Kappa de Fleiss fue de 0,46, con el 82% de los tripletes mostrando al menos un 71,4% de acuerdo entre humanos, lo que indica que la tarea es difícil pero que los humanos pueden identificar consistentemente la mejor opción.

Métricas de Evaluación Probadas

El estudio evaluó qué tan bien diversas métricas automáticas se alinean con las elecciones humanas. Las métricas incluidas fueron:

• Lexicales: WER, CER, Tasa de Error Fonémico (PhonER).
• Semánticas/Basadas en Incrustaciones (Embeddings):
  • Tasa de Error de Incrustaciones (EmbER): WER ponderada por la distancia coseno de las incrustaciones de palabras (fastText).
  • SemDist: Similitud coseno entre incrustaciones a nivel de oración (probado con CamemBERT, FlauBERT, SentenceBERT).
  • BERTScore: Similitud a nivel de token utilizando incrustaciones contextuales (probado con BERT multilingüe, CamemBERT-base, CamemBERT-large).

Enfoque de Análisis

Los autores calcularon la tasa de acuerdo entre la predicción de la métrica (qué hipótesis es mejor) y el consenso humano.

• Definición de Consenso: El acuerdo se calculó como $\frac{\max(A, B)}{A + B}$, donde $A$ y $B$ son las cantidades de humanos que eligieron la Hipótesis A o B.
• Filtrado: Los resultados se analizaron bajo tres condiciones:
  1. 100% de Acuerdo: Solo tripletes donde todos los humanos coincidieron.
  2. 70% de Acuerdo: Tripletes con un consenso fuerte.
  3. 0% de Acuerdo (Total): Sin filtrado aplicado.

3. Resultados Clave

El rendimiento de las métricas se midió por el porcentaje de veces que coincidieron con la preferencia humana.

Tipo de Métrica	Mejor Métrica	Rendimiento (70% de Acuerdo)	Hallazgos Clave
Lexical	CER	64%	El CER superó al WER. Esto contradice algunos estudios anteriores y podría deberse a la ortografía francesa (letras mudas) o al uso de referencias de texto escrito. El WER se desempeñó cerca del azar (53%) en este conjunto de datos.
Fonémica	PhonER	69%	Se desempeñó mejor que WER y CER, lo que sugiere que los humanos consideran subconscientemente la similitud fonética incluso al leer texto.
Semántica	SemDist (Sentence CamemBERT-large)	78%	La métrica de mejor rendimiento. Superó consistentemente a las demás, probablemente porque las incrustaciones Sentence-BERT están entrenadas específicamente para maximizar la similitud semántica.
Semántica	BERTScore (CamemBERT-large)	68%	Se desempeñó bien pero ligeramente por debajo de SemDist al usar los mismos modelos de incrustación.

Observaciones Notables:

• Sensibilidad de las Incrustaciones: La elección del modelo de incrustación impacta significativamente el rendimiento de la métrica. Por ejemplo, SemDist con FlauBERT-base (59%) se desempeñó peor que CER (60%), mientras que SemDist con Sentence CamemBERT-large (78%) fue la mejor.
• Discrepancia de Métricas: En casos donde WER y CER dieron puntajes iguales, las métricas semánticas a menudo proporcionaron el diferenciador que se alineó con la elección humana.
• Percepción Humana: Los humanos parecen priorizar la coherencia semántica y el flujo fonético sobre la precisión léxica estricta, algo que las métricas léxicas no logran capturar.

4. Contribuciones Clave

1. Conjunto de Datos HATS: El lanzamiento de un conjunto de datos a gran escala, anotado manualmente, de errores de ASR en francés con etiquetas de preferencia humana. Es el primero en utilizar un protocolo lado a lado con 10 sistemas ASR diversos y criterios rigurosos de selección de estímulos.
2. Evaluación Empírica: Una referencia exhaustiva de métricas léxicas frente a semánticas contra la percepción humana en francés.
3. Perspectiva sobre ASR en Francés: El hallazgo de que el CER es un mejor proxy para la percepción humana que el WER en contextos franceses, desafiando la dominancia universal del WER.
4. Validación de Métricas Semánticas: Demostración de que SemDist (utilizando incrustaciones Sentence-BERT) es actualmente la métrica automática más fiable para predecir la preferencia humana en la evaluación de ASR.

5. Significado y Trabajo Futuro

• Significado: El estudio proporciona una hoja de ruta para mover la evaluación de ASR más allá del simple conteo de errores hacia una evaluación de calidad centrada en el ser humano. Valida que las métricas basadas en incrustaciones son necesarias para evaluar transcripciones destinadas al consumo humano.
• Limitaciones:
  • El conjunto de datos es específico del francés; los resultados podrían no generalizarse a otros idiomas.
  • Los estímulos se seleccionaron basándose en criterios estrictos, lo que potencialmente hace que el conjunto de datos sea menos representativo de errores "promedio".
  • La referencia fue texto, no audio.
• Direcciones Futuras:
  • Replicar el experimento con una referencia de audio para probar si el CER sigue siendo superior al WER cuando se eliminan las pistas visuales de texto.
  • Desarrollar nuevas métricas que equilibren la correlación humana con la eficiencia computacional y la interpretabilidad (una fortaleza actual de WER/CER).
  • Expandir el conjunto de datos a otros idiomas para probar la generalización interlingüística.

En conclusión, el artículo argumenta que, aunque WER y CER siguen siendo útiles por su bajo costo e interpretabilidad, SemDist con Sentence-BERT es la métrica superior para alinear la evaluación de ASR con la percepción humana, y el conjunto de datos HATS es un recurso crítico para desarrollar y validar métodos de evaluación futuros.