What Counts as an Error? Dual-Reference Benchmarking for Atypical ASR

Resumen Técnico: Benchmarking de Referencia Dual para ASR Atípico

Planteamiento del Problema
Los sistemas actuales de Reconocimiento Automático del Habla (ASR) presentan un bajo rendimiento frecuente en el habla atípica, particularmente en el habla con tartamudez. Un problema crítico, a menudo pasado por alto, en la evaluación de estos sistemas es la confusión de dos referencias de transcripción distintas y válidas: verbatim (que captura el habla producida realmente, incluyendo repeticiones y prolongaciones) e intended (la forma canónica con las disfluencias eliminadas). La mayoría de las evaluaciones existentes se basan únicamente en transcripciones intended, lo que recompensa implícitamente a los modelos que eliminan las disfluencias y penaliza a aquellos que las preservan. Este enfoque de una sola referencia oscurece las capacidades de los modelos, crea clasificaciones engañosas y no aborda las necesidades específicas de diversos grupos de interés, como los especialistas en patología del habla que requieren fidelidad verbatim para la evaluación clínica, frente a los usuarios de asistentes de voz que priorizan la intención semántica.

Metodología
Los autores evaluaron 11 modelos de ASR que representan tres familias arquitectónicas principales: Autorregresiva (Seq2Seq), Transductor y CTC (Clasificación Temporal Conexionista). La evaluación utilizó el conjunto de datos FluencyBank Timestamped, que contiene transcripciones tanto verbatim como intended para el habla con tartamudez. Para analizar más a fondo el rendimiento en relación con fenómenos de tartamudez específicos, los autores alinearon estos segmentos de audio con anotaciones CASA (Eventos Clínicos de Tartamudez), categorizando los eventos en tipos como Repetición de Sílaba (SR), Repetición de Sílaba Incompleta (ISR), Repetición de Unidad Multisilábica (MUR), Prolongación (P) y Bloqueo (B).

El estudio empleó un marco de evaluación de referencia dual:

1. WER de Habla Intended (isWER): Medido contra transcripciones intended para evaluar la precisión semántica.
2. WER de Habla Verbatim (vWER): Medido contra transcripciones verbatim para evaluar la fidelidad acústica.
3. Métricas Semánticas: Se utilizaron SeMaScore y BERTScore junto con la Tasa de Error de Palabras (WER) para evaluar los matices del reconocimiento del habla intended.

Crucialmente, los autores evaluaron todos los modelos "tal cual" utilizando configuraciones de código abierto por defecto sin ajuste fino (fine-tuning) para asegurar la reproducibilidad y aislar el impacto del diseño arquitectónico en el estilo de transcripción.

Resultos Clave
El estudio reveló una inestabilidad significativa en las clasificaciones de los modelos dependiendo de la referencia elegida, desafiando la noción de un único "mejor" modelo de ASR para el habla atípica:

• Especialización Arquitectónica: Existe un compromiso claro entre las familias de modelos. Los modelos autorregresivos de secuencia a secuencia (por ejemplo, NVIDIA Canary-1B-v2, Whisper Large-v3) funcionaron consistentemente mejor en la transcripción intended, probablemente debido a su capacidad para normalizar regiones acústicas inciertas mediante el uso del contexto lingüístico. Por el contrario, los modelos basados en CTC (por ejemplo, NVIDIA CTC) destacaron en la transcripción verbatim, ya que su dependencia de la evidencia acústica local les permite preservar las disfluencias con mayor fidelidad.
• Volatilidad de Clasificación: El modelo mejor clasificado para el habla intended (NVIDIA Canary-1B-v2, isWER 13.85) ocupó solo el 5.º lugar para el habla verbatim, mientras que el mejor modelo verbatim (NVIDIA CTC, vWER 17.20) ocupó el 5.º lugar para el habla intended.
• Errores Específicos de Eventos: El rendimiento varió significamente según el tipo de evento de tartamudez. Las Prolongaciones (P) fueron los eventos más fáciles de manejar para los modelos en ambos contextos. Sin embargo, las Repeticiones de Sílaba Incompleta (ISR) y las Repeticiones de Unidad Multisilábica (MUR) resultaron ser las más difíciles. Para tareas intended, los modelos tuvieron dificultades para eliminar fragmentos disfluentes; para tareas verbatim, tuvieron dificultades para preservar con precisión los segmentos repetidos.
• Limitaciones de las Métricas: Los autores encontraron que el WER estándar es excesivamente estricto para el habla intended (penalizando variantes de formato como "20" frente a "veinte"), mientras que las métricas semánticas como SeMaScore y BERTScore tienen puntos ciegos, asignando a veces puntuaciones de similitud altas a errores que rompen el significado (por ejemplo, "bully" frente a "bullet").

Significancia y Reivindicaciones
El artículo argumenta que la definición de "exactitud" en el ASR atípico depende inherentmente del caso de uso posterior. Al confundir las referencias verbatim e intended, las prácticas de investigación actuales corren el riesgo de "codificar de forma rígida" decisiones normativas sobre cómo debe representarse el habla con tartamudez, lo que podría ocultar sesgos sistémicos.

Los autores afirman que:

1. El Benchmarking de Referencia Dual es Esencial: Una única verdad de campo es insuficiente para el habla atípica. La selección de modelos válida requiere evaluar el rendimiento tanto contra referencias verbatim como intended para comprender las fortalezas y modos de falla específicos de un sistema.
2. La Arquitectura Dicta el Estilo de Salida: La elección del paradigma de modelado (Autorregresivo vs. CTC) sesga sistemáticamente la salida hacia la normalización semántica o la preservación acústica.
3. Transparencia en el Reporte: La investigación futura debe declarar explícitamente qué referencia de transcripción se está optimizando. Para aplicaciones clínicas y diagnósticas, se deben reportar las referencias verbatim y el vWER; para dictado y control de comandos, son apropiados las referencias intended e isWER (suplementadas con métricas semánticas).

El trabajo concluye que construir tecnología de voz inclusiva requiere reconocer que el habla atípica mapea legítimamente a múltiples salidas textuales, y que las métricas de evaluación deben reflejar esta dualidad en lugar de forzar un estándar único y potencialmente engañoso.