Resumen Técnico: WER Normalizado por Escritura (SN-WER) para la Evaluación de ASR Multiescritura en Lenguas Indias

1. Declaración del Problema

La Tasa de Error de Palabra (WER) es la métrica estándar para evaluar los sistemas de Reconocimiento Automático de Voz (ASR). Sin embargo, en entornos multilingües —particularmente para las lenguas indias— el WER puede sobreestimar significativamente los errores cuando las transcripciones de referencia están en escrituras nativas (p. ej., Devanagari, bengalí, tamil) mientras que las hipótesis del modelo se emiten en texto romanizado.

Las prácticas de evaluación actuales tratan estas diferencias de escritura como sustituciones léxicas, inflando artificialmente las tasas de error y complicando las comparaciones entre modelos multilingües. Trabajos previos han demostrado que las elecciones de normalización y las variaciones ortográficas alteran sustancialmente las tasas de error reportadas, pero métricas existentes como WERd (para el árabe dialectal) o CER permisivo (para el japonés) abordan variantes de ortografía o inconsistencias a nivel de carácter en lugar de la canonicalización trans-escritural en entornos monolingües y multiescritura.

2. Metodología: WER Normalizado por Escritura (SN-WER)

Los autores proponen SN-WER, un método de puntuación sin entrenamiento y exclusivo de la evaluación, diseñado para aislar las penalizaciones por desajuste de escritura de los errores genuinos de reconocimiento léxico.

Principio Central

El SN-WER calcula el WER tras transliterar tanto los tokens de la referencia ($R$) como los de la hipótesis ($H$) a una escritura canónica específica del lenguaje ($C$) antes de la alineación.
$$SN\text{-}WER(R, H) = WER(T(R), T(H))$$
Donde $T(\cdot)$ es un mapa de transliteración determinista que preserva los límites.

Detalles de Implementación

• Escritura Canónica: Se utiliza la escritura de referencia del benchmark (escritura nativa) como la forma canónica objetivo.
• Transliteración: Los tokens romanizados se detectan mediante heurísticas de bloques Unicode y se transliteran a la escritura nativa utilizando librerías estándar (ICU, estilo IAST, estilo ITRANS).
• Normalización: Se aplican normalizaciones estándar de Unicode, puntuación y dígitos.
• Restricciones: El método asume que el mapa de transliteración es determinista y preserva los límites de los tokens. No pretende ser un reemplazo del WER/CER estándar, sino que sirve como un compañero de diagnóstico.

Propiedades Diagnósticas

Los autores definen tres propiedades para el SN-WER:

1. Identidad: Si la referencia y la hipótesis comparten la misma escritura, $SN\text{-}WER \approx WER$.
2. Conservadurismo: Bajo condiciones ideales, $SN\text{-}WER \le WER$, ya que los desajustes de solo escritura se eliminan sin aumentar la distancia de edición. Los autores delimitan empíricamente las desviaciones causadas por colisiones de transliteración o división de tokens.
3. Sensibilidad Léxica: El SN-WER no debe reducir los errores causados por palabras incorrectas, eliminaciones, inserciones o cambios en el orden de las palabras.

3. Configuración Experimental

La evaluación se llevó a cabo en:

• Lenguas: 5 lenguas indias (hindi, bengalí, tamil, odia y guyaratí) y 2 lenguas adicionales (árabe y urdu) para validación trans-escritural.
• Conjuntos de Datos: Curados (FLEURS) y con Ruido (Common Voice v17).
• Modelos: Whisper-large-v3, Whisper-small y MMS de Meta.
• Controles: Se realizaron pruebas de estrés que involucran la inyección de romanización artificial (0–50% de reemplazo de tokens) y corrupción léxica (20–30% de sustitución de tokens) para validar la robustez.

4. Resultados Clave

4.1 Reducción de Brechas Infladas

• Datos Curados (FLEURS): El SN-WER redujo las brechas infladas de los modelos hasta en un 12% (p. ej., en guyaratí). Para el odia en Common Voice, la reducción fue incluso mayor (26%), lo que sugiere componentes significativos de desajuste de escritura en el WER base.
• Datos con Ruido (Common Voice): Las reducciones fueron menores o inconsistentes (p. ej., -4.3% para Whisper-large), lo que indica que las condiciones ruidosas contienen errores de reconocimiento genuinos que el SN-WER preserva correctamente.

4.2 Robustez y Estabilidad

• Invarianza del Transliterador: La comparación de los mapeos IAST, ITRANS e ICU arrojó diferencias insignificantes ($\Delta < 0.002$).
• Tasas de Colisión: Las tasas de colisión de transliteración (tokens distintos que mapean a formas idénticas) se mantuvieron por debajo del 0.1%.
• Estabilidad de la Normalización: Las ablaciones sobre la normalización de dígitos y puntuación desplazaron el SN-WER en un máximo de $\Delta < 0.05$.

4.3 Pruebas de Estrés y Sensibilidad

• Desajuste de Escritura Artificial: Cuando el 50% de los tokens de la hipótesis fueron artificialmente romanizados, el WER se infló en $\Delta = 0.234$, mientras que el SN-WER aumentó solo en $\Delta = 0.158$. Esto representa una atenuación del 67% de la inflación impulsada por la escritura.
• Corrupción Léxica: Cuando el 20–30% de los tokens fueron corrompidos léxicamente (sin cambio de escritura), el SN-WER siguió al WER de forma casi idéntica ($\Delta SN / \Delta WER \approx 1.09$), confirmando que no enmascara errores de reconocimiento genuinos.
• Chequeos Adversarios: El desorden o la sustitución aleatoria de tokens resultó en puntuaciones de SN-WER cercanas a 1.0, confirmando la sensibilidad a los errores de orden de palabras y léxicos.

4.4 Extensión Trans-escritural

En árabe y urdu, el SN-WER mostró reducciones moderadas (4.9–9.0%), validando la aplicabilidad del enfoque más allá de las escrituras indias cuando se respetan las convenciones ortográficas.

5. Significación y Reivindicaciones

El artículo posiciona al SN-WER no como un reemplazo del WER/CER, sino como una puntuación compañera esencial para contextos de evaluación específicos:

• Utilidad Diagnóstica: Cuantifica qué parte del error medido es atribuible al desajuste de escritura frente al fallo léxico.
• Relevancia para el Consumidor Final (Downstream): El SN-WER es particularmente valioso cuando la escritura de salida es ortogonal a la tarea posterior, como en la búsqueda de palabras clave, indexación, recuperación, clasificación de intención o procesos de LLM multilingües donde el contenido semántico importa más que la ortografía.
• Limitaciones de Usuario: Para aplicaciones donde la elección de la escritura es parte de la calidad de la salida (p. ej., subtítulos, herramientas educativas), el WER/CER estándar sigue siendo necesario, y el SN-WER debe reportarse junto con él.

Los autores concluyen que el SN-WER proporciona un método riguroso y sin entrenamiento para desenredar el sesgo de la escritura del rendimiento del modelo, ofreciendo una base más precisa para comparar modelos de ASR en entornos multiescritura de la India.