Unadapted Multilingual ASR on a Garrusi Kurdish Evaluation Set: A Common-Reference Staged Normalization Analysis

La tecnología de reconocimiento de voz ha dado pasos notables, permitiendo que las máquinas comprendan las voces humanas en muchos idiomas. Sin embargo, para los hablantes de dialectos menos documentados, esta tecnología suele chocar contra un muro. El desafío no es solo que una máquina pueda fallar al escuchar un sonido específico correctamente; a veces el problema es que la máquina y el humano están hablando "lenguajes" de escritura completamente diferentes. En el mundo del kurdo, una lengua hablada en Irán, Irak, Turquía y Siria, esta división es tajante. Algunas variedades se escriben utilizando un sistema basado en letras árabes, mientras que otras, o incluso la misma variedad en diferentes regiones, se escriben utilizando un alfabeto latino con marcas especiales para capturar sonidos únicos. Cuando una computadora entrenada en un sistema de escritura intenta leer una oración escrita en otro, a menudo falla no porque no pueda oír las palabras, sino porque no puede reconocer los símbolos. Esto crea un problema de medición: si una máquina acierta el sonido pero lo escribe en el sistema de escritura incorrecto, las pruebas estándar lo cuentan como un fallo total, ocultando el hecho de que la máquina en realidad comprendió el habla.

Este es el rompecabezas específico que Hiwa Asadpour abordó mientras estudiaba el garrusi, una variedad del kurdo hablada en Irán. Asadpour quería ver qué tan bien podía un sistema de reconocimiento de voz potente y preexistente entender a los hablantes de garrusi, a pesar de que el sistema nunca había sido entrenado para ese dialecto específico. El sistema utilizado, conocido como MMS-1B-all, fue adaptado para el kurdo central y genera texto en el alfabeto árabe. Los investigadores, sin embargo, habían recopilado grabaciones de cinco hablantes de garrusi y habían escrito las palabras correctas utilizando un alfabeto latino con marcas fonéticas. Para comparar ambos, tuvieron que cerrar la brecha entre el sistema de escritura árabe que producía la máquina y el sistema de escritura latino que ellos habían escrito. Lo hicieron creando un proceso paso a paso: primero, convirtieron la salida árabe de la máquina en letras latinas, y luego simplificaron esas letras para que coincidieran con el estilo específico del texto de referencia. Este método les permitió ver exactamente cuánto del error provenía de la diferencia en el sistema de escritura y cuánto provenía de que la máquina realmente fallara al oír las palabras.

Los resultados revelaron una realidad cruda. Cuando los investigadores compararon la salida bruta en árabe de la máquina directamente contra su referencia en latín sin ninguna conversión, el sistema pareció haber fallado por completo. Obtuvo una tasa de error de palabras de más del 111 por ciento, con cero palabras coincidentes. Esto sucedió porque los dos sistemas de escritura no comparten letras comunes; la máquina estaba hablando un lenguaje visual diferente al de los investigadores. Sin embargo, una vez que los investigadores convirtieron la salida de la máquina a letras latinas, el panorama cambió dramente. La tasa de error disminuyó significamente, mostrando que la máquina en realidad había reconocido muchos de los sonidos correctamente, pero la discrepancia del sistema de escritura había estado enmascarando este éxito. Cuando aplicaron un paso final para simplificar las diferencias de ortografía, la tasa de error cayó aún más, aunque se mantuvo alta. Incluso después de corregir los problemas del sistema de escritura, el sistema todavía acertó exactamente unas 14 por ciento de las palabras. Esto significa que, si bien el sistema de escritura fue un obstáculo masivo, la máquina todavía luchaba por entender los sonidos específicos y las estructuras de las palabras.

El estudio también probó un sistema diferente que había sido ajustado específicamente para el kurdo meridional, una categoría que algunos lingüistas creen que incluye al garrusi. Sorprendentemente, este sistema especializado funcionó peor que el sistema general de kurdo central. Produjo muchas más palabras de las que había en el texto de referencia y no logró coincidir con las palabras reales de los hablantes tan bien como lo hizo el sistema más simple. Esto sugiere que el simple hecho de entrenar un modelo en un dialecto relacionado no garantiza que funcione bien en una variedad específica y distinta como el garrusi, especialmente cuando los datos utilizados para el entrenamiento provienen de oraciones leídas y editadas en lugar de un habla natural de campo. El sistema especializado parecía sobregenerar texto, añadiendo palabras que no estaban allí, mientras que el sistema general tendía a omitir palabras.

Un hallazgo clave de este trabajo es que la forma en que medimos el éxito importa tanto como la tecnología misma. Los investigadores demostraron que las pruebas estándar pueden ser engañosas si no tienen en cuenta las diferencias en los sistemas de escritura. Al mantener constante el texto de referencia y cambiar únicamente cómo se presentaba la salida de la máquina, pudieron aislar el impacto de la conversión del sistema de escritura. Encontraron que convertir el sistema de escritura y simplificar la ortografía redujo los errores medidos por un margen amplio, demostrando que una parte significativa del "fallo" era en realidad un problema de formato. Sin embargo, una gran cantidad de error persistió incluso después de estas correcciones, indicando que la máquina todavía tiene un largo camino por recorrer para entender verdaderamente este dialecto específico. El estudio conclce que, para lenguas con múltiples sistemas de escritura o dialectos, los investigadores deben ser cuidadosos con la forma en que califican los resultados. Deben publicar el texto exacto que utilizaron para la calificación para que otros puedan verificar las cifras, y deben reconocer que una alta tasa de error puede deberse en parte a la forma en que se escribe el texto, no solo a la capacidad de la máquina para oír.

Esta investigación resalta un problema más amplio en la tecnología del habla: la brecha entre los modelos de alta tecnología y las diversas lenguas del mundo real a las que pretenden servir. Para los hablantes de garrusi, y para muchas otras comunidades con lenguas de menos recursos, el camino hacia un reconocimiento de voz preciso está bloqueado no solo por la falta de datos, sino por la complejidad de cómo se escriben y clasifican esos idiomas. El estudio no ofrece una solución perfecta, pero proporciona un mapa más claro de los obstáculos. Muestra que antes de poder afirmar que una máquina entiende un idioma, primero debemos asegurarnos de que la máquina y el humano estén hablando el mismo lenguaje visual, y que nuestras pruebas sean lo suficientemente justas para distinguir entre una máquina que no puede oír y una que simplemente escribe de manera diferente.