Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
Este artículo cuantifica la significativa sobrecarga de tokenización que enfrentan el ucraniano y otras lenguas cirílicas en los sistemas de IA modernos en comparación con el inglés, demostrando que esta disparidad surge de la asignación de datos de entrenamiento, pero puede mitigarse eficazmente mediante técnicas de compresión en el tiempo de inferencia o entrenando tokenizadores BPE de nivel de bytes equilibrados.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cuando una computadora lee una oración, no ve palabras de la misma manera que un humano. En su lugar, descompone el texto en pequeños fragmentos llamados tokens, que son las unidades básicas que la máquina utiliza para comprender el significado y calcular costos. Para los idiomas escritos con el alfabeto latino, como el inglés, estos fragmentos suelen ser eficientes porque las letras en sí mismas ocupan muy poco espacio en la memoria de la computadora. Sin embargo, para los idiomas escritos con el alfabeto cirílico, como el ucraniano, la situación es diferente. Los caracteres utilizados en estos alfabetos requieren más espacio digital para almacenarse y, debido a que la mayor parte de los datos utilizados para entrenar la inteligencia artificial están en inglés, la computadora ha aprendido a manejar el texto en inglés de manera muy eficiente mientras tiene dificultades con el cirílico. Esto crea un impuesto oculto: para procesar la misma cantidad de información, una computadora podría necesitar descomponer una oración ucraniana en casi el doble de piezas que una en inglés, haciendo que el proceso sea más lento y costoso.
Un estudio reciente del investigador independiente Ivan Dobrovolskyi investiga esta disparidad, centrándose específicamente en el ucraniano pero extrayendo conclusiones que se aplican a muchos otros idiomas que utilizan el alfabeto cirílico. La investigación plantea una pregunta simple pero crítica: ¿por qué la computadora tiene tantas dificultades con estos idiomas y podemos solucionarlo sin esperar a una revisión completa de la tecnología? El estudio sugiere que el problema no es solo la forma de las letras o cuánto espacio ocupan, sino más bien cómo se le enseñó a la computadora a leerlas. Al analizar cómo diferentes sistemas modernos descomponen el texto, el investigador descubrió que el desequilibrio proviene de los propios datos de entrenamiento. La computadora ha visto mucho más texto en inglés que en ucraniano, por lo que ha aprendido menos atajos para el idioma ucraniano.
Para medir la escala del problema, el investigador probó nueve sistemas comerciales diferentes utilizados por grandes empresas tecnológicas. Alimentaron estos sistemas con millones de palabras de texto ucraniano y compararon cuántas piezas creó cada sistema frente a cuántas piezas se crearon para el inglés. Los resultados mostraron una brecha significativa. En los sistemas más modernos, el texto ucraniano requirió entre un 68 y un 121 por ciento más de piezas que el texto en inglés. En los sistemas más antiguos, la brecha fue aún mayor, alcanzando un 220 por ciento más de piezas. Esto significa que por cada dólar gastado en procesar texto en inglés, un usuario podría gastar casi el doble para procesar la misma cantidad de texto en uciano, simplemente porque la computadora tiene que trabajar más para descomponer las palabras.
El estudio también analizó si cambiar al alfabeto latino, un proceso conocido como romanización, resolvería el problema. Algunos han sugerido que escribir el ucraniano con letras latinas haría que fuera más barato y rápido de leer para las computadoras. Sin embargo, la investigación encontró lo contrario para los sistemas modernos. Debido a que estos sistemas ya han aprendido formas eficientes de manejar las letras cirílicas nativas que se encuentran en la web ucraniana, forzar el texto a letras latinas en realidad confundió a la computadora. Esto causó que el texto se descompusiera en aún más piezas, aumentando el costo hasta en un 19 por ciento en algunos sistemas. La computadora funciona mejor con el alfabeto que ha visto con más frecuencia en sus datos de entrenamiento, y para el ucraniano, ese es el alfabeto cirílico nativo.
Para entender si el problema podía solucionarse desde la fuente, el investigador creó un nuevo sistema personalizado diseñado para tratar al inglés y al ucraniano por igual. En lugar de dejar que la computadora aprendiera de la vasta internet, predominantemente angloparlante, este nuevo sistema fue entrenado con una mezcla perfectamente equilibrada de texto en inglés y ucraniano. Los resultados fueron sorprendentes. Cuando se utilizó este sistema equilibrado, la brecha de eficiencia se redujo drásticamente. El texto ucraniano ya no requería el doble de piezas; en cambio, requería solo un 30 por ciento más de piezas que el texto en inglés. Esto demuestra que el alto costo no es un límite físico inevitable de las letras en sí mismas, sino un resultado de cómo fue entrenada la computadora. Si los datos de entrenamiento están equilibrados, la computadora aprende a ser eficiente para ambos idiomas.
La investigación también exploró una forma de reducir los costos sin cambiar el entrenamiento de la computadora. Mediante el uso de una técnica que elimina inteligentemente las palabras innecesarias del texto antes de que la computadora lo lea, los investigadores pudieron reducir la cantidad de texto ucraniano en casi la mitad. Crucialmente, esta compresión no afectó la capacidad de la computadora para encontrar las respuestas correctas en una prueba que involucraba miles de productos reales y preguntas de clientes. El sistema aún recuperaba los precios, calificaciones y detalles correctos con la misma precisión que lo hacía con el texto completo y sin comprimir. Esto sugiere que, si bien el desequilibrio en el entrenamiento es un problema de raíz profunda, existen formas prácticas de reducir los costos ahora mismo mientras la tecnología se pone al día.
En última instancia, el estudio revela que la ineficiencia en la lectura de los idiomas cirílicos es un problema de asignación de datos que tiene solución, no un defecto inherente de los alfabetos. La computadora no está rota; simplemente está sesgada hacia los datos que ha visto más. Al ajustar los datos de entrenamiento para incluir más de estos idiomas subrepresentados, o al utilizar herramientas de compresión inteligentes, la brecha digital en costo y velocidad puede reducirse. Los hallazgos ofrecen un camino claro hacia adelante para hacer que la inteligencia artificial sea más equitativa, asegurando que los beneficios de estas poderosas herramientas no estén limitados a quienes escriben en los alfabetos más comunes.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.