Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models

Resumen Técnico: Equidad con Eficiencia: Un Estudio Empírico de Tokenizadores para Modelos de Lenguaje Multilingües de Gran Escala

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) multilingües dependen de la tokenización de subpalabras para convertir texto discreto en representaciones neuronales continuas. Sin embargo, los modelos de vanguardia utilizan predominantemente el BPE a nivel de bytes (Byte-level BPE), una estrategia que favorece estructuralmente a los idiomas de altos recursos y a los alfabetos latinos. Este sesgo surge porque los caracteres latinos se codifican como un solo byte, mientras que los caracteres no latinos a menudo requieren múltiples bytes. En consecuencia, para los hablantes de lenguas subrepresentadas, particularmente en el Sudeste Asiático (SEA), esta disparidad infla los costos de inferencia, degrada el razonamiento de contexto largo y amplía las brechas de capacidad translingüística. Aunque se han propuesto varios métodos de tokenización equitativos —como el BPE consciente de la paridad (Parity-aware BPE), la Codificación de Bytes Impulsada por la Morfología (MYTE) y el Transformador de Bytes Latentes (BLT)—, estos no han sido comparados sistemáticamente bajo condiciones experimentales uniformes para determinar su eficacia relativa en el equilibrio entre eficiencia y equidad.

Metodología
Este estudio presenta la primera comparación sistemática de tokenizadores equitativos a través de un benchmark unificado que abarca 11 idiomas del sudeste asiático: inglés, birmano, chino, indonesio, jemer, lao, malayo, tagalo, tamil, tailandés y vietnamita.

• Tokenizadores Evaluados: El estudio compara un BPE base a nivel de bytes contra tres enfoques alternativos:
  • BPE consciente de la paridad (PA BPE): Optimiza las frecuencias de fusión para mejorar la tasa de compresión en el peor de los casos entre idiomas.
  • Codificación de Bytes Impulsada por la Morfología (MYTE): Reemplaza los códigos de bytes basados en caracteres por códigos basados en morfemas para lograr una cobertura morfológica equilibrada.
  • Transformador de Bytes Latentes (BLT): Opera directamente sobre parches de bytes dinámicos sin un vocabulario fijo, utilizando un modelo de entropía para la segmentación.
• Diseño Experimental: Para garantizar la imparcialidad y la reproducibilidad, todos los tokenizadores fueron entrenados en el mismo conjunto de datos (1 millón de oraciones de mC4). Posteriormente, se entrenaron modelos de lenguaje de decodificador único de 1.5B de parámetros desde cero utilizando estos tokenizadores en un conjunto de datos controlado de 100 millones de oraciones de FineWeb2. Los tamaños de vocabulario se igualaron donde fue posible (45k, 90k, 135k tokens), y los costos computacionales se normalizaron a un equivalente de 8× NVIDIA H200.
• Métricas de Evaluación:
  • Intrínsecas: Paridad del tokenizador (relación de tokens por oración respecto al inglés), coeficiente de Gini (distribución de los costos de tokenización) y tasa de compresión.
  • Extrínsecas: Rendimiento en tareas downstream en clasificación de inglés (PIQA, HellaSwag, Arc-C), clasificación multilingüe (XNLI, XCOPA, XStoryCloze) y traducción automática (puntuaciones BLEU y chrF) a través de los 10 idiomas no ingleses del sudeste asiático.

Resultados Clave

• Intercambio entre Eficiencia y Equidad: El BPE consciente de la paridad se sitúa en la frontera de Pareto del espacio eficiencia-equidad. Logra el coeficiente de Gini más bajo (indicando alta equidad) manteniendo tasas de compresión competitivas comparables al BPE estándar a nivel de bytes.
• Rendimiento en Tareas Downstream:
  • Tareas en Inglés: El BPE estándar a nivel de bytes logró las puntuaciones más altas en los benchmarks de clasificación en inglés, con ventajas estadísticamente significativas sobre las alternativas en la mayoría de los casos.
  • Tareas Multilingües: El rendimiento dependió de la tarea. MYTE superó significativamente a otros tokenizadores en XNLI (inferencia de lenguaje natural), aprovechando sus representaciones morfológicamente más ricas para el razonamiento semántico. Sin embargo, el BPE a nivel de bytes funcionó mejor en XCOPA y XStoryCloze, lo que sugiere que sus beneficios de eficiencia favorecen a las tareas que requieren razonamiento causal y narrativo.
  • Traducción Automática: MYTE logró las puntuaciones BLEU más altas en ambas direcciones de traducción (EN→XX y XX→EN), beneficiándose de una generación más fina de formas de la lengua objetivo morfológicamente complejas.
• Rendimiento de BLT: A pesar de su novedad arquitectónica, BLT tuvo un rendimiento inferior en las tareas downstream. Los autores atribuyen esto a que el modelo de entropía presenta un desalineamiento con las restricciones de los datos de entrenamiento de bajos recursos limitados, resultando en una baja equidad y una alta paridad de tokens.
• Efectos de Escalamiento: Aumentar el tamaño del vocabulario mejoró la eficiencia para el BPE a nivel de bytes, pero exacerbó la inequidad para el PA BPE, ya que el inglés adquirió más fusiones que otros idiomas. MYTE se mantuvo relativamente insensible al escalamiento del vocabulario dentro del rango probado.

Significancia y Reivindicaciones
El artículo sostiene que la equidad translingüística y la eficiencia de la tokenización no son fundamentalmente opuestas. Los hallazgos ofrecen orientación práctica para diseñar modelos multilingües equitativos:

1. El BPE consciente de la paridad se recomienda como un estándar responsable para modelos multilingües dirigidos a los idiomas del sudeste asiático debido a su posición favorable en el espacio eficiencia-equidad y su sólido rendimiento downstream, siempre que haya datos paralelos disponibles para el entrenamiento.
2. MYTE es preferible cuando la morfología y la calidad de la traducción son críticas, asumiendo que el presupuesto computacional puede acomodar su mayor carga de entrenamiento y menor eficiencia de compresión.
3. La Elección del Tokenizador como Determinante: El estudio establece que la elección del tokenizador es el factor principal que afecta la paridad de la tokenización, explicando la mayor parte de la varianza en los costos de inferencia entre idiomas. Esta elección impacta directamente en la accesibilidad económica de los modelos multilingües para las comunidades de lenguas subrepresentadas, ya que las API con precios basados en tokens imponen costos desiguales según el tipo de script cuando se utilizan tokenizadores sesgados.

Los autores concluyen que la tokenización equitativa tiene consecuencias directas y cuantificables para los cientos de millones de hablantes en el sudeste asiático, y que abordar el sesgo de la tokenización es un camino viable hacia sistemas de IA más inclusivos.