Resumen Técnico: El Impuesto del Tokenizador en 24 Lenguas Europeas

Declaración del Problema

Los tokenizadores imponen un costo económico y técnico oculto al Procesamiento del Lenguaje Natural (PLN) no inglés, particularmente para lenguas morfológicamente ricas. Este "impuesto del tokenizador" surge de la fertilidad—el número de subtokens generados por palabra. Mientras que el texto en inglés se tokeniza eficientemente (aprox. 1.2 tokens/palabra), las lenguas con morfología compleja o subrepresentadas en los datos de pre-entrenamiento pueden incurrir en costos 2.5 veces superiores. Estudios previos (Petrov et al., 2023; Ahia et al., 2023) documentaron estas disparidades pero se basaron en fuentes de texto heterogéneas, lo que dificultaba aislar la contribución del tokenizador de la variación del contenido. Además, la "penalización ucraniana" específica en relación con las lenguas eslavas cognadas y la consistencia interlingüística de los efectos del aprendizaje con pocos ejemplos (few-shot) permanecieron sin cuantificar en un entorno controlado.

Metodología

El estudio emplea un diseño experimental controlado interlingüístico para medir la fertilidad y los efectos posteriores en diez modelos base y 25 lenguas europeas.

• Modelos: Se evaluaron diez modelos, incluidos siete accedidos vía AWS Bedrock (Llama 4 Maverick, Llama 3.3 70B, Mistral Large 3, Nemotron Super 3, Nova Pro, Qwen3 32B, Qwen3 235B) y tres medidos localmente utilizando tokenizadores públicos (GPT-4o, Gemma 2 27B, DeepSeek V3).
• Conjuntos de Datos:
  • Medición de Fertilidad: Texto paralelo SIB-200 (25 lenguas de la UE + ucraniano) y Wikipedia en ucraniano (registro enciclopédico). Los textos se concatenaron en bloques de ~6,000 caracteres para minimizar la sobrecarga del prompt del sistema.
  • Clasificación: Clasificación de temas SIB-200 (7 clases) en cuatro lenguas eslavas (ucraniano, polaco, ruso, checo).
  • Competencia Lingüística: Puntuación ULP (347 preguntas de opción múltiple sobre gramática ucraniana).
• Diseño Experimental:
  1. Invariancia de Dominio: Medición de la fertilidad en registros legales, de noticias y enciclopédicos para probar la estabilidad del ranking.
  2. Mapeo Interlingüístico: Cálculo de la fertilidad media para 25 lenguas para establecer una jerarquía.
  3. Análisis de Subpalabras: Descomposición de términos legales ucranianos específicos para analizar la preservación de los límites morfológicos.
  4. Evaluación con Pocos Ejemplos: Comparación de la precisión en cero ejemplos (zero-shot) frente a pocos ejemplos (few-shot) en SIB-200 para determinar si los deltas de rendimiento dependen del lenguaje o son intrínsecos al modelo.
  5. Correlación de Competencia: Correlación de las tasas de fertilidad con la precisión gramatical en la puntuación ULP.

Contribuciones Clave

1. Mapa de Fertilidad Interlingüística Controlado: La primera medición de la fertilidad del tokenizador en 25 lenguas europeas utilizando texto paralelo, aislando el comportamiento del tokenizador de la variación del contenido.
2. Validación de Invariancia de Dominio: Demostración de que los rankings de fertilidad son estables en registros legales, de noticias y enciclopédicos ($\rho > 0.97$), lo que implica que una sola medición es suficiente para predecir costos en todos los dominios.
3. Análisis Mecanístico de Subpalabras: Identificación de que los tokenizadores de alta fertilidad fragmentan los límites morfológicos en niveles arbitrarios de bytes en lugar de preservar los morfemas, explicando las brechas de rendimiento.
4. Efectos Intrínsecos del Modelo en Aprendizaje con Pocos Ejemplos: Evidencia de que los efectos del aprendizaje con pocos ejemplos (mejora o degradación) son consistentes entre diferentes lenguas eslavas para un modelo dado, indicando que el efecto es impulsado por la arquitectura del modelo y no por las propiedades del lenguaje de entrada.
5. Cuantificación de la Penalización Ucraniana: Cuantificación específica del costo de tokens un 15–18% más alto para el ucraniano en comparación con lenguas eslavas cognadas (polaco, checo), atribuido a la subrepresentación en los datos de pre-entrenamiento.

Resultados

1. La Jerarquía del Impuesto del Tokenizador

La fertilidad abarca un rango de 2.5× en las lenguas europeas:

• Más Eficiente: Inglés (1.23 tokens/palabra).
• Romance: 1.5–1.7.
• Germánico: 1.7–1.9.
• Eslavo: 2.2–2.5.
• Urálico/Báltico: 2.7–3.0.
• Más Costoso: Griego y maltés (~3.1).

La Penalización Ucraniana: El ucraniano promedia 2.66 tokens/palabra, pagando un 15–18% más que el polaco (2.25) y el checo (2.28). Esta brecha persiste a pesar de una complejidad morfológica similar. El análisis de corpus revela que el ucraniano tiene 2–6× menos datos de pre-entrenamiento que el polaco en corpus principales (mC4, OSCAR, CulturaX), lo que conduce a menos fusiones de subpalabras optimizadas.

2. Variación del Modelo y Fragmentación de Subpalabras

El diseño del modelo impacta significativamente la fertilidad. Por ejemplo, en griego, la fertilidad varía de 2.29 (Llama 4 Maverick) a 5.73 (Qwen3).

• Tokenizadores Eficientes (ej. Gemma 2, Llama 3.3): Preservan los límites de morfemas (ej. dividiendo вiдповiдальнiсть en 3–4 tokens).
• Tokenizadores Ineficientes (ej. Qwen3, DeepSeek): Fragmentan palabras en límites de bytes (dividiendo la misma palabra en 8–9 tokens), a pesar de tener tamaños de vocabulario comparables o mayores.

3. Invariancia de Dominio

Los rankings de fertilidad se preservan perfectamente ($\rho = 1.0$) en textos de noticias, legales y enciclopédicos. Si bien los conteos absolutos de tokens varían ligeramente por dominio (el texto enciclopédico es generalmente el más costoso debido a la diversidad de vocabulario), el orden de costos relativos de los modelos permanece constante.

4. Efectos Interlingüísticos con Pocos Ejemplos

El impacto del prompting con pocos ejemplos es intrínseco al modelo, no dependiente del lenguaje:

• Nemotron Super 3: Mejoró el rendimiento en las cuatro lenguas eslavas (promedio +10.5 pp).
• Llama 4 Maverick: Degradó el rendimiento en las cuatro lenguas eslavas (promedio -8.4 pp), con un colapso significativo de clases hacia categorías dominantes (ej. ciencia, política).
• Esta consistencia entre escrituras cirílicas y latinas sugiere que el efecto está determinado por cómo el mecanismo de atención de un modelo procesa el contenido de demostración, y no por la morfología del lenguaje de entrada.

5. Competencia Lingüística

La correlación entre baja fertilidad y alta precisión gramatical (puntuación ULP) es débil ($\rho = -0.43$) y no estadísticamente significativa ($p=0.34$). Si bien Llama 4 Maverick (menor fertilidad) logró la mayor precisión (57.3%), valores atípicos como Nemotron (fertilidad moderada, menor precisión) indican que la arquitectura y la composición de los datos de entrenamiento son predictores más fuertes de competencia que la eficiencia de tokenización por sí sola.

Significado y Afirmaciones

El artículo afirma proporcionar el primer mapa controlado e invariante de dominio del "impuesto del tokenizador" en Europa. Su significado principal radica en:

1. Impacto Económico: Establecer que procesar contenido ucraniano cuesta 2.2× más que el inglés puramente debido al diseño del tokenizador, un costo que se compounding en llamadas a API.
2. Cambio Metodológico: Demostrar que la fertilidad es una propiedad estable del vocabulario del tokenizador, permitiendo a los practicantes medir el costo una vez y predecirlo en todos los dominios de aplicación.
3. Representación de Datos: Destacar que la "penalización ucraniana" no es solo una característica lingüística, sino una consecuencia directa de la subrepresentación en los corpus de pre-entrenamiento, lo que resulta en vocabularios de subpalabras subóptimos.
4. Guía Práctica: Recomendar que los practicantes prioricen enfoques de cero ejemplos (zero-shot) para lenguas morfológicamente ricas (ya que los efectos con pocos ejemplos son impredecibles y específicos del modelo) y presupuesten el impuesto de tokens específico de su lengua objetivo.

Los autores publican todas las mediciones de fertilidad y datos de descomposición de subpalabras como un conjunto de datos público para permitir la selección de modelos y políticas de enrutamiento conscientes de los costos.