Resumo Técnico: O Imposto do Tokenizador em 24 Línguas Europeias

Declaração do Problema

Os tokenizadores impõem um custo econômico e técnico oculto ao Processamento de Linguagem Natural (PLN) não inglês, particularmente para línguas morfologicamente ricas. Este "imposto do tokenizador" decorre da fertilidade—o número de subpalavras geradas por palavra. Enquanto o texto em inglês é tokenizado eficientemente (aprox. 1,2 tokens/palavra), línguas com morfologia complexa ou subrepresentadas nos dados de pré-treinamento podem incorrer em custos 2,5 vezes maiores. Estudos anteriores (Petrov et al., 2023; Ahia et al., 2023) documentaram essas disparidades, mas basearam-se em fontes de texto heterogêneas, dificultando o isolamento da contribuição do tokenizador em relação à variação de conteúdo. Além disso, a específica "penalidade ucraniana" em relação a línguas eslavas cognatas e a consistência interlingual dos efeitos de aprendizado com poucos exemplos permaneceram não quantificadas em um ambiente controlado.

Metodologia

O estudo emprega um desenho experimental controlado interlingual para medir a fertilidade e os efeitos a jusante em dez modelos fundacionais e 25 línguas europeias.

• Modelos: Dez modelos foram avaliados, incluindo sete acessados via AWS Bedrock (Llama 4 Maverick, Llama 3.3 70B, Mistral Large 3, Nemotron Super 3, Nova Pro, Qwen3 32B, Qwen3 235B) e três medidos localmente usando tokenizadores públicos (GPT-4o, Gemma 2 27B, DeepSeek V3).
• Conjuntos de Dados:
  • Medição de Fertilidade: Texto paralelo SIB-200 (25 línguas da UE + ucraniano) e Wikipedia ucraniana (registro enciclopédico). Os textos foram concatenados em blocos de ~6.000 caracteres para minimizar a sobrecarga do prompt do sistema.
  • Classificação: Classificação de tópicos SIB-200 (7 classes) em quatro línguas eslavas (ucraniano, polonês, russo, tcheco).
  • Competência Linguística: Benchmark ULP (347 questões de múltipla escolha sobre gramática ucraniana).
• Desenho Experimental:
  1. Invariância de Domínio: Medida da fertilidade nos registros jurídico, jornalístico e enciclopédico para testar a estabilidade da classificação.
  2. Mapeamento Interlingual: Cálculo da fertilidade média para 25 línguas para estabelecer uma hierarquia.
  3. Análise de Subpalavras: Decomposição de termos jurídicos ucranianos específicos para analisar a preservação de limites morfológicos.
  4. Avaliação com Poucos Exemplos: Comparação da precisão zero-shot versus few-shot no SIB-200 para determinar se os deltas de desempenho dependem da língua ou são intrínsecos ao modelo.
  5. Correlação de Competência: Correlação das taxas de fertilidade com a precisão gramatical no benchmark ULP.

Principais Contribuições

1. Mapa Controlado de Fertilidade Interlingual: A primeira medição da fertilidade do tokenizador em 25 línguas europeias usando texto paralelo, isolando o comportamento do tokenizador da variação de conteúdo.
2. Validação de Invariância de Domínio: Demonstração de que as classificações de fertilidade são estáveis nos registros jurídico, jornalístico e enciclopédico ($\rho > 0,97$), implicando que uma única medição é suficiente para previsão de custos em todos os domínios.
3. Análise Mecanística de Subpalavras: Identificação de que tokenizadores de alta fertilidade fragmentam limites morfológicos em níveis arbitrários de bytes, em vez de preservar morfemas, explicando as lacunas de desempenho.
4. Efeitos Intrínsecos ao Modelo com Poucos Exemplos: Evidência de que os efeitos de aprendizado com poucos exemplos (melhoria ou degradação) são consistentes entre diferentes línguas eslavas para um dado modelo, indicando que o efeito é impulsionado pela arquitetura do modelo e não pelas propriedades da língua de entrada.
5. Quantificação da Penalidade Ucraniana: Quantificação específica do custo de tokens 15–18% maior do ucraniano em comparação com línguas eslavas cognatas (polonês, tcheco), atribuído à subrepresentação nos dados de pré-treinamento.

Resultados

1. A Hierarquia do Imposto do Tokenizador

A fertilidade abrange uma faixa de 2,5× entre as línguas europeias:

• Mais Eficiente: Inglês (1,23 tokens/palavra).
• Românicas: 1,5–1,7.
• Germânicas: 1,7–1,9.
• Eslavas: 2,2–2,5.
• Urálicas/Bálticas: 2,7–3,0.
• Mais Caras: Grego e Maltês (~3,1).

A Penalidade Ucraniana: O ucraniano média 2,66 tokens/palavra, pagando 15–18% a mais que o polonês (2,25) e o tcheco (2,28). Esta lacuna persiste apesar da complexidade morfológica semelhante. A análise de corpus revela que o ucraniano possui 2–6× menos dados de pré-treinamento que o polonês em corpora principais (mC4, OSCAR, CulturaX), levando a menos fusões de subpalavras otimizadas.

2. Variância do Modelo e Fragmentação de Subpalavras

O design do modelo impacta significativamente a fertilidade. Por exemplo, no grego, a fertilidade varia de 2,29 (Llama 4 Maverick) a 5,73 (Qwen3).

• Tokenizadores Eficientes (ex: Gemma 2, Llama 3.3): Preservam limites de morfemas (ex: dividindo вiдповiдальнiсть em 3–4 tokens).
• Tokenizadores Ineficientes (ex: Qwen3, DeepSeek): Fragmentam palavras em limites de bytes (dividindo a mesma palavra em 8–9 tokens), apesar de possuírem tamanhos de vocabulário comparáveis ou maiores.

3. Invariância de Domínio

As classificações de fertilidade são perfeitamente preservadas ($\rho = 1,0$) em textos jornalísticos, jurídicos e enciclopédicos. Embora as contagens absolutas de tokens variem ligeiramente por domínio (texto enciclopédico é geralmente o mais caro devido à diversidade de vocabulário), a ordem relativa de custos dos modelos permanece constante.

4. Efeitos Interlinguais com Poucos Exemplos

O impacto do prompting com poucos exemplos é intrínseco ao modelo, não dependente da língua:

• Nemotron Super 3: Melhorou o desempenho em todas as quatro línguas eslavas (média +10,5 pp).
• Llama 4 Maverick: Degradou o desempenho em todas as quatro línguas eslavas (média -8,4 pp), com colapso significativo de classes em direção a categorias dominantes (ex: ciência, política).
• Esta consistência entre scripts cirílico e latino sugere que o efeito é determinado pela forma como o mecanismo de atenção do modelo processa o conteúdo de demonstração, e não pelas propriedades morfológicas da língua de entrada.

5. Competência Linguística

A correlação entre baixa fertilidade e alta precisão gramatical (benchmark ULP) é fraca ($\rho = -0,43$) e não estatisticamente significativa ($p=0,34$). Embora o Llama 4 Maverick (menor fertilidade) tenha alcançado a maior precisão (57,3%), outliers como o Nemotron (fertilidade moderada, menor precisão) indicam que a arquitetura e a composição dos dados de treinamento são preditores mais fortes de competência do que a eficiência de tokenização isoladamente.

Significado e Alegações

O artigo alega fornecer o primeiro mapa controlado e invariante de domínio do "imposto do tokenizador" na Europa. Seu significado principal reside em:

1. Impacto Econômico: Estabelecer que processar conteúdo ucraniano custa 2,2× mais que o inglês puramente devido ao design do tokenizador, um custo que se compõe em chamadas de API.
2. Mudança Metodológica: Provar que a fertilidade é uma propriedade estável do vocabulário do tokenizador, permitindo que praticantes meçam o custo uma vez e o prevejam em todos os domínios de aplicação.
3. Representação de Dados: Destacar que a "penalidade ucraniana" não é apenas um recurso linguístico, mas uma consequência direta da subrepresentação em corpora de pré-treinamento, o que resulta em vocabulários de subpalavras subótimos.
4. Orientação Prática: Recomendar que praticantes priorizem abordagens zero-shot para línguas morfologicamente ricas (já que os efeitos com poucos exemplos são imprevisíveis e específicos do modelo) e orçamentem o imposto de tokens específico de sua língua-alvo.

Os autores disponibilizam todas as medições de fertilidade e dados de decomposição de subpalavras como um conjunto de dados público para permitir seleção de modelos e políticas de roteamento conscientes de custos.