Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models

Resumo Técnico: Equidade com Eficiência: Um Estudo Empírico de Tokenizadores para Grandes Modelos de Linguagem Multilíngues

Problema
Os Grandes Modelos de Linguagem (LLMs) multilíngues dependem da tokenização de subpalavras para converter texto discreto em representações neurais contínuas. No entanto, os modelos de última geração utilizam predominantemente o BPE de nível de byte (Byte-level BPE), uma estratégia que favorece estruturalmente línguas de alto recurso e escritas latinas. Esse viés surge porque caracteres latinos são codificados como bytes únicos, enquanto caracteres não latinos frequentemente exigem múltiplos bytes. Consequentemente, para falantes de línguas sub-representadas, particularmente no Sudeste Asiático (SEA), essa disparidade infla os custos de inferência, degrada o raciocínio de contexto longo e amplia as lacunas de capacidade translingual. Embora vários métodos de tokenização equitativos tenham sido propostos — como o Parity-aware BPE, o Morphology-Driven Byte Encoding (MYTE) e o Byte Latent Transformer (BLT) — eles não foram sistematicamente comparados sob condições experimentais uniformes para determinar sua eficácia relativa em equilibrar eficiência e equidade.

Metodologia
Este estudo apresenta a primeira comparação sistemática de tokenizadores equitativos através de um benchmark unificado abrangendo 11 línguas do Sudeste Asiático: inglês, birmanês, chinês, indonésio, khmer, lao, malaio, tagalo, tâmil, tailandês e vietnamita.

• Tokenizadores Avaliados: O estudo compara um baseline de Byte-level BPE contra três abordagens alternativas:
  • Parity-aware BPE (PA BPE): Otimiza as frequências de fusão (merge frequencies) para melhorar a taxa de compressão do pior caso entre as línguas.
  • Morphology-Driven Byte Encoding (MYTE): Substitui códigos de byte baseados em caracteres por códigos baseados em morfemas para alcançar uma cobertura morfológica equilibrada.
  • Byte Latent Transformer (BLT): Opera diretamente sobre patches de bytes dinâmicos sem um vocabulário fixo, utilizando um modelo de entropia para segmentação.
• Design Experimental: Para garantir justiça e reprodutibilidade, todos os tokenizadores foram treinados no mesmo conjunto de dados (1 milhão de sentenças do mC4). Subsequentemente, modelos de decodificação de 1,5B de parâmetros foram treinados do zero usando esses tokenizadores em um conjunto de dados controlado de 100 milhões de sentenças do FineWeb2. Os tamanhos de vocabulário foram equalizados onde possível (45k, 90k, 135k tokens), e os custos computacionais foram normalizados para o equivalente a uma NVIDIA H200 8×.
• Métricas de Avaliação:
  • Intrínsecas: Paridade do tokenizador (razão de tokens por sentença em relação ao inglês), coeficiente de Gini (distribuição dos custos de tokenização) e taxa de compressão.
  • Extrínsecas: Desempenho em tarefas downstream de classificação em inglês (PIQA, HellaSwag, Arc-C), classificação multilíngue (XNLI, XCOPA, XStoryCloze) e tradução automática (escores BLEU e chrF) nas 10 línguas não inglesas do Sudeste Asiático.

Principais Resultados

• Trade-off Eficiência vs. Equidade: O Parity-aware BPE situa-se na fronteira de Pareto do espaço eficiência-equidade. Ele alcança o menor coeficiente de Gini (indicando alta equidade) enquanto mantém taxas de compressão competitivas comparáveis ao Byte-level BPE padrão.
• Desempenho em Tarefas Downstream:
  • Tarefas em Inglês: O Byte-level BPE padrão alcançou as pontuações mais altas nos benchmarks de classificação em inglês, com vantagens estatisticamente significativas sobre as alternativas na maioria dos casos.
  • Tarefas Multilíngues: O desempenho dependeu da tarefa. O MYTE superou significativamente outros tokenizadores no XNLI (inferência de linguagem natural), aproveitando suas representações morfologicamente mais ricas para raciocínio semântico. No entanto, o Byte-level BPE teve o melhor desempenho no XCOPA e XStoryCloze, sugerindo que seus benefícios de eficiência favorecem tarefas que exigem raciocínio causal e narrativo.
  • Tradução Automática: O MYTE alcançou os maiores escores BLEU em ambas as direções de tradução (EN→XX e XX→EN), beneficiando-se da geração de formas alvo morfologicamente complexas de forma mais granular.
• Desempenho do BLT: Apesar de sua novidade arquitetônica, o BLT teve um desempenho inferior em tarefas downstream. Os autores atribuem isso ao desalinhamento do modelo de entropia com as restrições de dados de treinamento de baixo recurso limitados, resultando em baixa equidade e alta paridade de tokens.
• Efeitos de Escalonamento: O aumento do tamanho do vocabulário melhorou a eficiência para o Byte-level BPE, mas exacerbou a inequidade para o Parity-aware BPE, à medida que o inglês adquiriu mais fusões do que outras línguas. O MYTE permaneceu relativamente insensível ao escalonamento de vocabulário dentro do intervalo testado.

Significância e Alegações
O artigo afirma que a equidade translingual e a eficiência de tokenização não são fundamentalmente antagônicas. As descobertas oferecem orientações práticas para o design de modelos multilíngues equitativos:

1. O Parity-aware BPE é recomendado como um padrão responsável para modelos multilíngues voltados para as línguas do Sudeste Asiático devido à sua posição favorável no espaço eficiência-equidade e forte desempenho downstream, desde que haja dados paralelos disponíveis para treinamento.
2. O MYTE é preferível quando a morfologia e a qualidade da tradução são críticas, assumindo que o orçamento computacional possa acomodar seu maior overhead de treinamento e menor eficiência de compressão.
3. A Escolha do Tokenizador como Determinante: O estudo estabelece que a escolha do tokenizador é o fator primário que afeta a paridade de tokenização, explicando a maior parte da variância nos custos de inferência entre as línguas. Essa escolha impacta diretamente a acessibilidade econômica dos modelos multilíngues para comunidades de línguas sub-representadas, uma vez que APIs com preços baseados em tokens impõem custos desiguais baseados no tipo de script ao utilizar tokenizadores enviesados.

Os autores concluem que a tokenização equitativa tem consequências diretas e quantificáveis para as centenas de milhões de falantes do Sudeste Asiático, e que abordar o viés de tokenização é um caminho viável para sistemas de IA mais inclusivos.