MUTANT: A Recipe for Multilingual Tokenizer Design

Título: MUTANT: Uma Receita para o Design de Tokenizadores Multilíngues

Autores: Souvik Rana, Arul Menezes, Ashish Kulkarni, Chandra Khatri, Shubham Agarwal (Krutrim AI)

1. O Problema

Os tokenizadores são componentes críticos que determinam a eficiência de treinamento, o custo de inferência e o desempenho dos Modelos de Linguagem de Grande Escala (LLMs). No entanto, o design de tokenizadores para cenários multilíngues, especialmente para línguas com scripts diversos e morfologia rica (como as línguas indianas), enfrenta desafios significativos:

• Desigualdade de "Fertilidade" (Fertility Score): Tokenizadores projetados principalmente para inglês (como os da família LLaMA ou GPT) frequentemente produzem pontuações de fertilidade (relação token-palavra) extremamente altas para línguas indic. Por exemplo, o tokenizador do LLaMA-4 para a língua Oriya tem uma pontuação de 10,5, indicando que são necessários 10,5 tokens para representar uma única palavra, em comparação com o ideal próximo a 1 para o inglês.
• Consequências: Isso resulta em sequências de tokens mais longas, maior sobrecarga computacional, custos de inferência elevados e latência aumentada.
• Fragmentação Linguística: Métodos padrão como Byte Pair Encoding (BPE) tendem a fragmentar excessivamente palavras em unidades subpalavras não naturais ou quebrar expressões idiomáticas, prejudicando a coerência linguística.

2. Metodologia: A Receita MUTANT

Os autores propõem o MUTANT (MUltilingual Tokenizer optimization ANd Training), uma receita sistemática para construir tokenizadores multilíngues eficientes e linguisticamente fundamentados. O pipeline consiste em três pilares principais:

A. Curadoria de Dados e Alocação de Vocabulário

• Dados de Treinamento: Utilização de um corpus multilíngue de alta qualidade, diversificado e filtrado (incluindo web, Wikipedia, código, matemática e dados específicos da Índia).
• Alocação de Vocabulário: Em vez de simplesmente mesclar tokenizadores específicos por script (o que causa interferência distribucional), o MUTANT utiliza uma alinhamento orientado pelo corpus. O tamanho do vocabulário é distribuído entre os scripts com base na proporção dos dados de treinamento, garantindo que línguas de baixa e alta recursos tenham granularidade adequada.

B. Pre-tokenização Consciente da Linguagem

• Antes do aprendizado de subpalavras, o texto bruto passa por uma etapa de pré-tokenização fixa.
• O MUTANT-Indic utiliza regex baseados em Unicode e normalização (NFKC) para separar pontuação e lidar com grupos numéricos.
• Diferentemente de abordagens agnósticas (como as regras do LLaMA-4), o MUTANT emprega regras específicas para scripts indic, reduzindo a fragmentação de tokens em 38–40% em comparação com o LLaMA-4.

C. Treinamento em Duas Etapas (Curriculum Learning)

O núcleo da inovação é um processo de treinamento em duas fases, inspirado no SuperBPE, mas adaptado para manter a integridade linguística:

1. Fase 1 (Aprendizado de Subpalavras): O treinamento começa com BPE padrão aplicado apenas dentro das fronteiras de palavras (delimitadas por espaços). Isso permite que o tokenizador aprenda unidades morfológicas finas (raízes, afixos) sem quebrar palavras.
2. Fase 2 (Aprendizado de Multi-palavras): Após atingir um ponto de transição definido (ex: 90% do vocabulário), o treinamento continua sem restrições de espaço em branco. Isso permite que o BPE una palavras frequentes e expressões idiomáticas (ex: "in the morning", "wake up") em tokens únicos, melhorando a compressão.

3. Principais Contribuições

1. Receita MUTANT: Um framework principled e reprodutível para otimizar tokenizadores multilíngues, abordando trade-offs entre línguas de recursos variados e estratégias de treinamento.
2. MUTANT-Indic: A implementação desta receita para criar um tokenizador de última geração (SOTA) especificamente para as 22 línguas oficiais da Índia.
3. Benchmarks Abrangentes: A primeira avaliação sistemática de tokenizadores em métricas intrínsecas e desempenho downstream (pré-treinamento do zero e continual pretraining), cobrindo inglês, 22 línguas indic e dados de código.
4. Análise de Eficiência: Demonstração de que o design do tokenizador impacta diretamente a latência de inferência e a taxa de transferência (throughput) em cenários do mundo real.

4. Resultados Experimentais

O tokenizador MUTANT-Indic foi comparado contra 9 tokenizadores de base (incluindo LLaMA-4, Gemma-3, GPT-OSS, Sutra e Sarvam).

• Pontuação de Fertilidade (Fertility Score): O MUTANT-Indic reduziu a fertilidade média em 39,5% em comparação com o LLaMA-4 e em 18% em comparação com o Sutra (o atual melhor).
  • Exemplo: Para a língua Oriya, a pontuação caiu de 10,5 (LLaMA-4) para 1,65 (MUTANT-Indic).
• Eficiência de Inferência: Devido à compressão superior (menos tokens por palavra), houve um aumento de 44% na taxa de transferência (throughput) de inferência em comparação com o LLaMA-4, mantendo a latência de primeiro token (TTFT) similar.
• Desempenho em Benchmarks:
  • Intrínseco: Melhores pontuações em Bytes por Token (BPT) e Entropia de Rényi, indicando uso mais eficiente do vocabulário.
  • Extrínseco (Downstream): Ao pré-treinar modelos de 1B parâmetros (LLaMA-3.2), o MUTANT-Indic alcançou desempenho competitivo ou superior em benchmarks de inglês e indic (ex: HellaSwag, Indic COPA, ARC Challenge), sem sacrificar a capacidade de raciocínio.
• Ablações:
  • O treinamento em duas etapas superou consistentemente abordagens de etapa única (como BoundlessBPE), equilibrando melhor a cobertura morfológica e a eficiência de multi-palavras.
  • A alocação de vocabulário orientada pelo corpus superou a mesclagem explícita de vocabulários.

5. Significado e Impacto

O trabalho demonstra que o tokenizador não é apenas um pré-processamento estático, mas uma escolha de design fundamental que molda a eficiência e a equidade dos LLMs multilíngues.

• Equidade Linguística: O MUTANT corrige a disparidade onde línguas não-inglesas sofrem com custos computacionais desproporcionais.
• Viabilidade Econômica: A redução de tokens necessários para representar texto em línguas indic torna o treinamento e a inferência de modelos multilíngues significativamente mais baratos e rápidos.
• Reprodutibilidade: Os autores liberarão o framework de avaliação e os dados, permitindo que a comunidade científica valide e melhore essas técnicas.

Em resumo, o MUTANT estabelece um novo padrão para a construção de tokenizadores para línguas com morfologia complexa, provando que abordagens linguisticamente informadas e treinadas em etapas superam os métodos genéricos de subpalavras.