💬 NLP

Length-MAX Tokenizer for Language Models

O artigo apresenta o tokenizador Length-MAX, um novo método que otimiza a seleção de vocabulário por meio de uma abordagem de particionamento de grafos para minimizar a média de tokens por caractere, alcançando reduções significativas nos passos de treinamento, latência de inferência e uso de memória, ao mesmo tempo em que melhora o desempenho em tarefas subsequentes em comparação com o Byte Pair Encoding padrão.

Autores originais: Dong Dong, Weijie Su

Publicado 2026-08-11

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dong Dong, Weijie Su

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a falar a linguagem humana. Para fazer isso, você tem que decompor cada frase em blocos de construção minúsculos chamados "tokens". Pense nesses tokens como peças de LEGO. Se você usar um conjunto padrão de peças, pode precisar de um milhão de pedacinhos para construir uma casa simples, tornando a construção lenta e bagunçada. Durante anos, a maneira mais popular de criar essas peças (um método chamado Byte Pair Encoding, ou BPE) foi pegar os pares de letras mais comuns e colá-los. Era como dizer: "Ei, 'th' e 'e' aparecem muito, então vamos fazer uma peça 'the'". Mas essa abordagem tinha uma falha: ela amava tanto as palavras curtas e comuns que acabava fragmentando frases longas e significativas em pedaços minúsculos e ineficientes. Isso forçava o robô a processar muito mais peças do que o necessário, atrasando seu raciocínio e consumindo sua memória.

Agora, imagine uma nova maneira de construir esses conjuntos de LEGO. Em vez de apenas procurar pelos pares mais frequentes, este novo método pergunta: "E se criássemos peças maiores e mais inteligentes que cobrissem mais terreno?". Este é o coração de um novo estudo dos pesquisadores Dong Dong e Weijie Su, da Universidade da Pensilvânia. Eles introduziram um novo tokenizador chamado Length-MAX. Em vez de apenas contar com que frequência uma palavra aparece, o Length-MAX recompensa frases longas que aparecem o suficiente para serem úteis. É como perceber que, embora "the" seja comum, a frase "the United States" é um bloco de construção muito melhor do que três peças separadas. Ao substituir peças pequenas e repetitivas por menos peças, mais longas e significativas, o robô pode construir suas frases mais rápido, usar menos memória e, na verdade, entender melhor a história.

O Problema de Ter Muitas Peças Minúsculas

Por muito tempo, a maneira padrão de ensinar linguagem aos computadores tem sido fatiar o texto em pequenos pedaços baseados em quão frequentemente eles aparecem. Isso é chamado de Byte Pair Encoding (BPE). Funciona encontrando os dois símbolos mais comuns um ao lado do outro e fundindo-os em um novo token. É um pouco como um jogo onde você continua combinando os vizinhos mais populares até ficar sem jogadas.

O problema é que esse jogo favorece fragmentos curtos e de alta frequência. Ele trata uma frase longa e coerente como "in the midst of a historic snowstorm" como uma coleção de peças minúsculas e desconectadas. Como os modelos de IA modernos têm que prestar atenção em cada uma das peças para entender a frase inteira, ter muitas peças minúsculas faz a matemática explodir em complexidade. É como tentar ler um livro onde cada palavra é dividida em três sílabas; você tem que ler três vezes mais "palavras" para obter o mesmo significado. Isso atrasa o treinamento, torna a IA mais lenta para responder perguntas e exige mais memória de computador.

Surge o Length-MAX: A Estratégia "Quanto Maior, Melhor"

Os pesquisadores por trás deste artigo decidiram inverter o roteiro. Eles perguntaram: "E se otimizássemos para o comprimento em vez de apenas a frequência?". Eles criaram um novo tokenizador chamado Length-MAX.

Em vez de apenas procurar os pares mais comuns, o Length-MAX procura por substrings que maximizam uma pontuação específica: Frequência × Comprimento. Ele recompensa tokens que são comuns e longos. Se uma frase como "the United States" aparece com frequência suficiente, o Length-MAX irá capturá-la e torná-la um único token, em vez de dividi-la em "the", "United" e "States".

Para fazer isso, a equipe teve que resolver um quebra-cabeça matemático complicado. Eles descobriram que encontrar o conjunto perfeito de tokens longos é um problema tão complexo que é matematicamente impossível de resolver perfeitamente para grandes quantidades de texto (um problema conhecido como NP-hard). Então, eles construíram um algoritmo "ganancioso" (greedy) muito inteligente. Imagine um placar onde cada frase possível recebe uma pontuação baseada no seu comprimento e na frequência com que aparece. O algoritmo escolhe a frase com a melhor pontuação, trava ela e repete o processo até que o vocabulário esteja cheio. Eles tornaram isso incrivelmente rápido usando uma técnica chamada hash rolling Rabin-Karp, que permite escanear o texto como um scanner de alta velocidade, e rodaram isso em centenas de núcleos de computador simultaneamente.

Os Resultados: Mais Rápido, Menor e Mais Inteligente

A equipe testou este novo método treinando modelos de IA do zero (especificamente modelos GPT-2) e comparando-os com o método BPE padrão. Os resultados foram impressionantes em todos os aspectos:

Menos Tokens: Em diferentes tamanhos de vocabulário, o Length-MAX reduziu o número de tokens necessários para representar o texto em 14–18% em comparação ao BPE. Para um vocabulário de 64.000 palavras, a redução foi de 13,0%. Isso significa que a IA tem que processar significativamente menos "peças" para dizer a mesma coisa.
Treinamento Mais Rápido: Como há menos tokens para processar, os modelos aprenderam mais rápido. Para atingir um nível específico de habilidade, o modelo de 124 milhões de parâmetros precisou de 18,5% menos passos, o de 355 milhões de parâmetros precisou de 17,2% menos passos e o de 1,3 bilhão de parâmetros precisou de 18,5% menos passos.
Respostas Mais Rápidas: Quando os modelos eram solicitados a gerar texto, eles eram mais rápidos. A latência de inferência (o tempo que leva para responder) caiu 13,7% para o modelo de 124M, e a velocidade com que geravam texto (throughput) aumentou 16%.
Menos Memória: Os modelos também usaram menos memória. Os pesquisadores descobriram que a memória necessária para a "memória de trabalho" do modelo (chamada de KV-cache) e para seus embeddings de vocabulário caiu 18%.
Melhor Compreensão: Surpreendentemente, usar menos tokens não tornou a IA mais burra; tornou-a mais inteligente. Em testes que medem o quão bem a IA entende histórias longas e contexto, os modelos Length-MAX tiveram um desempenho melhor. Por exemplo, em um teste chamado LAMBADA, a confusão (perplexidade) da IA caiu 11,7%, e em um teste de raciocínio de senso comum chamado HellaSwag, a precisão melhorou 4,3 pontos.

Por Que Funciona (e o Que Ele Não Faz)

A magia do Length-MAX não é apenas que ele economiza tempo; é que ele muda como a IA vê o mundo. Ao agrupar palavras em frases mais longas e significativas (como "in the midst of"), a IA pode manter o contexto de uma frase com mais facilidade. É a diferença entre tentar entender uma história olhando para letras individuais versus olhar para palavras e frases inteiras.

Os pesquisadores também verificaram para garantir que não quebrariam o "ritmo" natural da linguagem. Eles descobriram que o Length-MAX ainda segue as leis naturais da frequência da linguagem (conhecidas como Lei de Zipf), o que significa que não criou apenas palavras longas estranhas e aleatórias. Ele preservou a estrutura natural da linguagem enquanto a tornava mais eficiente.

No entanto, o artigo é cuidadoso ao notar o que este método não faz. Ele não funciona em modelos que já estão treinados e congelados; você precisa treinar o modelo do zero com o novo tokenizador para obter esses benefícios. Ele também foca em textos em inglês, portanto, ainda não está claro se funciona tão bem para línguas com estruturas muito diferentes. Além disso, embora os resultados sejam fortes para modelos de até 1,3 bilhão de parâmetros, os pesquisadores sugerem que, para modelos massivos (como os de 7 bilhões de parâmetros), os benefícios provavelmente serão semelhantes, mas ainda não foram totalmente testados.

A Conclusção

O Length-MAX é uma abordagem fresca para um problema de décadas. Ao perceber que "quanto mais longo, melhor" para os tokens, os pesquisadores encontraram uma maneira de tornar os modelos de IA mais rápidos, mais baratos de operar e surpreendentemente melhores em compreender o contexto. É um lembrete de que, às vezes, a melhor maneira de avançar não é construir um motor maior, mas sim uma transmissão mais inteligente. O código e os novos vocabulários estão agora disponíveis para qualquer pessoa testar, oferecendo uma maneira prática de extrair mais eficiência da próxima geração de modelos de linguagem.

Resumo Técnico: Tokenizador Length-MAX para Modelos de Linguagem

Declaração do Problema

Os paradigmas de tokenização dominantes atuais, particularmente o Byte Pair Encoding (BPE) e suas variantes (WordPiece, SentencePiece), baseiam-se em estratégias de fusão impulsionadas pela frequência. Embora eficazes no tratamento de palavras fora do vocabulário (OOV), esses métodos priorizam os pares de símbolos mais comuns, o que frequentemente resulta na fragmentação do texto em tokens desnecessariamente curtos. Essa fragmentação aumenta o comprimento da sequência necessário para representar um determinado texto. Como a complexidade computacional dos mecanismos de atenção em modelos Transformer escala quadraticamente com o comprimento da sequência, tokens mais curtos levam a:

Aumento no tempo de treinamento e latência de inferência.
Maior consumo de memória para embeddings e caches de Chave-Valor (KV).
Degradação do desempenho em tarefas que exigem dependências de longo alcance e raciocínio.

Os autores argumentam que otimizar apenas pela frequência de tokens falha em considerar os ganhos de eficiência alcançáveis ao maximizar o comprimento médio dos tokens, mantendo uma alta cobertura do corpus.

Metodologia: Length-MAX

O artigo introduz o Length-MAX, um tokenizador projetado para minimizar o número médio de tokens por caractere (TPC) ao otimizar um objetivo ponderado pelo comprimento, em vez de apenas pela frequência.

1. Função Objetivo

Em vez de fundir os pares mais frequentes, o Length-MAX busca maximizar o produto da frequência do token pelo seu comprimento:
$\text{score}(t) = \text{freq}(t) \times |t|$
Este objetivo recompensa substrings longas que mantêm alta cobertura dentro do corpus, agrupando efetivamente frases de múltiplas palavras (ex: "the United States") em tokens únicos.

2. Formulação Teórica

Os autores formalizam o problema de construção de vocabulário como a maximização da cobertura ponderada pelo comprimento sobre um corpus. Eles demonstram que este problema é NP-difícil ao reduzi-lo a um problema de partição de grafos. Especificamente, eles constroem um grafo onde os nós são sequências de texto e os pesos das arestas representam o comprimento do prefixo comum mais longo (LCP). Maximizar a cobertura é equivalente a minimizar a soma dos pesos mínimos das arestas dentro das partições.

3. Algoritmo e Implementação

Para resolver este problema NP-difícil de forma eficiente, os autores desenvolveram um algoritmo de aproximação guloso $O(N)$ com garantias de monotonicidade. A implementação apresenta várias otimizações de engenharia para produção em larga escala:

Arquitetura de Scoreboard: Um fluxo de trabalho paralelo baseado em shards, onde os workers mantêm max-heaps locais dos principais candidatos classificados pelo score ponderado pelo comprimento.
Rabin-Karp Rolling Hash: Utilizado para hashing de substring $O(1)$ durante a enumeração de n-grams, permitindo a contagem eficiente de frequência.
Vetorização SIMD: Utiliza instruções AVX2 (x86) e NEON (ARM) para processamento paralelo de hash.
Compilação de DFA: Os vocabulários treinados são compilados em Autômatos Finitos Determinísticos (DFAs) para inferência, alcançando velocidades de decodificação 3 a 4 vezes mais rápidas do que a varredura padrão da esquerda para a direita.
Escalabilidade: O sistema atinge escalonamento quase linear entre núcleos de CPU (87% de eficiência em 256 núcleos) e processa dados em uma única passagem sem exigir uma segunda etapa de codificação.

Principais Contribuições

Objetivo Inovador: Propõe um objetivo ponderado pelo comprimento ( $\text{freq}(t) \times |t|$ ) que desloca o foco da frequência pura para o comprimento da substring, combatendo o viés de tokens curtos do BPE.
Formalização Algorítmica: Formaliza a tokenização como um problema de partição de grafos NP-difícil e fornece uma aproximação gulosa com garantias teóricas de melhoria monotônica no comprimento médio do token.
Sistema Pronto para Produção: Entrega uma implementação de alto desempenho apresentando treinamento paralelo (87% de eficiência em 256 núcleos) e decodificação baseada em DFA (aceleração de 3 a 4 vezes).
Validação Empírica: Demonstra melhorias consistentes em eficiência de tokenização, velocidade de treinamento, latência de inferência, uso de memória e desempenho em tarefas downstream sem alterações arquiteturais no modelo de linguagem.

Resultados Experimentais

Os autores avaliaram o Length-MAX no corpus FineWeb (18.5T tokens) usando arquiteturas GPT-2 (124M, 355M e 1.3B parâmetros) treinadas do zero.

Eficiência de Tokenização

Redução de TPC: O Length-MAX reduz os tokens por caractere em 14–18% em comparação com BPE, SentencePiece e WordPiece para tamanhos de vocabulário de 10k a 50k.
Escalabilidade: Em vocabulários de 64k e 100k, as reduções permanecem em 13,0% e 9,8%, respectivamente.
Composição do Vocabulário: Os vocabulários do Length-MAX contêm significativamente mais unidades de múltiplas palavras (38,4% vs. 0,0% para BPE) e menos fragmentos de palavras.

Desempenho de Treinamento e Inferência

Convergência de Treinamento: Modelos treinados com Length-MAX atingiram perdas de validação fixas em menos passos: 18,5% menos passos para 124M, 17,2% para 355M e 18,5% para modelos de 1.3B.
Latência de Inferência: Alcançou 13,7% de menor latência e um ganho de throughput de 16% (tokens/segundo) em GPUs NVIDIA A100.
Pegada de Memória: Reduziu o consumo de memória de embedding e do cache KV em 17,4% para modelos como OPT-13B e 18% para Llama2-70B em um comprimento de sequência de 2.048.

Desempenho em Tarefas Downstream

Benchmark GLUE: O Length-MAX melhorou a pontuação média macro em 12,8% (0,413 vs. 0,366) sobre o BPE, com ganhos significativos em tarefas de Inferência de Linguagem Natural (ex: RTE +58%, QNLI +49%).
Raciocínio de Longo Alcance:
- LAMBADA: A perplexidade diminuiu em 11,7%.
- HellaSwag: A acurácia aumentou em 4,3 pontos.
- TinyStories: Avaliações do GPT-4 preferiram gerações do Length-MAX em 85% dos prompts, citando melhor coerência e gramaticalidade.
Robustez: Manteve alta cobertura de vocabulário (99,62%) e baixas taxas de OOV (0,12%) em conjuntos de teste não vistos, mesmo sob ruído de nível de caractere.

Análise de Distribuição

A análise de alinhamento Zipf confirma que o Length-MAX preserva a estrutura de frequência de lei de potência ( $R^2 = 0,941$ , $\alpha = 0,95 \pm 0,02$ ) conhecida por correlacionar-se com a qualidade do modelo. O método achata o "topo" da distribuição (reduzindo a variância das frequências dos 50 principais tokens em 96%) ao realocar a massa de probabilidade para unidades de múltiplas palavras, sem perturbar a cauda Zipfiana.

Significância e Alegações

O artigo afirma que otimizar o comprimento médio do token em vez de apenas a frequência oferece uma abordagem altamente eficaz para o modelamento de linguagem mais eficiente. A significância do Length-MAX reside em sua capacidade de:

Reduzir Custos Computacionais: Ao encurtar os comprimentos efetivos de sequência, ele reduz diretamente a complexidade quadrática da atenção, gerando economias substanciais no tempo de treinamento, latência de inferência e memória.
Melhorar a Qualidade do Modelo: A redução da fragmentação auxilia os modelos a manterem dependências de longo alcance, levando a melhorias mensuráveis em tarefas de raciocínio e geração sem a necessidade de modificações arquiteturais.
Ortogonalidade: A abordagem é ortogonal a métodos linguísticos conscientes de fronteira (como o SuperBPE) e pode potencialmente ser combinada com eles.
Praticidade: O sistema está pronto para produção, é escalável para corpora massivos e é compatível com pipelines de treinamento de LLM existentes.

Os autores observam que, embora seus experimentos tenham focado em inglês e modelos de até 1,3B de parâmetros (com projeções para modelos maiores), o princípio fundamental da otimização ponderada pelo comprimento é aplicável em diversas escalas. Eles enfatizam que os ganhos de eficiência são impulsionados principalmente pela redução no comprimento efetivo da sequência (TPC) e não apenas pelas propriedades distributivas.