💬 NLP

Pruned BPE: Post-training Visibility Pruning and Token Reallocation for Byte Pair Encoding

Este artigo introduz o Pruned BPE, um método de pós-treinamento que melhora a eficiência da tokenização ao ocultar tokens de fusão intermediários de baixa exposição do vocabulário do modelo e realocar esses espaços para candidatos mais frequentes, reduzindo assim o comprimento da sequência codificada sem aumentar o tamanho do vocabulário visível ao modelo.

Autores originais: Kenny Shao

Publicado 2026-08-04

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kenny Shao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a ler. Para fazer isso, você não pode simplesmente dar a ele um dicionário de todas as palavras do universo; isso seria muito pesado para o seu cérebro. Em vez disso, você ensina um truque inteligente: decompor as palavras em pedaços menores e reutilizáveis, como peças de LEGO. Se o robô vir "inacreditável", ele não precisa de uma peça especial para a palavra inteira. Ele pode apenas montar "in", "acredite" e "vel". É assim que a IA moderna lê o mundo: ela fatia o texto em pedaços minúsculos chamados "tokens".

A maneira mais popular de decidir quais peças de LEGO manter é um método chamado Byte Pair Encoding (BPE). Pense no BPE como um professor muito rigoroso e repetitivo. Ele olha para uma pilha massiva de texto, encontra as duas peças que aparecem juntas com mais frequência e as cola para criar uma nova peça maior. Ele faz isso repetidamente, criando uma biblioteca de peças que variam de letras individuais até palavras inteiras. O problema é que esse professor é um pouco acumulador. Ele cola peças que são úteis apenas para construir peças maiores, mas que nunca aparecem por si só na história final. É como ter uma peça de LEGO que serve apenas para construir a torre de um castelo, mas a torre nunca é construída no modelo final. O robô ainda tem que carregar essa peça inútil em sua mochila, ocupando espaço que poderia ser usado para algo mais interessante.

Este artigo, intitulado "Pruned BPE," faz uma pergunta simples: E se pudéssemos limpar a mochila do robô depois que o professor terminou de construir a biblioteca? O autor, liderado por Kenny Shao, propõe um método para olhar para todas as peças que o professor fez, identificar aquelas que são raramente vistas no texto final e trocá-las por peças melhores e mais úteis. Eles não diminuem a mochila; eles apenas rearranjam o conteúdo para que cada espaço seja preenchido com algo que o robô realmente precise ver.

O Problema: As Peças "Fantasma"

Para entender a solução, primeiro precisamos ver a bagunça. Quando o professor padrão do BPE trabalha, ele constrói uma hierarquia. Ele pode colar "en" e "viron" para formar "environ", e depois colar "environ" e "ment" para formar "environment". No sistema padrão, cada peça criada durante esse processo ganha um lugar na biblioteca final do robô.

Mas aqui está o detalhe: a peça "environ" pode ser uma excelente ajudante para construir "environment", mas ela raramente aparece sozinha em frases reais. É uma peça "fantasma". Ela existe na memória do robô, ocupando um espaço valioso, mas o robô quase nunca a usa como uma resposta final. É como guardar uma chave de fenda especializada no bolso que você só usa uma vez por ano para montar um brinquedo específico, enquanto não tem espaço para um martelo ou uma chave inglesa.

O autor argumenta que essas peças fantasma estão desperdiçando espaço. Como elas são raramente usadas, o robô não pratica o suficiente com elas, portanto, sua compreensão delas é fraca. Enquanto isso, existem outros fragmentos de palavras úteis que o robô vê com frequência, mas que não têm um lugar na mochila porque todos os espaços estão ocupados por esses fantasmas inúteis.

A Solução: A Grande Troca da Mochila

O artigo introduz o Pruned BPE, um processo de duas etapas que atua como uma equipe de limpeza pós-treinamento.

Passo 1: A Construção Padrão.
Primeiro, eles deixam o professor padrão do BPE fazer seu trabalho exatamente como de costume. Ele constrói toda a biblioteca de peças, colando pares até atingir o tamanho desejado (digamos, 10.000 peças). Neste ponto, a biblioteca está cheia, mas está entulhada com essas peças "fantasma".

Passo 2: A Verificação de Visibilidade.
Agora, o autor olha para a biblioteca final e pergunta: "Com que frequência esta peça realmente aparece no texto final?" Eles contam a "exposição" de cada peça. Se uma peça como "environ" aparece apenas uma fração mínima das vezes, ela é marcada como "apenas-interna". Ela permanece no sistema como uma ajudante oculta — ainda pode ser usada para construir palavras maiores, mas não é mais permitida como uma resposta final que o robô vê.

Passo 3: A Realocação.
Esta é a parte mágica. Quando eles expulsam uma peça fantasma da lista "visível", eles não deixam apenas um buraco vazio. Eles voltam aos dados de treinamento e continuam ensinando o robô a encontrar novas peças que sejam realmente úteis. Eles continuam o treinamento até encontrar peças de alta qualidade e frequência para preencher os espaços vazios.

Assim, a mochila mantém o mesmo tamanho (por exemplo, 10.000 espaços), mas o conteúdo é completamente diferente. As peças fantasmagóricas inúteis são substituídas por peças "estrela" que o robô realmente utiliza. Quando o robô lê uma palavra, ele ainda usa as peças ajudantes ocultas para construir a estrutura, mas a lista final de tokens que ele envia para o cérebro contém apenas os tokens de alta visibilidade e utilidade.

O Que Eles Descobriram

Os autores testaram essa ideia em dois tipos diferentes de pilhas de texto: uma majoritariamente em inglês e outra majoritariamente em chinês, além de uma mistura de ambos. Eles compararam o método "Pruned" com o método de "acumulação" padrão, mantendo o tamanho da mochila exatamente o mesmo para ambos.

Os resultados foram surpreendentemente consistentes. Ao trocar as fantasmas de baixa visibilidade pelas estrelas de alta visibilidade, o método Pruned BPE conseguiu comprimir o texto um pouco melhor.

No texto com predominância de inglês, eles reduziram o número de tokens necessários em cerca de 0,27% a 0,36% (dependendo de quão rigorosos foram com a regra do "fantasma").
No texto com predominância de chinês, a melhoria foi semelhante, variando de 0,23% a 0,36%.

Para colocar em perspectiva, o autor observa que obter esse tipo de compressão com o BPE padrão geralmente exige adicionar outros 2.000 tokens à mochila. O Pruned BPE consegue esse mesmo ganho de eficiência sem aumentar o tamanho da mochila. É como ganhar mais espaço de armazenamento sem comprar uma mala maior.

Eles também realizaram um teste especial para garantir que a melhoria não fosse apenas uma coincidência de como o professor BPE padrão organiza suas peças. Eles usaram um decodificador diferente e super inteligente de "mínimo de tokens" que ignorava a ordem original do professor e apenas olhava para a lista de peças disponíveis. Mesmo com esse decodificador justo e neutro, a lista do Prதுned BPE ainda produzia textos mais curtos e eficientes. Isso sugere que a melhoria vem de ter uma melhor lista de peças, e não apenas da forma como elas estão organizadas.

Exemplos de "Peças Fantasma"

Para ver como essas peças "fantasma" se parecem, o autor analisou alguns exemplos específicos:

Inglês: Um fragmento como "viron" pode ser um fantasma. É ótimo para construir "environment", mas você raramente vê "viron" sozinho.
Chinês: Um caractere como "gan" (parte de "gan ga", significando constrangedor) pode ser um fantasma. É necessário para construir a palavra completa, mas raramente é usado por si só.
Código e Bytes: Alguns fantasmas são ainda mais estranhos. Como os computadores leem o texto como bytes (pequenos números), algumas peças são apenas partes parciais de uma letra. Por exemplo, uma sequência específica de bytes pode ser necessária para construir o caractere chinês para "habilidade", mas essa sequência de bytes sozinha não significa nada. É um fantasma que só existe para ajudar a construir a coisa real.

Por Que Isso Importa (e O Que Não Importa)

O artigo é cuidadoso ao dizer o que isso não faz. Ele não prova que o robô se tornará subitamente mais inteligente ao escrever poesia ou resolver problemas matemáticos. O autor apenas mediu o quão eficientemente o texto foi comprimido (menos tokens para dizer a mesma coisa). Eles não testaram se o cérebro do robô realmente aprendeu melhor com essas novas peças. Essa é uma questão para pesquisas futuras.

No entanto, o artigo também descarta a ideia de que você precise encolher o vocabulário para economizar espaço. Algumas ideias anteriores sugeriam apenas deletar as peças raras, o que diminuía a mochila, mas forçava o robô a usar mais peças menores para dizer a mesma coisa (tornando o texto mais longo). O Pruned BPE prova que você pode manter o tamanho da mochila fixo e ainda assim obter um texto mais curto e eficiente, apenas trocando o conteúdo.

A Conclusão

No fim, o Pruned BPE é uma lição de destralhe. Ele mostra que, no mundo da IA, ter uma biblioteca enorme de tokens não é tão importante quanto ter os tokens certos. Ao esperar até o final para decidir o que é realmente útil, e então trocar os ajudantes "fantasmas" pelos desempenhos "estrela", podemos tornar o processo de leitura do robô ligeiramente mais eficiente. É um pequeno ajuste — economizando menos de meio por cento de espaço — mas no mundo dos modelos de IA massivos, onde cada byte conta, é uma vitória significativa. O robô não precisa carregar todo o histórico de sua construção; ele só precisa das melhores ferramentas para o trabalho.

Resumo Técnico: Pruned BPE

Definição do Problema

O Byte Pair Encoding (BPE) é o método padrão de tokenização de subpalavras para grandes modelos de linguagem (LLMs), mas sofre de um descompasso fundamental entre como os tokens são aprendidos e como são utilizados. Durante o treinamento padrão do BPE, o algoritmo funde iterativamente os pares adjacentes mais frequentes para construir um vocabulário. No entanto, muitos tokens aprendidos durante esse processo servem primariamente como unidades de construção intermediárias para tokens mais longos e frequentes, em vez de aparecerem como tokens finais visíveis ao modelo.

No BPE de nível de byte, este problema é exacerbado pela necessidade de construir caracteres Unicode completos (especialmente para escritas CJK) a partir de sequências de bytes. Consequentemente, o vocabulário final frequentemente contém tokens de "baixa exposição" — nós intermediários que raramente são emitidos de forma independente. Expor esses tokens ao modelo de linguagem desperdiça a capacidade limitada do vocabulário. Além disso, como esses tokens aparecem infrequentemente no corpus codificado final, seus embeddings recebem menos atualizações de treinamento efetivas, o que pode degradar o desempenho do modelo a jusante. Abordagens padrão de poda de vocabulário simplesmente removem esses tokens, o que reduz o tamanho do vocabulário e pode aumentar o comprimento da sequência, criando uma base de comparação injusta.

Metodologia: Pruned BPE

O artigo propõe o Pruned BPE, um método de pós-treinamento que separa o processo de construção de fusão (merge) da seleção de vocabulário visível ao modelo. A inovação central é o uso da exposição final como critério de visibilidade, em vez da frequência do par que originalmente criou o token.

O método opera em três estágios principais:

Treinamento de BPE Padrão (Estágio 1):
O tokenizador é treinado normalmente usando regras padrão de BPE até que um tamanho de vocabulário visível ao modelo alvo ( $N_{visible}$ ) seja alcançado. Isso estabelece a árvore de fusão completa e os rankings de fusão originais.
Poda de Visibilidade e Treinamento Retomado (Estágio 2):
Após o treinamento inicial, o algoritmo avalia cada token aprendido com base em sua exposição final ( $E(t)$ ), definida como o número de vezes que o token aparece no corpus totalmente codificado após todas as fusões serem aplicadas.
- Tokens com exposição abaixo de um limiar $\tau$ são classificados como apenas internos. Eles são mantidos na tabela de fusão para suportar a construção de tokens mais longos, mas não são expostos ao modelo de linguagem.
- Tokens com exposição $\ge \tau$ são candidatos para o vocabulário visível.
- Para manter o tamanho do vocabulário alvo, o algoritmo retoma o treinamento a partir do checkpoint para gerar candidatos adicionais. O treinamento continua dinamicamente até que candidatos suficientemente expostos sejam encontrados para preencher os slots $N_{visible}$ anteriormente ocupados por tokens de baixa exposição.
Realocação de Tokens e Codificação:
- Realocação: Os "slots" vagos pelos tokens apenas internos são preenchidos pelos novos candidatos de alta exposição. Os rankings de fusão originais são preservados para garantir que a ordem de fusão permaneça inalterada, mas os IDs de tokens exportados são remapeados para refletir o novo vocabulário visível.
- Codificação: Durante a inferência, a fusão padrão de BPE é realizada. Se um token apenas interno for gerado, ele é recursivamente expandido em seus filhos visíveis antes que a sequência de IDs de tokens final seja retornada. Isso garante que o modelo de linguagem receba apenas IDs do vocabulário visível, preservando a eficiência da estrutura de fusão aprendida.

Principais Contribuições

Exposição Final como Critério de Seleção: O trabalho introduz a exposição final como uma métrica de pós-treinamento para distinguir entre tokens necessários para a construção de fusão e aqueles adequados para a visibilidade do modelo. Isso permite a realocação de slots de vocabulário sem alterar a estrutura da árvore de fusão subjacente.
Realocação de Vocabulário vs. Redução: Ao contrário da poda de vocabulário, que encolhe o vocabulário, o Pruned BPE preserva o tamanho do vocabulário visível ao modelo alvo. Ele preenche os slots podados com candidatos treinados adicionais, garantindo uma comparação justa com as bases padrão.
Implementação de Referência: O autor fornece uma implementação prática que suporta pré-tokenização consciente de Unicode, treinamento paralelo em CPU e a separação de vocabulários visíveis e internos.
Avaliação Apenas de Vocabulário: O artigo introduz uma avaliação apenas de vocabulário usando um codificador de programação dinâmica (DP) de mínimo de tokens exato compartilhado. Isso isola o benefício da composição do vocabulário da codificação nativa de ordem de fusão do BPE, demonstrando que a melhoria provém da qualidade dos próprios tokens visíveis.

Resultados Experimentais

Experimentos foram conduzidos em dois corpora não sobrepostos (Corpus I: ~640MB, Corpus II: ~1GB) e sua combinação, cobrindo dados de inglês, chinês, código e multilingue.

Redução do Comprimento Codificado: Com um limiar de exposição de 40%, o Pruned BPE reduziu consistentemente o comprimento codificado em comparação ao BPE Padrão no mesmo tamanho de vocabulário.
- Em avaliações no mesmo corpus, as reduções variaram de 0,27% a 0,36%.
- Em avaliações de cross-corpus, as reduções foram semelhantes, variando de 0,22% a 0,36%.
Comparação com Expansão de Vocabulário: O artigo observa que aumentar o vocabulário do BPE Padrão em 2K tokens normalmente gera uma redução marginal de 1,5%–3,8%. Os ganhos do Pruned BPE (aprox. 0,3%) representam uma fração significativa desse ganho marginal, alcançando efetivamente benefícios de compressão semelhantes sem aumentar o vocabulário do modelo.
Validação Apenas de Vocabulário: Usando o codificador DP de mínimo de tokens compartilhado (que ignora os rankings de fusão), o Pruned BPE ainda alcançou uma redução de 0,23%–0,31%. Isso confirma que o ganho de eficiência surge da composição mais eficaz do vocabulário visível, e não apenas da ordem de fusão específica.
Análise Qualitativa: Descobriu-se que os tokens apenas internos incluíam fragmentos reutilizáveis de inglês (ex: "vironment"), componentes de caracteres chineses (ex: "renmin gonghe"), sequências parciais de bytes UTF-8 e fragmentos de texto estruturado (ex: " htt").

Significância e Alegações

O artigo afirma que o Pruned BPE oferece um método prático para melhorar a eficiência de alocação de vocabulários BPE fixos sem aumentar o número de tokens expostos ao modelo de linguagem. Ao tratar tokens de baixa exposição como unidades de construção interna e realocar seus slots para candidatos com melhor exposição, o método reduz o comprimento da sequência e potencialmente melhora a qualidade do treinamento de embeddings.

O autor mantém uma postura modesta quanto ao impacto a jusante. Ele afirma explicitamente que, embora as melhorias no comprimento codificado sejam consistentes, o artigo ainda não estabelece se essas melhorias se traduzem em melhor eficiência de treinamento do modelo de linguagem, menor perda de validação ou melhor desempenho em tarefas a jusante. A principal contribuição é a demonstração de que a exposição final é um critério viável para otimizar a composição do vocabulário, sendo necessário trabalho futuro para validar esses benefícios em cenários controlados de treinamento de modelos de linguagem.