Resumo Técnico: LiteToken: Removendo Resíduos de Fusão Intermediária de Tokenizadores BPE

1. Definição do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham visto um crescimento dramático em parâmetros e dados de treinamento, o design de seus tokenizadores — especificamente o amplamente utilizado Byte Pair Encoding (BPE) — recebeu comparativamente menos escrutínio. Este artigo identifica uma ineficiência específica nas vocabulários BPE padrão denominada "resíduos de fusão intermediária" (também referidos como "tokens de andaime" ou scaffold tokens).

Durante o treinamento do BPE, o algoritmo funde iterativamente os pares de tokens adjacentes mais frequentes. Muitos tokens criados durante esse processo são altamente frequentes no momento de sua criação, mas são subsequentemente absorvidos por fusões posteriores. Consequentemente, esses tokens aparecem infrequentemente no corpus final tokenizado, embora permaneçam no vocabulário. Os autores identificam três problemas primários causados por esses resíduos:

1. Desperdício de Token: Esses tokens ocupam capacidade nos embeddings de tokens e nas camadas de decodificação sem serem efetivamente utilizados, levando a parâmetros e FLOPs desperdiçados (estimado em 1–3% para modelos ≤8B parâmetros).
2. Degradação de Desempenho: Como esses tokens são raros no corpus final, eles são subtreinados. Os modelos encontram taxas de erro mais altas ao processar entradas que disparam esses tokens, particularmente em cenários atípicos ou fora da distribuição (out-of-distribution).
3. Vulnerabilidade: A baixa frequência e a associação com padrões de texto ruidosos tornam esses tokens um vetor para ataques adversariais e redução da robustez contra erros ortográficos ou perturbações do tipo jailbreak.

2. Metodologia: LiteToken

Os autores propõem o LiteToken, um algoritmo leve, plug-and-play, projetado para identificar e remover resíduos de fusão intermediária de um tokenizador BPE existente sem retreinar o tokenizador ou o modelo. O processo envolve três estágios principais:

A. Algoritmo de Identificação

O método utiliza uma análise estatística baseada em corpus para distinguir resíduos reais de unidades linguísticas de baixa frequência (como raízes, prefixos ou sufixos). Ele emprega duas métricas:

1. Razão Final/Intermediária (FI): Esta mede a frequência de um token no corpus final ($F_1$) em relação às suas ocorrências totais durante o processo de fusão ($F_1 + F_2$). Uma razão baixa indica que o token foi majoritariamente fundido em unidades maiores.
   $$R = \frac{F_1}{F_1 + F_2}$$
2. Filtragem de Entropia de Vizinhança: Para evitar a remoção de unidades morfológicas válidas (ex: "re" em "rewrite" ou "import" como uma palavra isolada), o algoritmo calcula a entropia dos tokens vizinhos à esquerda e à direita. Resíduos intermediários tipicamente possuem contextos de baixa entropia e fixos (ex: "includ" é quase sempre seguido por "e", "ing", etc.), enquanto raízes válidas ou palavras isoladas exibem maior diversidade de vizinhança.
   $$S(t) = \min \{S_{left}(t), S_{right}(t)\}$$
   Tokens são classificados como resíduos se sua razão FI estiver abaixo de um limiar ($r$) e seu escore de entropia estiver abaixo de um limiar ($s$).

B. Remoção e Re-fusão

Uma vez identificados os resíduos, o tokenizador é modificado via um processo de Divisão (Split) e Re-fusão (Re-Merge):

• Divisão (Split): Quando um token pertencente ao conjunto de resíduos é encontrado, o algoritmo reverte recursivamente as operações de fusão que o criaram, dividindo-o de volta em seus tokens predecessores até que apenas tokens não-resíduos (ou básicos) restem. Isso garante que nenhum token desconhecido seja gerado.
• Re-fusão (Re-Merge): Para evitar fragmentação excessiva de sequência, o algoritmo aplica um passo de re-fusão usando as fusões aprendidas "não mascaradas". Isso recombina os tokens divididos em unidades mais compactas e linguisticamente alinhadas (ex: re-formando "corruption" a partir de partes divididas) sem reintroduzir os tokens de resíduo removidos.

C. Mascaramento da Camada de Saída

Para evitar que o modelo gere tokens de resíduo durante a decodificação autorregressiva, as colunas correspondentes na matriz de projeção de saída ($O \in \mathbb{R}^{d_h \times N_{vocab}}$) são mascaradas. Os autores observam que a re-fusão não é aplicada durante a geração para manter a compatibilidade com os caches KV.

D. Compatibilidade com Tiktoken

O método é adaptado para o tiktoken (usado pelas famílias Llama-3, GPT e Gemma), que carece de uma árvore de fusão estrita. Para esses tokenizadores, o algoritmo considera todos os caminhos de fusão permitidos que resultam em um token específico e realiza estatísticas de frequência baseadas na tabela de fusão real usada durante a codificação.

3. Principais Contribuições

• Caracterização Sistemática: O artigo fornece uma análise empírica revelando que aproximadamente 5% a 10% dos tokens em tokenizadores BPE amplamente utilizados (incluindo famílias Qwen, DeepSeek, Llama-3 e GPT) são resíduos de fusão intermediária.
• Algoritmo LiteToken: Um método inovador, sem necessidade de treinamento, para podar esses resíduos, reduzindo o tamanho do vocabulário e os parâmetros do modelo, além de melhorar a eficiência do token.
• Implantação Plug-and-Play: A abordagem permite que modelos pré-treinados utilizem o tokenizador modificado imediatamente, preservando o desempenho geral.

4. Resultados Experimentais

Os autores avaliaram o LiteToken em modelos variando de 0.6B a 70B de parâmetros (Qwen, Llama-3, DeepSeek, etc.) usando os datasets C4-en, RedPajama e SQuAD.

• Redução de Parâmetros e Computação: A remoção de resíduos reduz o tamanho do vocabulário em 5–10%, levando a uma redução proporcional nos parâmetros das camadas de embedding e de saída (até ~2.6% para modelos de 0.6B).
• Desempenho de Modelagem de Linguagem: O tokenizador modificado ("Lite") mostrou impacto negligenciável na perplexidade (PPL). Por exemplo, no C4-en, a diferença de PPL entre os tokenizadores originais e Lite foi inferior a 0.5 para o Qwen-3-8B e Llama-3.1-70B.
• Robustez: Os ganhos mais significativos foram observados na robustez. Em testes de perturbação (erros ortográficos e fronteiras de tokens adversariais), os modelos LiteToken demonstraram maior precisão em correção de erros e resposta a perguntas comparado aos modelos originais. Por exemplo, a queda de desempenho para o Qwen-3-8B sob perturbação foi reduzida de 1.78% para 0.82%.
• Desempenho Geral: Em benchmarks padrão como o SQuAD, a remoção de resíduos manteve os escores F1 dentro de uma margem negligenciável (ex: 0.833 vs. 0.829 para o Qwen-3-8B), confirmando que a poda não prejudica as capacidades gerais de NLP.

5. Significância e Alegações

O artigo argumenta que o design do tokenizador é um componente crítico, porém frequentemente negligenciado, da arquitetura de LLMs. Os autores alegam que os resíduos de fusão intermediária representam uma ineficiência tangível que desperdiça recursos computacionais e cria vulnerabilidades a entradas ruidosas.

Ao introduzir o LiteToken, os autores demonstram que:

1. Uma parte significativa do vocabulário nos tokenizadores BPE modernos é redundante.
2. A remoção desses resíduos melhora a robustez do modelo contra erros tipográficos e perturbações adversariais sem o custo de retreinamento.
3. A natureza "plug-and-play" do método permite benefícios imediatos de implantação em termos de economia de memória e eficiência de inferência.

Os autores concluem que, embora seu trabalho atual se concentre em inglês e escritas latinas, o fenôismo dos resíduos intermediários é provavelmente prevalente em outras línguas, sugerindo a necessidade de investigações adicionais sobre a otimização de tokenizadores em diversas estruturas linguísticas. Eles enfatizam que seu trabalho é de escopo modesto, focando na camada de tokenização, e deixa as interações com o retreinamento do modelo como uma direção para pesquisas futuras.