Defragmenting Language Models: An Interpretability-based Approach for Vocabulary Expansion

Resumo Técnico: Desfragmentando Modelos de Linguagem

1. O Problema: Fragmentação Excessiva de Tokens (Token Over-fragmentation)

O artigo identifica um problema crítico em Modelos de Linguagem de Grande Escala (LLMs) modernos: a fragmentação excessiva de tokens em idiomas que não utilizam o alfabeto latino.

• A Causa: A maioria dos tokenizadores (como BPE e Unigram) é treinada em dados desbalanceados, dominados por idiomas em latim. Isso resulta em vocabulários onde caracteres de scripts não latinos (ex: Devanagari, Birmanês, Odia) são frequentemente quebrados em subpalavras menores ou até mesmo em bytes individuais.
• O Impacto: Para codificar a mesma quantidade de informação, idiomas não latinos exigem múltiplos tokens em comparação ao inglês. Isso gera:
  • Custos elevados: A maioria dos APIs de LLM cobra por token; falantes de idiomas não latinos pagam um "prêmio" (até 10x mais caro em casos extremos como Odia).
  • Latência: Mais tokens significam mais tempo de inferência.
  • Desempenho: A fragmentação excessiva prejudica a compreensão contextual e a performance em tarefas downstream.
• Limitação das Soluções Atuais: Re-treinar o modelo do zero com um tokenizador equitativo é computacionalmente proibitivo. A solução padrão é a expansão de vocabulário (adicionar novos itens ao vocabulário existente e ajustar o modelo), mas as abordagens atuais dependem de heurísticas baseadas em frequência, que são subótimas.

2. Metodologia e Abordagem Proposta

Os autores propõem uma abordagem baseada em interpretabilidade para a expansão de vocabulário, focando em duas etapas cruciais:

1. Seleção de Itens (Stage 1): O que adicionar ao vocabulário?
2. Inicialização de Embeddings (Stage 2): Como inicializar as representações vetoriais desses novos itens?

O trabalho evolui de um método existente (Tokens2Words) para uma nova técnica chamada FragMend.

• FragMend (O Método Proposto):
  • Conceito Central: O método explora o fenômeno de "des-tokenização de subpalavras" (subword detokenization). A análise revela que os LLMs possuem um "léxico interno" rico onde reconstruem palavras inteiras através da fusão progressiva de subpalavras ao longo das camadas da rede neural.
  • Inovação: Diferente do Tokens2Words, que só adiciona palavras inteiras do corpus de treino, o FragMend identifica e adiciona subpalavras (prefixos, infixos, sufixos) que são "des-tokenizadas" com sucesso dentro do modelo.
  • Vantagem: Isso permite adicionar um número muito maior de itens ao vocabulário (2-3x mais) usando o mesmo pequeno corpus de treino, aumentando drasticamente a eficiência.
  • Inicialização: As embeddings dos novos itens são inicializadas utilizando as ativações ocultas do modelo no momento e camada onde a des-tokenização ocorre com sucesso, mapeadas via transformações de Procrustes ortogonais.
  • Estratégia de Redução: Como uma subpalavra pode aparecer em várias palavras com ativações diferentes, o FragMend utiliza estratégias de redução (ex: escolher a inicialização da camada mais precoce onde a des-tokenização ocorreu) para consolidar as representações.

3. Contribuições Principais

1. Desafio às Heurísticas de Frequência: O trabalho demonstra que a seleção de itens baseada em frequência (BPE) é subótima. Métodos baseados em interpretabilidade (como Tokens2Words e FragMend) oferecem uma fronteira de Pareto superior, equilibrando melhor eficiência de tokens e desempenho do modelo.
2. Análise de Inicialização: Mostra que a inicialização baseada em interpretabilidade supera significativamente métodos heurísticos (como inicialização aleatória, média de subpalavras ou FOCUS) para idiomas não latinos e de baixos recursos.
3. Descoberta de "Des-tokenização de Subpalavras": Evidencia que os modelos não apenas reconhecem palavras inteiras, mas também constroem representações coerentes para subpalavras intermediárias antes de formar a palavra completa.
4. FragMend: Uma nova técnica que supera o limite de eficiência do Tokens2Words, permitindo ganhos massivos de eficiência (redução de tokens) com perda mínima de desempenho, especialmente em idiomas de baixos recursos.

4. Resultados Experimentais

Os experimentos foram realizados no modelo Qwen3-30B-A3B e modelos menores (Qwen3.5, TinyAya), cobrindo 14 idiomas (latinos e não latinos, de alto e baixo recurso).

• Eficiência de Tokens:
  • O FragMend alcançou reduções de tokens de até 3x para idiomas como Birmanês (mya) e Odia (ory), comparado ao modelo original.
  • Em muitos casos (ex: Gujarati, Hindi), o método proporcionou ganhos de eficiência "gratuitos" (sem queda de desempenho).
• Desempenho (Benchmarks SIB200 e Belebele):
  • Para idiomas não latinos de baixos recursos, o FragMend manteve o desempenho em tarefas de classificação de tópicos e compreensão de leitura, com quedas mínimas (geralmente < 5 pontos) ou até melhorias em relação ao modelo original.
  • Em contraste, métodos baseados em BPE (frequência) muitas vezes causaram quedas drásticas de desempenho (até 60 pontos) ao tentar adicionar muitos tokens, devido à seleção inadequada de itens.
• Análise de Escala: A eficácia do método aumenta com o tamanho do modelo. Modelos maiores (9B parâmetros) mostram taxas de des-tokenização e redução de tokens superiores aos modelos menores (0.8B), sugerindo que o "léxico interno" é mais acessível em modelos maiores.

5. Significado e Impacto

Este trabalho é fundamental para a democratização e acessibilidade dos LLMs:

• Justiça Linguística: Reduz a "taxa silenciosa" (custo e latência) que impõe barreiras econômicas e técnicas a falantes de idiomas não latinos.
• Viabilidade Prática: O método é altamente eficiente, exigindo apenas um pequeno corpus não rotulado (1.000 a 10.000 sequências) e não requer o re-treinamento do modelo inteiro, apenas o ajuste (fine-tuning) das embeddings.
• Direção Futura: Estabelece a interpretabilidade como uma ferramenta superior à estatística simples para a adaptação de modelos de linguagem, sugerindo que o "conhecimento interno" dos modelos pode ser explorado para melhorar a infraestrutura de tokenização sem re-treinamento massivo.

Em resumo, o FragMend oferece uma solução prática e tecnicamente robusta para o problema da fragmentação de tokens, permitindo que modelos de linguagem atendam a comunidades linguísticas diversas com custos e latência muito menores, sem sacrificar a qualidade da resposta.