💬 NLP

From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution

Este trabalho propõe o método Source-Attributed BPE (SA-BPE), que regulariza o treinamento de tokenizadores de código ao modificar o objetivo BPE e introduzir a omissão de fusões, reduzindo significativamente a quantidade de tokens subtreinados e melhorando a eficiência e a segurança dos modelos de linguagem sem alterar o procedimento de inferência.

Autores originais: Pavel Chizhov, Egor Bogomolov, Ivan P. Yamshchikov

Publicado 2026-04-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Pavel Chizhov, Egor Bogomolov, Ivan P. Yamshchikov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô superinteligente a ler e escrever código de computador. Para fazer isso, o robô precisa de um "dicionário" (chamado de tokenizador) que quebre o texto em pedaços menores, chamados de "tokens", para que ele possa entendê-los.

O método mais comum hoje em dia é como se fosse um jogo de "cortar e colar" baseado na frequência: se duas palavras aparecem juntas o tempo todo, o robô as junta em uma única palavra nova no dicionário. Isso é eficiente, mas tem um problema sério: o robô fica viciado em detalhes inúteis.

O Problema: O Dicionário Cheio de "Lixo"

Pense no dicionário do robô como uma estante de livros. O método atual (BPE) enche essa estante com:

Palavras reais e úteis: Como import, function, print.
Lixo específico de um único projeto: Imagine que um programador chamado "João" criou um projeto com variáveis estranhas como minCuSize ou AtaSmartAttributeDisplayType. Como o robô viu isso muitas vezes naquele projeto específico, ele achou que era importante e colocou no dicionário.
Palavras quebradas de forma estranha: Às vezes, o robô cria palavras que nunca serão usadas de verdade, como pedaços de nomes de variáveis que só existiam em um arquivo corrompido.

Essas palavras inúteis são chamadas de "tokens subtreinados". Elas ocupam espaço na memória do robô, mas ele nunca aprendeu o que elas significam de verdade. É como ter um livro de receitas que inclui uma página inteira com a lista de compras de uma única pessoa, que nunca será usada por ninguém mais. Isso deixa o robô lento, confuso e até propenso a alucinar (inventar coisas) ou ser hackeado.

A Solução: SA-BPE (O "Detetive de Fontes")

Os autores deste paper criaram uma nova regra para montar esse dicionário, chamada SA-BPE. Em vez de apenas contar quantas vezes uma palavra aparece, eles perguntam: "De quantos lugares diferentes essa palavra vem?"

Eles usam duas métricas principais, como se fossem filtros de qualidade:

Quantos repositórios (projetos) diferentes usam isso?
Quantas linguagens de programação diferentes usam isso?

A Analogia do Mercado de Frutas

Imagine que você está montando uma lista de frutas para um supermercado gigante (o dicionário do robô).

O Método Antigo (BPE): Você olha para um único caminhão de frutas. Se esse caminhão traz 1.000 maçãs estranhas de uma fazenda específica, você coloca 1.000 maçãs no estoque. O problema é que, se o supermercado vender para o mundo todo, ninguém vai querer essas maçãs estranhas. Elas vão apodrecer na prateleira (subtreinamento).
O Novo Método (SA-BPE): Você olha para 100 caminhões de 50 fazendas diferentes.
- Se uma fruta aparece em 90 caminhões de 40 fazendas, você coloca no estoque (é uma "banana", é universal).
- Se uma fruta aparece apenas no caminhão da "Fazenda do João", você não a coloca no estoque principal. Você diz: "Isso é muito específico, não vale a pena ocupar espaço na prateleira geral".

Ao fazer isso, o dicionário fica mais limpo, mais inteligente e focado no que é realmente útil para a maioria dos casos.

O Que Isso Muda na Prática?

Menos "Lixo" no Dicionário: O robô para de aprender nomes de variáveis específicos de um único projeto (como FHIRConstants de um projeto PHP antigo). Ele foca em conceitos que aparecem em Java, Python, C++, etc.
Robô Mais Rápido e Leve: Como o dicionário não está cheio de palavras inúteis, o robô processa o texto mais rápido e gasta menos memória.
Menos Alucinações: Como o robô não tem palavras "fantasmas" no dicionário que ele não entende, ele erra menos ao tentar completar códigos.
Sem Mudança na Leitura: A parte mais legal é que, depois de montar esse dicionário melhorado, o robô lê os textos exatamente da mesma forma que antes. Não precisa mudar nada na forma como ele funciona no dia a dia, apenas o "dicionário de treinamento" ficou mais inteligente.

Resumo em uma Frase

Os autores criaram uma maneira de ensinar o robô a ignorar "gírias de bairro" (dados específicos de um único projeto) e focar apenas no "idioma universal" (padrões comuns a muitos projetos), resultando em um assistente de programação mais rápido, mais seguro e menos propenso a erros.

Resumo Técnico: Regularização Eficiente de Tokenizadores de Código através de Atribuição de Fonte

1. O Problema: Tokens Subtreinados e Overfitting em Tokenizadores de Código

O artigo identifica um problema crítico na eficiência e segurança dos Grandes Modelos de Linguagem (LLMs) focados em código: a existência de tokens subtreinados (under-trained tokens) nos vocabulários gerados por algoritmos de codificação de pares de bytes (BPE - Byte-Pair Encoding).

Causa: Os tokenizadores BPE padrão são treinados em grandes corpora de repositórios de código. Devido ao desequilíbrio na diversidade de linguagens e repositórios, o algoritmo tende a criar tokens específicos de um único repositório ou projeto (ex: nomes de variáveis únicos, placeholders com erros de digitação como "Loremipumdolor").
Consequências:
- Ineficiência: Esses tokens ocupam espaço no vocabulário, mas raramente são usados durante a inferência, aumentando o custo computacional sem benefício.
- Segurança e Robustez: Como o modelo não aprendeu representações adequadas para esses tokens (pois não aparecem no treinamento), eles podem levar a alucinações ou serem explorados em ataques de jailbreak ao nível de token.
- Exemplo: O tokenizador do StarCoder2 contém tokens derivados de nomes de variáveis com erros de digitação ou de repositórios específicos que nunca serão vistos novamente, mas que permanecem no vocabulário.

2. Metodologia: SA-BPE (Source-Attributed BPE)

Os autores propõem o SA-BPE, uma modificação no algoritmo de treinamento do BPE que introduz regularização baseada na origem dos dados (repositórios e linguagens de programação), em vez de apenas na frequência bruta.

A abordagem é inspirada no conceito de TF-IDF, mas invertida: em vez de priorizar termos específicos de documentos, o SA-BPE desprioriza termos que aparecem em poucos documentos (repositórios) ou linguagens.

Modificações Principais no Algoritmo BPE:
O algoritmo rastreia duas propriedades para cada par de tokens candidatos a fusão (merge):

$R$ (Repositórios): Número de repositórios distintos onde o par aparece.
$L$ (Linguagens): Número de linguagens de programação distintas onde o par aparece.

São introduzidos dois tipos de critérios:

Critério de Pulo de Fusão (Merge Skip Criterion):
- Ignora fusões que não atendam a um limiar mínimo de repositórios ( $R_t$ ) ou linguagens ( $L_t$ ).
- Lógica: Se um par de tokens só aparece em 1 repositório, qualquer token futuro derivado dele também estará limitado a esse repositório, indicando alto risco de overfitting.
Critério de Prioridade (Priority Criterion):
- Modifica a função objetivo de seleção da próxima fusão (originalmente baseada apenas na frequência $F$ ).
- Novas funções de pontuação propostas:
  - $F \cdot L$ : Prioriza fusões universais em várias linguagens.
  - $F \cdot \log(R + 1)$ : Penaliza fusões presentes em poucos repositórios.
  - $F \cdot \log R$ : Anula completamente fusões presentes em apenas um repositório.
  - Combinações como $F \cdot \log R \cdot L$ .

Vantagem Crítica: Ao contrário de métodos anteriores que exigem alterações no processo de inferência (como remover tokens intermediários), o SA-BPE altera apenas o treinamento. A inferência permanece idêntica ao BPE padrão, garantindo compatibilidade e sem sobrecarga de tempo.

3. Contribuições Chave

Análise de Tokens Subtreinados: Mapeamento detalhado das categorias de tokens inúteis em modelos de código populares (CodeGemma, Qwen 2.5 Coder, StarCoder2), mostrando que muitos derivam de nomes de variáveis específicos de repositórios e erros de digitação.
Proposta do SA-BPE: Um conjunto de heurísticas que regularizam o treinamento do BPE, reduzindo o overfitting sem alterar a função de tokenização final.
Validação Empírica: Treinamento de modelos de linguagem pequenos (Llama 100M) e avaliação em tarefas de compressão, cobertura e detecção de tokens subtreinados.

4. Resultados Experimentais

Os experimentos foram realizados em dados de código (Java, Python e multilíngue) utilizando o Common Corpus.

Redução de Tokens Subtreinados:
- A versão SA-BPE mais eficaz ( $F \cdot \log R \cdot L$ ) reduziu o número de tokens verificados como subtreinados de 640 (no BPE padrão) para apenas 44.
- A análise visual (gráficos de indicadores de tokens subtreinados) mostrou que o SA-BPE elimina a "cauda pesada" de tokens com baixa probabilidade de uso.
Eficiência e Generalização:
- Taxa de Compressão: O SA-BPE manteve ou melhorou a taxa de compressão do texto em relação ao BPE padrão.
- Cobertura: Aumento na cobertura de tokens usados no conjunto de teste (dados não vistos), indicando melhor generalização.
- Comprimento Médio do Token: Redução no comprimento médio dos tokens, sugerindo que o vocabulário evita nomes de variáveis excessivamente longos e específicos.
- Suporte a Linguagens de Baixo Recurso: Em cenários multilíngues, as modificações que incluíam o critério de linguagem ( $L$ ) melhoraram o desempenho em linguagens com menos dados de treinamento (ex: Lua, Dart), promovendo maior equidade.
Comparação com Outros Métodos:
- O SA-BPE superou alternativas como UnigramLM e WordPiece em dados de código.
- Comparado a métodos de poda pós-treinamento (como PickyBPE e BoundlessBPE), o SA-BPE alcançou melhor compressão e cobertura com o mesmo tempo de inferência, pois não requer procedimentos de inferência complexos.

5. Significado e Impacto

Segurança e Robustez: Ao eliminar tokens que o modelo não entende (subtreinados), o SA-BPE reduz a superfície de ataque para jailbreaks e diminui a probabilidade de alucinações relacionadas a tokens desconhecidos.
Eficiência de Produção: A técnica é leve, não altera a inferência e pode ser integrada em pipelines de treinamento existentes. Isso permite criar tokenizadores mais compactos e eficientes para uso em produção.
Generalização para Outros Domínios: Embora focado em código, a metodologia de atribuição de fonte (repositórios/documentos) pode ser aplicada a linguagens naturais, utilizando análogos como "livros" ou "coleções de documentos" para regularizar o vocabulário.

Em resumo, o SA-BPE demonstra que a diversidade da fonte dos dados de treinamento é um fator crucial para a qualidade do tokenizador, oferecendo uma solução prática para o problema de overfitting em vocabulários de modelos de linguagem de código.