🤖 AI

You Can Learn Tokenization End-to-End with Reinforcement Learning

Este artigo propõe o aprendizado de tokenização de ponta a ponta usando aprendizado por reforço com estimativas de função de pontuação e desconto temporal para reduzir a variância, demonstrando que esta abordagem supera métodos anteriores do tipo straight-through na escala de 100 milhões de parâmetros.

Autores originais: Sam Dauncey, Roger Wattenhofer

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sam Dauncey, Roger Wattenhofer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os computadores modernos não entendem naturalmente a linguagem humana; eles entendem apenas números. Para preencher essa lacuna, os sistemas de inteligência artificial que processam texto devem primeiro traduzir palavras e frases em um fluxo de números que possam digerir. Durante anos, o método padrão para fazer isso tem sido uma etapa rígida e pré-programada chamada tokenização. Pense nesse processo como um bibliotecário que, antes de um livro poder ser lido por uma máquina, deve cortar as páginas em pedaços específicos e predeterminados com base em um livro de regras fixo. Esse livro de regras decide onde uma palavra termina e a próxima começa, muitas vezes agrupando combinações comuns de letras. Embora isso funcione bem, é uma etapa manual e estática que reside fora do cérebro da inteligência artificial, separada do próprio processo de aprendizado. À medida que essas mentes digitais se tornam maiores e mais capazes, cientistas começaram a se perguntar se essa abordagem rígida e pré-cortada está limitando-as, e se a máquina poderia aprender a cortar o próprio texto de uma forma que faça mais sentido para sua própria lógica interna.

Uma equipe de pesquisadores da ETH Zurich deu um passo significativo para responder a essa pergunta, ensinando uma inteligência artificial a aprender como cortar seu próprio texto do zero, sem quaisquer regras pré-escritas. Em seu novo trabalho, eles demonstraram que um modelo de computador pode ser treinado para decidir exatamente onde colocar os limites entre os pedaços de texto, simplesmente tentando minimizar seus erros enquanto aprende. Em vez de seguir um manual fixo ou usar um palpite inteligente baseado em espaços e pontuação, o modelo utiliza uma abordagem de tentativa e erro semelhante à de um animal aprendendo a navegar em um labirinto. Ele adivinha estocasticamente onde um corte deve ir, observa o quão bem ele prevê a próxima parte do texto e, então, ajusta sua estratégia. Se um palpite leva a uma melhor previsão, o modelo reforça essa decisão; se leva à confusão, ele tenta algo diferente. Com o tempo, o modelo descobre sua própria maneira ideal de decompor a linguagem, efetivamente ensinando a si mesmo as regras de tokenização conforme aprende a língua.

Os pesquisadores descobriram que, quando deixavam o modelo aprender dessa forma, ele naturalmente começava a fazer seus cortes nos mesmos lugares que os humanos, como nos espaços entre as palavras ou ao final das frases, mesmo sem ninguém ter dito isso a ele. Isso aconteceu sem que o modelo recebesse qualquer instrução específica sobre gramática ou a estrutura da linguagem. Em testes utilizando um conjunto de dados de mais de cem milhões de parâmetros, essa abordagem de autoaprendizado provou ser mais eficaz do que métodos anteriores que tentavam aprender limites usando uma técnica matemática diferente e menos direta. O novo método não apenas produziu melhores resultados, mas também igualou o desempenho de sistemas que dependem dos tradicionais livros de regras feitos à mão, apesar de não possuir conhecimento prévio dessas regras.

Um dos aspectos mais impressionantes dessa descoberta é que o modelo aprendeu a ser eficiente. Ele descobriu como agrupar bytes de dados em blocos que fizessem sentido para sua tarefa específica, fosse lendo texto geral ou compreendendo código de computador. Quando os pesquisadores testaram o modelo em código Python, ele aprendeu a iniciar novos blocos no início de nomes de funções e a manter certas frases comuns juntas, mostrando uma compreensão intuitiva da estrutura do código que estava lendo. Isso sugere que o modelo não está apenas memorizando padrões, mas está desenvolvendo ativamente uma estratégia que se alinha com o significado do texto que processa.

O estudo também abordou um obstáculo importante que anteriormente tornava esse tipo de aprendizado difícil: o ruído no sinal de aprendizado. Como a decisão de cortar o texto é uma escolha binária — ou você corta aqui ou não corta — é matematicamente difícil dizer ao modelo exatamente como melhorar. Os pesquisadores resolveram isso emprestando técnicas do aprendizado por reforço, um campo onde agentes aprendem através de recompensas e penalidades. Eles introduziram um método que suaviza o ruído, permitindo que o modelo veja quais decisões específicas foram responsáveis por seus sucessos ou falhas ao longo de um trecho de texto mais longo. Isso permitiu que o modelo aprendesse de forma eficaz sem precisar de uma quantidade impossivelmente grande de poder computacional.

Embora os experimentos atuais tenham sido conduzidos em modelos de um tamanho específico, os resultados oferecem uma visão convincente para o futuro da inteligência artificial. Ao remover a necessidade de uma etapa separada e pré-programada para preparar o texto, os pesquisadores mostraram que o processamento de linguagem pode se tornar um processo de aprendizado totalmente integrado e de ponta a ponta. O modelo não apenas aprende a falar; ele aprende a ouvir e a analisar o mundo ao seu redor da maneira mais eficiente possível. Essa abordagem pode eventualmente levar a sistemas que lidam com idiomas e tipos de dados para os quais não existe um livro de regras desenhado por humanos, tornando a inteligência artificial mais adaptável e inclusiva. O trabalho sugere que o design rígido e artesanal de como alimentamos os dados às máquinas pode em breve ser substituado por um método mais fluido e autodescoberto, onde a máquina aprende a melhor maneira de ler o mundo em seus próprios termos.

Resumo Técnico: Aprendendo a Tokenização de Ponta a Ponta com Aprendizado por Reforço

Enunciado do Problema
A tokenização continua sendo uma etapa de pré-processamento codificada (hardcoded) nos pipelines de treinamento de Grandes Modelos de Linguagem (LLMs), baseando-se tipicamente em heurísticas como o Byte-Pair Encoding (BPE) ou regras manuais (ex: divisão de dígitos, preservação de espaços em branco). Embora a tendência mais ampla na arquitetura de IA esteja se movendo em direção ao aprendizado de ponta a ponta, a tokenização tem resistido amplamente a essa mudança. Tentativas anteriores de integrar a tokenização à arquitetura do modelo enfrentaram duas limitações principais:

Dependência de Heurísticas: Métodos que operam diretamente em bytes costumam usar regras fixas (ex: detecção de espaços em branco) ou picos de entropia para determinar fronteiras de tokens, que não são aprendidos a partir dos dados.
Fraqueza Teórica de Estimadores Straight-Through (STEs): Tentativas anteriores de aprender fronteiras de tokens de ponta a ponta basearam-se em STEs. Esses métodos relaxam decisões discretas de fronteira em variáveis contínuas para permitir a retropropagação (backpropagation). No entanto, os STEs carecem de garantias teóricas fortes porque não otimizam diretamente o problema de decisão discreta; eles dependem de aproximações heurísticas de gradiente que podem não convergir para uma estratégia ótima.

Metodologia
Os autores propõem um método para aprender fronteiras de tokens de ponta a ponta usando estimadores de função de pontuação (score function estimators) derivados de aprendizado por reforço (RL), especificamente dentro de uma arqu architecture U-Net autorregressiva.

Arquitetura: O modelo processa texto ao nível de bytes, prevê estocasticamente as fronteiras de tokens, realiza o downsampling para uma representação ao nível de token, processa-a e, em seguida, realiza o upsampling de volta ao nível de byte para a previsão do próximo byte. Isso permite que o modelo reutilize representações de nível de byte no nível de token.
Estimativa de Função de Pontuação: Em vez de STEs, os autores tratam a seleção da fronteira de token como uma decisão estocástica discreta. Eles formulam o objetivo de aprendizagem como a minimização da esperança da perda de cross-entropia do próximo token, marginalizada sobre todas as estratégias de tokenização possíveis. O gradiente é estimado usando o algoritmo REINFORCE (Williams, 1992), que decompõe o gradiente em um termo de perda condicional e um termo de gradiente de política.
Redução de Variância: Uma aplicação direta do REINFORCE sofre de alta variância, tornando o treinamento instável. Os autores introduzem três técnicas específicas para reduzir a variância e tornar o método prático:
1. Recompensas Relativas de Saída Antecipada (Early Exit Relative Rewards): Eles subtraem uma recompensa de base (estimada por um modelo de nível de byte de saída antecipada) da recompensa total para remover o ruído independente da tokenização.
2. Desconto Temporal (Time Discounting): Eles aplicam um fator de desconto ( $\gamma = 0.99$ ) para recompensas futuras ao computar as vantagens. Isso desacopla a influência de partes distantes da sequência, reduzindo a variância ao fornecer estímulos de treinamento mais independentes por sequência.
3. Vantagens Relativas ao Lote (Batch-Relative Advantages): Eles centralizam as estimativas de vantagem através do lote para corrigir vieses onde o modelo da camada final supera consistentemente o modelo de saída antecipada.
Controle da Taxa de Downsampling: Para evitar que o modelo escolha uma estratégia computacionalmente dispendiosa de separar cada byte, uma taxa de downsampling alvo é imposta via um termo de perda adicional que aplica pressão ao logit médio do lote.

Principais Contribuições

Aprendizado de Ponta a Ponta sem Viés Indutivo: Os autores demonstram que estratégias de tokenização que se alinham com fronteiras semânticas (ex: espaços em branco) podem ser aprendidas puramente através da otimização da perda de cross-entropia usando um estimador de função de pontuação, sem induções linguísticas explícitas ou vieses indutivos.
Superioridade sobre Estimadores Straight-Through: O artigo afirma que sua abordagem de função de pontuação supera métodos baseados em STE anteriores tanto qualitativamente (produzindo fronteiras mais semanticamente significativas) quanto quantitativamente (menor perda de validação e bits-por-byte).
Robustez a Taxas de Downsampling: O método demonstra desempenho robusto através de uma gama de taxas de downsampling (aspect ratios de tokenização), mostrando que as estratégias aprendidas se adaptam efetivamente a diferentes alvos de compressão.

Resultados Experimentais
Experimentos foram conduzidos em modelos de 147 milhões de parâmetros treinados no dataset FineWeb e modelos de 90 milhões de parâmetros no CodeParrot.

Análise Qualitativa: As fronteiras de tokens aprendidas alinham-se confiavelmente com caracteres de espaço em branco (espaços, quebras de linha) e quebras semânticas, apesar de o modelo não possuir instrução explícita para isso. No código, as fronteiras alinham-se com nomes de módulos e cabeçalhos de licença.
Desempenho Quantitativo:
- Em benchmarks de linguagem natural (PIQA, HellaSwag, LAMBADA, ARC-Easy), a política aprendida alcançou menores bits-por-byte do que baselines uniformes, métodos baseados em STE (Nawrot et al., 2023; Hwang et al., 2025) e um baseline aleatório.
- O método superou abordagens baseadas em STE em curvas de perda de validação ao longo de todo o processo de treinamento.
- O método alcançou um desempenho comparável a um baseline guiado por BPE (onde as fronteiras são fixadas por um tokenizer BPE pré-treinado), atingindo 1.297 bits-por-byte no conjunto de teste FineWeb versus 1.299 para a orientação por BPE.
Ablação: Uma variante com um tamanho de janela reduzido ( $w=1$ ) apresentou desempenho comparável ao modelo completo, sugerindo que o contexto de janela deslizante para os logits de fronteira não é estritamente necessário nesta escala.

Significância e Alegações
O artigo postula que estimadores de função de pontuação, reforçados por técnicas de redução de variância de RL, oferecem uma alternativa teoricamente sólida e praticamente eficaz para aprender fronteiras de tokens discretas. Os autores argumentam que esta abordagem permite que a tokenização se torne um componente totalmente aprendido da arquitetura do LLM, afastando-se de designs artesanais e manuais.

Os autores mantêm a modéstia quanto à escala de seus experimentos (escala de 100M de parâmetros), observando que os efeitos subsequentes na qualidade da modelagem de linguagem são difíceis de avaliar diretamente neste tamanho em comparação com modelos de fronteira. No entanto, eles afirmam que o método recupera com sucesso o desempenho do downsampling guiado por BPE sem priors externos. Eles identificam problemas abertos relativos ao escalonamento de aspect ratios de tokenização ideais com o tamanho do modelo e a generalização dessas estratégias para taxas de downsampling variáveis. O trabalho sugere que, à medida que os modelos se tornam cada vez mais de ponta a ponta, as estimativas de função de pontuação podem se tornar o método preferido para a tokenização.

Resumo Técnico: Aprendendo a Tokenização de Ponta a Ponta com Aprendizado por Reforço

Mais como este