Resumo Técnico: Simetria de Retokenização Emergente em Grandes Modelos de Linguagem

Declaração do Problema

A tokenização em Grandes Modelos de Linguagem (LLMs) introduz redundância representacional: uma única sequência de bytes pode ser decomposta em múltiplas sequências de tokens válidas (segmentações) que decodificam para o mesmo texto de superfície. Os tokenizadores padrão (ex: BPE, WordPiece) selecionam uma única segmentação "canônica", tipicamente via algoritmos gulosos ou de programação dinâmica. Embora o treinamento nestas formas canônicas seja o padrão, permanece incerto se os modelos aprendem a tratar segmentações não canônicas e semanticamente equivalentes como entradas invariantes.

Trabalhos anteriores destacaram a tokenização como uma fonte de fragilidade, onde os modelos falham em tarefas de nível de caractere ou operações sensíveis à ortografia. Inversamente, estudos recentes sugerem que os modelos podem possuir compreensão composicional emergente, recuperando representações de palavras inteiras a partir de sequências de subpalavras. No entanto, existe uma lacuna na compreensão do equilíbrio entre invariância de segmentação (tratar diferentes segmentações da mesma string identicamente) e sensibilidade de segmentação (onde diferentes segmentações induzem estados internos e saídas distintos). A maioria dos estudos de perturbação de entrada anteriores (ex: paráfrase, erros de digitação) altera a string de superfície, confundindo mudanças semânticas com robustez à redação. Há uma necessidade de um probe controlado que isole o efeito da tokenização isoladamente, sem alterar os bytes subjacentes, a sintaxe ou a semântica.

Metodologia

Os autores introduzem a retokenização como uma intervenção controlada em tempo de inferência. Dada uma vocabulário fixo e uma string de bytes $s$, eles definem:

• $E_0(s)$: A codificação de tokens canônica.
• $E_\mu(s)$: Qualquer outra segmentação válida de $s$ sob o mesmo vocabulário.

O setup experimental central envolve Amostragem de Retokenização:

1. Retokenização Estocástica: Para um determinado prompt, os autores geram $k$ segmentações não canônicas válidas re-segmentando tokens aleatoriamente (usando um algoritmo que amostra uniformemente de decomposições válidas) com uma probabilidade $p_{retok}$.
2. Decodificação Gulosa (Greedy): O modelo é executado em cada prompt segmentado usando decodificação gulosa (temperatura = 0). Isso garante que a diversidade da saída derive exclusivamente da representação de entrada, não da aleatoriedade de amostragem da saída.
3. Métrica: Eles definem pass@retok(k) como a probabilidade de que pelo menos um dos $k$ prompts retokenizados produza uma solução correta. Este é o análogo direto da métrica padrão pass@k, mas com a diversidade originada da segmentação da entrada, em vez da estocasticidade da saída.

O estudo emprega esta metodologia através de:

• Modelos: A família OLMo-2 (7B parâmetros) em várias etapas de treinamento (pré-treinamento, SFT, DPO, Instruct) e outras famílias de modelos (Qwen3, Llama-3.1, Gemma, Pythia).
• Benchmarks: HumanEval (geração de código), GSM8K (raciocínio matemático), GSM8K Python (matemática mediada por código) e MMLU (recuperação de conhecimento).
• Comparações: Os autores comparam a retokenização contra:
  • Amostragem de Temperatura Canônica: Diversidade padrão do lado da saída.
  • Amostragem de Erros de Digitação (Typo Sampling): Perturbações de entrada que alteram a string de superfície (um eixo de busca menos controlado, porém mais forte).
  • Análise de Estado Oculto: Medindo o deslocamento e a variância das representações latentes através das camadas.

Principais Contribuições

1. Retokenização como um Probe Controlado: O artigo formaliza a retokenização como uma intervenção que preserva a semântica. Ela altera apenas a decomposição de tokens de uma string de bytes fixa, permitindo um isolamento limpo dos efeitos de segmentação das mudanças semânticas ou sintáticas.
2. Simetria Emergente e Sensibilidade Residual: Através da análise de estados ocultos, os autores demonstram que, embora as representações internas de segmentações não canônicas se agrupem (indicando simetria emergente), elas não colapsam para o estado canônico. Uma "sensibilidade residual" persiste, particularmente acentuada nas camadas finais do modelo. Esta sensibilidade é aprendida gradualmente durante o pré-treinamento e o pós-treinamento.
3. Protocolo de Amostragem de Retokenização: Os autores introduzem o pass@retok(k) para quantificar como a diversidade da representação de entrada afeta o sucesso da tarefa. Eles mostram que esta métrica exibe uma curva ascendente com retornos decrescentes, semelhante ao pass@k padrão, indicando que diferentes segmentações expõem trajetórias distintas e úteis.
4. Ganhos Dependentes de Tarefa e Tendências de Robustez:
   • Recuperação de Soluções Perdidas: No HumanEval e GSM8K, a amostragem de retokenização recupera soluções corretas que a decodificação canônica perde.
   • Diversidade Estrutural: No HumanEval, a análise baseada em AST revela que as gerações retokenizadas corretas abrangem uma gama substancial de estruturas de programas, não apenas um único template canônico.
   • Escalonamento de Modelo: Modelos mais fortes geralmente permanecem mais fortes sob retokenização, e a robustez de segmentação acompanha a capacidade geral do modelo.
5. Análise de Eficiência Computacional: Os autores comparam a retokenização com a amostragem de temperatura e de erros de digitação sob um orçamento de tokens de prompt correspondente. Eles descobrem que, embora a retokenização forneça uma diversidade única, ela é menos eficiente computacionalmente do que a amostragem de temperatura porque as segmentações não canônicas frequentemente aumentam o comprimento do prompt.

Resultados

• Espaço de Representação: Durante o pré-treinamento, o deslocamento (viés) e a variância das representações latentes sob retokenização diminuem, mas não desaparecem. A camada final mostra a maior sensibilidade às mudanças de segmentação.
• Desempenho Comportamental:
  • HumanEval: A amostragem de retokenização mostra a maior lacuna em relação ao pass@k canônico, recuperando programas estruturalmente diversos. Algumas tarefas são resolvidas apenas pela amostragem de retokenização.
  • GSM8K & GSM8K Python: A retokenização melhora o desempenho, embora a lacuna em relação à amostragem canônica seja menor do que na geração de código.
  • MMLU: Devido ao espaço de resposta discreto e pequeno, a amostragem repetida (tanto canônica quanto retokenizada) satura rapidamente, tornando o pass@retok menos distinto neste domínio.
• Dinâmica de Treinamento: Tanto o pass@k quanto o pass@retok(k) melhoram durante o pré-treinamento e mostram aumentos acentuados durante o pós-treinamento (SFT, DPO, Instruct). Isso sugere que a invariância de segmentação é uma propriedade aprendida que escala com a capacidade do modelo.
• Comparação com Erros de Digitação (Typos): A amostragem de erros de digitação geralmente supera a retokenização em termos de ganhos brutos de precisão, mas é menos controlada porque altera o texto visível. A retokenização permanece o "probe mais limpo" para efeitos específicos de segmentação.
• Diversidade: As gerações retokenizadas não colapsam em um único template; elas exploram uma gama de estruturas de programas comparável às gerações amostradas por temperatura, apesar de utilizarem decodificação gulosa.

Significância e Alegações

O artigo posiciona a retokenização como um probe simples, porém poderoso, de grandes modelos de linguagem, oferecendo duas percepções primárias:

1. Insight Científico: Revela que modelos tokenizados possuem uma simetria de segmentação parcial e emergente. Eles não estão estritamente vinculados a tokenizações canônicas e podem processar entradas equivalentes de diversas formas, mas retêm uma sensibilidade residual que afeta a computação. Isso desafia a visão de que a tokenização é meramente um passo de compressão, sugerindo que ela é uma parte fundamental da interface computacional do modelo.
2. Aplicação Prática: A retokenização oferece uma nova estratégia de amostragem (Amostragem de Retokenização) que gera diversidade a partir das computações internas do modelo via entradas semanticamente equivalentes. Embora não seja atualmente um substituto direto para a amostragem de temperatura devido aos custos computacionais mais elevados (prompts mais longos), serve como um eixo complementar para busca. Pode recuperar soluções perdidas por métodos convencionais, particularmente em domínios de código aberto onde existem múltiplas famílias algorítmicas válidas.

Os autores alegam modestamente que este trabalho lança luz sobre a compreensão composicional e a sensibilidade ao prompt, demonstrando que a multiplicidade de segmentações válidas é um "grau de liberdade mecanisticamente significativo" que não pode ser ignorado em LLMs implantados. Eles não alegam que a retokenização é universalmente superior a outros métodos de amostragem, mas que ela fornece uma fonte de diversidade única e que preserva a semântica.