💬 NLP

Stochasticity in Tokenisation Improves Robustness

O artigo demonstra que o pré-treinamento e o ajuste fino de modelos de linguagem com tokenização estocástica uniformemente amostrada melhoram significativamente a robustez contra perturbações adversariais e aleatórias, mantendo a precisão e sem aumentar o custo de inferência.

Autores originais: Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

Publicado 2026-04-20

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô superinteligente a ler e entender o mundo. Para fazer isso, você precisa ensinar o robô a "quebrar" as palavras em pedacinhos menores, chamados tokens. É como se o robô não lesse "casa", mas sim "ca" e "sa".

O problema é que, até agora, os robôs eram ensinados a quebrar as palavras sempre da mesma maneira exata. Se você escrevesse "casa" de um jeito diferente (talvez com um espaço extra ou juntando as letras de forma estranha), o robô ficava confuso e podia até começar a dizer bobagens. Era como se ele só soubesse ler um tipo de letra manuscrita específica e, se você mudasse a caneta, ele não reconhecesse mais a palavra.

Os autores deste artigo descobriram uma solução brilhante: ensinar o robô a ler de várias formas diferentes ao mesmo tempo.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O Robô "Rígido"

Pense no robô como um músico que aprendeu a tocar uma música apenas em uma única partitura. Se alguém mudar uma nota ou a velocidade, ele trava.
No mundo dos computadores, isso acontece com a tokenização (a forma como o texto é dividido). Se um "hacker" ou um erro de digitação mudar levemente como uma palavra é dividida (o que chamam de "tokenização não canônica"), o modelo de Inteligência Artificial (IA) pode falhar miseravelmente. Ele é frágil, como um castelo de cartas.

2. A Solução: A "Variedade de Treinamento"

Os pesquisadores propuseram algo simples, mas poderoso: treinar o robô com "tokenização estocástica".
Em linguagem simples, isso significa: "Durante o treinamento, não mostre a palavra 'casa' sempre como 'ca-sa'. Às vezes mostre como 'c-a-s-a', outras vezes como 'cas-a', e assim por diante."

É como se você estivesse treinando um atleta para correr em diferentes terrenos:

Treino Antigo (Canônico): O atleta só corre na pista de atletismo perfeita.
Treino Novo (Estocástico): O atleta corre na pista, na areia, na grama e em trilhas de terra.

Quando chega o dia da prova (o teste real), e o atleta encontra um terreno difícil (uma palavra escrita de forma estranha ou um ataque malicioso), ele não entra em pânico. Ele já sabe lidar com isso porque foi treinado para ser flexível.

3. O Que Eles Descobriram?

Os autores testaram isso em vários modelos (como o Llama) e descobriram três coisas principais:

Robustez contra "Golpes": Se alguém tentar enganar o robô mudando a forma como as palavras são divididas (um ataque), o robô treinado com essa "variedade" continua funcionando bem. Ele não quebra.
Sem Custo Extra: O melhor de tudo é que, depois de treinado, o robô não fica mais lento ou gasta mais energia. Ele só se torna mais inteligente e resistente. É como um músculo que fica forte sem pesar mais no corpo.
A Importância da "Aleatoriedade Justa": Eles perceberam que não basta apenas mudar as palavras aleatoriamente. O jeito que você escolhe essas variações importa. Se você escolher as variações de um jeito "viciado" (sempre as mesmas), o robô ainda pode falhar. Eles criaram métodos novos (chamados STOCHASTOK-UNI e UNIFORM-K) que garantem que o robô veja todas as possibilidades possíveis de forma justa, como um sorteio onde todas as bolas têm a mesma chance de sair.

4. A Analogia Final: O Tradutor Poliglota

Imagine que você tem um tradutor que só conhece o inglês escrito em fonte Arial. Se você mandar um texto em fonte Comic Sans ou com erros de digitação, ele falha.
Agora, imagine que você treina esse tradutor lendo livros em fontes diferentes, com erros propositais, manuscritos e até gírias.
Quando você finalmente pedir para ele traduzir um texto estranho, ele não vai travar. Ele vai entender o significado, não apenas a forma exata das letras.

Conclusão

Este artigo diz que, para criar IAs mais seguras e confiáveis, precisamos parar de ensiná-las a serem perfeitas em apenas uma forma de ler. Precisamos ensiná-las a serem adaptáveis. Ao introduzir um pouco de "caos" e "variedade" durante o aprendizado, tornamos a IA muito mais forte contra erros e ataques, sem torná-la mais lenta. É um passo importante para garantir que, no futuro, nossas IAs não sejam frágeis como vidro, mas resilientes como borracha.

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) modernos dependem de tokenizadores determinísticos (como BPE - Byte Pair Encoding) para converter texto em sequências de tokens. Embora o processo de decodificação seja muitas-para-um (vários tokens podem formar a mesma string), o processo de codificação padrão é determinístico, retornando sempre a tokenização canônica.

O artigo identifica uma vulnerabilidade crítica: modelos treinados exclusivamente com tokenização canônica são extremamente frágeis (brittle) a perturbações no espaço de tokenização. Pequenas alterações na forma como o texto é segmentado (tokenizações não canônicas) podem levar a quedas drásticas de desempenho ou permitir ataques adversariais que quebram o alinhamento do modelo sem alterar o conteúdo semântico da consulta. Estudos anteriores mostraram que a introdução de tokenizações não canônicas aleatórias durante a avaliação reduz significativamente a precisão de modelos pré-treinados.

2. Metodologia

Os autores investigam se o treinamento com tokenização estocástica (expor o modelo a múltiplas segmentações válidas da mesma string) pode mitigar essa fragilidade. O trabalho segue uma abordagem sistemática:

Análise de Esquemas Existentes: Começam avaliando o STOCHASTOK (Sims et al., 2026), um método que divide tokens aleatoriamente em subtokens.
Identificação de Limitações: Descobrem que o STOCHASTOK original possui duas falhas principais:
1. Viés de Amostragem: A distribuição de probabilidade sobre as tokenizações não é uniforme; certas segmentações são mais prováveis que outras devido à estrutura das regras de mesclagem.
2. Suporte Incompleto: O método não consegue gerar todas as tokenizações válidas possíveis dentro de uma determinada distância de edição (edit distance), limitando a exploração do espaço de perturbação.
Proposta de Novos Esquemas: Para corrigir isso, propõem dois novos métodos de amostragem:
- STOCHASTOK-UNI: Mantém a distribuição de contagem de divisões por token do método original, mas amostra uniformemente as tokenizações dentro dessa contagem específica, eliminando o viés local.
- UNIFORM-K: Amostra uniformemente tokenizações não canônicas com uma distância de edição total fixa ( $k$ ) sobre toda a sequência de entrada, utilizando Diagramas de Decisão Multivalorados (MDD) para garantir eficiência computacional e suporte completo.
Regimes de Avaliação: Os métodos são testados em três regimes de aprendizado:
1. Pré-treinamento: Treinamento do modelo do zero.
2. Ajuste Fino Supervisionado (Fine-tuning): Ajuste de modelos pré-treinados (como Llama-1b, Llama-8b, GPT-2-xl).
3. Aprendizado em Contexto (ICL): Uso de exemplos no prompt sem atualizar os parâmetros do modelo.
Ataques Adversariais: Utilizam uma busca gulosa no espaço de tokenização para encontrar a tokenização não canônica que maximiza a margem de erro do modelo (ataque de evasão).

3. Contribuições Principais

Evidência Empírica de Robustez: Demonstram que o treinamento com tokenização estocástica melhora significativamente a robustez contra perturbações aleatórias e ataques adversariais, sem degradar a precisão em dados canônicos (limpos).
Análise de Distribuição de Amostragem: Revelam que a uniformidade na amostragem é crucial. O STOCHASTOK original ajuda, mas os métodos uniformes (STOCHASTOK-UNI e UNIFORM-K) oferecem proteção superior, especialmente contra ataques adversariais otimizados.
Análise Teórica: Fornecem um limite superior teórico para o risco adversarial, mostrando que a tokenização estocástica reduz a constante de Lipschitz local do espaço de embeddings, suavizando a superfície de decisão do modelo e tornando-o menos sensível a pequenas perturbações na entrada.
Guia Prático: Concluem que o ajuste fino (fine-tuning) deve ser realizado preferencialmente com tokenização estocástica, pois oferece robustez sem custo adicional de inferência (o modelo ainda pode receber a tokenização canônica na inferência, mas aprendeu a ser robusto durante o treino).

4. Resultados Chave

Impacto na Precisão: Avaliar um modelo Llama-1b treinado canonicamente com tokenizações não canônicas uniformes reduz a precisão em 29,8%.
Melhoria com Fine-tuning Estocástico: Ao treinar o mesmo modelo com tokenização estocástica (especificamente UNIFORM-K ou STOCHASTOK-UNI), a queda de precisão sob ataques adversariais é drasticamente reduzida.
- Exemplo: Sob ataque adversarial, a precisão do modelo canônico cai de 94% para 6,1%. Com UNIFORM-K, a queda é apenas para 69,6%.
Robustez vs. Perturbação Aleatória: Modelos treinados com estocasticidade mantêm alta precisão mesmo quando o número de divisões (perturbação) aumenta, enquanto modelos canônicos colapsam rapidamente.
Aprendizado em Contexto (ICL): O uso de tokenização estocástica nos exemplos de contexto (few-shot) também melhora a robustez, embora em menor escala comparado ao fine-tuning completo.
Custo Computacional: A tokenização estocástica não aumenta o custo de inferência, pois o modelo é treinado para generalizar sobre essas variações, mas pode receber a entrada padrão na produção.

5. Significado e Conclusão

O artigo estabelece que a fragilidade dos LLMs a ataques de tokenização é um problema fundamental que pode ser mitigado alterando o regime de treinamento. A principal descoberta é que a uniformidade na amostragem das tokenizações durante o treinamento é o fator chave para a robustez.

Ao expor o modelo a um espectro mais amplo e uniforme de representações do mesmo texto, o modelo aprende a extrair características semânticas que são invariantes à segmentação específica dos tokens. Isso sugere que a comunidade de IA deve adotar a tokenização estocástica como uma prática padrão no ajuste fino de modelos, não apenas para melhorar a compreensão de subpalavras, mas principalmente como uma defesa eficaz e de baixo custo contra ataques adversariais baseados em manipulação de tokenização.

Em resumo, a estocasticidade na tokenização transforma o modelo de um sistema "frágil" (que depende de uma única representação) para um sistema "robusto" (que entende a essência do texto independentemente de como é segmentado).