💬 NLP

Cross-Tokenizer On-Policy Distillation via Byte-Prefix Marginalization

Este artigo introduz o Byte-Prefix Marginalization (BPM), um novo método de destilação on-policy cross-tokenizer que reexpressa distribuições do professor sobre um espaço de bytes compartilhado para preservar a massa de probabilidade e melhorar o desempenho do modelo aluno em benchmarks de matemática e programação.

Autores originais: Hao Wang, Kun Yuan, Wenlin Zhong, Minglei Zhang, Han Xiao, Ming Sun, Honggang Qi

Publicado 2026-07-27

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hao Wang, Kun Yuan, Wenlin Zhong, Minglei Zhang, Han Xiao, Ming Sun, Honggang Qi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde cérebros de IA gigantes e brilhantes são construídos por diferentes arquitetos, cada um usando sua própria linguagem única para pensar. Um arquiteto pode falar em frases longas e fluidas, enquanto outro fatia pensamentos em sílabas curtas e rápidas. Esta é a realidade dos modernos "Large Language Models" (LLMs). Eles são incrivelmente inteligentes, mas frequentemente falam linguagens de "tokens" diferentes. Um token é apenas um pedaço de texto — como uma palavra, parte de uma palavra ou até mesmo uma única letra — que o computador usa para processar informações.

Agora, imagine que você quer construir um estudante de IA menor, mais rápido e mais barato que possa aprender com esses gigantes professores. Isso é chamado de "destilação". Normalmente, você faria o estudante apenas copiar as respostas do professor. Mas aqui está o problema: se o professor e o estudante falam linguagens de tokens diferentes, uma cópia direta é impossível. É como tentar ensinar um aluno que só fala inglês entregando-lhe um livro didático escrito inteiramente em um código de emojis e símbolos. O aluno vê os símbolos, mas não sabe qual símbolo corresponde a qual palavra em inglês. Se você tentar forçar uma correspondência, pode acidentalmente ensinar ao aluno que a imagem de um gato significa "maçã" ou, pior, pode descartar metade da sabedoria do professor porque ela não se encaixa no dicionário do aluno.

Este artigo aborda exatamente esse problema. Os pesquisadores queriam saber: Podemos ensinar um estudante de IA a aprender com um professor que fala uma linguagem de "token" completamente diferente, sem perder nenhuma da genialidade do professor ou ensinar erroneamente algo sem sentido?

A Solução: O Tradutor "Byte-Prefix"

Os autores, uma equipe da KwaiKAT e da Universidade de Ciências e Tecnologia da China, introduziram um novo método inteligente chamado Byte-Prefix Marginalization (BPM). Para entender como funciona, deixe de lado a matemática complexa por um momento e pense em como os computadores realmente veem o texto.

Embora diferentes IAs fragmentem o texto em tokens de tamanhos diferentes, todas concordam com os bytes subjacentes. Bytes são os blocos de construção minúsculos e invisíveis do texto — os 0s e 1s brutos que compõem cada letra, espaço e pontuação. Quer uma IA veja a palavra "unbelievable" como um único token gigante, ou a divida em "un", "bel" e "ievable", todas concordam que os bytes para "un" vêm primeiro, seguidos pelos bytes de "bel", e assim por diante.

Os autores perceberam que, em vez de tentar combinar tokens desordenados e de tamanhos diferentes, eles poderiam traduzir a sabedoria do professor para essa "linguagem de bytes" compartilhada primeiro. Veja como o BPM funciona, passo a passo:

O Mapa de Bytes: Imagine que a próxima previsão do professor é uma nuvem de probabilidade. O professor diz: "Há 30% de chance de a próxima palavra ser 'unbelievable'".
A Correspondência Mais Longa: O tokenizador do estudante olha para os bytes de "unbelievable" e pergunta: "Qual é o maior pedaço do meu dicionário que se encaixa no início desses bytes?". Talvez o estudante tenha um token para "un" e outro para "belie".
A Transferência: O BPM pega essa probabilidade de 30% de "unbelievable" do professor e a entrega ao token "un" (ou "belie", o que for a correspondência mais longa) do estudante. É como dizer: "Se o professor acha que 'unbelievable' é provável, então o estudante definitivamente deve achar que 'un' é provável, porque 'un' é a primeira parte dessa palavra".
A Rede de Segurança: E se o professor disser algo que o dicionário do estudante nem sequer consegue começar? O BPM não descarta essa probabilidade. Ele a coloca em um balde especial de "resíduo", garantindo que 100% da massa de probabilidade do professor seja preservada. Nada é perdido.

Este método cria um alvo perfeito de "preservação de massa". Ele garante que o estudante aprenda exatamente o que o professor pretendia, mesmo que falem linguagens diferentes, desde que concordem nos bytes.

A Armadilha do "Espaço em Branco" e a Correção

No entanto, os pesquisadores descobriram um problema engraçado e traiçoeiro. Quando o professor e o estudante estão escrevendo código, às vezes o próximo "token" é apenas um conjunto de espaços ou tabulações (indentação). Como diferentes tokenizadores dividem os espaços de formas diferentes, o professor pode estar dizendo: "Estou adicionando três espaços", enquanto o tokenizador do estudante vê isso como "Estou adicionando um grande token de espaço".

Se o estudante tentar copiar a probabilidade exata do espaço desses tokens do professor, ele fica confuso. Ele começa a aprender o "estilo de fragmentação" específico de espaços do professor, em vez da lógica real do código. Os autores descobriram que, em alguns casos, essa confusão fez com que o código do estudante colapsasse completamente — sua capacidade de escrever programas funcionais caiu de 49% para um desastroso 9%.

Para corrigir isso, eles adicionaram uma simples "máscara de espaço em branco" (whitespace mask). É como um árbitro que diz: "Ei, se o próximo passo for apenas espaços, não tente copiar a probabilidade exata do token de espaço do professor. Apenas ignore essa parte da lição". Essa pequena regra salvou o dia, evitando o colapso e permitindo que o estudante focasse na lógica real do código.

Os Resultados: Estudantes Mais Inteligentes, Mais Rápidos

A equipe testou este método pegando três diferentes professores de IA gigantes (Qwen3-32B, GLM-Z1-9B e MiniMax-M2.7) e tentando ensinar a um único modelo estudante menor (Qwen3.5-2B). Esses professores tinham linguagens de tokens muito diferentes, tornando a tarefa bastante difícil.

Eles compararam o novo método BPM com outras formas existentes de lidar com diferentes tokenizadores. Os resultados foram claros:

Melhores Pontuações: Nos seis testes rigorosos de matemática e codificação, os estudantes treinados com o método BPM superaram consistentemente os outros métodos. Eles melhoraram a pontuação média em 3,7 a 6,6 pontos em relação às tentativas anteriores mais fortes.
Reduzindo a Lacuna: O método conseguiu fechar de 33,5% a 43,9% da lacuna de desempenho entre o estudante minúsculo e o gigante professor. Essa é uma enorme parte da capacidade cerebral do professor transferida para o estudante.
Robustez: O método funcionou bem mesmo quando o professor e o estudante eram muito diferentes (como o professor MiniMax), provando que a abordagem de "prefixo de byte" é um tradutor universal.

Por Que Isso Importa

Este artigo sugere que não precisamos forçar todos os modelos de IA a usar o mesmo dicionário para aprender uns com os outros. Ao usar a linguagem de "bytes" compartilhada como uma ponte, podemos misturar e combinar os melhores professores de diferentes famílias e ensinar estudantes eficientes sem perder conhecimento. É um pouco como perceber que, embora todos falem dialetos diferentes, todos concordam com o alfabeto. Se você ensinar o estudante a ler o alfabeto primeiro, poderá ensinar qualquer coisa, não importa quem seja o professor.

Os autores mostraram que esta abordagem não é apenas uma ideia teórica, mas uma ferramenta prática que funciona hoje, ajudando a criar modelos de IA menores, mais rápidos e mais inteligentes que podem resolver problemas complexos de matemática e codificação sem precisar do enorme poder computacional de seus gigantes professores.

Resumo Técnico: Destilação On-Policy Cross-Tokenizer via Marginalização de Prefixo de Bytes

1. Definição do Problema

Modelos de linguagem de pesos abertos de diferentes famílias exibem forças complementares em raciocínio, codificação e uso de ferramentas. Consolidar essas capacidades em um único modelo estudante compacto via Destilação On-Policy (OPD) é desejável para eficiência e simplicidade de implantação. No entanto, a OPD densa padrão assume um tokenizador compartilhado entre o professor e o estudante. Quando os tokenizadores são heterogêneos, os métodos existentes de destilação cross-tokenizer falham em satisfazer três requisitos críticos para supervisão de vocabulário completo:

Completude do Vocabulário (D1): A distribuição alvo deve ser bem definida para cada token no vocabulário do estudante.
Alinhamento de Nível de Byte (D2): A massa de probabilidade do professor deve mapear para os tokens do estudante com base na correspondência de suas representações de bytes subjacentes, não apenas por IDs de tokens ou rankings de probabilidade.
Preservação de Massa (D3): A transformação deve preservar a massa de probabilidade total do professor (somando um), incluindo qualquer massa residual que não possa ser mapeada para um token específico do estudante.

Métodos existentes violam essas propriedades: abordagens de conjunto de candidatos descartam massa não correspondente (violando D1), métodos de correspondência de ranking atribuem massa a tokens com conteúdo de bytes não relacionados (violando D2) e a destilação ao nível de sequência evita totalmente a correspondência da distribuição de vocabulário completo.

2. Metodologia: Marginalização de Prefixo de Byte (BPM)

Os autores propõem a Marginalização de Prefixo de Byte (BPM), que reexpressa a distribuição do próximo token do professor sobre o vocabulário do estudante dentro de um espaço de bytes compartilhado. Como diferentes tokenizadores decodificam para a mesma sequência de bytes, o BPM aproveita essa representação compartilhada para construir um alvo exato.

Mecanismo Central

O BPM opera sob o princípio de que a sequência de bytes de um token do professor pode ser segmentada de forma gananciosa (greedy) pelo tokenizador do estudante. O método procede da seguinte forma:

Mapeamento: Para cada token do professor $w$ , o algoritmo identifica o token do estudante mais longo $u$ tal que a representação de bytes de $u$ seja um prefixo da representação de bytes de $w$ .
Agregação: A massa de probabilidade de todos os tokens do professor que mapeiam para o mesmo token do estudante é agregada.
Tratamento de Resíduo: A massa de tokens do professor que não contêm um prefixo de token completo do estudante é atribuída a uma categoria residual explícita ( $\emptyset$ ). Isso garante a preservação da massa (D3) e a completude do vocabulário (D1).
Correção de Abrangência (Spanning Correction): Em casos onde um único token do estudante abrange múltiplos tokens do professor (ex: um token do estudante cobrindo uma sequência de tokens do professor), o BPM utiliza um limite inferior fatorizado em cadeia derivado do caminho de segmentação realizado pelo professor para atribuir a massa, evitando que o estudante aprenda a evitar o fechamento de spans de raciocínio.

Objetivo de Treinamento

O estudante é treinado em suas próprias trajetórias geradas, minimizando uma divergência de Jensen–Shannon generalizada ( $D_\beta$ ) entre a distribuição do estudante e o alvo transformado.

Tratamento de Token de Parada: Um mecanismo de "ponte de parada" (stop bridge) é introduzido para lidar com sinais de terminação, garantindo que o estudante aprenda o comportamento de parada do professor mesmo se o token de parada realizado diferir do EOS declarado.
Mitigação de Colapso de Espaço em Branco: Os autores identificam um modo de falha onde a supervisão exata de bytes em linhas compostas apenas por espaços em branco (comuns em geração de código) transfere ruído de segmentação específico do tokenizador em vez de conteúdo semântico, levando a erros de indentação e colapso de código. Para resolver isso, o BPM emprega uma máscara pré-computada que exclui posições de alvo de apenas espaços em branco da função de perda.

3. Principais Contribuições

Supervisão de Vocabulário Completo Exata: O BPM é o primeiro método a fornecer um alvo exato, preservador de massa e alinhado por bytes para OPD de vocabulário completo entre tokenizadores heterogêneos. Os autores provam que o alvo recupera exatamente a marginal de prefixo de byte induzida pelo professor quando o prefixo de byte não abrange múltiplos tokens do professor — uma condição satisfeita em >99% das posições de treinamento.
Avaliação Sistemática: O artigo apresenta uma avaliação rigorosa em três pares professor-estudante distintos (Qwen3-32B, GLM-Z1-9B e MiniMax-M2.7 como professores; Qwen3.5-2B como estudante), cobrindo graus variados de distância de tokenizador.
Identificação e Correção de Colapso de Espaço em Branco: O trabalho descobre um modo de falha específico na destilação exata de bytes para geração de código (onde a indentação é corrompida pelo ruído do tokenizador) e fornece uma solução de máscara simples e eficaz.

4. Resultados Experimentais

Os experimentos foram conduzidos em seis benchmarks: três de matemática (AIME 2026, HMMT 2026, MATH-500) e três de código (HumanEval+, LiveCodeBench, TACO).

Ganhos de Desempenho: O BPM superou consistentemente as bases atuais de cross-tokenizer (SimCT, ULD, GOLD) e a referência SeqKD treinada separadamente.
- Em todos os três pares professor-estudante, o BPM melhorou o médio de 8 (@8 avg) em 3.7 a 6.6 pontos sobre as bases mais fortes.
- O BPM fechou de 33.5% a 43.9% da lacuna de desempenho entre o estudante e o professor, comparado aos 19.9–26.6% das bases mais fortes.
Robustez: As melhorias foram mais pronunciadas em benchmarks de competição (AIME, HMMT) que são posteriores aos cortes de treinamento dos professores.
Proximidade Distribucional: Enquanto algumas bases pareceram "mais próximas" do professor em termos de previsibilidade (devido ao colapso em repetição), o BPM demonstrou fidelidade superior em preservar a capacidade do estudante de gerar texto semelhante ao do professor sem degenerar.
Geração de Código: Sem a máscara de espaço em branco, a versão não mascarada sofreu uma queda catastrófica nas taxas de aprovação de código (ex: de 49% para 9% em um par) devido a erros de indentação. A versão com máscara manteve alto desempenho e zero erros de indentação em nível de bloco.

5. Significância e Alegações

O artigo afirma que o BPM estabelece um novo padrão para destilação cross-tokenizer ao resolver o problema fundamental de desalinhamento através da marginalização de nível de byte.

Consistência Teórica: O método fornece uma solução matematicamente exata para a vasta maioria das posições de treinamento, preservando a massa de probabilidade do professor sem descartar informações ou desalinhar o conteúdo.
Impacto Prático: Ao permitir a consolidação de diversos modelos de alto desempenho em um único estudante eficiente sem exigir tokenizadores compartilhados, o BPM facilita uma implantação de modelos mais flexível e capaz.
Limitações: Os autores observam modestamente que o BPM descarta sinais de gradiente para posições que não atingem um ponto de sincronia (menos de 1% das posições) e que a máscara de espaço em branco, embora eficaz, retém a supervisão de cerca de 3.5% das linhas de código alinhadas. Eles também reconhecem que a qualidade dos dados limita a extensão dos ganhos de desempenho alcançáveis.

Em resumo, o artigo argumenta que a fidelidade na destilação deve ser aplicada com cuidado: o alinhamento exato de bytes é essencial para o conteúdo, mas deve ser retido para regiões de apenas espaços em branco para evitar a transferência de artefatos de tokenizador.