💬 NLP

SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning

O artigo apresenta o SimpleOPD, um framework de destilação on-policy agnóstico a tokenizadores que alinha spans de texto compartilhados e emprega uma perda KL de referência do estudante para transferir efetivamente capacidades de raciocínio de prova de contexto longo de professores fortes para estudantes de contexto curto, alcançando ganhos de desempenho significativos em benchmarks matemáticos e científicos.

Autores originais: Haonan He, Haodi Lei, Yun Luo, Haoran Zhang, Shunkai Zhang, Yizhuo Li, Shengji Tang, Zhilin Wang, Runzhe Zhan, Lei Bai, Ganqu Cui, Fangchen Yu, Yafu Li, Peng Ye, Ning Ding, Yu Cheng

Publicado 2026-08-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haonan He, Haodi Lei, Yun Luo, Haoran Zhang, Shunkai Zhang, Yizhuo Li, Shengji Tang, Zhilin Wang, Runzhe Zhan, Lei Bai, Ganqu Cui, Fangchen Yu, Yafu Li, Peng Ye, Ning Ding, Yu Cheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um professor brilhante e prolixo a explicar uma ideia complexa para um aluno rápido e sagaz que possui apenas um pequeno caderno. Este é o mundo da Inteligência Artificial, especificamente o campo dos "Large Language Models" (LLMs). Estes são programas de computador treinados para entender e gerar linguagem humana. Às vezes, temos um modelo "professor" que é incrivelmente inteligente na resolução de problemas difíceis, como provas matemáticas, mas que pensa em frases massivas e extensas. Então, temos um modelo "aluno" que é menor, mais rápido e tem uma memória mais curta. O objetivo é transferir a inteligência do professor para o aluno.

Por muito tempo, os cientistas tentaram fazer isso fazendo com que o professor escrevesse as respostas e o aluno simplesmente as copiasse. Mas isso é como pedir a um aluno para memorizar um dicionário sem entender as palavras; não ensina necessariamente o aluno como pensar. Um método mais novo e inteligente chamado "On-Policy Distillation" (OPD) mudou o jogo. Em vez de apenas copiar, o aluno tenta resolver um problema, e o professor observa o processo de pensamento do aluno em tempo real, oferecendo correções e orientações a cada passo. É como um treinador parado ao lado de um atleta, corrigindo sua forma enquanto ele corre, em vez de apenas mostrar a ele um vídeo de uma corrida perfeita mais tarde. No entanto, há um porém: se o professor e o aluno falam "línguas" diferentes (usam formas diferentes de dividir as palavras em pedaços, chamadas de tokenizadores), ou se o professor está acostumado a escrever romances enquanto o aluno só tem espaço para um tweet, o treinamento pode dar errado. O aluno pode ficar confuso, começar a divagar interminavelmente ou travar porque as instruções não cabem.

Este artigo, intitulado SimpleOPD, aborda exatamente essa situação problemática. Os pesquisadores queriam pegar um modelo professor superinteligente e de contexto longo (chamado SU-01), que se destaca em provas matemáticas, e ensinar a vários modelos alunos menores, mesmo aqueles que usam "línguas" internas (tokenizadores) completamente diferentes e têm limites de memória muito mais curtos. Eles descobriram que simplesmente deixar o professor treinar o aluno muitas vezes era contraproducente. O aluno ficava sobrecarregado, começava a escrever respostas que cresciam descontroladamente (uma "explosão de comprimento") e, eventualmente, ficava sem espaço, interrompendo suas próprias respostas antes de terminá-las.

Para corrigir isso, a equipe inventou uma abordagem astuta, "agnóstica ao tokenizador". Em vez de forçar o professor e o aluno a concordarem exatamente em qual pedaço de uma palavra eles estão olhando, eles concordaram em olhar para o texto real na página. Se o professor diz "math" e o aluno diz "mat" e "h", eles perceberam que estas são apenas formas diferentes de escrever o mesmo som. Eles alinharam o ensino com base no texto compartilhado, ignorando as diferenças técnicas de como os computadores fatiaram as palavras. Mas não pararam por aí. Para impedir que os alunos divagassem, introduziram duas redes de segurança. Primeiro, disseram ao professor para parar de insistir com o aluno sobre quando parar de falar (ignorando tokens de parada específicos), para que o aluno não ficasse confuso sobre quando terminar. Segundo, adicionaram um "choque de realidade" suave (uma perda KL) que lembrava o aluno de permanecer próximo de seu eu original e sensato, evitando que ele se desviasse para loops selvagens e infinitos.

Os resultados foram impressionantes. Ao usar este método, os modelos alunos não apenas aprenderam a copiar; eles aprenderam a raciocinar. Por exemplo, um modelo aluno, o Intern-S2-Preview, viu sua pontuação em um teste difícil de prova matemática (ProofBench) saltar 22,8 pontos, indo de 21,70 para 44,50 nos experimentos primários. Em uma configuração de avaliação específica usando o Gemini-2.5-Pro como juiz, o modelo mostrou um ganho ainda maior, subindo de 34,0 para 55,2. Essa melhoria foi tão significativa que superou o desempenho de outros modelos poderosos e de código fechado, como o Gemini-2.5-Pro. O artigo sugere que esta técnica funciona bem não apenas para matemática, mas também ajuda os alunos a generalizar suas novas habilidades para problemas científicos que não viram antes. Essencialmente, o SimpleOPD provou que você pode ensinar um cérebro pequeno e de memória curta a pensar como um gênio gigante e prolixo, mesmo que eles falem linguagens técnicas diferentes, contanto que você forneça um espaço de texto compartilhado e algumas regras para impedi-los de falar para sempre.

Resumo Técnico: SimpleOPD

Declaração do Problema

A destilação on-policy (OPD) emergiu como um paradigma poderoso para transferir capacidades de raciocínio de modelos professores fortes para modelos estudantes, fornecendo supervisão densa ao nível de token baseada em trajetórias geradas pelo estudante. No entanto, aplicar a OPD para transferir capacidades de raciocínio de contexto longo (de modelos capazes de raciocínio de mais de 100K tokens) para modelos estudantes de contexto curto através de diferentes famílias de modelos apresenta desafios práticos significativos:

Incompatibilidade de Tokenizadores: Professores e estudantes frequentemente utilizam tokenizadores e vocabulários incompatíveis, tornando a conformidade direta da distribuição de probabilidade ao nível de token inviável.
Descompasso de Distribuição e Explosão de Comprimento: Professores de contexto longo frequentemente geram respostas que excedem o orçamento de contexto dos estudantes de contexto curto. O treinamento direto de OPD leva ao crescimento rápido do comprimento da resposta, truncamento frequente e trajetórias de raciocínio incompletas, causando, em última análise, instabilidade no treinamento.
Supressão de Token de Terminação: A supervisão do professor muitas vezes desencoraja os estudantes de usar tokens de terminação (ex: </think>, <|im end|>) porque o padrão de raciocínio de contexto longo do professor favorece a geração estendida, fazendo com que o estudante falhe em terminar adequadamente.

Metodologia: SimpleOPD

Os autores propõem o SimpleOPD, um framework de destilação on-policy agnóstico a tokenizador projetado para transferir capacidades de raciocínio do modelo de contexto longo SU-01 para diversos modelos estudantes de contexto curto. O método consiste em três componentes principais:

1. Alinhamento Cross-Tokenizer em Espaço de Texto Compartilhado

Em vez de forçar um mapeamento entre vocabulários de tokens incompatíveis, o SimpleOPD realiza a destilação em um espaço de texto compartilhado.

Processo: O estudante gera uma sequência de resposta $y_{1:n}$ usando seu próprio tokenizador, que é decodificada em uma string de superfície $s$ . O professor então avalia essa mesma string exata $s$ usando seu próprio tokenizador nativo e template de chat.
Alinhamento: Os tokens são alinhados apenas se ocuparem extensões de texto idênticas na string de resposta compartilhada. Os autores definem um conjunto de pares alinhados $\mathcal{M}$ onde o prefixo de texto cumulativo e a extensão de texto incremental de um token do professor $z_i$ coincidem com os de um token do estudante $y_t$ .
Construção da Perda: Para posições alinhadas, o estudante é supervisionado pela log-probabilidade do professor. Para posições não alinhadas (onde as fronteiras dos tokens não coincidem), a própria log-probabilidade do estudante é usada como fallback. Isso cria um substituto para a divergência KL alinhado por token.

2. Mascaramento de Vantagem de Token de Terminação

Para evitar que o estudante aprenda a suprimir tokens de terminação (um modo de falha comum na OPD direta), os autores mascaram as vantagens de tokens estruturais específicos.

Mecanismo: A perda de OPD é mascarada (definida como zero) para tokens como </think> e <|im end|>.
Racional: Esses tokens controlam o formato de saída e o comportamento de terminação, em vez do conteúdo de raciocínio. Ao não forçar o estudante a corresponder à distribuição do professor nesses tokens específicos, o estudante retém sua capacidade de terminar a geração adequadamente, evitando loops infinitos ou crescimento excessivo de comprimento.

3. Perda KL de Referência do Estudante

Para mitigar o descompasso de distribuição e evitar que a política do estudante se desvie demais de suas capacidades iniciais (o que leva à instabilidade e truncamento), uma perda de divergência KL de referência do estudante é introduzida.

Mecanismo: Uma penalidade KL é adicionada entre a política atual do estudante e a política inicial do estudante (a referência).
Efeito: Isso restringe o estudante de se desviar excessivamente, estabilizando a dinâmica de treinamento e garantindo um crescimento constante no comprimento da resposta dentro do orçamento de contexto do estudante. O coeficiente para esta perda é ajustado com base na magnitude do gap professor-estudante (ex: 0.5 para mesma família, 1.0 para famílias cruzadas).

Principais Contribuições

Alinhamento Agnóstico a Tokenizador: Demonstrou que uma OPD eficaz pode ser alcançada entre diferentes famílias de modelos ao alinhar tokens baseados em extensões de texto compartilhadas, em vez de exigir vocabulários idênticos.
Técnicas de Estabilização: Identificou que a OPD direta causa explosão de comprimento e truncamento. Propôs e validou duas técnicas de estabilização simples, mas eficazes: mascaramento de token de terminação e regularização KL de referência do estudante.
Transferência de Famílias Cruzadas: Transferiu com sucesso capacidades de raciocínio de prova do professor de contexto longo de 30B (SU-01) para diversos estudantes de contexto curto (Qwen, Intern-S2, GLM, Gemma) sem ajuste fino supervisionado nas trajetórias do professor.

Resultados Experimentais

Os autores avaliaram o SimpleOPD em benchmarks de raciocínio matemático, incluindo ProofBench (provas em linguagem natural), AnswerBench, AIME25 e AMOBench.

Ganhos de Mesma Família e Famílias Cruzadas: O SimpleOPD melhorou consistentemente o desempenho em todos os modelos estudantes testados.
- Intern-S2-Preview: Alcançou uma melhoria massiva de 21.2 pontos no ProofBench (de 34.0 para 55.2 quando avaliado com Gemini-2.5-Pro como juiz, e de 21.7 para 44.5 na avaliação primária), superando modelos de fronteira fortes como Gemini-2.5-Pro e GPT-5.
- Qwen3-30B-A3B: Melhorou a pontuação do ProofBench em 22.67 pontos (13.80 $\to$ 36.47).
- GLM-4.7 & Gemma-4: Mostraram ganhos consistentes no ProofBench, demonstrando a aplicabilidade do método a modelos com tokenizadores significativamente diferentes (ex: SentencePiece vs. BPE).
Estabilidade: A combinação de mascaramento de token e perda KL reduziu efetivamente a taxa de truncamento para quase zero e evitou a "explosão de comprimento" observada no treinamento de baseline da OPD.
Generalização Fora do Domínio: Apesar de treinado exclusivamente em dados de provas matemáticas, os modelos destilados mostraram melhorias em benchmarks de raciocínio científico (HLE, HiPhO), sugerindo que as capacidades de raciocínio transferidas se generalizam além do domínio de treinamento.
Comprimento de Destilação: Sequências de destilação mais longas (32k vs 6k) renderam melhor desempenho em tarefas de prova complexas, indicando que preservar traços de raciocínio longos é crucial para transferir comportamentos de raciocínio de múltiplos passos.

Significância e Alegações

O artigo afirma que o SimpleOps fornece uma solução robusta e generalizável para transferir capacidades de raciocínio de contexto longo para modelos de contexto curto, mesmo através de diferentes arquiteturas e tokenizadores.

Eficiência: Oferece uma alternativa de baixo custo ao treinamento de modelos de contexto longo do zero ou ao uso de pipelines complexos de RL, aproveando professores fortes existentes para impulsionar modelos menores e mais rápidos.
Estabilidade: As técnicas de estabilização propostas (mascaramento e regularização KL) são essenciais para tornar a OPD viável em ambientes heterogêneos, resolvendo os problemas críticos de instabilidade de treinamento e truncamento que anteriormente dificultavam tais transferências.
Generalização: Os resultados sugerem que as capacidades de raciocínio destiladas via este método não se limitam ao domínio de treinamento específico (provas matemáticas), mas podem aumentar o desempenho em tarefas de raciocínio científico mais amplas.

Os autores concluem que sua abordagem efetivamente preenche a lacavra entre professores de contexto longo e estudantes de contexto curto, permitindo a democratização de capacidades avançadas de raciocínio em todo o ecossistema de modelos.