🤖 AI

Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning

O artigo propõe a Destilação On-Policy em Nível de Passo (SOPD), um novo método que interpola entre o Ajuste Fino Supervisionado e a Destilação On-Policy para fornecer correções completas, ao nível do passo, em trajetórias geradas pelo estudante, superando substancialmente ambas as abordagens convencionais em tarefas de raciocínio e de agentes.

Autores originais: Changhui Sun, Lanbo Liu, Hang Lei, Tong Ling, Jiahang Xie, Zhiyong Zheng, Yujia Wang, Hao Liu, Feng Xiao, Lu Liu, Yanlong Du, Zifeng Cheng, Ziwei Jiang, Qing Gu

Publicado 2026-08-18

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Changhui Sun, Lanbo Liu, Hang Lei, Tong Ling, Jiahang Xie, Zhiyong Zheng, Yujia Wang, Hao Liu, Feng Xiao, Lu Liu, Yanlong Du, Zifeng Cheng, Ziwei Jiang, Qing Gu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, os grandes modelos de linguagem são frequentemente comparados a estudantes que devem aprender com um professor. Durante anos, a forma padrão de ensinar esses estudantes digitais tem sido mostrar-lhes exemplos perfeitos escritos por um especialista e pedir-lhes que memorizem a sequência. Este método, conhecido como ajuste fino supervisionado (supervised fine-tuning), é eficaz, mas rígido; assume que o estudante sempre seguirá o caminho do especialista perfeitamente, ignorando os erros que o estudante é realmente propenso a cometer. Uma abordagem mais recente, chamada destilação on-policy, tenta corrigir isso permitindo que o estudante gere suas próprias respostas e, em seguida, corrigindo-o token por token conforme avança. Embora isso permita que o estudante aprenda com seus próprios erros, cria um problema diferente: as correções são tão fragmentadas que o estudante nunca vê um caminho completo e coerente para a resposta correta. É como tentar aprender a dirigir recebendo uma instrução de uma única palavra cada vez que você toca no volante, em vez de ser mostrado como navegar em uma curva inteira.

Pesquisadores desenvolveram agora um novo método de treinamento que faz a ponte para essa lacuna, combinando o melhor de ambos os mundos. Ao introduzir uma técnica chamada Destilação On-Policy de Nível de Passo (Step-Level On-Policy Distillation), a equipe permite que o estudante complete um pensamento completo ou uma sequência de ações por conta própria e, em seguida, pede ao professor que forneça uma correção única e coerente para cada etapa principal dessa jornada. Esta abordagem foi testada em tarefas complexas, que variam desde a resolução de problemas matemáticos difíceis até a navegação em ambientes domésticos virtuais. Os resultados mostram que este método ajuda o estudante a aprender significativamente mais rápido e com mais precisão do que as técnicas anteriores, alcançando taxas de sucesso que antes eram inalcançáveis para modelos deste tamanho. A descoberta fundamental é que, ao dividir o processo de aprendizagem em blocos naturais e significativos, em vez de palavras individuais ou correções aleatórias, o modelo pode entender não apenas qual é a resposta certa, mas como chegar lá a partir dos erros específicos que cometeu.

O cerne deste novo método reside em como ele lida com a interação entre o modelo estudante e o professor. Na abordagem tradicional de destilação on-policy, o professor observa o trabalho do estudante e oferece uma pequena correção para cada única palavra gerada. Se o estudante comete um erro no início, o professor tenta corrigi-lo palavra por palavra, mas o estudante ainda está preso em um estado de confusão, tentando seguir um caminho interrompido. O novo método, Destilação On-Policy de Nível de Passo, altera o ritmo desta interação. Primeiro, o estudante tem permissão para gerar uma resposta completa ou uma sequência total de ações sem interrupção. Assim que o estudante termina, o sistema divide essa resposta em etapas naturais, como uma frase completa em uma prova matemática ou uma volta completa de conversa em um jogo.

Neste ponto, o professor intervém, mas não para reescrever toda a história. Em vez disso, o professor observa o ponto de partida do estudante para cada etapa específica e gera uma versão única e correta dessa etapa. O estudante aprende então a corresponder a esta etapa correta, mantendo o restante de seu próprio contexto original. Isso significa que o estudante aprende a corrigir sua própria trajetória sem que o professor assuma todo o processo. O professor fornece um guia claro e local para cada parte da jornada, garantindo que o estudante veja um caminho lógico e completo a partir do exato ponto onde errou. Isso preserva a experiência do estudante de cometer erros, ao mesmo tempo em que lhe dá uma maneira estruturada de corrigi-los.

Os pesquisadores testaram esta abordagem em dois ambientes muito diferentes para ver se ela se sustentava sob pressão. O primeiro teste envolveu um agente navegando em uma casa simulada, uma tarefa conhecida como ALFWorld. Neste ambiente, o modelo tinha que descobrir como realizar tarefas como encontrar uma chave ou limpar um quarto, interagindo com um mundo baseado em texto. A equipe usou um modelo professor poderoso para guiar um modelo estudante menor. Quando compararam o novo método com o antigo estilo de correção token por token, os resultados foram impressionantes. O estudante treinado com o novo método melhorou sua taxa de sucesso em mais de 18 pontos percentuais em tarefas que já conhecia e em mais de 21 pontos percentuais em tarefas que nunca tinha visto antes. Além disso, completou estas tarefas em menos tentativas, mostrando que não estava apenas adivinhando melhor, mas aprendendo formas mais eficientes de resolver problemas.

O segundo teste focou no raciocínio matemático, um domínio onde a consistência lógica é primordial. Aqui, os modelos foram solicitos a resolver problemas matemáticos de nível de competição. Os pesquisadores descobriram que o novo método permitiu que o estudante organizasse seu pensamento em etapas mais claras e estruturadas. À medida que o treinamento progredia, o estudante começou a gerar etapas de raciocínio mais distintas, e as correções do professor tornaram-se mais ricas e detalhadas. Em quatro diferentes benchmarks matemáticos, o estudante treinado com este novo método superou a abordagem anterior por uma margem ampla, melhorando sua precisão média em quase 10 pontos percentuais. Isso demonstrou que o método não era apenas uma técnica para tarefas simples, mas uma forma robusta de melhorar o raciocínio complexo.

Uma das vantagens mais práticas desta nova técnica é que ela não exige que o professor revele seus cálculos internos. Em muitos métodos anteriores, o estudante precisava de acesso às pontuações de probabilidade bruta do professor para cada palavra, o que é muitas vezes impossível se o professor for um sistema de "caixa-preta" fechado. O novo método exige apenas que o professor gere texto, tornando sua aplicação muito mais fácil em cenários do mundo real onde os melhores modelos não são totalmente abertos. Adicionalmente, como o professor gera apenas uma etapa por vez baseada no trabalho existente do estudante, o processo é mais rápido e evita os atrasos causados pela espera de que o ambiente reaja a cada movimento individual.

O estudo confirma que a forma como estruturamos a aprendizagem é tão importante quanto a qualidade do professor. Ao afastar-se de correções fragmentadas, palavra por palavra, e mover-se em direção a uma orientação coerente em nível de passo, os pesquisadores criaram uma dinâmica de treinamento que respeita o próprio caminho do estudante, ao mesmo tempo em que fornece um mapa claro para correção. Esta abordagem combina com sucesso a flexibilidade de aprender com os próprios erros com a clareza da orientação de um especialista. As descobertas sugerem que, para a inteligência artificial se tornar mais capaz e confiável, especialmente em tarefas complexas e interativas, devemos projetar métodos de treinamento que permitam aos modelos ver o quadro completo de seus erros e aprender a repará-los em um único movimento lógico.

Resumo Técnico: Destilação On-Policy em Nível de Passo (SOPD)

1. Definição do Problema

O artigo aborda as limitações dos paradigmas atuais de Destilação On-Policy (OPD) e Ajuste Fino Supervisionado (SFT) para o treinamento de Grandes Modelos de Linguagem (LLMs), particularmente em tarefas de raciocínio e agentes.

Limitações da OPD Padrão: Embora a OPD alinhe um modelo estudante com a distribuição de logits de um professor nos trajetos gerados pelo estudante (evitando o descompasso de distribuição de estado dos métodos off-policy), ela opera ao nível de token. Isso resulta em "correções fragmentadas". Quando um estudante comete um erro, o professor fornece orientação de um único token condicionada ao prefixo errôneo. Consequentemente, o professor não consegue desenrolar um caminho de reparo completo e coerente; os alvos subsequentes permanecem condicionados ao trajeto errôneo original do estudante, em vez de um trajeto corrigido.
Limitações da SFT Padrão: A SFT fornece supervisão coerente de longo horizonte, mas é inerentemente off-policy. Ela treina em trajetos gerados pelo professor, criando um descompasso entre a distribuição de estado de treinamento e os estados realmente visitados pelo estudante durante a inferência.
Limitações de Abordagens Híbridas Existentes: Métodos como DAgger ou Correção de Especialista On-Policy (OEC) tentam preencher essa lacuna inserindo respostas do professor em trajetos do estudante. No entanto, essas abordagens alteram inerentemente o trajeto que o estudante produziria, mudando a distribuição de estado e enfraquecendo a natureza on-policy do treinamento.

2. Metodologia: Destilação On-Policy em Nível de Passo (SOPD)

Os autores propõem a Destilação On-Policy em Nível de Passo (SOPD), um método que interpola entre a correção de longo horizonte da SFT e as vantagens on-policy da OPD.

Mecanismo Central

A SOPD opera sobre trajetos completos gerados pelo estudante, mas os particiona em passos naturais (por exemplo, parágrafos de raciocínio em matemática, ou turnos de interação com o ambiente em agentes).

Rollout do Estudante: O modelo estudante $\pi_\theta$ gera um trajeto completo $\tau_S = (s_1, s_2, \dots, s_K)$ , onde cada $s_k$ é um passo natural. A sequência de prefixos $h_k$ (o estado antes do passo $k$ ) é registrada.
Consulta ao Professor: Após o estudante completar o trajeto, o modelo professor é consultado uma vez por passo. Para cada prefixo registrado $h_k$ $h_{k}$ , o professor gera um único passo alvo $\tilde{s}_k \sim q_T(\cdot | h_k)$ $\tilde{s}_{k} \sim q_{T} (\cdot ∣ h_{k})$ .
- Crucialmente, o professor gera este alvo independentemente, baseado apenas no prefixo do estudante $h_k$ . Ele não vê saídas anteriores do professor, nem sua saída altera o trajeto do estudante.
- Isso preserva a ocupação de estado do estudante ( $h_k \sim d_{\pi_\theta}$ ) enquanto fornece um caminho de correção multi-token coerente para aquele passo específico.
Objetivo de Treinamento: O estudante é treinado para prever o passo gerado pelo professor $\tilde{s}_k$ dado o prefixo $h_k$ . A função de perda é uma entropia cruzada balanceada por passo:
$L_{SOPD} = \frac{1}{|S_B|} \sum_{(h_k, \tilde{s}_k) \in S_B} \frac{1}{|\tilde{s}_k|} \sum_{j=1}^{|\tilde{s}_k|} -\log \pi_\theta(\tilde{s}_{k,j} | h_k, \tilde{s}_{k,<j})$
Esta formulação tira a média da perda dentro de cada passo e, em seguida, tira a média entre todos os passos, evitando que passos longos do professor dominem as atualizações de gradiente.

Detalhes de Implementação

Máscara de Atenção Empacotada (Packed Attention Mask): Para garantir a eficiência, o prompt de entrada, o trajeto completo do estudante e todos os passos alvo do professor são empacotados em uma única sequência. A máscara de atenção garante que cada alvo do professor possa atender apenas ao prompt, ao seu respectivo prefixo do estudante e aos seus próprios tokens causais. Passos futuros do estudante e outros alvos do professor são mascarados.
Compatibilidade Black-Box: A SOPD requer apenas a geração de texto do professor, não os logits do professor. Isso a torna aplicável a cenários de destilação de caixa-preta (black-box).
Geração Paralela: Como as consultas ao professor são condicionalmente independentes (baseadas em prefixos fixos do estudante), elas podem ser geradas em paralelo após o rollout do estudante, evitando a latência das interações sequenciais professor-ambiente.

Limites Teóricos

Os autores demonstram que a SOPD conecta dois limites de granularidade:

Limite de Um Passo: Se todo o resposta for tratada como um único passo, a SOPD reduz-se à SFT de Sequência padrão.
Limite de Um Token: Se cada passo for um único token, a SOPD aproxima-se de um objetivo Forward-KL OPD amostrado.

3. Principais Contribuições

Proposta da SOPD: Um novo paradigma de destilação que combina a cobertura de estado on-policy da OPD com a supervisão coerente de múltiplos tokens da SFT.
Aplicabilidade Black-Box: Ao contrário da OPD padrão que requer os logits do professor, a SOPD requer apenas a geração de texto do professor, tornando-a adequada para professores de caixa-preta.
Unificação Teórica: O artigo estabelece que a SOPD reduz-se matematicamente à SFT ou aproxima a Forward-KL OPD dependendo do comprimento do passo, oferecendo uma perspectiva unificada sobre esses paradigmas de destilação.
Validação Empírica: Demonstrou superioridade tanto da SFT quanto da Vanilla OPD em tarefas de raciocínio e de agentes.

4. Resultados Experimentais

Os autores avaliaram a SOPD em dois domínios distintos: ALFWorld (tarefas de interação de agentes) e Raciocínio Matemático.

ALFWorld (Interação de Agentes)

Configuração: Destilando um estudante de 3B (Qwen2.5-3B) de um professor de RL de 7B (Qwen2.5-7B-RL).
Resultados: A SOPD alcançou uma taxa de sucesso de 84,29% em tarefas "Valid Seen" e 82,09% em "Valid Unseen".
- Isso representa um aumento de +18,57 e +21,64 pontos sobre a Vanilla OPD, respectivamente.
- A SOPD também reduziu o número médio de rodadas de interação com o ambiente em cerca de 3,5 a 4,3 em comparação com a OPD, indicando políticas mais eficientes.
- Em tarefas "Hard", a SOPD manteve o trajeto de interação mais curto entre os métodos de estudante, ao mesmo tempo em que alcançou a maior taxa de sucesso.

Raciocínio Matemático

Configuração: Destilando um estudante de 4B sem pensamento (non-thinking) de um professor de RL de 4B (Qwen3-4B-Non-Thinking-RL-Math) usando o dataset DeepMath.
Benchmarks: AIME24, AIME25, HMMT25 (Fev), e HMMT25 (Nov).
Resultados: A SOPD superou significativamente a Vanilla OPD em todos os benchmarks.
- Acurácia Média: A SOPD alcançou 57,7% de acurácia média comparado a 47,7% para a OPD (um ganho de aproximadamente 10 pontos percentuais).
- Ganhos específicos incluíram +9,9 pontos no AIME24 e +13,1 pontos no HMMT25-Nov.
Dinâmica de Treinamento: A análise mostrou que, conforme o treinamento progredia, o modelo estudante gerava passos de raciocínio mais naturais, e o professor fornecia supervisão mais rica (mais tokens) por passo, indicando que o modelo aprendeu a organizar processos de raciocínio mais estruturados.

5. Significado e Alegações

O artigo afirma que a SOPD oferece uma nova perspectiva sobre métodos de destilação ao resolver o compromisso entre o alinhamento da distribuição de estado (OPD) e a supervisão coerente (SFT).

Correção Coerente: Diferente da OPD de nível de token, a SOPD permite que o professor forneça um caminho de correção completo e executável para um segmento específico do trajeto de um estudante sem alterar o próprio trajeto.
Eficiência: Ao desacoplar a geração do professor da interação do estudante com o ambiente (em tarefas de agentes) e permitir consultas paralelas, a SOPD reduz o custo prático da destilação de caixa-preta para níveis comparáveis à SFT padrão.
Eficácia Geral: Os resultados sugerem que a supervisão em nível de passo é um mecanismo robusto para melhorar tanto as capacidades de raciocínio quanto as políticas de interação de agentes, superando as linhas de base de destilação e ajuste fino de estado da arte.

Os autores concluem que a SOPD efetivamente transforma os estados intermediários visitados pelo estudante em consultas de caixa-preta para o professor, fornecendo supervisão densa e local enquanto preserva a integridade da distribuição de estado do estudante.