🤖 AI

Trajectory-Refined Distillation

Este artigo introduz a Destilação de Trajetória Refinada (TRD), um novo método de destilação on-policy que mitiga o problema estrutural de "falha de prefixo" ao aplicar correções em nível de trajetória aos rollouts do aluno sob a orientação do professor, melhorando assim a precisão e a cobertura de raciocínio em vários benchmarks e escalas de modelos.

Autores originais: Li Jiang, Haoran Xu, Yichuan Ding, Amy Zhang

Publicado 2026-06-09

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Li Jiang, Haoran Xu, Yichuan Ding, Amy Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno (a IA) a resolver um problema matemático complexo. Você tem um professor brilhante (uma IA mais avançada) que sabe a resposta correta.

No método padrão descrito no artigo, chamado On-Policy Distillation (OPD), o processo funciona assim:

O aluno tenta resolver o problema por conta própria.
À medida que o aluno escreve seus passos, o professor observa e diz: "Para esta palavra específica que você acabou de escrever, aqui está a probabilidade do que vem a seguir".
O aluno tenta ajustar seu cérebro para corresponder às probabilidades do professor para cada palavra.

O Problema: "Prefix Failure" (O Caminho Errado)

O artigo identifica uma falha importante no método padrão chamada Prefix Failure.

Imagine que o aluno está caminhando por um caminho para resolver o problema. No passo 3, ele toma um caminho errado. Ele agora está em uma rua sem saída.

O Dilema do Professor: O professor vê que o aluno está perdido. O professor sabe que o caminho correto começa com "Espere, na verdade..." e então segue uma direção completamente diferente.
A Confusão: Mas o professor é forçado a olhar para a localização atual do aluno (o beco sem saída). Assim, o conselho do professor torna-se uma mistura confusa de: "Fique neste beco sem saída porque você já está aqui" E "Vire imediatamente".
O Resultado: O aluno recebe um sinal fragmentado. Ele tenta aprender com o professor, mas como o aluno está preso no caminho errado, o conselho do professor fica fragmentado. O aluno aprende a ser "bom em estar perdido" em vez de aprender como voltar ao trilho certo. O artigo chama isso de "mistura bimodal" — o professor está tentando ensinar duas coisas opostas ao mesmo tempo, e o aluno fica confuso.

Soluções existentes tentaram corrigir isso apenas ajustando a "nota" (a função de perda/loss function) para palavras específicas, mas não corrigiram o fato de que o aluno ainda estava preso no caminho errado.

A Solução: Trajectory-Refined Distillation (TRD)

Os autores propõem um novo método chamado Trajectory-Refined Distillation (TRD). Em vez de apenas dar nota ao rascunho bagunçado do aluno palavra por palavra, eles mudam o fluxo de trabalho:

O Rascunho: O aluno ainda dá uma primeira tentativa no problema (o "raw rollout").
A Reescrita: Antes de avaliar, o professor pega esse rascunho bagunçado e o reescreve. O professor corrige os caminhos errados, corrige a lógica e produz uma versão limpa e perfeita da solução baseada no ponto de partida do aluno.
A Lição: O aluno então aprende com esta versão limpa e corrigida, não com o original bagunçado.

A Analogia:

O Jeito Antigo: Você escreve uma história com um furo no enredo no meio. Seu editor lê seu texto e diz: "Para a palavra 'gato' no parágrafo 3, você deveria ter escrito 'cachorro'". Mas você ainda está preso no parágrafo 3 tentando entender por que escreveu 'gato' em primeiro lugar. É confuso.
O Jeito TRD: Você escreve a história com o furo no enredo. Seu editor pega seu rascunho, corrige o furo no enredo e reescreve toda a parte central para que a história flua perfeitamente. Então, você estuda a versão reescrita pelo editor para aprender a escrever histórias melhores na próxima vez.

Por Que Isso Funciona Melhor

Corrige a Causa Raiz: Ao corrigir o "erro de direção" antes que o aluno tente aprender com ele, o conselho do professor não é mais confuso. É um caminho único e claro.
Explora Novos Caminhos: Mesmo que o aluno acerte a resposta de primeira, o professor pode mostrar a ele um caminho diferente, mais curto ou mais inteligente para resolver o problema. Isso ensina o aluno a ser mais flexível.
Eficiência: O artigo descobriu que os caminhos "reescritos" eram frequentemente muito mais curtos e claros do que as tentativas originais prolixas do aluno, o que, na verdade, tornou o treinamento mais rápido.

Os Resultados

Os pesquisadores testaram este método em competições matemáticas difíceis (como AIME e HMMT) e desafios de programação. Eles descobriram que:

O novo método (TRD) consistentemente superou os métodos antigos.
Foi especialmente bom em ajudar a IA a resolver os problemas mais difíceis onde ela geralmente ficava travada.
Funcionou tanto quando o professor era uma IA separada e maior quanto quando era a mesma IA atuando como seu próprio "professor inteligente" (usando uma técnica chamada "informação privilegiada").

Em suma, o artigo argumenta que, para ensinar uma IA de forma eficaz, você não deve apenas avaliar seus erros palavra por palavra enquanto eles estão acontecendo. Em vez disso, você deve deixar o professor corrigir todo o caminho primeiro e, então, deixar o aluno aprender com a jornada corrigida.

Resumo Técnico: Destilação de Trajetória Refinada (TRD)

1. Definição do Problema: Falha de Prefixo na Destilação On-Policy

O artigo identifica uma limitação estrutural fundamental na Destilação On-Policy (OPD) e na Autodestilação On-Policy (OPSD) para Grandes Modelos de Linguagem (LLMs), denominada falha de prefixo (prefix failure).

Na OPD/OPSD padrão, um modelo estudante gera um rollout (trajetória) $y_o$ , e um modelo professor fornece supervisão densa, por token, baseada nessa trajetória específica. Os autores argumentam que, quando o rollout do estudante segue um caminho de raciocínio incorreto (um "prefixo falho"), o sinal de supervisão do professor torna-se estruturalmente comprometido:

Mistura Bimodal do Professor: Quando um prefixo está incorreto, a distribuição do professor torna-se uma mistura de dois modos: um que continua o prefixo falho (para consistência de sequência) e outro que converge para a solução correta.
Gradientes Fragmentados: As funções de perda por token padrão (divergência KL) avaliam a supervisão ao longo da trajetória falha congelada. Consequentemente, as atualizações de gradiente são fragmentadas. O professor recomenda repetidamente um token de correção (ex: "Espere" ou "Na verdade") condicionado ao contexto errado (o prefixo falho), em vez de se condicionar ao desenrolar do caminho de correção.
Ineficácia de Correções ao Nível de Token: As soluções existentes (ex: loss clipping, truncamento Top-K, reponderação) operam ao nível de perda de token. Elas tentam selecionar tokens "informativos" ou suprimir tokens "ruidosos", mas falham em abordar a causa raiz: o próprio prefixo falho permanece estruturalmente intacto. Os pares de supervisão entregues ao estudante divergem do caminho de correção ideal, impedindo que o modelo apre de forma eficaz como se recuperar de erros.

2. Metodologia: Destilação de Trajetória Refinada (TRD)

Para mitigar a falha de prefixo, os autores propõem a Destilação de Trajetória Refinada (TRD), um método que desloca a intervenção do nível de token para o nível de trajetória.

Mecanismo Central

Em vez de usar o rollout bruto do estudante $y_o$ diretamente para a destilação, a TRD introduz uma etapa de refinamento antes do cálculo da perda:

Amostragem: O modelo estudante $\pi_\theta$ gera um rollout on-policy bruto $y_o \sim \pi_\theta(\cdot | x)$ .
Refinamento: O modelo professor $\pi_T$ $π_{T}$ (ou o próprio estudante em OPSD, condicionado a informações privilegiadas como a solução de referência $y^*$ $y^{*}$ ) gera uma trajetória refinada $y_r$ $y_{r}$ .
- Em OPD: $y_r \sim \pi_T(\cdot | x, y_o)$ .
- Em OPSD: $y_r \sim \text{sg}[\pi_\theta(\cdot | x, y_o, y^*)]$ .
- Crucialmente, o professor é instruído a revisar o rollout do estudante guiado pela solução de referência, efetivamente "reescrevendo" as partes errôneas do prefixo enquanto mantém os padrões de raciocínio do estudante onde eles são válidos.
Destilação: A trajetória refinada $y_r$ é usada como o alvo de supervisão para a função de perda de correspondência de distribuição padrão (Forward KL com vocabulário completo).

Justificativa Teórica

A TRD aborda o problema do "gradiente fragmentado" garantindo que o contexto de supervisão cresça ao longo do caminho de correção, em vez do prefixo falho.

Recuperação Ideal de Gradiente: Ao supervisionar ao longo de $y_r$ , o contexto para cada token inclui o prefixo corrigido, permitindo que o professor forneça um sinal de correção coerente e de múltiplos passos ( $g_{ideal}$ ), em vez de um sinal repetitivo e desalinhado ao contexto ( $g_{frag}$ ).
Exploração: Mesmo quando $y_o$ está correto, a TRD expõe o estudante a derivações válidas alternativas sugeridas pelo professor, ampliando a distribuição de caminhos de raciocínio corretos que o estudante aprende.

Algoritmo

O processo é resumido no Algoritmo 1:

Amostrar $y_o \sim \pi_\theta(\cdot | x)$ .
Gerar $y_r \sim \pi_T(\cdot | x, y_o)$ .
Atualizar $\theta$ usando a divergência KL entre $\pi_\theta$ e a distribuição do professor sobre $y_r$ .

3. Principais Contribuições

Identificação da Falha de Prefixo: O artigo formaliza a "falha de prefixo" como uma causa estrutural de degradação na destilação on-policy, explicando por que intervenções ao nível de token falham em recuperar erros de raciocínio.
Correção ao Nível de Trajetória: A TRD é proposta como a primeira otimização de nível de trajetória que visa explicitamente a recuperação de prefixos falhos, respeitando a restrição de suporte on-policy, sem custos computacionais proibitivos.
Melhoria em Regime Duplo: A TRD melhora o desempenho em dois regimes:
- Correção de Erros: Mitiga a falha de prefixo corrigindo prefixos problemáticos antes da destilação.
- Exploração: Amplia a cobertura de raciocínio ao expor os estudantes a derivações válidas alternativas, mesmo quando o rolluto original estava correto.
Aplicabilidade à Autodestilação: O método é naturalmente estendido para OPSD, onde o estudante atua como seu próprio professor condicionado a informações privilegiadas, eliminando a necessidade de um modelo professor separado.

4. Resultados Experimentais

Os autores avaliaram a TRD em cinco benchmarks de matemática competitiva (AIME24/25, HMMT25, BeyondAIME, AMOBench) e benchmarks de geração de código (HumanEval+, MBPP+, LiveCodeBench) utilizando modelos Qwen3 (1.7B, 4B, 8B).

Principais Descobertas

Desempenho Superior: A TRD supera consistentemente os baselines anteriores (Forward/Reverse KL, com/sem clipping/truncamento) tanto em configurações de OPD quanto de OPSD.
Ganhos Significativos em Tarefas Difíceis: As melhorias são mais pronunciadas nos benchmarks mais difíceis.
- AMOBench: A TRD alcançou uma melhoria relativa de ~50% no Pass@16 para o Qwen3-8B sob a configuração OPSD em comparação ao modelo base.
- AIME24/25: A TRD mostrou ganhos consistentes, particularmente para modelos menores (ex: +4,6% no AIME24 para o Qwen3-1.7B).
Estabilidade: Diferente de alguns baselines que degradam em certos benchmarks (ex: Reverse KL caindo de desempenho no AIME24), a TRD nunca ficou abaixo do desempenho do modelo base.
Eficiência: Na configuração OPSD, as trajetórias refinadas $y_r$ foram significativamente mais curtas (comprimento mediano comprimido em ~9x) do que os rollouts brutos $y_o$ , reduzindo o tempo de execução do treinamento em ~60%, apesar da etapa extra de amostragem.
Geração de Código: A TRD igualou ou superou os baselines no HumanEval+ e MBPP+, embora os ganhos no LiveCodeBench tenham sido limitados, sugerindo que a capacidade de refinamento do professor pode ser limitada pela dificuldade da tarefa.

5. Significância e Alegações

O artigo afirma que a TRD representa uma mudança necessária na estratégia de pós-treinamento para LLMs. Os autores argumentam que:

Intervenções ao nível de token são insuficientes: A natureza estrutural da falha de prefixo exige correções ao nível de trajetória.
O suporte on-policy é preservado: A TRD alcança essas correções sem violar a restrição on-policy (ao contrário do uso de uma política especialista fixa), tornando-a compatível com paradigmas de aprendizado computacionalmente eficientes.
A Automelhoria é viável: O sucesso da TRD na configuração OPSD demonstra que os modelos podem refinar efetivamente seus próprios caminhos de raciocínio usando informações privilegiadas (verdade fundamental/ground truth) sem exigir um modelo professor separado e maior, oferecendo um caminho leve para a autodestilação.

O trabalho sugere que futuros métodos de destilação devem considerar a integridade estrutural da trajetória de raciocínio, não apenas o alinhamento estatístico de tokens individuais.