💬 NLP

Pass the Baton: Trajectory-Relayed On-Policy Distillation

O artigo introduz o Relay-OPD, um novo método de destilação on-policy que mitiga a falha de prefixo ao acionar dinamicamente intervenções do professor para corrigir desvios na trajetória do aluno, alcançando assim o estado da arte em benchmarks de raciocínio matemático enquanto reduz significativamente o comprimento da trajetória de treinamento.

Autores originais: Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li, Yiwen Qiu, Weiming Lu, Yongliang Shen

Publicado 2026-07-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li, Yiwen Qiu, Weiming Lu, Yongliang Shen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde computadores gigantes e superinteligentes (chamados de Modelos de Linguagem de Grande Escala ou LLMs) estão aprendendo a resolver quebra-cabeças complexos, como problemas matemáticos ou enigmas de lógica. Para ensiná-los, frequentemente usamos uma configuração de "professor-aluno". O professor é um modelo massivo e poderoso que conhece as respostas, e o aluno é um modelo menor e mais rápido tentando aprender com ele. Normalmente, o professor apenas escreve a solução perfeita, e o aluno a copia. Mas existe uma maneira mais inteligente chamada Destilação On-Policy. Em vez de apenas copiar um ensaio finalizado, o aluno tenta escrever a solução por conta própria. Se ele ficar travado ou seguir pelo caminho errado, o professor intervém para guiar a próxima palavra, ali mesmo, no momento. Isso é ótimo porque ensina o aluno a pensar, não apenas o que memorizar.

No entanto, este método possui uma falha complicada. Se o aluno cometer um erro logo no início — como pegar um caminho errado em um labirinto — o professor tenta guiar o restante da jornada. Mas, como o aluno já está perdido, a orientação do professor torna-se frequentemente confusa ou pouco confiável, e o aluno continua vagando cada vez mais para longe do caminho correto. É como tentar dar direções a alguém enquanto essa pessoa já está dirigindo na direção errada; quanto mais ela dirige, mais confusa fica. Este artigo aborda esse problema específico: como impedimos que o aluno se perca irremediavelmente antes que a ajuda do professor se torne inútil?

A Corrida de Revezamento do Raciocínio

Os autores deste artigo, trabalhando com modelos da família Qwen, perceberam que, quando um modelo aluno começa a sair dos trilhos, o professor e o aluno começam, de fato, a discordar sobre o que fazer a seguir. O aluno, obstinadamente comprometido com sua ideia errada, quer continuar seguindo em frente. O professor, vendo o erro, quer parar, repensar e mudar de direção.

Eles chamam esse momento de discordância de um "gatilho de passagem" (handoff trigger). Pense nisso como uma corrida de revezamento. Em uma corrida padrão, se o corredor (o aluno) tropeçar e começar a correr na direção errada, o treinador (o professor) pode apenas gritar instruções da lateral da pista, mas o corredor continua tropeçando. Neste novo método, chamado Relay-OPD, no momento em que o treinador vê o corredor indo em direção a um precipício, o treinador entra em ação, pega o bastão e corre alguns passos na direção correta para resetar o caminho do corredor. Então, o treinador devolve o bastão, e o aluno continua a corrida, agora no caminho certo.

Como Funciona: Os Tokens "Mas" e "Espere"

O sistema é inteligente porque não precisa de um humano para dizer quando um erro acontece. Ele observa as probabilidades. Se o professor tiver uma alta probabilidade de dizer uma palavra de "reflexão" como "Mas", "Espere" ou "Entretanto" (que sinalizam uma mudança de pensamento), mas o aluno tiver probabilidade de dizer "Então" ou "Agora" (que sinalizam a continuação do pensamento atual), o sistema sabe: Estamos fora do caminho!

Nesse exato momento, o professor assume o controle por um breve "trecho" da jornada. O professor escreve um parágrafo curto para corrigir o raciocínio, e então devolve o controle ao aluno. O aluno, então, finaliza o restante do problema, aprendendo com o caminho corrigido.

Os pesquisadores descobriram que essa intervenção não precisa ser longa. Na verdade, o professor só precisa escrever cerca de 0,35% das palavras totais para fazer uma enorme diferença. É como um treinador dando um único empurrão aguçado para corrigir a postura de um corredor, em vez de correr toda a corrida por ele.

Os Resultados: Mais Inteligentes e Rápidos

A equipe testou isso em oito diferentes benchmarks de matemática, usando modelos alunos de diferentes tamanhos (0,6 bilhão e 1,7 bilhão de parâmetros) e um professor de 4 bilhões de parâmetros. Os resultados foram impressionantes:

Melhores Pontuações: Os alunos do Relay-OPD obtiveram pontuações significativamente mais altas do que aqueles que usaram métodos padrão. Para o modelo de 1,7 bilhão de parâmetros, o método melhorou a pontuação média em 5,73% em relação ao método padrão e superou o próximo melhor competidor em 1,49%.
Menos Tempo Desperdiçado: Como o sistema impede que o aluno vagueie por caminhos sem saída, o processo de treinamento tornou-se muito mais eficiente. O comprimento médio dos caminhos de treinamento foi reduzido em mais de 50%. Os alunos aprenderam a mesma quantidade na metade do tempo.
O "Trecho" Importa: Os pesquisadores provaram que a curta correção do professor (o "trecho do professor") foi crucial. Simplesmente interromper o aluno quando ele cometia um erro (sem que o professor o corrigisse primeiro) não funcionou tão bem. O professor precisava mostrar ao aluno como voltar ao caminho certo.

O Que Não É

O artigo é cuidadoso ao mostrar o que este método não é. Não se trata apenas de cortar respostas longas precocemente (como outros métodos tentaram), nem de reescrever todo o ensaio do aluno depois que ele termina. É uma correção em tempo real, "no momento". Também não se trata de o professor assumir toda a corrida; o aluno ainda faz a maior parte do percurso. O professor só intervém nesses surtos curtos e críticos quando o aluno está prestes a cometer um erro permanente.

Em suma, o Relay-OPD é como uma rede de segurança que captura um aluno em queda logo antes de ele atingir o chão, redirecionando-o gentilmente e permitindo que ele continue correndo. Ele transforma um potencial desastre em um momento de aprendizado, tornando os modelos de IA mais inteligentes, mais rápidos e menos propensos a se perderem em seus próprios pensamentos.

Resumo Técnico: Relay-OPD (Pass the Baton)

1. Definição do Problema: Falha de Prefixo na Destilação On-Policy

A destilação on-policy (OPD) melhora a transferência de conhecimento de modelos professores fortes para modelos alunos mais fracos ao fundamentar a supervisão de nível de token nas próprias trajetórias geradas pelo aluno. No entanto, esta abordagem sofre de uma falha crítica conhecida como falha de prefixo (prefix failure). Em tarefas de raciocínio de cadeia longa, se um modelo aluno se compromete com uma direção de raciocínio incorreta precocemente durante a geração, todos os tokens subsequentes constroem-se sobre este desvio. Isso resulta em continuações longas e mal direcionadas que:

Provocam uma supervisão pouco confiável e potencialmente prejudicial por parte do professor.
Desperdiçam um esforço substancial de computação de treinamento em trajetórias que não podem ser corrigidas.

As soluções existentes possuem limitações estruturais:

Truncamento de comprimento fixo (ex: FastOPD, ESR): Corta as execuções (rollouts) em posições rígidas, independentemente de onde ocorre a falha real de raciocínio.
Reescrita offline (ex: TRD): Repara trajetórias apenas após a conclusão, muitas vezes deixando artefatos visíveis.
Mistura de nível de token (ex: SKD): Alterna com base em discordâncias distributivas genéricas, em vez de sinais explícitos de falha de raciocínio.

Há uma carência de um mecanismo que atue on-line, corrigindo falhas conforme elas emergem, e que intervenha especificamente com base no próprio estado do raciocínio.

2. Metodologia: Relay On-Policy Distillation (Relay-OPD)

Os autores propõem o Relay-OPD, um método que intercala a geração do aluno com intervenções breves e direcionadas do professor em pontos de falha detectados.

2.1 Insight Central: Assimetria de Continuação Professor-Aluno

O método baseia-se numa assimetria observada em prefixos falhos:

O Aluno: Tende a continuar ao longo da direção atual (errada).
O Professor: Tende a parar, reexaminar e redirecionar o raciocínio (frequentamente utilizando tokens de "reflexão" como Mas, Espere, No entanto).

Esta divergência serve como um gatilho de passagem de bastão sem rótulos (label-free handoff trigger). Quando o token seguinte mais provável do professor é um token de reflexão, mas o conjunto de suporte top- $K$ do aluno não contém tais tokens, uma passagem (handoff) é acionada.

2.2 Construção de Trajetória de Revezamento (Relay Trajectory)

Quando um gatilho é disparado, o professor assume brevemente para produzir uma perna do professor (teacher leg), após a qual o aluno retoma.

Gatilho de Passagem ( $\phi(h)$ ): Definido como $1[a_T(h) \in \mathcal{R}] \cdot 1[K_S(h) \cap \mathcal{R} = \emptyset]$ , onde $\mathcal{R}$ é o conjunto de tokens de reflexão, $a_T$ é o token principal do professor e $K_S$ é o conjunto top- $K$ do aluno.
Orçamento de Revezamento (Relay Budget) ( $M, L$ ): Para evitar que a trajetória se desvie demais da política do aluno, um orçamento limita a intervenção:
- $M$ : Número máximo de intervenções do professor.
- $L$ : Número de parágrafos adicionais gerados pelo professor após o token de reflexão.
Processo: O aluno gera de forma autorregressiva. Ao detectar um gatilho (e se o orçamento permitir), o professor gera $L$ parágrafos (começando com o token de reflexão). O aluno então retoma a geração a partir do prefixo corrigido.

2.3 Objetivo de Otimização

O Relay-OPD otimiza a política do aluno na trajetória de revezamento resultante $z$ . Diferente do OPD padrão que utiliza os tokens originais do aluno, o Relay-OPD utiliza os tokens efetivamente gerados $z_t$ da trajetória de revezamento (incluindo os tokens gerados pelo professor).
O objetivo utiliza uma vantagem de amostra única do tipo reverse-KL:
$A_t^{Relay} = \log \pi_T(z_t | h_t^z) - \log \bar{\pi}_\theta(z_t | h_t^z)$
Isso é otimizado via uma perda estilo PPO clipada, permitوendo que o aluno absorva seletivamente os sinais corretivos do professor em vez de se ajustar totalmente à distribuição do professor.

2.4 Implementação Eficiente

Para evitar o overhead de alternar entre dois pipelines de geração, o Relay-OPD unifica o processo dentro de um único motor de decodificação especulativa (speculative decoding engine):

O Aluno atua como o modelo de rascunho (draft model).
O Professor atua como o modelo alvo (target model).
O motor alterna dinamicamente a política alvo ( $\pi_{tgt}$ ) entre o aluno e o professor com base no estado atual (perna do Aluno vs. perna do Professor).
As pernas do professor realizam a decodificação especulativa padrão contra o professor, enquanto as pernas do aluno aceitam todos os rascunhos. Isso garante que a identidade distributiva da trajetória de revezamento seja preservada exatamente.

3. Principais Contribuições

Identificação da Assimetria: O artigo identifica que a divergência professor-aluno em prefixos falhos é um sinal confiável e sem necessidade de rótulos para intervenção. Experimentos mostram que corrigir a falha de prefixo requer apenas uma intervenção precoce e local, com os tokens do professor compondo tão pouco quanto 0,35% do total de tokens gerados.
Framework Relay-OPD: Um novo método que converte esta assimetria num rollout de revezamento orçado, unificando a geração de aluno e professor num único motor de decodificação especulativa.
Superioridade Empírica: Demonstrada através de oito benchmarks de raciocínio matemático e duas escalas de aluno (0.6B e 1.7B).

4. Resultados Experimentais

Os autores avaliaram o Relay-OPD utilizando o Qwen3-4B-Instruct-2507 como professor e o Qwen3-0.6B/1.7B-Non-Thinking como alunos em oito benchmarks (AIME 2024/2025/2026, MATH500, AMC 2023, OlympiadBench, HMMT Feb/Nov).

Desempenho:
- Aluno 1.7B: Alcançou os melhores resultados ou o segundo melhor em todos os benchmarks.
  - Acurácia média: 46,96% (vs. 41,23% para o OPD padrão, uma melhoria de +5,73%).
  - Superou o baseline mais forte, FastOPD, por +1,49%.
- Aluno 0.6B: Ganhos consistentes, melhorando a acurácia média em +3,01% em relação ao OPD padrão.
Eficiência:
- Comprimento de Treinamento: Reduziu o comprimento médio da trajetória de treinamento em >50% (de 4.658 para 2.296 tokens para o 1.7B).
- Convergência: Atingiu o melhor checkpoint em menos passos (Passo 35 vs. Passo 55 para o OPD).
- Inferência: Reduziu o comprimento médio da resposta em 14–28% comparado ao FastOPD, enquanto melhorou a acurácia.
Estudos de Ablação:
- Necessidade da Perna do Professor: Simplesmente parar no gatilho (Trigger-stop) resultou em 43,48% de acurácia; adicionar a perna do professor ( $L=3$ ) elevou para 46,25%, provando o valor do contexto corrigido.
- Objetivo: O objetivo do tipo reverse-KL nos tokens gerados superou tanto os objetivos de "Student Draft Token" quanto os de "Teacher FKL", confirmando o benefício da absorção seletiva de sinais corretivos.

5. Significância e Alegações

O artigo afirma que a falha de prefixo é um gargalo fundamental na destilação on-policy que os métodos existentes de truncamento ou reescrita não conseguem abordar dinamicamente. O Relay-OPD aborda isso ao:

Atuar On-line: Corrigindo falhas conforme elas emergem, em vez de post-hoc.
Minimizar a Intervenção: Utilizando uma abordagem de "revezamento" onde o professor intervém apenas brevemente para redirecionar, mantendo a trajetória próxima à distribuição da política do aluno.
Eficiência: Reduzindo significativamente o custo computacional do treinamento ao encurtar trajetórias e evitar o desperdício de computação em erros irrecuperáveis.

Os autores concluem que o Relay-OPD oferece um mecanismo robusto e sem necessidade de rótulos para a destilação de modelos fortes para fracos em tarefas de raciocínio, alcançando resultados de estado da arte enquanto reduz drasticamente os custos de treinamento.