Resumo Técnico: Desmascarando a Distilação On-Policy

Declaração do Problema

A distilação on-policy (OPD) emergiu como uma técnica central de pós-treinamento para modelos de raciocínio, oferecendo supervisão densa, por token, para complementar o aprendizado por reforço (RL) com recompensas esparsas. Neste paradigma, um modelo "professor" (seja um modelo externo maior ou o próprio estudante com contexto privilegiado) guia a geração de tokens do estudante. No entanto, os praticantes carecem de orientação principial sobre escolhas de design críticas:

• Seleção do Professor: O professor deve ser um modelo externo maior ou o próprio estudante (auto-distilação)?
• Design do Contexto: Qual contexto específico (por exemplo, traços completos de solução, soluções resumidas ou exemplos de respostas erradas) deve servir como sinal de supervisão?
• Granularidade: A configuração ótima varia conforme a tarefa, a capacidade do estudante ou até mesmo tokens individuais?

A avaliação atual depende de métricas de desempenho agregadas de execuções de treinamento caras, o que obscurece a dinâmica no nível de tokens individuais. Permanece incerto sob quais condições o sinal do professor é benéfico, neutro ou prejudicial.

Metodologia

Os autores introduzem uma estrutura de diagnóstico sem treinamento que opera na resolução mais alta: por token, por pergunta e por configuração de professor. A estrutura consiste em três componentes principais:

1. O Gradideal por Nó

Para avaliar a orientação do professor, os autores derivam um gradiente "ideal" que maximiza a probabilidade do estudante de alcançar uma resposta correta.

• Árvore de Geração: Eles decompõem o processo de geração em uma árvore onde os nós representam posições de tokens e as arestas representam escolhas do próximo token.
• Probabilidade Empírica de Sucesso ($\hat{P}^k_{succ}$): Ao amostrar trajetórias (rollouts) do estudante, eles estimam a probabilidade de alcançar uma resposta correta dada a seleção do token $k$ no nó $u$.
• Objetivo Ideal: O objetivo local ideal é maximizar a taxa de sucesso esperada: $L_{ideal}(u) = \sum_k P^k_\theta P^k_{succ}$.
• Gradiente Ideal: O gradiente deste objetivo em relação aos logits do estudante é derivado como $g^{ideal}_j = P^j_\theta (P^j_{succ} - \bar{P}_{succ})$. Esta direção empurra o estudante em direção a tokens que levam ao sucesso com mais frequência do que a média.
• Conexão com Dr. GRPO: Os autores mostram que o Dr. GRPO (uma variante do GRPO sem normalização de comprimento) recupera este gradiente ideal em expectativa, validando-o como um estimador não tendencioso do sinal baseado em recompensa.

2. Análise de Gradiente de Distilação

A estrutura analisa os gradientes produzidos por vários algoritmos de distilação (GKD, estimadores de amostra única, MiniLLM). Ela demonstra que esses métodos compartilham uma estrutura local comum: $\frac{\partial L}{\partial z_j} = P^j_\theta (f_j - \bar{f})$, onde $f_j$ é derivado da distribuição do professor (por exemplo, log-ratios) ou recompensas ao nível da trajetória.

3. Pontuação de Alinhamento de Gradiente

Para quantificar o quão bem uma configuração específica de professor aproxima o sinal ideal, os autores definem a Pontuação de Alinhamento de Gradiente:
$$\text{Align}(u) = \cos(g^{ideal}_u, g^D_u)$$
Esta similaridade de cosseno entre o gradiente ideal e o gradiente de distilação em cada token mede se a orientação do professor empurra em direção ao sucesso (alinhamento positivo), ao fracasso (alinhamento negativo) ou é ortogonal/ruidosa (alinhamento próximo de zero).

4. Estimação Escalável via Trajetórias Direcionadas

Computar $\hat{P}^k_{succ}$ para todos os tokens em longas cadeias de raciocínio é computacionalmente proibitivo. Os autores propõem um algoritmo de trajetórias direcionadas:

• Janelas de Profundidade Exponencial: A sequência de geração é particionada em janelas de tamanho crescente.
• Priorização: Dentro de cada janela, as trajetórias são alocadas para tokens onde o professor discorda mais fortemente do estudante (alta magnitude de gradiente GKD ou diferença de probabilidade).
• Eficiência: Esta abordagem escala com um orçamento escolhido pelo usuário, em vez do comprimento da sequência, tornando-a viável para traços que variam de ~200 tokens (BoolQ) a ~30.000 tokens (AIME).

Resultados Principais

A estrutura foi aplicada aos modelos Qwen3-0.6B e Qwen3-1.7B nos conjuntos de dados BoolQ, MMLU e AIME 2025, com 8 configurações diferentes de professor.

1. A Distilação Ajuda Mais em Caminhos Incorretos

A descoberta mais consistente é que a orientação de distilação exibe alinhamento significativamente maior em trajetórias incorretas do que em trajetórias corretas.

• Quando o estudante está em um caminho falho, o professor empurra consistentemente em direção a tokens que levam ao sucesso.
• Quando o estudante já está em um caminho correto, o sinal do professor torna-se ruidoso e fracamente alinhado com o ideal, pois o estudante já está performando bem.
• Este padrão mantém-se em todos os cenários, escalas de modelo e conjuntos de dados.

2. Interação entre Design de Contexto e Capacidade do Estudante

O contexto de distilação ótimo não é universal; depende conjuntamente da capacidade do estudante e da dificuldade da tarefa:

• Modelos Pequenos (0.6B): Beneficiam-se mais da auto-distilação com demonstrações apenas corretas em seu próprio estilo de raciocínio. Eles lutam para analisar os padrões de raciocínio de professores externos muito maiores. Contextos resumidos podem prejudicar o desempenho se o estudante precisar de traços completos passo a passo.
• Modelos Maiores (1.7B): Podem aproveitar efetivamente professores externos (por exemplo, Qwen3-8B) e contextos resumidos, o que quase duplica o alinhamento em comparação com traços brutos.
• Demonstrações Erradas: Incluir exemplos errados (Self-1C1W) geralmente prejudica o desempenho em tarefas de raciocínio curto (BoolQ, MMLU) ao introduzir ruído. No entanto, em problemas matemáticos difíceis (AIME), demonstrações erradas fornecem sinais contrastivos úteis, tornando-se a melhor configuração de professor para perguntas difíceis.

3. Não Existe Receita Universal

Não há uma única configuração de professor ou contexto que maximize o alinhamento em todas as tarefas.

• Dependência da Tarefa: Professores externos superam a auto-distilação para o modelo de 1.7B no BoolQ, mas não no MMLU.
• Dependência da Dificuldade: Em matemática difícil, incluir uma demonstração errada melhora o alinhamento, enquanto o degrada em tarefas mais simples.
• Limites Preditivos: Embora a divergência entre as distribuições do estudante e do professor (KL, JS) corra positivamente com o alinhamento, a correlação é fraca ($|\rho| < 0.05$). A divergência pode servir como um filtro barato de condição necessária, mas não é um preditor confiável de se uma discordância específica é útil.

Significado e Afirmações

O artigo afirma fornecer a primeira metodologia rigorosa e sem treinamento para avaliar a qualidade da orientação do professor no nível do token. Suas contribuições primárias são:

1. Estrutura de Diagnóstico: Um pipeline escalável para calcular o alinhamento de gradiente offline, revelando que os sinais do professor são uma mistura heterogênea de contribuições benéficas, neutras e prejudiciais.
2. Insight Mecanístico: A descoberta de que a distilação é mais eficaz em trajetórias falhas sugere que os pipelines de treinamento atuais, que tratam todos os tokens igualmente, podem estar desperdiçando orçamento de gradiente em tokens onde o estudante já está correto.
3. Nuance Contextual: A demonstração de que a "compreensibilidade" é um fator chave — sinais são úteis apenas se o estudante puder analisá-los — explica por que modelos pequenos falham em aprender de professores externos muito maiores e por que o design de contexto (resumo vs. traços brutos) deve ser adaptado à capacidade do modelo.
4. Direções Futuras: Os resultados motivam análises de diagnóstico por tarefa e por token e sugerem algoritmos de treinamento futuros que poderiam ponderar a perda de distilação com base no alinhamento (por exemplo, enfatizando trajetórias falhas) ou usar a divergência como um mecanismo de controle.

Os autores concluem que, embora a distilação on-policy seja uma ferramenta poderosa, sua eficácia é altamente condicional, e a configuração "ótima" muda dinamicamente com base no estado do estudante, na dificuldade da tarefa e no token específico sendo gerado.