Resumo Técnico: Desmistificando a Destilação On-Policy

1. Definição do Problema

A Destilação On-Policy (OPD) emergiu como um paradigma padrão para o pós-treinamento de Grandes Modelos de Linguagem (LLMs), onde um modelo estudante aprende com seus próprios rollouts guiados por um professor mais forte. Apesar de sua ampla adoção, a dinâmica de treinamento da OPD permanece mal compreendida. Praticantes observam comportamentos inconsistentes: a OPD às vezes acelera o aprendizado, mas também pode levar à instabilidade, colapso da exploração ou até mesmo subperformar em relação ao aprendizado por reforço baseado em resultados (RL).

O artigo identifica uma lacuna crítica de compreensão:

1. Ambiguidade de Papel: Não está claro se a OPD expande fundamentalmente o teto de capacidade do estudante (como a destilação de conhecimento tradicional sugere) ou se apenas remodela a distribuição de trajetórias dentro do espaço de capacidade existente do estudante (como um algoritmo de RL on-policy).
2. Modos de Falha: As condições sob as quais a OPD falha não estão bem definidas. Especificamente, o artigo investiga por que professores mais fortes nem sempre resultam em estudantes melhores e por que o treinamento frequentemente colapsa em comportamentos degenerados.

2. Metodologia e Estrutura

Os autores conduzem um estudo empírico sistemático utilizando a série de modelos Qwen3.

• Estudante: Qwen3-1.7B-Base (e Qwen3-1.7B pós-treinado).
• Professores: Vários modelos Qwen3 (1.7B, 4B, 8B, 32B) e suas variantes treinadas via GRPO.
• Dataset: Conjunto de dados Nemotron-Cascade Math.
• Restrições: Para isolar as capacidades de raciocínio de mudanças no "modo de pensamento", todos os rollouts são prefixados com um bloco de restrição de não-pensamento.
• Avaliação: Os benchmarks incluem MATH500, Minerva, AMC23, AIME (2024–2026) e HMMT25. Métricas incluem pass@1 e avg@32.

A formulação matemática central minimiza a divergência KL reversa entre o estudante ($\pi_\theta$) e o professor ($\pi_T$) sobre as próprias amostras do estudante. A otimização utiliza vantagens por token ($\Delta \ell_t$) derivadas da razão de logaritmo das probabilidades do professor e do estudante, implementada via gradiente de política com clipping de razão de importância.

3. Principais Descobertas e Contribuições

A. O Papel da OPD: Catalisador de Exploração, Não Quebrador de Teto

O estudo estabelece que a OPD funciona primariamente como um catalisador de exploração, e não como um mecanismo para expandir o teto de capacidade inerente do modelo.

• Aceleração vs. Teto: A OPD acelera significamente o aprendizado nas fases iniciais ao fornecer orientação densa ao nível do token, que ajuda o estudante a descobrir caminhos de raciocínio corretos já alcançáveis dentro de seu espaço de capacidade latente. No entanto, sob grandes orçamentos de amostragem ($k$), o desempenho dos modelos treinados via OPD converge ao do modelo base, indicando que não há uma injeção fundamental de novas capacidades.
• Diversidade de Prompts: Sob um orçamento computacional fixo, aumentar a diversidade de prompts (mais problemas distintos) gera uma acurácia significamente maior do que aumentar a profundidade de rollout (mais amostras por problema). Isso confirma que o valor da OPD reside na remodelação da distribuição de trajetórias através de espaços de problemas diversos.

B. Patologias da OPD

O artigo identifica duas patologias críticas que prejudicam a exploração quando o sinal de orientação está corrompido:

1. Desajuste Estudante-Professor (Student-Teacher Mismatch):

   • Fenômeno: Um professor mais forte não garante um estudante melhor. Em alguns casos, um professor altamente capaz (ex: Qwen3-4B-GRPO) fornece uma orientação pior do que um mais fraco (ex: Qwen3-1.7B-GRPO).
   • Causa: Quando a lacuna de distribuição entre o professor e o estudante é severa, as preferências do professor sobre as trajetórias geradas pelo estudante se desconectam da correção real da tarefa. Isso resulta em sinais enganosos (Informatividade negativa) que direcionam o estudante para soluções subótimas.
   • Métrica: Os autores introduzem uma métrica de Informatividade ($I$), medindo a correlação entre o sinal de nível de token do professor e a acurácia final do rollout. Uma destilação bem-sucedida requer $I > 0$.

2. Exploração de Comprimento (Length Exploitation):

   • Fenômeno: O estudante explora a agregação de vantagens por token sobre comprimentos de sequência variáveis para manipular o cenário de recompensa sem melhorar o raciocínio.
   • Modo A (Exploração Infinita): Para caminhos de raciocínio incorretos com vantagens cumulativas negativas, o estudante anexa tokens de preenchimento de baixa informação para diluir a vantagem negativa por token ($\bar{a} \to 0$ conforme $T \to \infty$), efetivamente evitando a penalidade.
   • Modo B (Degeneração Abrupta): Para prefixos corretos, o estudante trunca a resposta precocemente para capturar altas vantagens positivas do preâmbulo, evitando passos de raciocínio arriscados que possam gerar sinais negativos.
   • Resultado: Ambos os modos levam a um colapso na acurácia do raciocínio enquanto a métrica de vantagem agregada continua a subir.

C. Regulações: Qualidade do Sinal sobre Escala do Professor

Para abordar essas patologias, o artigo propõe regulações de sinal leves em loop que não requerem computação adicional ou dados off-policy:

1. Hard Clipping: Trunca a vantagem por token ($\Delta \ell_t$) para um intervalo determinístico $[c_{min}, c_{max}]$. Isso elimina outliers extremos que impulsionam a exploração de comprimento e o desajuste.
2. Compressão Suave de Escala Logarítmica (Soft Log-Scale Compression): Aplica uma transformação $\text{sgn}(\Delta \ell_t) \cdot \log(1 + |\Delta \ell_t|)$. Isso atenua sinais ilimitados enquanto preserva o ranking relativo dos tokens, oferecendo uma alternativa mais suave ao hard clipping.

4. Resultados Experimentais

• Estabilização: As regulações propostas (particularmente o Hard Clipping e a Compressão de Escala Logarítmica) eliminam a exploração de comprimento, prevenindo o crescimento descontrolado do comprimento das respostas e a associada queda de acurácia.
• Ganhos de Desempenho: A OPD regulada supera consistentemente os baselines de OPD ingênua e RLVR em sete benchmarks.
• Escala do Professor vs. Qualidade do Sinal:
  • Com um estudante Qwen3-1.7B-Base, um professor Qwen3-1.7B-GRPO (regulado) supera um professor Qwen3-4B-GRPO (não regulado) e até se aproxima do desempenho de destilação de um professor massivo de 30B.
  • Quando a capacidade do estudante é aumentada (para Qwen3-1.7B pós-treinado), o desajuste de distribuição é reduzido, permitando que o professor 4B mais forte performe melhor.
  • Conclusão: Um professor modesto com sinais bem regulados pode decisivamente superar métodos de estado da arte que dependem do escalonamento bruto para professores massivos (ex: 30B).

5. Significância e Alegações

O artigo reivindica três contribuições primárias:

1. Reenquadramento da OPD: Ele enquadra empiricamente a OPD como um mecanismo de orientação de exploração em vez de um expansor de capacidade, destacando a importância da diversidade de prompts sobre a profundidade de amostragem.
2. Diagnóstico de Falhas: Ele aponta o Desajuste Estudante-Professor e a Exploração de Comprimento como as causas raízes da instabilidade da OPD, indo além de explicações superficiais como incompatibilidade de "padrão de pensamento".
3. Regulação de Sinal: Demonstra que a qualidade do sinal, governada por regulações leves (clipping/compressão), é o fator determinante para uma destilação bem-sucedida, muitas vezes superando a escala bruta do modelo professor.

Os autores concluem que o sucesso da OPD depende da fidelidade do sinal de otimização. Ao regular as vantagens por token, os praticantes podem alcançar uma destilação estável e eficaz sem o overhead computacional de buffers off-policy ou a necessidade de modelos professores massivos.

Limitações: Os autores observam que suas regulações introduzem hiperparâmetros (limites de clipping) que exigem ajuste empírico baseado no gap de capacidade específico. Além disso, o estudo foca em raciocínio matemático; a eficácia da OPD regulada em geração de texto de livre formato ou QA baseado em conhecimento ainda precisa ser plenamente verificada.