Resumo Técnico: Menos é Mais: Parada Antecipada de Rollout para Distilação On-Policy

1. Declaração do Problema: Decaimento do Professor Off-Policy

O artigo identifica um modo de falha crítico na Distilação On-Policy (OPD), um paradigma onde um modelo estudante gera seus próprios rollouts, que são então pontuados por um modelo professor para fornecer alvos suaves em nível de token. Embora a OPD seja uma prática industrial dominante, os autores observam um fenômeno que denominam "Decaimento do Professor Off-Policy".

Na OPD padrão, o professor pontua a geração do estudante em cada posição de token $t$. No entanto, à medida que o estudante gera mais tokens, o contexto $y_{<t}$ torna-se cada vez mais "off-policy" em relação à distribuição de treinamento do professor. O artigo argumenta que, quando o professor é condicionado a um prefixo gerado pelo estudante que se desvia de suas próprias regiões de raciocínio de alta probabilidade, sua capacidade de fornecer um sinal corretivo degrada-se. Em vez de corrigir o estudante para resolver o problema, o professor reverte para comportamentos de pré-treinamento, atuando efetivamente como um autocompletar para a trajetória do estudante.

A verificação empírica no conjunto de dados MATH-500 mostra que a precisão de um professor cai significativamente (de ~65% para ~51%) ao continuar a partir de um prefixo gerado pelo estudante de 300 tokens, aproximando-se do desempenho da linha de base do estudante não treinado. Isso sugere que as pontuações de tokens em posições tardias na OPD de rollout completo não são sinais corretivos confiáveis, mas sim reflexos da incapacidade do professor de se recuperar da trajetória off-policy do estudante.

2. Metodologia: Parada Antecipada de Rollout (ESR)

Para abordar esse decaimento, os autores propõem a Parada Antecipada de Rollout (ESR), uma modificação mínima ao loop padrão de OPD.

• Mecanismo Central: Em vez de gerar respostas de comprimento total, o rollout do estudante é truncado nos primeiros $N$ tokens (onde $N \ll T$, o comprimento total da sequência). A perda de distilação (divergência KL Reversa) é computada apenas nessa janela inicial.
• Implementação: Isso requer apenas uma única linha de alteração de código no loop de treinamento. Se o estudante emitir um token Fim-de-Sequência (EOS) antes da posição $N$, o rollout termina naturalmente.
• Alinhamento de Tokens: Para pares entre famílias diferentes ou entre gerações diferentes com tokenizadores distintos, o rollout do estudante é decodificado para texto e recodificado sob o tokenizador do professor para garantir o alinhamento em nível de token para o cálculo da perda.

3. Contribuições Principais

O artigo faz três contribuições primárias:

1. Melhoria Metodológica: A ESR supera consistentemente a OPD de rollout completo em diversas tarefas (matemática, código, chamada de funções), escalas de modelos (estudantes de 1,5B a 32B, professores de 1,7B a 72B) e regimes de treinamento (LoRA e Ajuste Fino Completo). É particularmente eficaz em cenários entre famílias e entre gerações, onde a OPD de rollout completo frequentemente colapsa.
2. Eficiência e Estabilidade: A ESR reduz drasticamente os custos computacionais, alcançando até 24× de aceleração no tempo de relógio e 4× de redução no uso de pico de memória da GPU. Também fornece estabilidade de treinamento significativamente maior, prevenindo os modos de falha catastrófica observados em configurações de rollout completo.
3. Insight Mecanístico: Os autores fornecem uma análise profunda do porquê a ESR funciona, identificando três fenômenos chave:
   • Decaimento do Professor Off-Policy: A causa raiz da falha do rollout completo.
   • Alinhamento em Cascata: O treinamento na janela inicial melhora o alinhamento em tokens tardios não treinados.
   • Comprometimento de Submodo: A ESR permite que os estudantes superem o desempenho do professor comprometendo-se com submodos específicos e de alta qualidade da distribuição do professor.

4. Resultados Experimentais

Os autores avaliaram a ESR em uma matriz abrangente de configurações:

• Desempenho: A ESR iguala ou supera a OPD de rollout completo em todas as configurações testadas. Notavelmente, em configurações entre famílias (por exemplo, Gemma-2 para Qwen3), a OPD de rollout completo frequentemente colapsa (queda de desempenho >10% ou falha em convergir), enquanto a ESR consistentemente melhora o desempenho.
• Superando o Professor: Em muitos casos, estudantes treinados com ESR superam o desempenho do próprio modelo professor, um fenômeno raramente visto na distilação padrão.
• Robustez a $N$: O método é robusto à escolha de $N$ dentro de um intervalo (por exemplo, $N \in [50, 200]$), embora pares entre famílias mostrem maior sensibilidade a $N$ do que pares da mesma família.
• Eficiência: Em uma GPU A6000, a ESR reduz o tempo total por etapa de 194s (OPD) para 8s, principalmente ao eliminar o custo de gerar sequências longas para pontuação.

5. Análise Mecanística

O artigo investiga por que restringir o treinamento a tokens iniciais produz resultados tão fortes:

• Alinhamento em Cascata: Mesmo que a perda seja computada apenas nos primeiros $N$ tokens, a divergência KL em tokens subsequentes não treinados cai 30–40%. Os autores hipotetizam que os tokens iniciais frequentemente contêm planejamento estratégico e enquadramento do problema (por exemplo, definir variáveis, configurar geometria). Uma vez que o estudante aprende a estratégia correta do professor, a execução (tokens posteriores) segue naturalmente, efetivamente "gratuita" de supervisão direta.
• Comprometimento de Submodo: A divergência KL Reversa ($KL(\pi_s \parallel \pi_t)$) busca modos; ela penaliza o estudante por colocar massa em tokens não suportados, mas não penaliza concentrar massa em um único token suportado.
  • Professores são frequentemente verbosos e multimodais (suportando soluções concisas e verbosas).
  • A OPD de rollout completo tende a média esses modos, arrastando o estudante para a verbosidade do professor.
  • A ESR, ao truncar o rollout, impede que o estudante seja arrastado para a cauda verbosa do professor. Em vez disso, o estudante compromete-se com um submodo específico, frequentemente mais conciso e correto, da distribuição do professor. Isso permite que o estudante, às vezes, supere o comportamento médio do professor.
• Posição vs. Sinal: Estudos de ablação mostram que selecionar tokens baseados apenas em alta divergência KL ou alta entropia não replica o sucesso da ESR. De fato, selecionar os 100 principais tokens por divergência KL frequentemente tem desempenho inferior à OPD padrão. Isso indica que a posição é um fator independente e crítico para a seleção de tokens, não meramente um proxy para a força do sinal.

6. Significado e Alegações

O artigo alega que a ESR oferece uma abordagem "menos é mais" para a distilação on-policy. Ao restringir o rollout à janela estratégica inicial, a ESR mitiga a degradação dos sinais do professor, melhora a estabilidade do treinamento e reduz o consumo de recursos.

Os autores enfatizam que suas descobertas desafiam a suposição de que rollouts mais longos fornecem mais sinal de aprendizado. Em vez disso, eles demonstram que, em cenários entre modelos, o "ruído" introduzido pelo decaimento do professor off-policy em tokens tardios supera os benefícios de dados adicionais. A descoberta de que estudantes podem superar professores via Comprometimento de Submodo sugere um novo caminho para a distilação onde o objetivo não é imitar toda a distribuição do professor, mas extrair e comprometer-se com suas estratégias de raciocínio mais eficazes.

Limitações: Os autores observam que seus experimentos assumem que o estudante já é um modelo ajustado para instruções com capacidades básicas de raciocínio. Eles reconhecem que, para modelos começando do zero (apenas pré-treinados), a supervisão de trajetória completa pode ainda ser necessária. Além disso, a eficácia da ESR na escala de modelos com trilhões de parâmetros com orçamentos massivos de dados permanece uma questão em aberto.