Resumo Técnico: DENSO ≠ MELHOR: LIMITES DA AUTODISTILAÇÃO ON-POLICY PARA O PÓS-TREINAMENTO CONTÍNUO

Declaração do Problema

O pós-treinamento contínuo é essencial para permitir que modelos de fundação adquiram novos conhecimentos em diversos domínios enquanto preservam capacidades existentes. Embora a literatura recente sugira que o ajuste fino por reforço (RFT) on-policy mitiga melhor o esquecimento catastrófico do que o ajuste fino supervisionado (SFT), um novo paradigma — a autodestilação on-policy — surgiu como uma alternativa promissora. Esta abordagem, exemplificada pela Otimização de Política de Autodestilação (SDPO), converte rollouts gerados pelo modelo em supervisão densa ao nível de token, utilizando o próprio modelo como um professor condicionado a um contexto privilegiado (ex: soluções, feedback ou demonstrações).

O problema central abordado neste trabalho é se a visão otimista da autodestilação on-policy se sustenta em configurações de aprendizado contínuo. Especificamente, os autores investigam se a SDPO herda os benefícios de retenção atribuídos ao RL on-policy ou se a densidade da supervisão ao nível de token introduz novos modos de falha, como instabilidade, interferência e colapso, quando aplicada através de tarefas sequenciais.

Metodologia

O estudo emprega uma estrutura experimental comparativa analisando a Otimização de Política de Autodestilação (SDPO) contra a Otimização de Política Relativa de Grupo (GRPO), um método de otimização de recompensa ao nível de sequência.

1. Configuração Experimental:

   • Modelos: Os experimentos utilizam a série de modelos Qwen3-4B e Olmo-3-7B.
   • Tarefas: O treinamento ocorre em quatro domínios: Matemática (MATH), Ciência (SCIENCE), Uso de Ferramentas (TOOLUSE) e Programação (CODING).
   • Avaliação: O desempenho é medido em benchmarks in-distribution e tarefas out-of-distribution (OOD) (ex: AIME, GPQA, BFCLv4, MMLU-R) para avaliar especialização, retenção e transferência.
   • Configuração Contínua: Os modelos são treinados sequencialmente (MATH → SCIENCE → TOOLUSE → CODING) para simular o pós-treinamento contínuo.

2. Principais Variações:

   • Estabilidade do Professor: Os autores variam a taxa de atualização da Média Móvel Exponencial (EMA) ($\alpha$) do modelo professor para testar o equilíbrio entre "frescor" e "estabilidade temporal". Eles introduzem uma estratégia de "Reiniciar-e-Congelar" (StableSDPO) para desacoplar esses fatores.
   • Densidade de Supervisão: O estudo compara a SDPO padrão com variantes que destilam tokens de Cadeia de Pensamento (CoT) para avaliar se a supervisão mais densa (nível de token vs. nível de sequência) melhora o aprendizado.
   • Diagnósticos: Os autores analisam o desvio de parâmetros usando métricas de Decomposição de Valor Singular (SVD) (deslocamento espectral, rotação de ângulo principal, sobreposição de máscara) e mudanças no manifold de resposta via similaridade de embedding. Eles também fornecem uma análise teórica usando um framework de "excesso de desvio KL".

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Desacoplamento de Dados e Objetivo: Os autores separam a fonte de dados (on-policy) do objetivo de treinamento. Eles demonstram que, embora os dados on-policy sejam benéficos, o objetivo específico da autodestilação densa não herda automaticamente o viés de atualização conservador do RL on-policy de nível de sequência.
2. Fragilidade de Sinais Densos: A SDPO mostra-se ser um método de especialização poderoso, mas um sinal de aprendizado contínuo frágil. Sua eficácia é altamente condicional à estabilidade do professor e à confiabilidade do token. O estudo revela que a destilação de CoT e atualizações rápidas do professor podem amplificar ruídos e artefatos de formatação.
3. Trade-offs de Aprendizado Contínuo: Em configurações contínuas, as variantes de SDPO exibem uma retenção significativamente mais fraca do que a GRPO. O esquecimento não é uniforme; ele se concentra em tarefas de "distância intermediária" — tarefas que estão próximas o suficiente para serem afetadas pelas atualizações do domínio de origem, mas desalinhadas o suficiente para não se beneficiarem delas.
4. Diagnósticos Mecanísticos: O artigo diagnostica as causas da falha da SDPO através de:
   • Desvio de Parâmetros/Resposta: A SDPO induz maiores deslocamentos espectrais e mudanças no manifold de resposta do que a GRPO.
   • Amplificação de Artefatos: Um loop de "viés de confirmação" onde artefatos de formatação (ex: tokens repetidos) são reforçados pelo loop professor-aluno, levando ao colapso do modelo.
   • Excesso de KL Teórico: Uma prova mostrando que a projeção da SDPO ao nível de token em direção a um professor privilegiado induz um excesso de desvio KL comparado à projeção de recompensa de sequência de mínimo-KL, prevendo um esquecimento adicional.

Resultados

• Especialização vs. Retenção: A SDPO destaca-se na especialização imediata (ex: melhorando significativamente as pontuações de Math500 após o treinamento em MATH), mas falha em reter capacidades através de mudanças de domínio. Em uma sequência de treinamento contínuo de quatro estágios, a SDPO com um professor rápido ($\alpha=5\%$) colapsou para um desempenho próximo de zero, enquanto a GRPO manteve e melhorou as capacidades em todos os domínios.
• Estabilidade do Professor: Não existe uma taxa de EMA única que seja globalmente ótima. Atualizações rápidas ($\alpha=5\%$) frequentemente degradam o desempenho devido à instabilidade temporal. A estratégia "Reiniciar-e-Congelar" supera significativamente a EMA contínua, sugerindo que atualizações de professor estáveis e periódicas são cruciais.
• Destilação de CoT: Destilar tokens de CoT melhora o desempenho em traços curtos e estruturados (Uso de Ferramentas), mas prejudica o desempenho em tarefas de raciocínio longas e ruidosas (Matemática, Ciência), onde tokens intermediários frequentemente contêm artefatos ou verificações redundantes que diluem a atribuição de crédito.
• Interferência de Distância Intermediária: A generalização OOD segue um padrão não monotônico. Tarefas muito próximas do domínio de treinamento ou muito distantes são frequentemente preservadas ou melhoradas. No entanto, tarefas em uma distância intermediária sofrem o esquecimento mais significativo, um fenômeno consistente com a teoria de interferência em modelos lineares.
• Modos de Colapso: O estudo identifica um modo de falha específico onde o modelo colapsa em repetir tokens de formatação (ex: \boxed). Isso é atribuído ao loop de auto-reforço de artefatos de alta frequência na autodestilação densa.

Significância e Alegações

O artigo conclui que a autodestilação on-policy não é um estabilizador padrão para o pós-treinamento contínuo. Embora ofereça um sinal poderoso para especialização rápida quando os alvos do professor são estáveis e a supervisão ao nível de token é confiável, ela introduz um trade-off: a supervisão mais densa fortalece os sinais de aprendizado local, mas aumenta a sensibilidade ao ruído, ao desalinhamento de domínio e aos artefatos acumulados.

Os autores argumentam que a intuição de que "mais denso é melhor" é falha no contexto de aprendizado contínuo. Ao contrário dos métodos de nível de sequência como a GRPO, que se adaptam de forma conservadora e preservam capacidades prévias, as atualizações agressivas de nível de token da SDPO podem levar ao esquecimento catastrófico e ao colapso do modelo. O artigo sugere que o futuro da autodestilação on-policy no aprendizado contínuo não depende do aumento da densidade do sinal, mas de salvaguardar o sinal através de ponderação de tokens, controles do professor e balanceamento de dados para garantir estabilidade e consciência de artefatos.