Resumo Técnico: Destilação Assimétrica On-Policy (AOPD)

1. Declaração do Problema

A Destilação On-Policy (OPD) emergiu como uma técnica poderosa para treinar Modelos de Linguagem de Grande Porte (LLMs) estudantes, aproveitando feedback em nível de token a partir de um modelo professor em trajetórias geradas pelo estudante. Diferentemente da destilação off-policy, que sofre de viés de exposição, a OPD alinha o estudante à distribuição do professor durante rollouts em tempo de inferência. No entanto, os autores identificam que a OPD padrão, que depende de um gradiente de política ponderado por vantagem, sofre de três fraquezas estruturais críticas em regiões de vantagem não positiva:

1. Atualizações de Alta Variância: Em regiões onde a probabilidade do estudante é significativamente menor que a do professor (vantagem negativa), a natureza logarítmica da formulação de vantagem cria valores escalares ilimitados. Isso leva a distribuições de gradiente de cauda pesada e otimização instável.
2. Gradientes Desvanecidos: Uma vasta maioria dos tokens gerados frequentemente se agrupa em torno de uma vantagem zero. Nessas regiões "neutras", a atualização padrão ponderada por vantagem desaparece, descartando a rica informação de distribuição condicional fornecida pelo professor sobre caminhos de raciocínio alternativos.
3. Gargalos de Exploração (Buracos Negros): Quando um estudante comete um erro (vantagem negativa), a atualização padrão suprime o token amostrado, mas redistribui a massa de probabilidade estritamente de acordo com o prior atual do estudante. Se o token correto tiver uma probabilidade de prior próxima de zero no modelo estudante, a atualização corretiva é negligenciável. Isso prende o modelo em um "buraco negro de exploração", impedindo-o de descobrir alternativas corretas sem orientação externa.

2. Metodologia: Destilação Assimétrica On-Policy (AOPD)

Para abordar essas limitações, os autores propõem a Destilação Assimétrica On-Policy (AOPD). Este framework une aprendizado por reforço (exploração) e aprendizado supervisionado (imitação), alternando dinamicamente os modos de aprendizado em nível de token com base no sinal de vantagem.

Mecanismo Central

A AOPD decompõe o objetivo de treinamento em dois regimes distintos:

• Regiões de Vantagem Positiva (Exploração): Quando o token do estudante recebe uma vantagem positiva ($A_t > 0$), o método mantém a atualização padrão de gradiente de política. Isso reforça a exploração bem-sucedida onde o raciocínio do estudante se alinha ou excede a preferência do professor.
• Regiões de Vantagem Não Positiva (Imitação): Quando a vantagem é zero ou negativa ($A_t \le 0$), a AOPD substitui o gradiente de política ineficaz pela minimização de divergência localizada.

O Objetivo de Intervenção

Em vez de depender da vantagem escalar, a AOPD minimiza a Divergência KL Direta entre as distribuições do professor e do estudante, mas restrita a um Suporte Definido pelo Professor.

• Suporte do Professor ($S_t$): Definido como os top-$K$ tokens com a maior probabilidade sob a distribuição do professor $P_T(\cdot | c_t)$.
• Função de Perda: Neste suporte, a perda é formulada como:
  $$L_{FKL}^t = \frac{1}{K} \sum_{v \in S_t} P_T(v | c_t) (\log P_T(v | c_t) - \log P_S(v | c_t))$$
• Objetivo Generalizado: A perda total da AOPD combina o termo de reforço positivo ($L_{Pos}$) com a orientação KL Direta para regiões não positivas. Um parâmetro de limiar $\tau$ pode ser usado para acionar a intervenção, sendo $\tau=0$ a configuração padrão para atingir exatamente o regime não positivo.

Justificativa Teórica

• Atualizações Limitadas: Ao alternar para KL Direta em um suporte limitado, a magnitude da atualização é constrita pelo simplex de probabilidade ($P_T - P_S$), eliminando a variância de cauda pesada causada por diferenças ilimitadas de log-probabilidade.
• Recuperação de Gradientes: Em regiões de vantagem zero, o termo KL Direta utiliza a distribuição condicional completa do professor, fornecendo sinais de correção significativos mesmo quando a vantagem escalar é zero.
• Escapando de Buracos Negros: Ao corresponder explicitamente à distribuição do professor no suporte, a AOPD injeta sinais direcionais em direção a tokens favorecidos pelo professor, mas subestimados pelo estudante, quebrando efetivamente o gargalo de exploração.

3. Principais Contribuições

1. Análise das Limitações da OPD: O artigo fornece uma análise teórica e empírica demonstrando que as atualizações padrão baseadas em vantagem falham em regiões de vantagem negativa e zero devido a alta variância, gradientes desvanecidos e gargalos de exploração.
2. Framework AOPD: A proposta de um framework de treinamento assimétrico que alterna adaptativamente do gradiente de política ponderado por vantagem para o ajuste localizado da distribuição do professor. Este design preserva os benefícios da exploração baseada em RL enquanto aplica supervisão forte e direcionada em gargalos de otimização.
3. Validação Empírica: Experimentos abrangentes em múltiplas escalas de modelos e configurações de inicialização mostram que a AOPD supera consistentemente a OPD padrão e outras linhas de base (SeqKD, GKD, ExOPD).

4. Resultados Experimentais

Os autores avaliaram a AOPD em benchmarks de raciocínio matemático de nível de competição (AIME 2024, AIME 2025, HMMT 2025) usando modelos Qwen3 (4B e 8B) com diferentes etapas de aquecimento SFT.

• Ganhos de Desempenho: A AOPD alcançou consistentemente o melhor desempenho geral.
  • Sob inicialização forte (3K etapas de aquecimento SFT), a AOPD melhorou a média Pass@1 em 4,09% sobre a OPD padrão.
  • Sob inicialização fraca (1K etapas de aquecimento SFT), o ganho foi ainda mais significativo, em 8,34%, demonstrando a robustez da AOPD quando os modelos estudantes começam com capacidades fundamentais mais fracas.
• Dinâmica de Treinamento: A AOPD exibiu curvas de treinamento estáveis, sem a degradação inicial de desempenho observada na OPD e ExOPD. Ela manteve maior entropia de política durante todo o treinamento, indicando um espaço de política menos concentrado.
• Aprendizado Contínuo: Em tarefas sequenciais de adaptação ao uso de ferramentas, a AOPD demonstrou retenção superior de capacidades. Enquanto outros métodos sofreram quedas de desempenho no raciocínio matemático após aprender novas ferramentas, a AOPD na verdade melhorou sua retenção de matemática (de 67,43 para 68,04 Pass@4), enquanto alcançava taxas de sucesso competitivas no uso de ferramentas.

5. Significado e Alegações

O artigo afirma que a AOPD representa um passo significativo para frente na destilação de capacidades de raciocínio, resolvendo as ineficiências estruturais da destilação on-policy padrão. Os autores argumentam que:

• Assimetria é Fundamental: Tratar regiões de vantagem positiva e não positiva de maneira diferente é crucial. Regiões positivas beneficiam-se da exploração no estilo de RL, enquanto regiões não positivas requerem a orientação direta e de alta fidelidade da imitação supervisionada para evitar estagnação na otimização.
• Robustez à Inicialização: O método é particularmente eficaz para modelos com capacidades iniciais mais fracas, onde a OPD padrão frequentemente falha em se recuperar da degradação inicial de otimização.
• Preservação de Capacidades: Ao localizar a intervenção do professor em posições difíceis em vez de remodelar toda a política, a AOPD preserva melhor as habilidades de raciocínio adquiridas anteriormente durante o aprendizado contínuo.

Os autores concluem que combinar exploração (RL) e imitação (aprendizado supervisionado) em nível de token oferece um caminho principiado para melhorar tanto a eficiência do treinamento quanto as capacidades finais dos modelos estudantes, particularmente em tarefas complexas de raciocínio.