Resumo Técnico: Destilação de Política de Região Extrema (ERPD)

Declaração do Problema

O Aprendizado por Reforço (RL) para Modelos de Linguagem de Grande Escala (LLMs) enfrenta um compromisso fundamental entre eficiência de amostra e desempenho assintótico.

• Métodos on-policy (e.g., PPO, GRPO) descartam trajetórias após uma única atualização para garantir estabilidade, levando a uma baixa eficiência de amostra.
• Métodos off-policy reutilizam trajetórias para melhorar a eficiência, mas introduzem incompatibilidade de distribuição. Técnicas de estabilização existentes (e.g., restrições KL, clipping) impõem otimização conservadora para prevenir instabilidade.
• A Questão Central: Investigação empírica revela que restrições conservadoras causam subutilização dos sinais de treinamento. Por outro lado, a otimização off-policy agressiva de múltiplos passos em dados fixos gera ganhos iniciais rápidos, mas eventualmente causa desvio de probabilidade de trajetória e colapso de entropia. Essa divergência excessiva consome o orçamento KL em "deriva desnecessária" em vez de melhoria genuína da tarefa, levando a platôs de desempenho precoce. Simplesmente apertar as restrições KL reduz o teto de desempenho sem resolver a ineficiência subjacente.

Metodologia: Destilação de Política de Região Extrema (ERPD)

O artigo propõe ERPD, um framework de duas etapas que desacopla eficiência de amostra de eficiência KL.

Etapa 1: Otimização Off-Policy Agressiva (Eficiência de Amostra)

• Objetivo: Maximizar a extração de sinais de treinamento de um lote fixo de rollouts, independentemente do desvio da política.
• Processo: Realizar extensas atualizações off-policy (e.g., 80+ passos) em um conjunto de dados estático usando otimização fracamente restrita ou sem restrições.
• Resultado: Isso produz uma política de "Região Extrema" ($\pi_{\theta_e}$). Embora essa política possa sofrer com alto desvio KL e colapso de entropia, ela contém sinais de treinamento ricos e maximamente extraídos.
• Funções de Perda: O artigo avalia várias perdas para esta etapa, incluindo SAPO (clipping suave), CE (Entropia Cruzada) e uma nova perda MSE que direciona as probabilidades de ação para a saturação (0 ou 1) para criar uma política degenerada "desaprendida".

Etapa 2: Destilação com Restrição de Região de Confiança (Eficiência KL)

• Objetivo: Destilar os sinais úteis da política extrema de volta para a política base, filtrando a deriva espúria.
• Processo: A política base ($\pi_{\theta_{old}}$) é atualizada para aproximar a política extrema ($\pi_{\theta_e}$) sob restrições estritas de região de confiança (limitando o desvio KL).
• Construção de Sinal em Nível de Token:
  • Estratégia de Professor Forte: Usa a razão logarítmica $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{old}}(a|s)}$ como sinal de recompensa. O denominador é fixado na política de referência original para manter uma direção consistente de melhoria.
  • Estratégia de Professor Fraco: Quando a política extrema é degenerada (pior que a base), o artigo introduz construções de sinal alternativas. Especificamente, usa uma razão logarítmica contra uma política "desaprendida" intermediária ($\pi_{\theta_{un}}$) obtida durante a fase inicial da otimização agressiva: $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{un}}(a|s)}$. Isso permite que até professores mais fracos forneçam sinais supervisionados eficazes.
• Otimização: A etapa de destilação usa um objetivo substituto com clipping estilo PPO com as recompensas em nível de token construídas, tipicamente exigindo menos passos (e.g., 10–32) do que o treinamento do professor.

Contribuições Principais

1. Framework Desacoplado: Introdução de um pipeline de treinamento de duas etapas que separa a extração agressiva de sinais da atualização estável da política, alcançando alta eficiência de amostra sem sacrificar o desempenho assintótico ou a eficiência KL.
2. Destilação de Fraco para Forte: Demonstração de que até políticas professoras degeneradas ou mais fracas (treinadas com MSE ou sob condições específicas de desaprendizagem) podem fornecer supervisão eficaz. O artigo fornece caracterizações empíricas sistemáticas e estudos de ablação sobre estratégias de construção de sinal (usando políticas desaprendidas vs. políticas antigas).
3. Análise de Sinal em Nível de Token: Investigação detalhada de como recompensas em nível de token derivadas de políticas extremas interagem com a aprendizagem do aluno, mostrando que alunos podem superar professores quando usam formulações específicas de razão logarítmica (e.g., fixando o denominador na política antiga).
4. Validação Empírica em Raciocínio: Avaliação abrangente em benchmarks de raciocínio matemático (AIME, HMMT, IMO) e tarefas de codificação (LiveCodeBench), mostrando ganhos substanciais para modelos base fortes onde o treinamento on-policy padrão atinge platôs.

Resultados Experimentais

• Ganhos de Desempenho: Em tarefas de raciocínio matemático, o ERPD supera significativamente os baselines on-policy padrão (PPO, GRPO) e métodos off-policy de etapa única. Por exemplo, no benchmark HMMT Feb 25, o ERPD aplicado ao Qwen3.5-27B alcançou desempenho comparável a modelos de nível de fronteira.
• Eficiência KL: As políticas destiladas alcançam desempenho comparável ou melhor com desvio KL substancialmente menor em comparação com as políticas professoras agressivas. Isso confirma que a divergência da primeira etapa foi amplamente gasta em deriva não produtiva.
• Eficácia de Professor Fraco: Em cenários onde a otimização agressiva falha em produzir um professor mais forte (e.g., usando perda MSE), a estratégia "desaprendida" ainda gera melhorias. Métodos de ensemble combinando professores fortes e fracos melhoram ainda mais o desempenho.
• Melhoria Iterativa: Experimentos de alternância online-offline demonstram que alternar entre destilação offline e amostragem online permite melhorias sustentadas de desempenho, enquanto abordagens puramente online ou puramente offline frequentemente estagnam ou degradam.
• Descobertas de Ablação:
  • Construção de Sinal: A escolha específica do denominador na razão logarítmica (política antiga vs. política atual) é crítica. Fixar o denominador na política antiga permite que o aluno supere o professor.
  • Outliers: Análise preliminar sugere que tokens "outliers" (razões logarítmicas negativas) na política extrema codificam sinais corretivos informativos; mascará-los degrada o desempenho.
  • Entropia: Ao contrário de suposições típicas, os ganhos de desempenho na destilação não dependem necessariamente da redução de entropia; em alguns casos, o aumento da entropia correlaciona-se com desempenho aprimorado.

Significado e Alegações

O artigo alega que o compromisso entre eficiência de dados e estabilidade de otimização não é inerente, mas sim resultado de forçar uma única política a equilibrar objetivos conflitantes. Ao desacoplar esses objetivos:

1. O ERPD desbloqueia sinais de treinamento latentes em conjuntos de dados fixos que métodos conservadores descartam.
2. Ele valida a hipótese "de Fraco para Forte" no RL, mostrando que até políticas que "desaprenderam" ou degradaram podem servir como professores eficazes se a construção do sinal for adaptada (e.g., usando a política desaprendida como referência).
3. Oferece um caminho prático para melhorar modelos de raciocínio de última geração sem exigir aumentos massivos na coleta de dados, aproveitando dados existentes de forma mais eficaz através de otimização agressiva seguida de destilação cuidadosa.

Os autores mantêm modéstia quanto às explicações teóricas, observando que, embora o sucesso empírico da destilação de fraco para forte seja claro, as condições teóricas precisas sob as quais professores degenerados fornecem sinais úteis requerem investigação adicional. Da mesma forma, o papel da entropia e dos outliers é identificado como uma área para análise sistemática futura.