Resumo Técnico: Generalização de Fraco para Forte via Destilação Direta On-Policy

1. Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma dominante para aumentar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs). No entanto, o RLVR é computacionalmente caro porque cada atualização de treinamento exige que o modelo alvo gere rollouts, receba pontuações verificáveis e atualize sua política. À medida que a escala dos modelos aumenta, o custo de gerar esses rollouts cresce, tornando a reexecução do RLVR do zero para cada novo modelo mais forte um gargalo significativo.

O artigo aborda o desafio da Generalização de Fraco para Forte: Um modelo treinado via RL em um modelo "professor" menor e mais fraco pode ser usado para melhorar um modelo "aluno" maior e mais forte?

• A Limitação da Destilação Ingênua: Simplesmente destilar a política final de um professor fraco pós-RL (Destilação On-Policy ou OPD) é insuficiente. A política final do professor funde as melhorias úteis aprendidas via RL com os limites intrínsecos de capacidade do modelo menor. Se o aluno já for mais forte que o professor, imitar a distribuição final do professor pode degradar o desempenho do aluno ao sobrescrever seus comportamentos superiores.
• A Pergunta Central: Como se pode transferir o sinal de melhoria induzido pelo RL de um modelo fraco para um modelo forte sem herdar o teto de capacidade do modelo fraco?

2. Metodologia: Destilação Direta On-Policy (Direct-OPD)

Os autores propõem o Direct-OPD, um paradigma que transfere o deslocamento da política induzido pelo RL em um modelo fraco, em vez da própria política final do professor.

2.1 O Sinal Central: Deslocamento de Política como Recompensa Implícita

Em vez de treinar o aluno para corresponder à distribuição de saída do professor $\pi_T$, o Direct-OPD isola a mudança causada pelo RL contrastando o professor pós-RL $\pi_T$ com sua referência pré-RL $\pi_{Tref}$.
O deslocamento da política é definido como:
$$\Delta_T(y | x) = \log \pi_T(y | x) - \log \pi_{Tref}(y | x)$$
Sob o framework de RL regularizado por KL, esta razão de logaritmos é matematicamente equivalente ao sinal de recompensa implícito que treinou o professor (até um fator de escala e uma constante). Assim, o par de checkpoints $(\pi_{Tref}, \pi_T)$ codifica o sinal de recompensa diretamente no espaço da política.

2.2 A Função Objetivo

O Direct-OPD aplica este sinal de deslocamento aos próprios estados on-policy do aluno. Seja $\pi_\theta$ a política do aluno inicializada a partir de $\pi_S$. O objetivo otimiza o aluno para seguir a direção do deslocamento do professor enquanto se regulariza para não se desviar demais de sua própria inicialização:
$$J_{Direct-OPD}(\theta) = \mathbb{E}_{x \sim D} \left[ \mathbb{E}_{y \sim \pi_\theta} [\Delta_T(y | x)] - \alpha D_{KL}(\pi_\theta(\cdot | x) \parallel \pi_S(\cdot | x)) \right]$$

• Recompensa Densa Implícita: O termo $\Delta_T$ atua como uma recompensa densa por token. Para um token $v$ no estado $s_t$, a recompensa imediata é $r_t(v) = \log \pi_T(v | s_t) - \log \pi_{Tref}(v | s_t)$.
• Amostragem On-Policy: O aluno amostra suas próprias trajetórias. O gradiente é computado nos prefixos visitados pelo aluno, garantindo que o sinal seja aplicado aos estados que o aluno realmente encontra.
• Aproximação Top-K: Para tornar o treinamento eficiente, o método restringe o cálculo da recompensa aos top-$k$ tokens do aluno em cada etapa, utilizando um estimador Rao-Blackwellizado para reduzir a variância.

2.3 Controle KL Adaptativo

A magnitude da recompensa implícita $\Delta_T$ depende dos hiperparâmetros de treinamento do professor (especificamente o orçamento de KL $\beta$), que são desconhecidos para o aluno. Um coeficiente KL $\alpha$ fixo pode não escalar de forma robusta entre diferentes pares professor-aluno.
Os autores introduzem um controlador KL adaptativo leve que ajusta $\alpha$ com base na média por lote do sinal de deslocamento ponderado. Se o deslocamento médio for positivo (indicando que o RL do professor geralmente aumentou a probabilidade nos tokens retidos), $\alpha$ aumenta para evitar a sobre-amplificação; se negativo, $\alpha$ diminui para permitir que o aluno se afaste de tokens suprimidos.

3. Principais Contribuições

1. Um Novo Paradigma Fraco-para-Forte: O artigo recasualiza o RL de modelos pequenos não como uma fonte de uma política final para imitar, mas como um gerador barato de um sinal de recompensa implícito. Ao avaliar o deslocamento da política do professor nos próprios estados do aluno, o Direct-O PD transfere a direção da melhoria, em vez da capacidade do professor.
2. Ganhos Consistentes entre Escalas: O método melhora consistentemente alunos mais fortes usando professores mais fracos. Notavelmente, ele melhora alunos (ex: R1-Distill-7B, Qwen3-4B) que já superam o professor pós-RL, um cenário onde a destilação padrão falha.
3. Eficiência Computacional: O Direct-OPD é significativamente mais barato do que executar RL diretamente em modelos grandes. Ele aproveita a estabilidade e velocidade do RL de modelos pequenos e adiciona apenas uma fase de transferência curta e barata.
4. Composição Sequencial: O método permite a composição sequencial de múltiplos deslocamentos de política de diferentes pares de professor, permitindo a acumulação de distintas habilidades de raciocínio em um único aluno.

4. Resultados Experimentais

Os autores avaliam o Direct-OPD em benchmarks de raciocínio matemático (AIME 2024 e AIME 2025) usando várias famílias de modelos (Qwen3, R1-Distill, Nemotron).

• Transferência Fraco-para-Forte:
  • Qwen3-1.7B: Melhorou de 48.3% para 58.3% no AIME 2024 em apenas 4 horas usando 8 GPUs A100, transferindo o deslocamento de um professor de 1.5B.
  • Alunos Mais Fortes: Melhorou com sucesso o R1-Distill-7B (inicialmente 56.7%) e o Qwen3-4B (inicialmente 72.5%), ambos começando com acurácia superior ao professor pós-RL (51.3%). A OPD padrão degradou o desempenho nesses casos.
• Comparação com RL Direto:
  • Sob um orçamento de etapas correspondentes, executar RL em um modelo de 1.5B e transferir via Direct-OPD superou a execução de RL diretamente em um modelo de 7B tanto em acurácia quanto em tempo de computação.
  • A fase de transferência adiciona um tempo negligenciável (~4 horas) comparado às semanas necessárias para o RL de larga escala direta.
• Composição Sequencial:
  • Aplicar dois deslocamentos de política distintos (dos professores JustRL e QuestA) sequencialmente ao Qwen3-1.7B resultou em ganhos cumulativos, elevando a acurácia do AIME 2024 de 48.3% para 63.8%.
• Propriedades de Generalização:
  • Sobreposição de Tokens: Diferente da OPD padrão, o Direct-OPD não requer alta sobreposição de tokens top-k entre professor e aluno. Ele funciona mesmo quando os padrões de pensamento do aluno diferem significativamente dos do professor.
  • Horizonte: O treinamento de horizonte curto (2k tokens) generaliza efetivamente para rollouts longos, capturando o sinal transferível sem o ruído de sequências muito longas.

5. Significância e Alegações

O artigo afirma que os resultados do RL podem ser reutilizados entre escalas de modelos como sinais de recompensa implícitos, não meramente como modelos finais para imitar.

• Reenquadramento do RL: O trabalho muda a perspectiva do treinamento de RL de produzir um "modelo final" para produzir um "deslocamento de política" que codifica um cenário de recompensa. Este deslocamento é um ativo transferível que é independente da capacidade específica do modelo que o gerou.
• Escalabilidade: Ao desacoplar a busca custosa de RL (feita em modelos pequenos) do deployment final (em modelos grandes), o Direct-OPD oferece um caminho escalável para modelos de raciocínio pós-treinamento sem o custo proibitivo de reexecutar o RL em cada nova arquitetura maior.
• Robustez: O método é robusto a descompassos entre famílias de modelos e capacidades iniciais, desde que o deslocamento induzido pelo RL seja significativo nos estados visitados pelo aluno.

Os autores concluem que o Direct-OPD fornece um mecanismo prático, eficiente e teoricamente fundamentado para a generalização de fraco para forte, permitindo o reuso de sinais de supervisão de RL através de diferentes escalas e arquiteturas de modelos.