Resumo Técnico: Além do GRPO e da Distilação On-Policy

Declaração do Problema

No pós-treinamento de modelos de linguagem de grande escala (LLMs) para tarefas verificáveis (por exemplo, raciocínio matemático), os dados de treinamento rotulados são o principal gargalo. Diferentemente dos dados de pré-treinamento ou das trajetórias de professores, que podem escalar com a capacidade computacional, os dados rotulados para tarefas com respostas verificáveis (que exigem um avaliador) são escassos e caros de gerar.

A prática padrão da indústria é aplicar esses dados rotulados escassos diretamente ao modelo de implantação (o "aluno") usando algoritmos de aprendizado por reforço (RL) com recompensa esparsa, como o GRPO. Este artigo argumenta que essa alocação é ineficiente. Um modelo de implantação pequeno frequentemente carece da capacidade de gerar trajetórias bem-sucedidas com frequência suficiente para aprender efetivamente a partir de recompensas esparsas em nível de sequência. Consequentemente, o sinal de gradiente colapsa, e os dados rotulados produzem resultados subótimos.

Metodologia Central: O Princípio da Densidade de Recompensa

O artigo propõe um Princípio da Densidade de Recompensa para otimizar a alocação de dados rotulados escassos. Ele postula que recompensas esparsas em nível de sequência e recompensas densas em nível de token derivadas do professor existem no mesmo eixo de um objetivo de política regularizado por KL, mas servem a papéis diferentes dependendo da capacidade do modelo:

1. Recompensa Esparsa (Descoberta no Lado do Professor): Recompensas esparsas são não enviesadas, mas exigem uma política capaz de amostrar trajetórias bem-sucedidas para serem informativas. Elas devem ser aplicadas a um modelo professor maior e mais forte, que possa converter sinais esparsos em uma distribuição "moldada por recompensa".
2. Recompensa Densa (Compressão no Lado do Aluno): Recompensas densas (derivadas das log-probabilidades do professor) fornecem um sinal em cada token, mas são enviesadas em direção ao professor. Elas são ideais para comprimir o comportamento do professor em um aluno de implantação menor.

O Pipeline Proposto

Os autores propõem um pipeline de três etapas que reordena a sequência padrão de pós-treinamento:

• Etapa 1: Descoberta no Lado do Professor. Aplicar recompensa esparsa (por exemplo, GRPO) a um grande modelo professor usando os dados rotulados escassos. Isso cria uma política de professor moldada por recompensa ($\pi_T$).
• Etapa 2: A Ponte Densa de Duas Etapas. Transferir o comportamento do professor para o aluno por meio de um processo de dois passos para garantir estabilidade e cobertura:
  • Aquecimento Forward-KL (FKL): Treinar o aluno nas trajetórias do professor para cobrir o suporte do professor (cobertura de modo). Isso corrige o "desajuste de suporte", onde as trajetórias iniciais do aluno não se sobrepõem aos estados úteis do professor.
  • Distilação On-Policy (OPD): Treinar o aluno em suas próprias trajetórias usando as log-probabilidades do professor como um sinal de recompensa densa ($r_T(s, y) = \beta \log \pi_T(y|s)$). Isso é equivalente a RL de máxima entropia com uma recompensa densa.
• Etapa 3: RL do Aluno Pós-Ponte (Opcional). Se dados rotulados permanecerem, aplicar recompensa esparsa diretamente ao aluno agora preparado. A ponte garante que o aluno seja "treinável" o suficiente para se beneficiar desse sinal esparsa final.

Contribuições Principais

O artigo faz três contribuições principais, validadas em tarefas matemáticas verificáveis (MATH, AIME 2024/2025) usando as famílias de modelos Qwen3 e Llama:

1. Alocação Primeiro no Professor: Alocar dados rotulados escassos para RL no lado do professor seguido de transferência densa produz um aluno mais forte do que alocar os mesmos dados para RL direto no aluno. Crucialmente, o professor deve estar moldado por recompensa; transferir um professor bruto ou apenas SFT performa pior que o GRPO direto, provando que a escala sozinha é insuficiente.
2. Superioridade da Ponte de Duas Etapas: Uma ponte consistindo em um aquecimento Forward-KL seguido de OPD supera consistentemente alternativas de estágio único (SFT com Amostragem do Professor ou apenas OPD). O aquecimento garante que o aluno entre na região de suporte do professor, tornando a etapa subsequente de OPD on-policy bem condicionada.
3. Eficácia do RL do Aluno Pós-Ponte: Uma vez estabelecida a ponte, o RL com recompensa esparsa no aluno torna-se eficaz. O GRPO direto em um aluno "frio" é fraco, mas o GRPO em um aluno que passou pela ponte eleva significativamente o desempenho (por exemplo, +3,1 pontos no MATH) e supera controles de replay que reutilizam dados da ponte.

Resultados Experimentais

Os experimentos foram conduzidos com um tamanho fixo de aluno de implantação (Qwen3-1.7B) e tamanhos de professor variáveis (8B, 14B e 70B Llama).

• Ganhos de Desempenho:
  • MATH: O pipeline proposto (Professor 8B com RL + Ponte) alcançou 79,3% de precisão, superando o GRPO direto no aluno de 1.7B (75,9%) e a transferência de um professor 8B bruto (71,5%).
  • AIME 2024: O pipeline alcançou 25,2%, comparado a 19,8% para o GRPO direto.
  • Validação Llama: A mesma ordem se manteve para modelos Llama: Transferência Raw-70B (55,4%) < GRPO Direto (59,8%) < Transferência RL'd-70B (62,1%).
• Descobertas de Ablação:
  • Qualidade do Professor: Transferir um professor antes de ele passar por RL esparsa resulta em desempenho pior que o GRPO direto do aluno. O professor deve primeiro descobrir o comportamento moldado por recompensa.
  • Necessidade da Ponte: Remover o aquecimento Forward-KL (apenas OPD) ou substituir a ponte por SFT com Amostragem do Professor resulta em desempenho inferior, confirmando a necessidade de cobertura de suporte off-policy e refinamento on-policy.
  • Alocação de Dados: Usar todos os dados rotulados a montante para o professor (Rota do Lado do Professor) produziu resultados ligeiramente melhores (79,3%) do que dividir os dados para RL do aluno pós-ponte (78,5%), embora esta última permaneça uma alternativa competitiva e de menor custo.

Significado e Implicações Operacionais

O artigo reestrutura o panorama de pós-treinamento não como um menu de algoritmos concorrentes (SFT vs. RL vs. Distilação), mas como um problema de alocação baseado na densidade de recompensa.

• Lição Operacional: Evite usar dados rotulados escassos na política menos preparada (o aluno frio). Em vez disso, use recompensa esparsa a montante em um professor capaz para descobrir comportamento, converta esse comportamento em supervisão densa por meio de uma ponte de duas etapas e, somente então, considere recompensa esparsa no aluno se os dados permitirem.
• Insight Teórico: O trabalho unifica a Distilação On-Policy (OPD) e o RL esparsa sob um único framework de objetivo, diferenciando-se apenas na densidade do sinal de recompensa e no modelo que o recebe. Demonstra que a "distilação" é efetivamente RL com recompensa densa, e sua eficácia é estritamente limitada pela qualidade da distribuição do professor.
• Limitações: A evidência atualmente limita-se a tarefas matemáticas verificáveis e famílias de modelos específicas (Qwen e Llama) com tokenizadores compartilhados. O artigo não afirma que o princípio se aplica a tarefas abertas sem verificadores ou a transferências entre famílias sem vocabulários compartilhados.