Resumo Técnico: Replay de Experiência Priorizado por Vantagem ao Nível de Rollout para GRPO

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) usando a Otimização de Política Relativa ao Grupo (GRPO) tornou-se o padrão para o pós-treinamento de raciocínio em Grandes Modelos de Linguagem (LLMs). No entanto, o GRPO é inerentemente ineficiente em termos de amostra. Na configuração on-policy padrão, um grupo de rollouts candidatos é gerado para cada prompt, usado para uma única atualização de gradiente e, em seguida, descartado. Isso é particularmente dispendioso para rollouts que carregam um forte sinal de aprendizado, como respostas corretas raras dentro de um grupo de respostas incorretas.

O Replay de Experiência (ER) é uma técnica comum para melhorar a eficiência de amostra em outros domínios de aprendizado por reforço, mas não se transfere diretamente para o GRPO por duas razões primárias:

1. Deriva Rápida da Política (Policy Drift): As políticas de LLM mudam significamente a cada passo de gradiente. Rollouts armazenados tornam-se "obsoletos" rapidamente, e usá-los sem controle pode desestabilizar o treinamento.
2. Granularidade ao Nível do Grupo: O GRPO padrão agrega sinais de aprendizado por rollout em um único valor de nível de consulta (query-level). Esquemas de replay ingênuos que armazenam e amostram grupos inteiros (nível de consulta) falham em isolar os rollouts específicos de alto sinal dentro de um grupo que impulsionam o aprendizado.

Tentativas existentes de aplicar replay ao GRPO frequentemente sofrem de obsolescência ilimitada ou dependem de sinais de prioridade de nível de consulta (ex: variância do grupo) que não conseguem resolver os rollouts minoritários dentro do grupo, onde residem os gradientes mais informativos.

Metodologia

Os autores propõem um buffer de Replay de Experiência Priorizado por Vantagem ao Nível de Rollout especificamente projetado para o GRPO. O método integra três componentes principais para abordar a obsolescência e o isolamento de sinal:

1. Evicção por Idade (Controle de Obsolescência)

Para limitar o atraso da política no uso de dados reutilizados, o buffer emprega evicção por idade. Cada rollout armazenado é marcado com um "passo de nascimento" ($t_b$). Em qualquer passo de treinamento $t$, a idade de um rollout é $t - t_b$. Qualquer rollout mais antigo que um limiar máximo $\tau_{max}$ é evicto.

• Ao contrário da evicção baseada em capacidade, que varia com a escala do modelo e a dificuldade dos dados, a evicção por idade fornece um limite de obsolescência por passo que é invariante ao tamanho do modelo.
• Isso garante que nenhuma atualização reutilize um rollout além de um número fixo de passos de treinamento, mitigando o risco de treinar em dados significativamente fora da política (off-policy).

2. Composição Ancorada em Dados Recentes (Fresh-Anchored Composition)

Os autores rejeitam a "composição de pool" padrão (onde dados novos e de replay são misturados em um único lote) em favor da composição ancorada em dados recentes.

• Em cada passo de treinamento, o lote completo de rollouts novos e on-policy é mantido.
• Um conjunto separado de rollouts de replay é amostrado do buffer e concatenado ao lote novo.
• Isso garante que cada atualização de gradiente inclua um "âncora recente", limitando o pior caso de atraso da política independentemente da parte de replay. Isso é crítico em escalas maiores de modelos, onde observou-se que misturar dados obsoletos com dados novos em um único pool degradava o desempenho abaixo do GRPO padrão.

3. Prioridade de $|A_i|$ ao Nível de Rollout

Em vez de amostrar grupos inteiros (nível de consulta), o buffer armazena e amostra rollouts individuais.

• Sinal de Prioridade: A prioridade para amostragem é a magnitude absoluta da vantagem $|A_i|$ do rollout individual. No GRPO, $A_i$ é a vantagem relativa ao grupo. Rollouts com grande $|A_i|$ (tipicamente a minoria em grupos desequilibrados, ex: a única resposta correta em um grupo de erradas) fornecem o grosso do sinal de aprendizado.
• Mecanismo: Ao amostrar ao nível de rollout, o método pode selecionar ciclicamente esses rollouts minoritários de alto sinal que são frequentemente descartados após uma única passagem no GRPO padrão. Isso contrasta com sinais de nível de consulta como a variância do grupo ($\sigma_g$), que tratam todos os rollouts em um grupo igualmente e falham em priorizar as instâncias minoritárias específicas.

O procedimento de treinamento (Algoritmo 1) envolve a geração de rollouts novos, a filtragem de grupos com variância zero, a amostragem de rollouts de replay baseada na prioridade $|A_i|$ a partir do buffer com controle de idade, e a realização de uma atualização GRPO no lote concatenado.

Principais Contribuições

1. Nova Arquitetura de Replay: O artigo introduz um buffer de replay específico para GRPO combinando evicção por idade, composição ancorada em dados recentes e prioridade de $|A_i|$ ao nível de rollout.
2. Superioridade Empírica: O método supera o GRPO padrão e as linhas de base de replay ingênuo (prioridade uniforme e $\sigma_g$ com composição de pool) em três escalas de modelo (0.6B, 1.7B e 4B) em cinco benchmarks de raciocínio matemático.
3. Ganhos de Escala: Os ganhos de desempenho escalam com o tamanho do modelo. O maior aumento é observado na escala de 4B, com um aumento de 4,35 pontos percentuais (pp) na média dos cinco benchmarks em comparação ao GRPO.
4. Análise de Eficiência: Usando o Score de Eficiência de Acurácia (AES), que mede conjuntamente a acurácia e o comprimento de geração de tokens, o método mostra uma margem de eficiência significativa sobre o GRPO, particularmente na escala de 4B (+0.579 AES).
5. Estudos de Ablação: Ablações por eixo validam que cada componente é necessário:
   • Evicção por Idade: Um limite moderado ($\tau_{max}=10$) equilibra o volume de replay e a obsolescência; limites maiores levam a quedas de desempenho devido ao atraso da política.
   • Composição: A composição ancorada em dados recentes é essencial em escala; a composição de pool faz com que o modelo de 4B caia abaixo do GRPO padrão.
   • Prioridade: A prioridade de $|A_i|$ ao nível de rollout supera significativamente os sinais de nível de consulta ($\sigma_g$ ou uniforme), particularmente ao melhorar o pass@k (diversidade de amostragem).

Resultados

• Acurácia: Na média dos cinco benchmarks (MATH-500, AIME25, AIME26, HMMT-F25, HMMT-F26), o modelo de 4B alcançou 31,06% de acurácia com o método proposto, comparado a 26,71% para o GRPO padrão e 26,70% para a melhor linha de base ingênua.
• Diversidade de Amostragem: O método melhora as métricas de pass@k, indicando que retém a diversidade de amostragem que o RLVR padrão costuma estreitar. No modelo de 4B, o método excedeu o GRPO em +10,06 pp na métrica pass.
• Eficiência de Tokens: A análise AES revela uma mudança assimétrica no comprimento da resposta: o modelo gera respostas mais longas para rollouts corretos (+34,9% em 4B) e respostas mais curtas para rollouts incorretos (-10,2% em 4B). Isso sugere que o método otimiza o orçamento de tokens ao alocar mais tokens para soluções corretas de alta probabilidade enquanto comprime tentativas incorretas.

Significância e Alegações

O artigo afirma que seu método fornece um procedimento de treinamento eficiente em amostras para GRPO em tarefas de raciocínio matemático com recompensas verificáveis. A significância reside em demonstrar que o replay de experiência pode ser adaptado com sucesso às restrições únicas do pós-treinamento de LLMs (deriva rápida e vantagens relativas ao grupo) sem desestabilizar o treinamento.

Os autores enquadram modestamente suas contribuições como uma solução específica para a ineficiência de amostra do GRPO, observando que:

• O método é atualmente limitado a recompensas binárias verificáveis (raciocínio matemático) e não reivindica generalização para recompensas não verificáveis (ex: modelos de recompensa aprendidos) ou outros algoritmos de RL (ex: PPO, REINFORCE) sem estudos adicionais.
• As tendências de escala são observadas dentro do intervalo testado (0.6B a 4B) e em conjuntos de prompts específicos; a transferência para escalas maiores ou domínios não matemáticos não foi validada.
• Os resultados baseiam-se em uma única semente de treinamento e configurações de avaliação específicas, embora o uso de múltiplos benchmarks forneça uma indicação indireta de estabilidade.

Em última análise, o trabalho estabelece que a priorização ao nível de rollout combinada com um controle estrito de obsolescência permite a reciclagem eficaz de sinais de aprendizado de alto valor no GRPO, levando a ganhos substanciais tanto em acurácia quanto em eficiência de tokens conforme o tamanho do modelo aumenta.