Resumo Técnico: GRPO é Secretamente um Modelo de Recompensa de Processo

Declaração do Problema

O Aprendizado por Reforço (RL) para Modelos de Linguagem de Grande Escala (LLMs) frequentemente depende de Modelos de Recompensa de Resultado (ORMs), que atribuem uma única recompensa escalar a toda uma trajetória. Embora os Modelos de Recompensa de Processo (PRMs) ofereçam uma atribuição de crédito mais granular, recompensando etapas intermediárias, o treinamento de PRMs neurais explícitos requer anotação humana custosa em nível de etapa e é suscetível a manipulação de recompensas. Consequentemente, muitas aplicações bem-sucedidas de RL, particularmente em raciocínio matemático, utilizam a Otimização de Política Relativa em Grupo (GRPO), que elimina o modelo crítico e a Estimativa de Vantagem Generalizada (GAE) usados no PPO tradicional.

No entanto, existe uma lacuna crítica na compreensão de como o GRPO lida com sinais em nível de etapa. Embora o GRPO seja tipicamente visto como um algoritmo em nível de resultado, não está claro se ele realiza implicitamente uma atribuição de crédito em nível de processo. Além disso, se tal atribuição implícita existir, é desconhecido se a função objetivo padrão do GRPO contém falhas inerentes que impactam negativamente a exploração e a exploração quando as etapas do processo têm frequências ou recompensas desequilibradas.

Metodologia

Equivalência Teórica

Os autores fornecem uma prova teórica de que o GRPO padrão, quando equipado com um ORM, é matematicamente equivalente a um objetivo de RL consciente de PRM equipado com um PRM não trivial baseado em Monte Carlo.

• Etapas de Processo Implícitas: Os autores definem "conjuntos de processo" ($\lambda$) como subconjuntos de trajetórias dentro de um grupo de treinamento $G$ que compartilham prefixos idênticos. Esses prefixos compartilhados definem naturalmente etapas de processo (subtrajetórias).
• Construção Implícita de PRM: Eles constroem uma função $f$ que mapeia cada trajetória para uma sequência de etapas de processo. A recompensa atribuída a uma etapa de processo específica é a recompensa de resultado média de todas as trajetórias no grupo que compartilham aquele prefixo específico (uma estimativa de Monte Carlo).
• Prova de Equivalência: Sob suposições leves (especificamente usando o objetivo de gradiente de política em nível de token e uma única iteração de atualização por lote), os autores provam que a função de perda padrão do GRPO ($L_{GRPO}$) é idêntica a uma função de perda consciente de PRM ($L_{PRM}$), onde as vantagens são computadas em relação a essas recompensas em nível de etapa implícitas.

Identificação de uma Falha

A análise revela um defeito no objetivo padrão do GRPO relacionado à frequência desequilibrada de etapas de processo.

• Na formulação padrão, a contribuição de uma etapa de processo para a perda total é escalada pelo número de trajetórias ($|\lambda|$) que compartilham essa etapa.
• Se uma etapa de processo tiver uma vantagem negativa (ou seja, sua recompensa média estiver abaixo da média do grupo) mas for compartilhada por muitas trajetórias, a penalidade é composta por $|\lambda|$. Isso suprime desproporcionalmente a probabilidade de gerar essa etapa, potencialmente impedindo a exploração de trajetórias de alta recompensa que, por acaso, compartilham um prefixo de baixa recompensa com outras trajetórias.
• Por outro lado, se uma etapa tiver uma vantagem positiva, o sinal de recompensa é amplificado, potencialmente impedindo a exploração de caminhos alternativos.

Solução Proposta: $\lambda$-GRPO

Para mitigar essa falha, os autores propõem o $\lambda$-GRPO, uma modificação simples na função de perda do GRPO.

• Mecanismo: A perda em nível de token para um token $y^{(i)}_t$ é escalada pelo inverso do tamanho de seu conjunto de processo, $|\lambda(i,t)|^{-1}$.
• Efeito: Essa normalização cancela o fator de escala de frequência $|\lambda|$ encontrado no objetivo padrão. Consequentemente, cada conjunto de processo contribui igualmente para a perda em um determinado índice, independentemente de quantas trajetórias compartilham aquele prefixo. Isso impede que o algoritmo penalize ou recompense excessivamente etapas simplesmente devido à sua frequência dentro do grupo.

Resultados Principais

Validação Empírica do PRM Implícito

Os autores verificaram empiricamente que a estrutura de PRM "oculta" é não trivial em cenários do mundo real.

• Usando o conjunto de dados de raciocínio matemático OpenRS, eles analisaram as estruturas de árvore ($B(G)$) formadas pelos prefixos de trajetória durante o treinamento.
• Os resultados mostraram que, para tamanhos de grupo de 6 e 36, mais de 99% dos grupos gerados induziram recompensas de processo não triviais (ou seja, os prefixos se sobrepunham significativamente).
• À medida que o treinamento avançava e os modelos convergiam, a complexidade dessas estruturas de prefixo (profundidade do caminho) e a proporção de tokens envolvidos em etapas intermediárias aumentaram drasticamente.

Desempenho em Tarefas Sintéticas

Em um ambiente de árvore binária sintética projetado para testar a hipótese de "anti-exploração":

• O GRPO padrão teve dificuldade em convergir para o caminho de alvo de recompensa máxima quando esse caminho compartilhava um prefixo com caminhos de menor recompensa (devido à vantagem negativa composta).
• O $\lambda$-GRPO convergiu consistentemente para o caminho de alvo com mais frequência em várias configurações de comprimento de prefixo e valores de recompensa negativa.

Benchmarks de Raciocínio Downstream

Os autores ajustaram finamente os modelos DeepSeek-R1-Distill-Qwen-1.5B e Llama-3.2-1B-Instruct no conjunto de dados OpenRS e os avaliaram em cinco benchmarks de raciocínio (AIME24, MATH-500, AMC23, Minerva, OlympiadBench).

• Precisão: Os modelos $\lambda$-GRPO superaram os modelos GRPO padrão em 15 de 20 configurações específicas de tarefa/modelo.
• Eficiência: Os modelos $\lambda$-GRPO atingiram sua precisão de validação máxima em menos da metade do número de etapas de treinamento exigidas pelo GRPO padrão.
• Aceleração: Os autores relatam uma aceleração de treinamento aproximada de 2x em termos de etapas até o desempenho máximo, com sobrecarga computacional negligenciável para o cálculo de normalização.

Significado e Alegações

O artigo afirma que o algoritmo GRPO padrão já possui uma estrutura rica e embutida de PRM derivada de recompensas em nível de resultado e sobreposições de trajetória. O significado deste trabalho reside em três áreas principais:

1. Insight Teórico: Ele desmistifica o GRPO, provando que não é meramente um algoritmo em nível de resultado, mas sim um que otimiza implicitamente recompensas estruturadas em nível de etapa via estimativa de Monte Carlo.
2. Melhoria Algorítmica: Identifica uma falha matemática específica no objetivo padrão relacionada ao desequilíbrio de frequência e oferece uma correção computacionalmente barata ($\lambda$-GRPO) que melhora significativamente o desempenho.
3. Impacto Prático: Demonstra que uma atribuição de crédito de alta qualidade em nível de etapa pode ser alcançada sem o custo de treinar PRMs neurais explícitos ou coletar anotações humanas em nível de etapa. Ao aproveitar a estrutura implícita, os praticantes podem melhorar as capacidades de raciocínio e a eficiência do treinamento com custo adicional negligenciável.

Os autores concluem que trabalhos futuros devem explorar esses sinais em nível de etapa implícitos em vez de depender exclusivamente de PRMs explícitos e caros.