GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity

Resumo Técnico: A Identidade do Desvio Padrão do Grupo no Treinamento de RLVR

Definição do Problema
No Aprendizado por Reforço com Recompensas Verificáveis (RLVR - Reinforcement Learning with Verifiable Rewards), treinar modelos de linguagem para raciocinar frequentemente envolve a amostragem de múltiplas respostas candidatas ($G$) para um único prompt e o uso de um verificador automático para atribuir recompensas binárias (1 para correto, 0 para incorreto). Três métodos proeminentes para processar essas recompensas — Group Relative Policy Optimization (GRPO), GRPO Done Right (Dr. GRPO) e Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) — parecem empregar heurísticas distintas. O GRPO normaliza as vantagens pelo desvio padrão da recompensa do grupo; o Dr. GRPO remove essa normalização; o DAPO descarta grupos onde todas as respostas concordam (desvio padrão zero). O artigo aborda a falta de uma compreensão teórica unificada desses métodos, questionando se são correções separadas ou variações de um único mecanismo subjacente.

Metodologia e Identidade Central
O artigo isola a atualização da política para um único prompt com um tamanho de grupo finito $G$ e recompensas binárias. Ele deriva uma identidade matemática exata para a atualização do gradiente da política por prompt, independente da linha de base (baseline) utilizada.

Seja $k$ o número de respostas corretas em um grupo de tamanho $G$. O desvio padrão da recompensa do grupo é $\sigma = \sqrt{k(G-k)/G}$. O artigo prova a Identidade do Desvio Padrão do Grupo:
$$g = \sigma (\bar{s}_+ - \bar{s}_-)$$
onde $\bar{s}_+$ e $\bar{s}_-$ são as pontuações médias das execuções (rollouts) corretas e incorretas, respectivamente.

Esta identidade revela que a magnitude da atualização do treinamento é exatamente o desvio padrão da recompensa do grupo. A atualização desaparece quando o grupo é unânime ($k=0$ ou $k=G$, logo $\sigma=0$) e atinge o pico quando o grupo está dividido igualmente ($k=G/2$).

Unificação de Métodos
O artigo demonstra que GRPO, Dr. GRPO e DAPO não são algoritmos distintos, mas três operações diferentes aplicadas a esta única quantidade escalar ($\sigma$):

1. GRPO: Divide a vantagem por $\sigma$. Isso escala a atualização por $\sigma$, otimizando efetivamente um objetivo de variância estabilizada ($2\arcsin\sqrt{p}$).
2. Dr. GRPO: Remove a divisão por $\sigma$. Isso resulta em uma atualização proporcional a $\sigma^2$, otimizando a taxa de sucesso bruta ($p$).
3. DAPO: Descarta grupos onde $\sigma = 0$. Isso filtra grupos "silenciosos" que não fornecem contraste entre o acerto e o erro.

Principais Contribuições
O artigo fornece cinco contribuições teóricas e empíricas específicas:

1. A Identidade Exata de Grupo Finito: O artigo estabelece que a atualização do GRPO é exatamente a direção do escore contrastivo escalonada por $\sigma$, válida para qualquer $G$ finito e qualquer dimensão de política, sem depender de limites assintóticos.
2. A Lei do Tamanho do Grupo: Deriva uma relação em forma fechada determinando quantos samples ($G$) são necessários para atingir uma fidelidade alvo ($\phi$) do gradiente de grupo grande. O tamanho de grupo necessário escala com o quadrado do peso de dificuldade: $G \gtrsim 1/(8\epsilon p(1-p))$. Isso implica que prompts difíceis (baixo $p$) requerem tamanhos de grupo significativamente maiores para produzir um sinal de aprendizado estável em comparação com prompts de dificuldade média.
3. A Taxa de Grupo Silencioso: O artigo quantifica a probabilidade de um grupo ser "silencioso" (fornecer nenhum gradiente) como $P = p^G + (1-p)^G$. Isso explica o mecanismo por trás da amostragem dinâmica do DAPO, que sobreamostra e descarta esses grupos específicos.
4. Caracterização Exata do Viés de Dificuldade: O artigo prova que o "viés de dificuldade" observado no GRPO (onde prompts fáceis e difíceis são sobreponderados) é uma consequência direta da divisão por $1/\sigma$. Esta divisão corresponde à derivada da transformação arcseno ($\partial_p 2\arcsin\sqrt{p} = 1/\sqrt{p(1-p)}$), que atribui maior peso marginal a dificuldades extremas. Remover a divisão (Dr. GRPO) retorna o objetivo à taxa de sucesso bruta com ponderação de dificuldade plana.
5. Validação Empírica:
   • Dataset Big-Math: Em um conjunto de dados de 215.608 problemas, o artigo mostra que a padronização do GRPO desloca o orçamento do gradiente, alocando quase o dobro da parcela para prompts de dificuldade extrema (13,9% $\to$ 24,7%) em comparação ao Dr. GRPO. Também confirma que, em tamanhos de grupo padrão ($G=8$), 44% dos prompts geram grupos silenciosos, correspondendo à previsão teórica.
   • Execução de Treinamento Controlada: Um experimento reproduzível com 6.000 prompts Bernoulli-logit confirma que as previsões de forma fechada para taxas de grupos silenciosos e distribuição de massa de gradiente acompanham a dinâmica real do treinamento com alta precisão ($R^2 = 0,999$ para grupos silenciosos).

Significância e Alegações
O artigo afirma que o que é frequentemente visto como um passo de normalização cosmético é, na verdade, o "dial" que determina onde e com que força ocorre o aprendizado.

• Sinal vs. Ruído: O desvio padrão do grupo não é meramente um normalizador; é o tamanho do próprio sinal de aprendizado. Um prompt ensina apenas quando suas respostas amostradas divergem.
• Visão Unificada: Os três métodos são unificados como operações em um único número. O GRPO escolhe amplificar o sinal pelo nível de divergência; o Dr. GRPO escolhe ignorar o nível de divergência; o DAPO escolhe ignorar os casos onde não há divergência.
• Implicações Práticas: As descobertas sugerem que usar um tamanho de grupo uniforme é suboptimal, pois subatende prompts difíceis (que precisam de um $G$ maior para evitar o silêncio) e sobreatende prompts médios. O artigo argumenta que compreender a contabilidade exata de grupo finito permite que os praticantes tomem decisões informadas sobre o tamanho do grupo e a formulação do objetivo, baseando-se na distribuição de dificuldade de seus dados, em vez de depender de aproximações assintóticas ou ajustes heurísticos.

O artigo conclui que estes resultados não exigem novos algoritmos, mas decorrem da contabilidade exata de um único grupo amostrado, fornecendo um arcabouço de forma fechada para analisar a modelagem de recompensa em RLVR.