Group-Relative REINFORCE Is Secretly an Off-Policy Algorithm: Demystifying Some Myths About GRPO and Its Friends

Este trabalho demonstra que o REINFORCE Relativo a Grupos (GRPO) possui uma interpretação nativa off-policy, desmistificando conceitos sobre amostragem de importância e clipping, unificando algoritmos recentes e oferecendo diretrizes teóricas e empíricas para o projeto de métodos off-policy em RL para LLMs.

O essencial

Imagine que você está ensinando um robô superinteligente (um Modelo de Linguagem Grande, ou LLM) a resolver problemas matemáticos ou a agir como um agente autônomo. Para isso, você usa uma técnica chamada Aprendizado por Reforço (RL).

O método tradicional é como se o robô aprendesse apenas com a experiência que ele acabou de ter. Se ele errar, você o corrige na hora. Se ele acertar, você o elogia na hora. Isso é chamado de on-policy (na política). O problema? É lento e caro. Se o robô estiver aprendendo em um ambiente real, ele não pode esperar o professor chegar para corrigi-lo; ele precisa agir rápido.

Aqui entra a grande descoberta deste paper: Eles descobriram que um dos métodos mais populares hoje, chamado GRPO, na verdade já é um método "off-policy" (fora da política) disfarçado, e ninguém sabia disso direito.

Vamos descomplicar isso com algumas analogias:

1. O Mistério do "Grupo de Estudos" (O GRPO)

Imagine que você tem um grupo de 8 alunos estudando para uma prova.

• O jeito antigo (On-Policy): O professor olha para o aluno A, vê que ele errou, e corrige apenas o aluno A. Depois olha para o B, corrige o B. É muito lento.
• O jeito GRPO: O professor pega os 8 alunos, faz uma prova, e olha para a média da turma. Se o aluno A tirou nota acima da média, ele ganha um "prêmio". Se tirou abaixo, ele recebe uma "bronca".
  • A grande sacada do paper é: Eles provaram matematicamente que esse método de comparar com a média da turma funciona perfeitamente mesmo se os alunos tiverem estudado com livros diferentes ou em momentos diferentes. Ou seja, você não precisa que todos os dados venham do momento exato em que o professor está dando a aula. Você pode usar dados antigos, dados de outros grupos, e ainda assim aprender.

2. O Grande Equívoco: "O Cortador de Grama" vs. "O Freio de Segurança"

Por anos, os cientistas achavam que o GRPO funcionava porque usava uma técnica chamada "Importance Sampling" (amostragem de importância).

• A analogia antiga: Eles pensavam que o algoritmo era como um tradutor que tentava "traduzir" dados antigos para a linguagem atual, ajustando tudo para ficar perfeito.
• A descoberta do paper: Eles provaram que essa "tradução" (Importance Sampling) é quase inútil! O que realmente salva o dia é o Clipping (limitação).
  • A analogia do Clipping: Imagine que você está dirigindo um carro novo. O "Clipping" é o freio de segurança que impede você de acelerar demais se o carro antigo (os dados) estiver muito diferente do novo.
  • O resultado surpreendente: O paper mostra que você pode tirar o "freio" (o clipping) e deixá-lo muito mais solto do que se imaginava. Em vez de frear o carro a 10 km/h, você pode deixá-lo ir a 100 km/h e ainda assim não bater. Isso torna o aprendizado muito mais rápido e estável.

3. Duas Regras de Ouro para o Futuro

O paper sugere duas regras simples para melhorar esses robôs no futuro:

1. Coloque um "Freio de Segurança" (Regularização): Não deixe o robô mudar de ideia de um dia para o outro. Se os dados forem ruins ou antigos, o algoritmo deve ser cauteloso e mudar devagar. O "Clipping" é esse freio.
2. Seja um "Curador de Dados" (Moldar a Distribuição): Não aceite qualquer dado que aparecer.
   • Analogia: Imagine que você está treinando um atleta. Se ele fez um treino ruim (dados negativos), talvez seja melhor ignorar aquele treino específico e focar nos bons. Ou, se ele fez um treino incrível, dê mais peso a ele.
   • O paper mostra que algoritmos que "jogam fora" os dados ruins ou "amplificam" os dados bons funcionam melhor do que tentar usar tudo igualmente.

4. Desmistificando os "Gigantes"

O paper também olhou para dois algoritmos famosos (OPMD e AsymRE) e disse: "Eles acham que estão fazendo algo muito complexo, mas na verdade estão apenas fazendo a mesma coisa que o GRPO, só que com um nome diferente e um pouco de matemática extra".

• É como se dois chefs dissessem que estão cozinhando pratos diferentes, mas o paper provou que ambos estão apenas usando a mesma receita básica, só que um adicionou um pouco mais de sal e o outro um pouco mais de pimenta.

Resumo Final: Por que isso importa?

Até hoje, ensinar robôs inteligentes era como tentar ensinar um aluno usando apenas o livro que ele acabou de abrir. Se o livro estivesse velho ou diferente, o método quebrava.

Este paper diz: "Ei, vocês podem usar livros velhos, livros de outros alunos e dados atrasados! O método GRPO já funciona assim, só precisava entender a matemática por trás."

Isso significa que no futuro:

• Os robôs aprenderão mais rápido.
• Poderemos usar dados do passado sem medo.
• A infraestrutura (os computadores e servidores) ficará mais simples e barata, pois não precisaremos sincronizar tudo em tempo real.

É como descobrir que o motor do seu carro funciona melhor se você tirar um filtro que achava que era essencial, permitindo que ele corra mais livre e eficiente.

Resumo técnico

1. Problema e Contexto

O treinamento de Modelos de Linguagem Grandes (LLMs) com Aprendizado por Reforço (RL) tem evoluído rapidamente, desde o RLHF (Reinforcement Learning from Human Feedback) até o RL focado em raciocínio e agentes autônomos. No entanto, a maioria dos algoritmos dominantes, como PPO (Proximal Policy Optimization) e GRPO (Group Relative Policy Optimization), são fundamentalmente on-policy. Isso significa que eles exigem dados frescos amostrados diretamente da política atual para garantir estimativas não viesadas do gradiente.

Na prática, o treinamento on-policy enfrenta desafios significativos:

• Ineficiência: A geração de trajetórias (rollouts) e o treinamento do modelo muitas vezes ocorrem em velocidades incompatíveis.
• Complexidade de Infraestrutura: Manter a sincronização estrita entre a política de comportamento e a política alvo é custoso e instável em ambientes distribuídos.
• Restrições de Dados: Em cenários do mundo real, os dados podem ser coletados de políticas antigas, feedback de recompensa pode ser atrasado, ou é desejável reutilizar experiências passadas (off-policy) para maior eficiência de amostragem.

A questão central do trabalho é: Como adaptar algoritmos baseados em REINFORCE (como GRPO) para cenários verdadeiramente off-policy de forma principista, sem depender de suposições de dados on-policy?

2. Metodologia e Derivação Teórica

Os autores propõem uma interpretação off-policy nativa para o REINFORCE Relativo a Grupos (Group-Relative REINFORCE), que é a base do GRPO. Em vez de derivar o algoritmo através do Teorema do Gradiente de Política (que exige amostragem on-policy), eles utilizam uma abordagem de primeiros princípios baseada em otimização de objetivos substitutos (surrogate objectives).

A. Derivação em Três Passos

1. Objetivo Substituto Regularizado por KL:
   Os autores definem um objetivo de maximização de recompensa regularizado pela divergência KL entre a nova política $\pi_\theta$ e a política antiga $\pi_{\theta_t}$:
   $$\max_{\theta} J(\theta; \pi_{\theta_t}) = \mathbb{E}_{x \sim D} \left[ \mathbb{E}_{y \sim \pi_\theta} [r(x, y)] - \tau \cdot D_{KL}(\pi_\theta(\cdot|x) \parallel \pi_{\theta_t}(\cdot|x)) \right]$$
   A solução ótima para este objetivo satisfaz uma condição de consistência onde a razão de probabilidades entre duas respostas é proporcional à diferença de suas recompensas exponencialmente.

2. Função de Perda Substituta (Surrogate Loss):
   Para impor essa condição de consistência com um conjunto finito de amostras (um grupo de $K$ respostas para um mesmo prompt), eles definem uma perda de erro quadrático médio entre pares de respostas:
   $$\hat{L}(\theta) = \frac{1}{K^2} \sum_{i<j} (a_i - a_j)^2$$
   Onde $a_i$ combina a recompensa e o log-probabilidade da resposta.

3. Passo de Gradiente Único:
   O insight crucial é que, ao tomar apenas um passo de gradiente dessa função de perda no ponto $\theta = \theta_t$, o termo de regularização KL desaparece (torna-se zero), e o gradiente resultante é exatamente equivalente à atualização do REINFORCE Relativo a Grupos (GRPO):
   $$g \propto \sum_{i} (r_i - \bar{r}) \nabla_\theta \log \pi_\theta(y_i | x)$$
   Conclusão Teórica: Esta derivação não assume que os dados de treinamento foram amostrados de $\pi_\theta$. Portanto, o GRPO possui uma interpretação nativa off-policy, onde a regularização (via o termo de consistência implícito) é o que garante a estabilidade, e não a amostragem on-policy estrita.

B. Princípios para Algoritmos Off-Policy

Com base nessa interpretação, os autores identificam dois princípios gerais para melhorar o REINFORCE em cenários off-policy:

1. Regularizar a atualização da política: Garantir que a trajetória de otimização permaneça estável e limitada, mesmo com dados subótimos.
2. Moldar ativamente a distribuição de dados: Ponderar ou filtrar amostras de treinamento para direcionar a atualização da política, em vez de usar os dados "como estão".

3. Contribuições Principais e Desmistificação de Mitos

O artigo desmistifica o funcionamento de vários algoritmos recentes, mostrando que eles são instâncias dos dois princípios acima:

• Mito 1: A importância da Amostragem por Importância (IS) no GRPO.

  • Descoberta: A eficácia do GRPO em cenários off-policy deve-se principalmente ao clipping (que atua como regularização), e não à ponderação por importância (IS).
  • Evidência: Experimentos mostram que remover o IS (REC-ONESIDE-NOIS) não degrada o desempenho, desde que o clipping seja mantido. Além disso, ampliar drasticamente o intervalo de clipping (ex: de 0.2 para 0.6-2.0) acelera a convergência sem sacrificar a estabilidade, contradizendo a teoria tradicional de "trust region".

• Mito 2: O papel de OPMD (Kimi) e AsymRE (Meta).

  • Descoberta: O OPMD (Online Policy Mirror Descent) e o AsymRE (Asymmetric REINFORCE) podem ser reinterpretados como o REINFORCE padrão mais uma perda de regularização.
  • Interpretação: O OPMD adiciona uma regularização quadrática sobre a diferença de log-probabilidades, enquanto o AsymRE (que ajusta a linha de base) é equivalente a adicionar uma regularização que incentiva a imitação de respostas de alta recompensa.

• Mito 3: Estratégias Heurísticas de Ponderação de Dados.

  • Descoberta: Técnicas como descartar amostras negativas excessivas (RED-DROP) ou ponderar amostras de alta recompensa (RED-WEIGHT) são justificadas teoricamente pela visão off-policy. Elas atuam moldando a distribuição de dados para evitar o colapso de entropia e focar em trajetórias promissoras.

4. Resultados Experimentais

Os autores validaram suas descobertas usando o framework Trinity-RFT em diversas tarefas (raciocínio matemático GSM8k, MATH, Guru-Math e uso de ferramentas ToolACE) com vários modelos (Qwen2.5, Llama-3).

• Desempenho em Off-Policy: Algoritmos baseados em REINFORCE com clipping ampliado (REC-ONESIDE-NOIS com $\epsilon$ grande) superaram ou igualaram o GRPO padrão em cenários com alta dessincronização (off-policyness), demonstrando maior eficiência e estabilidade.
• Eficácia do IS: A remoção da ponderação por importância (IS) não afetou negativamente a convergência, confirmando que o IS é secundário ao clipping para a estabilidade do GRPO.
• Algoritmos de Ponderação (RED): As variantes RED-DROP e RED-WEIGHT alcançaram recompensas mais altas e menor divergência KL em comparação com GRPO e REC padrão, validando a estratégia de moldar ativamente os dados.
• GSPO: A análise preliminar sugere que o GSPO (Group Sequence Policy Optimization) também se beneficia mais do clipping em nível de sequência do que da amostragem por importância em nível de sequência.

5. Significado e Impacto

Este trabalho oferece uma mudança de paradigma na compreensão do RL para LLMs:

1. Fundação Teórica para Off-Policy: Fornece uma justificativa teórica sólida para o uso de dados off-policy em algoritmos baseados em REINFORCE, eliminando a necessidade de suposições on-policy estritas.
2. Simplificação de Infraestrutura: Ao demonstrar que a Amostragem por Importância (IS) é frequentemente desnecessária, o trabalho abre caminho para arquiteturas de treinamento mais simples e eficientes, reduzindo a complexidade computacional e de memória.
3. Novas Direções de Projeto: Os princípios de "regularização via clipping" e "moldagem de dados" oferecem um guia prático para o desenvolvimento de futuros algoritmos de RL off-policy, permitindo o uso de dados de políticas antigas, demonstrações de especialistas e experiências sintetizadas de forma mais robusta.
4. Aceleração de Treinamento: A descoberta de que intervalos de clipping maiores são benéficos permite atualizações de política mais agressivas e rápidas, acelerando o ciclo de treinamento em ambientes de RL complexos.

Em resumo, o paper revela que o GRPO e seus "amigos" são, na verdade, algoritmos off-policy robustos quando vistos sob a lente da regularização e da moldagem de dados, oferecendo um novo caminho para o treinamento escalável e eficiente de LLMs.