Resumo Técnico: GRPO Previsível: Um Modelo de Forma Fechada da Dinâmica de Treinamento

Declaração do Problema

Embora a Otimização de Política Relativa de Grupo (GRPO) tenha se tornado um mecanismo padrão para aumentar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) via reforço com recompensas verificáveis (RLVR), a dinâmica subjacente do treinamento permanece amplamente empírica. O entendimento atual baseia-se no ajuste de trajetórias de recompensa a formas funcionais de poucos parâmetros (ex: saturação exponencial simples), onde as constantes carecem de significado mecanístico. Consequentemente, a seleção de hiperparâmetros permanece uma questão de tentativa e erro, e modos de falha distintos — como o reward hacking (sequestro de recompensa), degeneração de vantagem e concentração de política — são frequentemente confundidos em análises padrão de curvas de recompensa. Este artigo aborda a necessidade de um modelo mecanístico, baseado em primeiros princípios, que explique a dinâmica de treinamento do GRPO e forneça previsões falsificáveis ligadas a quantidades mensuráveis.

Metodologia

Os autores desenvolvem um modelo de ordem reduzida das dinâmicas de treinamento do GRPO através de uma combinação de derivação teórica e validação empírica em três modelos (Nemotron-Mini-4B, DeepSeek-LLM-7B-Chat e DeepSeek-R1-Distill-Qwen-1.5B) e dois tamanhos de grupo ($G \in \{4, 16\}$).

Estrutura Teórica

A principal contribuição teórica é a redução da regra de atualização discreta do GRPO para um oscilador amortecido forçado estocasticamente em tempo contínuo. Esta derivação baseia-se em dois passos primários:

1. Suposição de Campo Médio (Mean-Field): A política é resumida por um parâmetro de ordem escalar $p(\theta) = \mathbb{E}_{o \sim \pi_\theta}[R]$, a recompensa esperada. Isso assume que as dinâmicas são dominadas pela evolução desta expectativa, importando a existência de um ponto fixo estável $p^\star$ e propriedades de contração de trabalhos anteriores (Mroueh, 2025).
2. Expansão de Segunda Ordem: A atualização discreta (incorporando o momento $\mu$ e o atraso off-policy $\tau = K_{ref}\delta$) é expandida para segunda ordem em passo $\delta$ e atraso de atualização $\tau$.
   • O momento promove o fluxo de gradiente para um sistema de segunda ordem, fornecendo inércia.
   • O atraso off-policy (atraso na atualização da política) introduz inércia adicional, mas erode o amortecimento.
   • O tamanho do grupo ($G$) entra no sistema unicamente como uma temperatura de ruído, escalonando a intensidade do forçamento estocástico.

A equação de movimento resultante para o erro $e = p - p^\star$ é:
$$M_{eff} \ddot{e} + C_{eff} \dot{e} + K_{eff} e = \sqrt{D/G} \xi(t)$$
onde a massa efetiva ($M_{eff}$), o amortecimento ($C_{eff}$) e a rigidez ($K_{eff}$) são dados em forma fechada pelos hiperparâmetros do otimizador ($\eta, \mu$), o intervalo de atualização ($K_{ref}$) e a escala de curvatura ($K$) do potencial efetivo.

Protocolo Experimental

Os autores validam o modelo usando:

• Treinamento: GRPO no conjunto de dados GSM8K com recompensas binárias verificáveis.
• Diagnósticos: Registro de quantidades internas (variância da vantagem, entropia da política, divergência KL, normas de gradiente, razões de amostragem de importância) para distinguir entre instabilidade dinâmica e a erosão da premissa de campo médio.
• Avaliação: Transferência in-distribution (GSM8K) e out-of-distribution para oito benchmarks matemáticos, variando de problemas de nível escolar até matemática de nível de Olimpíada.
• Redução Exata: Um experimento controlado de softmax-bandit onde a suposição de campo médio é exata, usado para testar limiares de estabilidade e transições oscilatórias sem erros de aproximação de redes profundas.

Principais Contribuições

1. Um Modelo de Ordem Reduzida das Dinâmicas do GRPO

O artigo deriva uma equação diferencial estocástica de forma fechada (Teorema 7) descrevendo o GRPO como um oscilador amortecido. Os coeficientes são explicitamente definidos:

• Massa ($M_{eff}$): Determinada pelo momento e pelo atraso off-policy.
• Amortecimento ($C_{eff}$): Determinado pelo momento e pela erosão causada pelo atraso off-policy.
• Rigidez ($K_{eff}$): Determinada pelo peso de ancoragem KL e pela curvatura local do cenário de recompensa.

2. Reinterpretação Mecanística de Leis Empíricas

O modelo absorve a lei de saturação exponencial simples observada empiricamente como o limite superamortecido do oscilador derivado.

• O "platô" empírico é identificado como o ponto fixo $p^\star$.
• A "escala de tempo" empírica é identificada como a rigidez inversa ($1/K_{eff}$).
• A fase de "início lento" observada nas curvas de treinamento, que modelos de exponencial simples não conseguem capturar, é explicada pelo termo de inércia retido (Proposição 14), prevendo uma trajetória de três fases: início lento, ascensão rápida e platô.

3. Previsões Falsificáveis e Diagnósticos

O modelo gera previsões ligadas a quantidades independentemente mensuráveis, em vez de constantes ajustadas:

• Invariância de Tamanho de Grupo: A trajetória determinística é independente de $G$; $G$ afeta apenas a magnitude da flutuação estacionária ($\propto 1/G$).
• Limiar de Estabilidade: Uma transição abrupta para a instabilidade ocorre quando $K \eta K_{ref} > 1 - \mu$.
• Transição de Superamortecido para Oscilatório: Varrer o intervalo de atualização $K_{ref}$ deve induzir uma transição de convergência monotônica para oscilações amortecidas.
• Separação de Modos de Falha: Os autores operacionalizam quatro diagnósticos para distinguir:
  • Desacoplamento Treino-Avaliação (Reward Hacking): Divergência entre as taxas de saturação de treino e avaliação.
  • Degeneração de Vantagem: Colapso da variância da recompensa dentro do grupo, levando a vantagens $0/0$.
  • Concentração de Política: Queda rápida na entropia da política enquanto a recompensa continua a subir.
  • Instabilidade Dinâmica: Crescimento ilimitado nas normas de gradiente ou nas razões de amostragem de importância.

Resultados

Validação Empírica

• Ajuste de Curva: Em três modelos e dois tamanhos de grupo, a lei de três fases derivada ajusta as trajetórias de recompensa de treinamento com $R^2 \ge 0,91$. A inclusão do termo de inércia melhora significativamente o ajuste sobre os modelos de exponencial simples, particularmente ao capturar a fase inicial de início lento.
• Invariância de Tamanho de Grupo: Aumentar $G$ de 4 para 16 deixou a trajetória média e o platô ajustado ($R_\infty$) essencialmente inalterados, enquanto reduziu a dispersão entre execuções, confirmando a previsão de escala de ruído $1/G$.
• Transferência Out-of-Distribution: O treinamento GRPO no GSM8K transferiu positivamente para oito benchmarks externos. Os ganhos foram maiores em benchmarks próximos à distribuição de treinamento (ex: GSM-Plus) e diminuíram para tarefas de alta dificuldade e distantes (ex: AIME-2026), com o modelo destilado de raciocínio mostrando a transferência mais robusta.
• Estabilidade e Oscilações: Nos testes padrão de GSM8K (taxa de aprendizado pequena), todos os modelos permaneceram no regime estável e superamortecido. No entanto, no experimento de redução exata de softmax-bandit, os autores induziram com sucesso a transição prevista de superamortecido para oscilatório ao varrer $K_{ref}$. O limiar de estabilidade empírico alinhou-se com a previsão teórica $K \eta K_{ref} = 1 - \mu$ usando uma rigidez $K$ medida independentemente.

Achados de Diagnóstico

• Reward Hacking: Modelos como o DeepSeek-LLM-7B-Chat com $G=4$ mostraram sinais de reward hacking (desacoplamento treino-avaliação), enquanto o Qwen-1.5B com raciocínio destilado e $G=16$ manteve um acoplamento saudável.
• Colapso de Modo: Os diagnósticos identificaram com sucesso regimes onde a construção de vantagem degenerou (prompts colapsados) ou onde a concentração de política erodiu a suposição de campo médio, distinguindo-os de uma simples instabilidade dinâmica.

Significância e Alegações

O artigo alega fornecer um relato mecanístico do treinamento do GRPO que transforma o campo da "arte para a ciência" no que diz respeito ao ajuste de hiperparâmetros. Ao reduzir a complexa dinâmica de alta dimensão para um sistema de segunda ordem de forma fechada, os autores argumentam que:

1. Previsibilidade: Trajetórias de treinamento podem ser previstas com base em hiperparâmetros e uma única escala de curvatura medida, em vez de serem ajustadas post-hoc.
2. Poder Diagnóstico: O modelo fornece leituras específicas para separar distintos modos de falha que seriam de outra forma indistinguíveis em uma curva de recompensa padrão.
3. Unificação Teórica: Ele unifica leis de escala empíricas (Nimmaturi et al., 2025; Ghosh et al., 2026) como limites específicos de um modelo físico mais geral.

Os autores mantêm a modéstia quanto ao escopo, observando que o modelo é uma aproximação de ordem reduzida condicionada à suposição de campo médio e à expansão de pequenos passos. Eles reconhecem que a demonstração em redes profundas do regime oscilatório (aumentar $\eta$ ou $K_{ref}$ para induzir instabilidade) é deixada para trabalhos futuros, pois suas execuções atuais de GSM8K foram deliberadamente configuradas para permanecer no regime estável e superamortecido. Os experimentos de redução exata servem como uma prova de conceito de que a física prevista (limiares de estabilidade e oscilações) é uma propriedade das próprias dinâmicas, e não um artefato da aproximação de rede profunda.