Resumo Técnico: Otimização de Política Relativa de Grupo Guiada por Nitidez via Moldagem de Probabilidade

Declaração do Problema

A Aprendizagem por Reforço com Recompensas Verificáveis (RLVR) emergiu como um motor primário para melhorar as capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs) em domínios como matemática, lógica e resposta a perguntas aumentada por ferramentas. A Otimização de Política Relativa de Grupo (GRPO) é o otimizador dominante neste cenário devido à sua simplicidade e à ausência de dependência de uma função de valor explícita. No entanto, as implementações atuais de RLVR frequentemente carecem de controle robusto sobre a generalização. Os autores identificam que o treinamento pode levar a atualizações "nítidas" — passos de gradiente grandes e instáveis — o que teoricamente correlaciona-se com desempenho de generalização inferior. O problema central abordado é como estabilizar o treinamento do GRPO e melhorar a generalização sem sacrificar o sinal de aprendizado ou introduzir mudanças arquiteturais complexas.

Metodologia: GRPO-SG

O artigo propõe o GRPO Guiado por Nitidez (GRPO-SG), uma variante ponderada por tokens do GRPO projetada para reduzir a nitidez das atualizações de otimização. A metodologia fundamenta-se numa visão teórica de generalização e é implementada através de um mecanismo de moldagem de probabilidade baseado em confiança.

Fundamentação Teórica

Os autores revisitam o GRPO através de uma lente de generalização baseada em robustez. Eles estabelecem que a perda de generalização é limitada superiormente pela soma da perda de treinamento empírica e um substituto de nitidez medido pela norma do gradiente (Teorema 3.3).

• Insight Chave: Normas de gradiente menores correspondem a atualizações menos nítidas, implicando melhor generalização.
• Derivação: Ao analisar o gradiente da perda empírica, os autores mostram que a norma do gradiente é influenciada por pesos ao nível do token. Especificamente, o produto de um peso de token ($w_{i,t}$) e o termo $(1 - \pi_\theta(o_{i,t}))$ (representando incerteza) impacta diretamente a magnitude do gradiente.

Implementação Algorítmica

O GRPO-SG modifica o objetivo padrão do GRPO introduzindo um peso de token $w_{i,t}$ que atua como um sinal de confiança.

1. Sinal de Confiança: O peso é derivado do logit do token selecionado ($h_{i,t}$) produzido pela política atual. Este logit serve como um proxy para a confiança do modelo no token que selecionou.
2. Moldagem de Probabilidade: Uma função de mapeamento monotônica e consciente da confiança $\omega(\cdot)$ é aplicada ao logit para gerar o peso. A formulação específica (Eq. 20) é:
   $$w_{i,t} = \text{clip}\left(\alpha \cdot \left[\sigma\left(\frac{\text{sg}[h_{i,t}]}{\tau}\right) - \mu\right], L, U\right)$$
   • $\text{sg}[\cdot]$ é um operador de parada de gradiente para impedir que o modelo manipule os pesos.
   • $\sigma$ é uma função sigmoide, e $\tau, \mu, \alpha, L, U$ são hiperparâmetros que controlam a suavidade e os limites.
3. Mecanismo:
   • Tokens de Alta Confiança: Tokens com logits altos (alta confiança) recebem pesos mais elevados, preservando o sinal de aprendizado em etapas críticas de raciocínio.
   • Tokens de Baixa Confiança: Tokens com logits baixos recebem pesos menores. Como tokens de baixa confiança frequentemente induzem gradientes maiores (devido ao termo $(1-\pi)$), a redução de seu peso suprime atualizações "nítidas" que poderiam desestabilizar o treinamento.
4. Integração: Estes pesos são integrados diretamente no objetivo substituto do GRPO, efetivamente reduzindo o peso de tokens propensos a causar gradientes excessivamente grandes, enquanto mantêm o recorte (clipping) e a normalização de vantagem no estilo PPO padrão.

Contribuições Principais

1. Visão de Generalização do GRPO: O artigo fornece um link teórico entre o treinamento RLVR e um objetivo de generalização robusto, caracterizando a generalização através de um substituto de nitidez (norma do gradiente).
2. Algoritmo GRPO-SG: Introduz uma modificação simples e eficaz ao GRPO que utiliza a confiança do token (logits do token selecionado) para moldar as magnitudes de atualização, reduzindo a nitidez sem exigir modelos auxiliares ou moldagem de recompensa complexa.
3. Validação Empírica: O método é validado em diversos benchmarks de RLVR, demonstrando melhorias consistentes sobre o GRPO padrão e outras bases de controle ao nível do token (por exemplo, 80/20, AR, Lopti).

Resultados Experimentais

Os experimentos foram conduzidos em três configurações distintas de RLVR: Raciocínio Matemático, Resposta a Perguntas Agêntica (aumentada por ferramentas) e Quebra-Cabeças Lógicos (Cavaleiros e Vagabundos).

• Raciocínio Matemático: Em benchmarks incluindo OlympiadBench, Minerva e MATH-500, o GRPO-SG alcançou melhorias médias de +2,7% a +6,0% sobre o GRPO padrão. Por exemplo, na receita de treinamento DSR com Qwen2.5-7B, o ganho médio foi de 6,0%.
• QA Agêntica: Em tarefas de QA aumentadas por conhecimento (usando VT-Search), o GRPO-SG quase dobrou a precisão de correspondência exata para o modelo Qwen2.5-3B (de 13,84 para 27,29) e forneceu ganhos significativos no modelo Qwen3-4B.
• Quebra-Cabeças Lógicos: No benchmark K&K Logic Puzzles, o GRPO-SG melhorou a precisão média do Qwen2.5-3B de 0,42 para 0,63 (um ganho relativo de 50%) e do Qwen2.5-7B de 0,75 para 0,91.
• Dinâmicas de Treinamento: Além da precisão, o GRPO-SG exibiu trajetórias de norma de gradiente mais suaves e menos picos de outliers em comparação com o GRPO (Figura 1), consistente com o objetivo teórico de reduzir a nitidez. As recompensas de treinamento também foram mais altas e estáveis.

Significado e Alegações

O artigo alega que o GRPO-SG é uma atualização simples e eficaz orientada à generalização para o GRPO em RLVR.

• Simplicidade: O método não requer modelos de valor adicionais, rótulos humanos ou mudanças arquiteturais complexas; apenas modifica o ponderamento de tokens dentro do objetivo GRPO existente.
• Estabilidade: Ao controlar explicitamente a nitidez de atualização via confiança do token, o método estabiliza o processo de treinamento, levando a capacidades de raciocínio mais robustas.
• Generalidade: As melhorias são consistentes entre diferentes tamanhos de modelo (3B a 7B+), diferentes famílias de modelos (Qwen, Mistral, LLaMA) e diversos domínios de raciocínio (matemática, lógica, busca agêntica).

Os autores concluem que controlar explicitamente a nitidez de atualização através do ponderamento de tokens baseado em confiança é uma estratégia viável para melhorar a estabilidade e o desempenho de LLMs treinados por RL, oferecendo um caminho prático para melhor generalização em configurações de recompensa verificável.