Resumo Técnico: GRPO Corrigido por Ruído: De Recompensas Ruidosas a Gradientes Não Viciados

1. Declaração do Problema

O artigo aborda uma vulnerabilidade crítica no Aprendizado por Reforço com Recompensas Verificáveis (RLVR), um paradigma cada vez mais utilizado para alinhar Modelos de Linguagem de Grande Escala (LLMs) em domínios rigorosos como matemática e programação. Embora o RLVR substitua o feedback humano subjetivo por sinais automatizados e objetivos (por exemplo, execução de código, verificação de correspondência exata), esses verificadores são imperfeitos. Eles sofrem de ruído sistemático, incluindo:

• Falsos Positivos: Aceitação de soluções incorretas devido a formulações persuasivas ou vieses em sistemas de "LLM como juiz".
• Falsos Negativos: Rejeição de respostas matematicamente equivalentes devido a variações de formatação ou limitações de analisadores sintáticos.

Os autores formalizam isso como um cenário onde a recompensa observada $\tilde{r}$ é uma observação ruidosa de uma recompensa latente de verdade fundamental $r^*$, corrompida por um canal de ruído de Bernoulli dependente da consulta. O problema central é que o Otimização de Política Relativa de Grupo (GRPO) padrão e sua variante Dr.GRPO, quando aplicados diretamente a essas recompensas ruidosas, sofrem de:

1. Atenuação do Sinal: O sinal de aprendizado (vantagem) é multiplicativamente reduzido pelo fator de retenção de ruído $(1 - \rho_+ - \rho_-)$.
2. Convergência Subótima: A análise teórica prova que, sem correção, a política converge para um ponto fixo estritamente pior do que a política ótima alcançável com recompensas limpas.
3. Divergência de Variância: No GRPO, a normalização padrão pelo desvio padrão interage mal com o ruído, introduzindo um "viés de dificuldade" que degrada ainda mais o desempenho.

2. Metodologia

A solução proposta é um framework GRPO/Dr.GRPO corrigido por ruído que modela explicitamente a corrupção de recompensa e aplica um mecanismo de remoção de viés inspirado no aprendizado com rótulos ruidosos em aprendizado supervisionado.

A. Modelagem Teórica

Os autores modelam a recompensa observada $\tilde{r}$ como uma função da recompensa verdadeira $r^*$ e de um canal de ruído caracterizado por:

• $\rho_+(q)$: Taxa de Falso Positivo (probabilidade de observar 1 quando $r^*=0$).
• $\rho_-(q)$: Taxa de Falso Negativo (probabilidade de observar 0 quando $r^*=1$).

Eles derivam que a expectativa da vantagem ruidosa é atenuada pelo fator $(1 - \rho_+ - \rho_-)$, levando a um sinal de gradiente mais fraco e a um teto de convergência mais baixo em comparação com o caso sem ruído.

B. O Mecanismo de Correção

Para recuperar um gradiente não viciado, o método emprega uma estratégia de correção em duas etapas:

1. Remoção de Viés da Média (Correção de Natarajan):
   A recompensa observada é transformada em um estimador não viciado $\hat{r}$ da recompensa verdadeira $r^*$:
   $$\hat{r} = \begin{cases} \frac{1 - \rho_+}{1 - \rho_+ - \rho_-} & \text{se } \tilde{r} = 1 \\ \frac{-\rho_+}{1 - \rho_+ - \rho_-} & \text{se } \tilde{r} = 0 \end{cases}$$
   Esta etapa corrige o viés no sinal de recompensa média.

2. Ajuste de Variância/Normalização:
   Os autores demonstram que a reparametrização linear simples é insuficiente para o GRPO porque a padronização (divisão pelo desvio padrão) interage com o ruído.

   • Para Dr.GRPO: Como o Dr.GRPO remove o divisor de variância, aplicar apenas a remoção de viés da média é suficiente para recuperar o gradiente populacional limpo.
   • Para GRPO: O método introduz um objetivo generalizado onde a normalização pelo desvio padrão $\sigma_k(q)$ é substituída por um estimador $M_k(q)$. Os autores propõem estimar a variância verdadeira da recompensa limpa calculando a variância das recompensas desviciadas e subtraindo a variância extra introduzida pelo próprio processo estocástico de correção.

C. Implementação Prática (Algoritmo 1)

O algoritmo prático opera em duas etapas:

1. Estimativa da Taxa de Ruído: Um pequeno subconjunto de dados retido é usado para estimar taxas globais de inversão ($\rho_+, \rho_-$). Isso é feito comparando a saída do modelo de recompensa com verdades fundamentais conhecidas (por exemplo, corrompendo sinteticamente respostas corretas ou usando conjuntos de dados verificados).
2. Treinamento Robusto: Durante o loop principal de treinamento, as taxas estimadas são usadas para calcular as recompensas desviciadas $\hat{r}$ e o termo de normalização ajustado $M_k(q)$ antes de calcular a vantagem e atualizar a política.

3. Contribuições Principais

1. Análise Formal do Ruído no GRPO: O artigo fornece um estudo teórico rigoroso provando que a corrupção de recompensa atenua o sinal de aprendizado e leva à convergência em um ponto fixo estritamente pior ($p^*_{noisy} < p^*_{noiseless}$). Ele caracteriza a dinâmica do gradiente sob ruído, mostrando como o ruído interage com o cálculo da vantagem relativa ao grupo.
2. Correção de Ruído Principiada: Os autores propõem um algoritmo de remoção de ruído que adapta a teoria de correção de ruído de rótulos ao contexto RLVR. Eles fornecem uma regra de atualização de forma fechada e um limite de melhoria monotônica, garantindo que o algoritmo corrigido recupere o gradiente não viciado do objetivo limpo.
3. Garantias de Complexidade de Amostra: O artigo deriva limites explícitos sobre o erro de estimação das taxas de inversão, mostrando que a correção permanece eficaz mesmo quando as taxas são estimadas a partir de dados finitos, desde que um conjunto de calibração balanceado seja utilizado.
4. Validação Empírica: O método é validado em tarefas de geração de matemática (GSM8K, MATH) e código (APPS) usando várias escalas de modelo (Qwen, Llama).

4. Resultados Experimentais

Os autores avaliam seu método sob duas condições:

• Ruído Sintético (Validade Perfeita da Assunção):

  • Recompensas de verdade fundamental foram artificialmente corrompidas com taxas de inversão conhecidas.
  • Resultado: Os modelos corrigidos por ruído superaram consistentemente as linhas de base GRPO/Dr.GRPO padrão. Em alguns casos (por exemplo, Llama-3.2-1B sob ruído leve), o modelo corrigido até superou o desempenho da linha de base sem ruído, sugerindo um benefício potencial de regularização.
  • Ablação: Experimentos confirmaram que o clipping sozinho (uma técnica comum de estabilização) não corrige o viés sistemático; tanto a remoção de viés da média quanto o ajuste de variância são necessários.

• Estimativa Realista (Ruído Desconhecido):

  • Modelos de recompensa pré-treinados (por exemplo, AceMath-7B-RM, RM-Mistral-7B) foram utilizados, e as taxas de inversão foram estimadas a partir de um conjunto de calibração retido.
  • Tarefas de Matemática (GSM8K): O método produziu melhorias significativas de precisão. Por exemplo, o Llama-3.2-1B guiado pelo AceMath-7B-RM melhorou de 52,52% para 59,21% (+6,7 pontos percentuais). O Qwen3-0.6B mostrou ganhos de mais de 2 pontos em diferentes modelos de recompensa.
  • Tarefas de Código (APPS): Apesar da taxa extremamente alta de falsos positivos do modelo de recompensa de código ($\rho_+ \approx 0,53$), a correção forneceu ganhos consistentes, embora modestos (por exemplo, o Qwen3-0.6B melhorou de 9,01% para 10,50%).

5. Significado e Alegações

O artigo afirma preencher a lacuna entre a correção de ruído de rótulos no aprendizado supervisionado e o RLHF/RLVR moderno. Seu significado principal reside em:

• Insight Teórico: Demonstrar que métodos baseados em grupos mitigam inerentemente algum ruído, mas que mecanismos de correção específicos são necessários para atingir o ótimo limpo.
• Utilidade Prática: Oferecer um algoritmo simples e plugável que permite que o treinamento por RL prossiga efetivamente mesmo com modelos de recompensa imperfeitos e ruidosos, reduzindo a dependência de conjuntos de dados de verificação perfeitamente curados.
• Escalabilidade: Ao estimar taxas de ruído a partir de um pequeno conjunto de calibração, o método permite loops de feedback automatizados e escaláveis em implantação no mundo real, onde os modelos de recompensa são inerentemente falhos.

Os autores permanecem modestos quanto às implicações futuras, observando que, embora o método melhore o desempenho, estudos em maior escala com modelos maiores e domínios mais amplos são necessários para caracterizar totalmente sua utilidade em pipelines de produção. Eles também identificam direções de trabalho futuro, como a estimativa de taxas de inversão dependente da consulta e cronogramas de regularização conscientes do ruído.