Resumo Técnico: Além dos Rollouts Negativos: Otimização de Política Apenas Positiva com Gradientes Negativos Implícitos

Declaração do Problema

A Aprendizagem por Reforço com Recompensas Verificáveis (RLVR) emergiu como um paradigma dominante para aprimorar as capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs), particularmente em domínios matemáticos. Abordagens atuais de última geração, como a Otimização de Política Relativa por Grupos (GRPO), dependem da comparação de rollouts agrupados positivos (corretos) e negativos (incorretos) para estimar vantagens. No entanto, este artigo identifica uma limitação fundamental em tratar respostas incorretas como sinais de aprendizado explícitos:

1. Falta de Graduação: Em configurações de recompensa binária (por exemplo, $R(x,y)=1$ se correto, $0$ caso contrário), todas as respostas incorretas são tratadas igualmente. Não há sinal inerente que distinga uma resposta "ligeiramente errada" de uma "completamente sem sentido".
2. Vastidão Combinatória: O espaço de respostas incorretas para tarefas complexas (como matemática de nível olímpico) é combinatorialmente vasto. Penalizar alguns rollouts negativos amostrados é improvável que cubra os modos de falha significativos ou forneça um sinal de recompensa robusto sob recompensas binárias esparsas.
3. Ineficiência: O artigo questiona se a melhoria da política pode ser alcançada exclusivamente reforçando sucessos, traçando paralelos com métodos de aprendizado auto-supervisionado contrastivo (SSL) como BYOL e SimSiam, que aprendem representações eficazes usando apenas amostras positivas.

Metodologia: Otimização de Política Apenas Positiva (POPO)

Os autores propõem o POPO, um novo framework de RL on-policy que aprende exclusivamente a partir de rollouts positivos (respostas corretas) enquanto lida implicitamente com resultados negativos. O framework opera sem rollouts negativos disjuntos para orientação de gradiente.

Componentes Principais

1. Amostragem por Importância Auto-Normalizada:
   Em vez de usar uma rede de valor ou vantagem relativa por grupo, o POPO aplica pesos de amostragem por importância limitados sobre o conjunto de rollouts positivos $S^+(x)$. O peso para uma resposta positiva $y$ é definido como:
   $$w_\theta(y|x) = \frac{\pi_\theta(y|x)}{Z_+(x)}, \quad \text{onde } Z_+(x) = \sum_{y' \in S^+(x)} \pi_\theta(y'|x)$$
   Isso cria um mecanismo de autoconcorrência onde respostas corretas "confiantes" são reforçadas mais fortemente, enquanto a normalização mantém a diversidade.

2. Gradientes Negativos Implícitos:
   O artigo fornece uma prova teórica (Teorema 3.1) demonstrando que penalidades negativas explícitas são desnecessárias. Devido à restrição softmax ($\sum \pi_\theta(y|x) = 1$), aumentar a probabilidade de respostas positivas diminui inerentemente a probabilidade de respostas negativas. A análise de gradiente mostra que a função de perda induz um gradiente estritamente positivo para logits incorretos $y' \in S^-(x)$, atuando como um "imposto de probabilidade" implícito e uma penalidade baseada em entropia.

3. Âncora Siamesa Adaptativa:
   Para estabilizar o treinamento sem um modelo de referência (o que pode levar a incompatibilidade de distribuição ou sobreajuste), o POPO emprega uma arquitetura de rede Siamesa:

   • Rede de Política ($\pi_\theta$): A rede ativa sendo otimizada.
   • Rede Siamesa ($\pi_\xi$): Uma rede alvo atualizada via Média Móvel Exponencial (EMA) dos parâmetros da política: $\xi \leftarrow \tau \xi + (1-\tau)\theta$.
   • Alinhamento no Espaço de Representação: Em vez da divergência KL padrão (que pode ter alta variância e ser sensível a tokens), o POPO alinha as representações ocultas das redes de política e Siamesa em um espaço de incorporação semântico usando um cabeçalho preditor e similaridade de cosseno. Isso atua como uma restrição suave e limitada.

4. Função de Perda:
   A perda total combina a verossimilhança negativa ponderada (NLL) em amostras positivas, similaridade no espaço de representação e regularização de entropia:
   $$L_{POPO} = -\mathbb{E} \left[ \sum_{y \in S^+(x)} w_\theta(y|x) \log \pi_\theta(y|x) \right] + \alpha L_{sim} + \beta L_{ent}$$

Contribuições Principais

• Mudança de Paradigma: Introduz um framework onde o aprendizado de RLVR ocorre exclusivamente via rollouts positivos online, desafiando a convenção de que amostras negativas são necessárias para otimização de política eficaz.
• Justificativa Teórica: Prova a existência de gradientes negativos implícitos surgindo naturalmente da redistribuição de probabilidade e regularização de entropia, eliminando a necessidade de amostragem negativa explícita.
• Mecanismos de Estabilização: Propõe uma arquitetura Siamesa com adaptação baseada em momento e similaridade no espaço de representação para substituir a divergência KL, prevenindo o colapso da política e a deriva ilimitada.
• Amostragem por Importância Limitada: Utiliza um esquema de ponderação auto-normalizado sobre conjuntos positivos para equilibrar a força de reforço e a diversidade.

Resultados Experimentais

Os autores avaliaram o POPO usando o DeepScaleR-Preview-Dataset para treinamento e testaram o desempenho em cinco benchmarks matemáticos: MATH-500, AMC 2023, AIME 2024, AIME 2025 e OlympiadBench.

• Modelos Testados: Os experimentos foram conduzidos em vários modelos base, incluindo a família Qwen2.5-Math (1.5B, 7B), modelos destilados DeepSeek-R1 e LLMs de propósito geral (Llama-3.1-8B, DeepSeek-Math-7B).
• Desempenho:
  • O POPO alcançou desempenho comparável ou superior ao GRPO e suas variantes (Dr. GRPO, DAPO, SAPO) na maioria dos benchmarks.
  • Resultado Notável: No benchmark AIME 2025 usando Qwen-Math-7B, o POPO alcançou 36,67%, superando o GRPO (30,00%).
  • No OlympiadBench com Qwen-Math-7B, o POPO atingiu 57,27%, comparado aos 56,38% do GRPO.
• Estudos de Ablação:
  • Remover rollouts negativos (usando pesos uniformes) causou uma queda significativa de desempenho, confirmando a necessidade da redistribuição de peso auto-normalizada.
  • Remover a adaptação de momento ou o alinhamento no espaço de representação levou à instabilidade e degradação de desempenho, validando os mecanismos de estabilização.
• Generalização: O POPO demonstrou benefícios agnósticos ao modelo, performando bem tanto em LLMs especializados em matemática quanto em LLMs de propósito geral.

Significado e Alegações

O artigo afirma estabelecer uma nova direção para RLVR que opera efetivamente sem rollouts negativos. Os autores argumentam que, em ambientes de recompensa binária esparsa, a natureza combinatorial das falhas torna a penalização negativa explícita ineficiente e potencialmente ruidosa. Ao aproveitar gradientes negativos implícitos através da redistribuição de probabilidade e estabilizar a política via alinhamento no espaço de representação, o POPO oferece uma alternativa robusta aos métodos atuais baseados em GRPO.

Os autores observam limitações, incluindo o foco atual em recompensas binárias esparsas (embora muitas tarefas do mundo real tenham recompensas densas), validação apenas em raciocínio matemático baseado em texto e testes limitados a modelos de até 7B parâmetros. Eles sugerem que trabalhos futuros explorarão particionamento adaptativo de rollouts para amostras negativas e extensão para geração de código e raciocínio multimodal.