Resumo Técnico: Off-Context GRPO (OC-GRPO)

1. Definição do Problema: O Abismo de Aprendizado no RLVR

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR - Reinforcement Learning with Verifiable Rewards), particularmente utilizando o Group Relative Policy Optimization (GRPO), emergiu como uma abordagem dominante para aprimorar o raciocínio em Grandes Modelos de Linguagem (LLMs). No entanto, os autores identificam um modo de falha fundamental conhecido como o abismo de aprendizado (learning cliff).

No GRPO padrão, para um determinado problema, um grupo de respostas é amostrado, pontuado por um verificador e as vantagens são computadas com base no desempenho relativo dentro desse grupo. Se um problema for suficientemente difícil a ponto de o modelo falhar em gerar qualquer solução correta em um grupo de rollout, todas as recompensas serão zero. Consequentemente, a variância da recompensa dentro do grupo colapsa para zero, resultando em sinal de gradiente zero. O modelo não recebe sinal de aprendizado, independentemente de quanto tempo o treinamento continue.

As soluções de contorno existentes frequentemente envolvem orientação privilegiada (ex: prefixos de solução, dicas ou informações de um oráculo) injetadas no prompt durante o treinamento para garantir que pelo menos alguns rollouts tenham sucesso. Embora isso restaure o sinal de aprendizado, introduz o problema do contexto fora de contexto (off-context problem):

• Distribuição de Treinamento: Os rollouts são amostrados de um prompt guiado $g(x)$ contendo informação privilegiada indisponível no momento da implantação.
• Objetivo Alvo: O objetivo é otimizar a política para o prompt original e não guiado $x$.
• O Descompasso: Métodos guiados padrão (ex: POPE, BREAD) otimizam um objetivo $J_{guide}(\theta)$ condicionado a $g(x)$, assumindo que a política irá generalizar de volta para $x$ ("retro-generalização"). Os autores argumentam que isso é uma otimização implícita de um objetivo diferente daquele que é avaliado na implantação. Esse descompasso pode levar a gradientes enviesados, desalinhamento de objetivo e instabilidade de treinamento, particularmente para modelos menores com capacidade limitada de absorver a mudança de distribuição.

2. Metodologia: Off-Context GRPO (OC-GRPO)

O artigo propõe o OC-GRPO, uma variante minimamente modificada do GRPO que utiliza rollouts guiados para superar o abismo de aprendizado, enquanto corrige matematicamente o descompasso de distribuição para garantir que a atualização vise o objetivo original não guiado $J(\theta)$.

Mecanismo Central: Correção por Importância de Amostragem (Importance Sampling)

Em vez de tratar os rollouts guiados como se tivessem sido gerados a partir do prompt original, o OC-GRPO aplica uma correção de amostragem de importância (IS) à razão da política por token.

• Razão GRPO Padrão: $\rho_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | x, y_{i,<t})}$
• Razão OC-GRPO: $\rho^{oc}_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | g(x), y_{i,<t})}$

Aqui, o numerador representa a probabilidade da política atual do token dado o prompt não guiado (o alvo), enquanto o denominador representa a probabilidade sob o prompt guiado (a distribuição de amostragem real).

Propriedades Teóricas

1. Não Enviesamento (Unbiasedness): A expectativa reponderada sob a distribuição guiada é matematicamente provada como sendo exatamente equivalente à expectativa sob o objetivo original não guiado. Isso garante que o algoritmo otimize $J(\theta)$, não $J_{guide}(\theta)$.
2. Atribuição de Crédito Consciente do Comportamento: A razão de importância atua como um mecanismo dinâmico de atribuição de crédito:
   • Sucessos: Se uma trajetória correta é altamente provável sob o prompt guiado, mas improvável sob o prompt não guiado (ou seja, o modelo dependeu fortemente da dica), a razão de importância é $<1$, atenuando o crédito positivo. Isso evita que o modelo aprenda simplesmente a "seguir dicas" em vez de resolver o problema.
   • Falhas: Se uma trajetória falha apesar da orientação, a razão é $>1$, amplificando a penalidade. Isso reforça que o modelo falhou em resolver o problema mesmo com ajuda.
3. Controle de Variância: A variância do termo de correção escala com o comprimento do prefixo de orientação, não com o rollout completo. Isso motiva o princípio de design de usar a menor orientação possível necessária para romper o abismo de aprendizado.

Variantes de Implementação

• OC-GRPO-Fixed: Identifica o nível mínimo de orientação necessário para cada problema difícil usando um modelo base antes do treinamento. Este conjunto de dados aumentado é fixo, e a política nunca re-seleciona a orientação. Isso é recomendado como o padrão devido aos menores custos de inferência e desempenho competitivo.
• OC-GRPO-Adaptive: Ajusta dinamicamente os níveis de orientação durante o treinamento com base no desempenho atual da política. Embora seja teoricamente flexível, incorre em maiores custos de inferência e mostrou um desempenho ligeiramente inferior nos experimentos.

3. Principais Contribuições

1. Formalização do Problema do Contexto Fora de Contexto: Os autores definem formalmente o descompasso nos métodos de RLVR guiados existentes, mostrando que eles otimizam implicitamente um objetivo diferente do alvo de implantação.
2. Algoritmo OC-GRPO: Uma modificação mínima ao GRPO usando amostragem de importância para corrigir o contexto fora de contexto, fornecendo não-enviesamento provável para o objetivo original.
3. Atribuição de Crédito Teórica: Prova de que a correção de importância induz um mecanismo consciente do comportamento que automaticamente desconta sucessos fortemente dependentes da orientação e amplifica penalidades para falhas que persistem apesar da orientação, sem exigir modelagem de recompensa adicional.
4. Validação Empírica: Demonstração de que o OC-GRPO alcança ganhos consistentes sobre o vanilla GRPO e baselines guiados em múltiplas escalas de modelos (1.5B, 3B, 7B) e benchmarks matemáticos.

4. Resultados Experimentais

Os autores avaliaram o OC-GRPO no conjunto de dados MATH (Níveis 3–5) usando modelos Qwen2.5 (1.5B, 3B, 7B) com adaptadores LoRA.

• Ganhos de Desempenho: No modelo 7B, o OC-GRPO-Fixed alcançou um ganho relativo de 13,8% (melhoria absoluta de 3,9%) no Pass@1 médio sobre o vanilla GRPO nos benchmarks AIME, Gaokao2023 e OmniMath.
• Comparação com Baselines:
  • O OC-GRPO superou outros métodos guiados (POPE, PrefixRL, BREAD) que otimizam o objetivo desalinhado $J_{guide}$.
  • Dependência de Escala: Um achado crítico é que baselines guiados que otimizam o objetivo desalinhado frequentemente degradam abaixo do vanilla GRPO em escalas de modelos menores (ex: 1.5B e 3B). Em contraste, o OC-GRPO manteve ganhos consistentes em todas as escalas. Isso sugere que modelos menores não conseguem absorver o descompasso de objetivo, tornando a correção de importância crítica para eles.
• Estabilidade: Experimentos mostraram que o treinamento guiado não corrigido (Masked no-IC) leva ao colapso da recompensa, picos de norma de gradiente e alargamento das lacunas de log-probabilidade, enquanto o OC-GRPO permanece estável.

5. Significância e Alegações

O artigo afirma que a informação privilegiada pode guiar a exploração, mas a atualização deve considerar a distribuição de onde ela veio.

• Resolvendo o Abismo: O OC-GRPO fornece uma maneira principista de escapar do abismo de aprendizado em problemas difíceis sem recorrer ao ajuste fino supervisionado (SFT) ou objetivos híbridos complexos que distorcem o estilo de raciocínio nativo do modelo.
• Alinhamento: Garante que o treinamento em contextos privilegiados (que não existem na inferência) não desvie a política do verdadeiro objetivo de implantação.
• Escalabilidade: O método é particularmente vital para modelos menores, onde a suposição de "retro-generalização" de outros métodos falha.
• Generalidade: Embora demonstrado no raciocínio matemático com prefixos de solução, o framework é agnóstico ao mecanismo e aplicável a qualquer forma de sinal privilegiado (ex: resultados de chamadas de ferramentas, estados intermediários) em configurações de RLVR agênticas.

Os autores concluem que o OC-GRPO representa uma correção necessária para a próxima geração de algoritmos de RLVR, permitindo um raciocínio robusto em problemas difíceis enquanto mantém o alinhamento com a definição original da tarefa.