Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO

O artigo apresenta o Stepwise Guided Policy Optimization (SGPO), uma nova abordagem que mitiga a limitação do GRPO em grupos de amostras inteiramente incorretas ao introduzir diversidade de respostas via um modelo julgador passo a passo, acelerando assim o aprendizado de modelos de linguagem grandes em tarefas de raciocínio sem exigir que o julgador gere soluções corretas.

O essencial

Imagine que você está ensinando uma criança a andar de bicicleta. No método tradicional de aprendizado de máquina (chamado GRPO), se a criança cai e não consegue andar nem um metro, o professor diz: "Não tem problema, vamos tentar de novo com outra criança". O professor ignora completamente a queda, porque não houve "sucesso" para celebrar. A criança perde a oportunidade de aprender por que ela caiu.

Agora, imagine um método mais inteligente, chamado SGPO (Otimização de Política Guiada Passo a Passo), proposto neste artigo. Aqui, quando a criança cai, o professor não ignora o erro. Ele olha para a queda e diz: "Ei, você começou bem! Você pedalou 5 vezes corretamente antes de perder o equilíbrio. Vamos celebrar esses 5 passos e focar apenas em corrigir o momento em que você caiu".

Aqui está a explicação simples do que os pesquisadores descobriram:

1. O Problema: O "Grupo de Fracassos"

No treinamento de Inteligência Artificial (IA) para raciocínio (como resolver matemática), a IA tenta resolver um problema várias vezes de uma vez.

• O jeito antigo (GRPO): Se todas as tentativas da IA estiverem erradas, o sistema diz: "Nenhuma resposta foi boa, então não vamos aprender nada com isso". Ele joga fora todo o grupo de respostas erradas.
• A analogia: É como um time de futebol onde, se todos os jogadores errarem o gol, o treinador diz: "Ninguém fez gol, então vamos esquecer esse treino inteiro e começar de novo". O time não aprende que um jogador quase fez, ou que a defesa estava boa, mas o chute foi ruim.

2. A Solução: O "Juiz de Passos"

Os autores criaram um novo sistema (SGPO) que usa um "Juiz de Passos".

• Em vez de olhar apenas para a resposta final (Certo ou Errado), o juiz analisa o processo de pensamento da IA.
• Ele identifica exatamente onde a IA errou pela primeira vez.
• A analogia: Imagine que a IA escreveu uma redação e tirou nota zero porque errou a conclusão. O juiz do SGPO olha e diz: "A introdução estava ótima, os dois primeiros parágrafos foram excelentes. Só o último parágrafo estava errado. Vamos dar 'meia nota' pelos parágrafos bons e focar em corrigir o último".

3. Por que isso é mágico?

• Aprendizado com Erros: Humanos aprendem muito mais com os erros do que as IAs atuais. Se você erra um cálculo, mas fez a lógica certa até o final, você ainda aprendeu a lógica. O SGPO permite que a IA aprenda com esses "quase acertos".
• Mais Rápido: O artigo prova matematicamente que, ao dar crédito parcial pelos passos corretos, a IA aprende muito mais rápido do que quando ignora os erros. É como se a IA tivesse um mapa de onde ela estava certa, em vez de apenas saber que chegou ao destino errado.
• Não precisa de um "Gênio": O interessante é que o "Juiz" não precisa ser uma IA superinteligente capaz de resolver o problema sozinha. Ele só precisa ser capaz de verificar se um passo está certo ou errado. Isso torna o método mais barato e acessível.

4. O Resultado na Prática

Os pesquisadores testaram isso em vários modelos de IA (do tamanho pequeno ao gigante) em problemas de matemática e lógica.

• Resultado: A IA treinada com o SGPO ficou melhor, especialmente no início do aprendizado, quando ela erra muito.
• A lição: Não jogue fora as respostas erradas! Elas contêm informações valiosas. Se a IA errou, mas acertou 80% do caminho, ela merece um "parabéns parcial" para aprender a completar os 20% restantes.

Resumo em uma frase:

O SGPO transforma o "fracasso total" em "aprendizado parcial", ensinando a IA a valorizar cada passo correto que ela dá, mesmo que a resposta final esteja errada, acelerando assim sua evolução de forma muito mais humana e eficiente.

Resumo técnico

Título: Stepwise Guided Policy Optimization (SGPO): Colorindo seu Raciocínio Incorreto em GRPO

1. O Problema

O artigo aborda uma limitação crítica nos métodos de Aprendizado por Reforço (RL) aplicados a Grandes Modelos de Linguagem (LLMs) para tarefas de raciocínio, especificamente no Group Relative Policy Optimization (GRPO).

• O Cenário: O GRPO é amplamente utilizado para treinar modelos de raciocínio (como o DeepSeek-R1 e OpenAI-o1). Ele funciona amostrando um grupo de respostas para um mesmo prompt e calculando vantagens relativas baseadas em recompensas (geralmente binárias: 1 para correta, 0 para incorreta).
• A Falha: Quando todas as respostas em um grupo são incorretas (grupos de "amostras totalmente negativas"), a vantagem relativa de todas as amostras torna-se zero. Isso ocorre porque a normalização das recompensas dentro do grupo resulta em valores idênticos.
• Consequência: O gradiente de atualização desaparece, e o modelo não aprende nada com esses grupos de falha. O artigo destaca que isso cria uma lacuna entre a inteligência artificial e a humana: enquanto humanos aprendem efetivamente com erros (revisando regras e passos intermediários), o GRPO descarta esses sinais de falha, desperdiçando dados valiosos, especialmente nas fases iniciais e médias do treinamento onde erros são frequentes.

2. Metodologia: SGPO (Stepwise Guided Policy Optimization)

Os autores propõem o SGPO, um framework simples que introduz diversidade de resposta dentro de grupos de amostras negativas, transformando recompensas binárias em recompensas graduais baseadas em passos.

• Mecanismo Central: Em vez de tratar uma resposta incorreta como um todo (recompensa 0), o SGPO utiliza um modelo juiz passo a passo (step-wise judge model).
  • O juiz analisa a trajetória de raciocínio da resposta.
  • Identifica o primeiro passo incorreto que desvia a trajetória da solução correta.
  • Calcula uma pontuação de trajetória de raciocínio (RTS - Reasoning Trajectory Score), que é a proporção de passos corretos antes do erro.
• Função de Recompensa:
  • Se a resposta final estiver correta: Recompensa = 1.
  • Se incorreta: Recompensa = $1 / (1 + \exp(-\beta(RTS(y) - \gamma)))$.
  • Isso atribui crédito parcial (ex: 0.6) a respostas que acertaram 3 de 5 passos, em vez de 0.
• Implementação do Juiz:
  • O juiz pode ser um LLM existente (aberto ou fechado) adaptado para verificar passos contra uma solução de referência (gold solution).
  • Para robustez, utiliza-se votação por maioria de múltiplas avaliações independentes do juiz para determinar a posição do erro.
  • Parâmetros de estabilidade ($\beta$ e $\gamma$) são introduzidos para reduzir a sensibilidade a ruídos e evitar atualizações excessivas baseadas em sinais pouco confiáveis.
• Diferenciação Chave:
  • Diferente de Process Reward Models (PRMs): O SGPO não requer um modelo treinado para prever valores de prefixo ou buscar caminhos; ele apenas verifica a trajetória completa a posteriori contra uma referência.
  • Diferente de Distilação de Conhecimento: O modelo aluno não imita o juiz; ele usa o feedback do juiz para corrigir seus próprios erros, permitindo melhorias além da simples imitação.

3. Contribuições Principais

1. Framework SGPO: Proposta de um método que utiliza juízes passo a passo para diferenciar amostras negativas, transformando falhas binárias em sinais de aprendizado graduais.
2. Análise Teórica: Em um cenário simplificado (dois passos, duas ações), os autores provam matematicamente que o SGPO acelera a dinâmica de aprendizado em comparação ao GRPO.
   • O SGPO converte a probabilidade de escolher a ação "boa" no primeiro passo mais rapidamente.
   • Garante que a probabilidade de aprender a política ótima seja estritamente maior no SGPO do que no GRPO a cada iteração.
3. Validação Empírica: Extensa avaliação em modelos de diferentes tamanhos (7B, 14B, 32B) e em cenários offline e online.
4. Eficiência e Custo: Demonstra que o SGPO funciona bem mesmo com modelos juízes mais fracos e acessíveis (open-source), sem necessidade de gerar soluções corretas completas, apenas de identificar erros.

4. Resultados Experimentais

Os experimentos foram conduzidos em nove benchmarks de raciocínio matemático (incluindo AIME, AMC, MATH500, Olympiads, Gaokao, etc.) com modelos base como Qwen2.5, DeepSeek-R1-Distill e QwQ.

• Desempenho Geral: O SGPO superou consistentemente o GRPO em desempenho médio, especialmente nas fases iniciais e médias do treinamento onde grupos totalmente negativos são comuns.
• Aprendizado com Erros: Em cenários offline treinados apenas com amostras negativas, o SGPO conseguiu melhorar o desempenho, enquanto o GRPO não conseguia atualizar o modelo.
• Robustez: O método funcionou bem com juízes de código aberto (QwQ-32B, DeepSeek-V3) e fechados (o4-mini, Claude3.7). A remoção dos parâmetros de estabilidade ($\beta, \gamma$) aumentou a variância, confirmando sua importância.
• Cobertura de Problemas Difíceis: O SGPO foi capaz de resolver problemas que o GRPO falhava consistentemente (aumentando o pass@16 em questões difíceis), demonstrando melhor atribuição de crédito em casos de "quase acerto".
• Entropia da Política: O SGPO reduziu a entropia da política mais rapidamente que o GRPO, indicando uma convergência mais rápida para comportamentos determinísticos e confiáveis.
• Custo Computacional: O overhead adicional é modesto (aproximadamente 2.5% do tempo total de treinamento), pois o processamento do juiz ocorre apenas em grupos negativos e por um número limitado de épocas iniciais.

5. Significado e Conclusão

O artigo oferece uma solução elegante e eficiente para um gargalo fundamental no treinamento de modelos de raciocínio via RL.

• Ponte entre IA e Humano: Ao permitir que modelos aprendam com erros parciais (como um aluno que acerta a lógica mas erra a conta), o SGPO aproxima o comportamento de aprendizado da IA ao humano.
• Viabilidade Prática: A abordagem não depende de modelos juízes perfeitos ou caros, tornando-a acessível para comunidades com recursos limitados.
• Impacto no Treinamento: O SGPO evita o desperdício de dados de treinamento (grupos negativos) e mitiga problemas como catastrophic forgetting e overfitting em problemas fáceis, promovendo uma generalização mais robusta.
• Futuro: O trabalho sugere que a diversificação de respostas em grupos negativos é uma direção promissora para melhorar a eficiência do RLVR (Reinforcement Learning from Verifiable Rewards) além do GRPO padrão.

Em resumo, o SGPO transforma o "ruído" de respostas incorretas em "sinais" estruturados de aprendizado, acelerando a convergência e melhorando a capacidade de raciocínio dos LLMs.