Resumo Técnico: Otimização de Política Orientada à Correção (CIPO)

1. Declaração do Problema

A Aprendizagem por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma padrão para aprimorar as capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs) em domínios como raciocínio matemático e geração de código. No entanto, os algoritmos existentes de RLVR, como a Otimização de Política Relativa por Grupos (GRPO), enfrentam duas limitações críticas:

1. Sinais Esparsos e Ambíguos: A RLVR depende de recompensas binárias em nível de sequência (0 ou 1). Essa esparsidade resulta em uma atribuição de crédito fraca. Trajetórias falhadas são penalizadas uniformemente, independentemente de sua "distância" da resposta correta (por exemplo, um erro de cálculo menor versus uma falha lógica fundamental). Isso fornece orientação de otimização ambígua, suprimindo meramente a probabilidade de trajetórias inteiras sem oferecer direção sobre como corrigir erros específicos.
2. Subutilização do Fracasso: Trajetórias falhadas frequentemente contêm etapas de raciocínio parcialmente corretas que constituem sinais de aprendizado valiosos. Abordagens atuais descartam essas estruturas intermediárias, desperdiçando supervisão útil e potencialmente impedindo uma exploração eficaz.
3. Limitações das Soluções Existentes: Tentativas anteriores de abordar isso, como a integração de Modelos de Recompensa de Processo (PRMs) ou críticos baseados em LLMs, frequentemente exigem anotações humanas adicionais, incorrem em altos custos computacionais ou introduzem ruído que compromete a generalizabilidade. Outros métodos que dependem de feedback auto-gerado podem ter dificuldades com modelos mais fracos ou suprimir a incerteza epistêmica.

Há uma necessidade de uma solução agnóstica a tarefas que transforme trajetórias falhadas em supervisão útil sem depender de sinais externos ou anotações adicionais.

2. Metodologia: Otimização de Política Orientada à Correção (CIPO)

O CIPO é proposto como uma extensão sistemática ao paradigma RLVR. Sua ideia central é que trajetórias falhadas podem ser transformadas de meros objetos de penalidade em sinais de supervisão exploráveis condicionando o modelo às suas próprias saídas errôneas para gerar correções.

2.1 Estrutura Central

O CIPO opera através de um ciclo iterativo de geração e replay orientado à correção, otimizando dois fluxos de dados simultaneamente:

• Fluxo Base: Rolagens (rollouts) padrão em política geradas a partir de consultas originais.
• Fluxo de Correção: Rolagens de refinamento geradas condicionando a política à consulta original e a uma trajetória anterior (a própria tentativa do modelo, seja correta ou incorreta).

Ao amostrar soluções refinadas ($y'$) condicionadas a uma tentativa errônea ($y_{fail}$), o CIPO estabelece um caminho de gradiente distinto conectando o modo de falha específico ao estado objetivo. Isso converte sinais de supressão ambíguos em orientação precisa e direcional.

2.2 Estratégias Chave para Estabilidade e Eficiência

Para evitar degradação da política e garantir aprendizado eficiente, o CIPO integra três mecanismos específicos:

1. Replay Adaptativo com Moldagem Aversiva ao Risco:

   • Taxa de Replay Adaptativa: Um mecanismo dinâmico ($\rho_t$) ajusta a mistura de trajetórias bem-sucedidas e falhadas no buffer de replay. Se o desempenho do modelo em amostras bem-sucedidas recicladas degradar, o sistema aumenta a fração de trajetórias bem-sucedidas para estabilizar o aprendizado.
   • Moldagem de Recompensa Aversiva ao Risco: Para evitar regressão de capacidade (onde um modelo condicionado a uma trajetória correta gera uma resposta incorreta), aplica-se uma penalidade assimétrica. Se a trajetória de condicionamento estiver correta, mas a nova resposta estiver incorreta, é imposta uma penalidade adicional. Isso prioriza a preservação de comportamentos corretos existentes enquanto se adquire novos.

2. Preferência de Trajetória Consciente da Dificuldade:

   • Para otimizar a eficiência do treinamento, o CIPO prioriza o replay de prompts com taxas de aprovação moderadas (a "zona de desenvolvimento proximal"). Prompts que são consistentemente resolvidos (muito fáceis) ou consistentemente falhados (muito difíceis) fornecem sinais de gradiente nulos ou de baixo valor. O sistema filtra amostras de dificuldade média para garantir que o modelo se concentre na janela de aprendizado eficaz.

3. Objetivo de Otimização Conjunta:
   A função objetivo final combina a perda GRPO padrão nas rolagens base com uma perda de correção nas rolagens replayadas. As recompensas de correção incorporam a moldagem aversiva ao risco. O modelo é treinado para maximizar a recompensa esperada em ambos os fluxos, aprendendo efetivamente a corrigir seus próprios erros enquanto mantém o desempenho padrão de raciocínio.

3. Contribuições Principais

• Revisão do Fracasso na RLVR: O artigo investiga como trajetórias falhadas em política podem ser convertidas de feedback negativo esparso em supervisão útil e orientada à correção sem modelos externos.
• Algoritmo CIPO: Uma extensão novel à RLVR que constrói amostras de correção a partir das próprias falhas em política do modelo. Elimina a necessidade de anotações externas ou modelos de recompensa auxiliares.
• Mecanismos de Estabilidade: A introdução de taxas de replay adaptativas e moldagem de recompensa aversiva ao risco para equilibrar exploração (aprendizado com falhas) com exploração (preservação de capacidades corretas).
• Validação Empírica: Extensos experimentos demonstrando que o CIPO melhora tanto as capacidades de raciocínio quanto de correção de erros, com ganhos nas métricas pass@K sugerindo uma expansão genuína da capacidade intrínseca de raciocínio em vez de mera redistribuição de probabilidade.

4. Resultados Experimentais

Os autores avaliaram o CIPO em 11 benchmarks abrangendo raciocínio matemático e geração de código, utilizando Qwen3-4B para matemática e Seed-Coder-8B para código.

• Desempenho de Raciocínio: O CIPO superou consistentemente bases fortes (incluindo GRPO vanilla com várias tamanhos de lote e PRIME).
  • No raciocínio matemático, o CIPO alcançou uma precisão média de 64,38%, superando a melhor base GRPO em 4,55%.
  • Ganhos significativos foram observados em conjuntos de dados desafiadores como AIME24 e AIME25.
• Correção e Depuração:
  • No DebugBench, o Seed-Coder-8B treinado com CIPO alcançou um ganho de 7,63%, atingindo desempenho comparável ao Claude-4-sonnet e superando o GRPO.
  • No CriticBench, o modelo mostrou taxas de correção aprimoradas (por exemplo, +7,74% em tarefas de Matemática), demonstrando generalização robusta entre cenários para tarefas de raciocínio simbólico e algorítmico.
• Expansão de Capacidade Intrínseca:
  • O CIPO produziu pontuações pass@K mais altas (por exemplo, pass@32 em benchmarks de matemática), indicando que a capacidade intrínseca de raciocínio do modelo foi genuinamente expandida em vez de apenas redistribuir massa de probabilidade sobre respostas corretas existentes.
  • A dinâmica de treinamento mostrou uma trajetória ascendente robusta e monótona, evitando a saturação de desempenho e a flutuação observadas nas bases GRPO.

5. Significado e Alegações

O artigo alega que o CIPO representa um passo significativo para frente em tornar a RLVR mais eficiente e eficaz ao utilizar plenamente a informação embutida em trajetórias falhadas.

• Orientação Direcional: Diferentemente da RLVR padrão que suprime uniformemente falhas, o CIPO diferencia modos de falha. Aproveita o fato de que tentativas de "quase acerto" têm maior probabilidade de produzir soluções corretas durante o refinamento, extraindo assim sinais de aprendizado mais ricos e densos.
• Capacidade de Auto-correção: Ao treinar explicitamente o modelo para gerar soluções corretas condicionadas às suas próprias tentativas errôneas, o CIPO aprimora a capacidade do modelo de depurar e refinar, estendendo sua aplicabilidade prática.
• Agnóstico a Tarefas e Eficiente: O método não requer sinais externos, anotações humanas ou modelos de recompensa adicionais, preservando a simplicidade e escalabilidade do paradigma RLVR enquanto aborda suas limitações fundamentais relacionadas a recompensas esparsas.

Os autores concluem que o CIPO transforma efetivamente o "fracasso" de uma trajetória em um "sucesso" do processo de aprendizado, permitindo que modelos aprendam com seus próprios erros de maneira estável e escalável.