Resumo Técnico: Ajuste de Referência Off-Policy Seletivo com Orientação de Plano (SORT)

1. Declaração do Problema

A Aprendizagem por Reforço a partir de Recompensas Verificáveis (RLVR), particularmente a Otimização de Política Relativa em Grupo (GRPO), melhorou o raciocínio em modelos de linguagem ao reforçar soluções amostradas que produzem resultados positivos. No entanto, a GRPO enfrenta um modo de falha crítico em "prompts difíceis", onde cada trajetória amostrada está incorreta. Nessas situações, a vantagem relativa ao grupo colapsa para zero porque não há variância nas recompensas (todas são zero), tornando o prompt invisível para a atualização do gradiente de política.

Esses prompts de recompensa zero são frequentemente os sinais de treinamento mais informativos, pois são acompanhados por soluções de referência verificadas que contêm a estrutura de raciocínio ausente. No entanto, abordagens padrão para utilizar essas referências — como Ajuste Fino Supervisionado (SFT) uniforme ou imitação de trajetória completa — falham porque misturam decisões centrais de raciocínio com álgebra rotineira, formatação e redação superficial. Essa imitação uniforme pode levar ao colapso da política ou à verbosidade sem melhorar a precisão do raciocínio. Métodos de orientação existentes frequentemente alteram a distribuição de trajetórias ou dependem de professores externos, o que introduz complexidade ou deslocamentos distribucionais.

2. Metodologia: SORT

Os autores propõem o Ajuste de Referência Off-Policy Seletivo com Orientação de Plano (SORT), um mecanismo de reparo auxiliar projetado especificamente para grupos GRPO de recompensa zero. O SORT opera sem modificar o processo principal de geração de trajetórias da GRPO.

Mecanismo Central

1. Armazenamento e Adiamento: Quando um prompt produz apenas trajetórias incorretas (grupo de recompensa zero), ele não é descartado. Em vez disso, o prompt e sua solução de referência verificada são armazenados em buffer.
2. Extração de Plano: Para cada exemplo armazenado, o modelo atual extrai um "plano de raciocínio" da solução de referência. Esse plano é um esboço ordenado de decisões-chave de raciocínio (por exemplo, lemas, divisões de casos, propagação de restrições), mas não é usado como sequência-alvo para geração.
3. Avaliação Dupla (Contexto Diagnóstico): O modelo avalia os tokens de referência duas vezes sob a mesma política:
   • Condição Base: A probabilidade do token é computada considerando apenas o prompt do problema.
   • Condição Condicionada ao Plano (Professor): A probabilidade do token é computada considerando o prompt do problema mais o plano de raciocínio extraído.
4. Pontuação de Saliência de Token: O método calcula a razão logarítmica entre a probabilidade condicionada ao plano e a probabilidade base. Tokens onde a probabilidade aumenta significativamente sob o condicionamento ao plano são identificados como "estruturalmente informativos" (ou seja, representam etapas de raciocínio que o modelo perdeu, mas pode aprender se a estrutura for explícita). Tokens rotineiros (álgebra, formatação) mostram pouca alteração.
5. Ponderação Geométrica: O SORT constrói uma perda auxiliar usando um peso de média geométrica:
   $$\omega_{i,t} = \text{sg}\left(\sqrt{p^{\text{base}}_{i,t} \cdot p^{\text{plan}}_{i,t}}\right)$$
   Esse peso combina a estabilidade do suporte do modelo base (do Ajuste Fino Dinâmico, DFT) com a seletividade do professor condicionado ao plano. Tokens que se tornam mais previsíveis com o plano são ponderados para cima; aqueles que não o são são ponderados para baixo ou deixados inalterados.

Garantias Teóricas

Os autores formalizam o SORT usando um modelo de plano de verdade fundamental. Eles provam que, à medida que o plano extraído aproxima o plano de raciocínio verdadeiro, o peso do SORT converge para um peso "oráculo" que enfatiza exatamente os tokens estruturalmente críticos. O limite de arrependimento é mostrado como proporcional ao erro de extração do plano ($\gamma$) e à probabilidade base, garantindo que o método degrade graciosamente para um comportamento semelhante ao DFT se a extração do plano for ruim.

3. Contribuições Principais

• Identificação de Falhas de Vantagem Zero: O artigo identifica prompts de recompensa zero como um gargalo específico na GRPO onde a vantagem do grupo é zero e introduz o SORT para repará-los sem alterar a geração de trajetórias.
• Condicionamento de Plano pelo Mesmo Modelo: Diferentemente de métodos que injetam traços off-policy de modelos mais fortes ou usam professores externos, o SORT usa o mesmo modelo para extrair um plano e pontuar tokens de referência, evitando dependências externas.
• Ponderação de Token por Média Geométrica: Um esquema de ponderação inovador que integra a consciência de suporte estilo DFT com a seletividade condicionada ao plano, matematicamente provado para aproximar a ponderação de tokens estruturais por oráculo.
• Validação Empírica: Experimentos abrangentes demonstrando melhorias consistentes sobre a GRPO padrão e baselines baseadas em orientação em múltiplos tamanhos de modelo e benchmarks.

4. Resultados Experimentais

O método foi avaliado em três backbones ajustados para instruções (Llama-3.2-3B, Qwen2.5-7B e Qwen3-4B) em oito benchmarks, incluindo tarefas matemáticas dentro da distribuição (AIME, AMC, MATH-500) e raciocínio fora da distribuição (GPQA, MMLU-Pro).

• Ganhos de Desempenho: O SORT superou consistentemente a GRPO padrão e outras baselines (LUFFY, ReLIFT, Scaf-GRPO).
  • No modelo mais fraco (Llama-3.2-3B), o SORT melhorou a média dentro da distribuição de 17,8% para 23,9% e fora da distribuição de 22,5% para 33,8%.
  • Em modelos mais fortes, o SORT forneceu ganhos marginais, mas consistentes, confirmando sua utilidade mesmo quando grupos de recompensa zero são menos frequentes.
• Comparação com Baselines:
  • vs. SFT/ReLIFT: Diferentemente do SFT ou ReLIFT, que frequentemente aumentaram o comprimento da resposta e a verbosidade sem melhorar a precisão (especialmente em modelos mais fracos), o SORT manteve gerações compactas enquanto impulsionava o raciocínio.
  • vs. LUFFY: O LUFFY, que mistura traços off-policy mais fortes, mostrou menos seletividade e às vezes degradou o desempenho em tarefas fora da distribuição.
• Dinâmicas de Treinamento: O SORT melhorou as pontuações de recompensa sem a expansão de comprimento observada em outros métodos. Reparou efetivamente prompts difíceis ao direcionar tokens específicos de raciocínio em vez de imitar trajetórias completas.

5. Significado e Alegações

O artigo afirma que o SORT aborda uma limitação fundamental na RLVR: a incapacidade de aprender a partir dos prompts mais difíceis onde a exploração falha. Ao tratar referências verificadas não como trajetórias a serem copiadas, mas como evidências de um plano de raciocínio, o SORT converte falhas "todas-erradas" em sinais de aprendizado estruturados e seletivos a tokens.

Os autores enfatizam que o SORT é uma atualização auxiliar conservadora que preserva o processo original de trajetórias da GRPO. Não requer professores externos, trajetórias sintetizadas ou alterações na distribuição de inferência. O método é particularmente significativo para modelos mais fracos, onde grupos de recompensa zero são mais frequentes, oferecendo um caminho para melhorar as capacidades de raciocínio sem o custo computacional de gerar trajetórias corretas para cada prompt. A abordagem é enquadrada como uma "forma seletiva de auto-distilação" que evita as armadilhas de enfatizar excessivamente tokens fáceis e rotineiros, focando nas etapas de raciocínio incertas e estruturalmente críticas.