Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think

Resumo Técnico: O Aprendizado Fora de Política para Raciocínio Funciona Porque É Mais Pessimista Do Que Você Pensa

Declaração do Problema

O Aprendizado por Reforço (RL) tornou-se uma ferramenta central para aprimorar as capacidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs) em tarefas como matemática, programação e resolução de problemas em múltiplos passos. No entanto, na escala exigida pelos LLMs modernos, o pipeline de treinamento é inerentemente fora de política. Devido ao alto custo de gerar trajetórias (rollouts), os dados de treinamento são frequentemente produzidos por trabalhadores de inferência defasados ou checkpoints de modelos mais antigos, em vez da política atualmente sendo otimizada.

Métodos existentes, como PPO e GRPO, tentam lidar com essa incompatibilidade tratando o treinamento como aproximadamente dentro de política, utilizando pesos de importância, clipping ou filtragem para corrigir deslocamentos de distribuição. Embora eficazes em configurações próximas ao dentro de política, essas correções introduzem alta variância e podem desestabilizar a otimização quando o atraso da política é significativo. Por outro lado, abordagens recentes sem razão (ratio-free) (por exemplo, $A^\star$-PO, OAPL) removem os pesos de importância e treinam diretamente com dados da política de comportamento. Embora esses métodos mostrem sucesso empírico, seus fundamentos teóricos não são totalmente compreendidos. Especificamente, as derivações nominais desses objetivos sugerem uma distribuição-alvo que difere do que as implementações práticas (que frequentemente desacoplam temperaturas para o cálculo da vantagem e regularização) realmente alcançam. O artigo busca explicar por que esses métodos sem razão funcionam e como estabilizá-los ainda mais.

Metodologia e Análise Teórica

Os autores analisam uma classe de objetivos fora de política sem razão que regressam a razão logarítmica da política aprendida em direção a uma vantagem-alvo, sem utilizar pesos de importância. Eles focam em objetivos da forma:
$$\mathbb{E} \left[ \sum_i \left( \hat{A}_i \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} - \frac{\beta}{2} \left( \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} \right)^2 \right) \right]$$
onde $\hat{A}_i$ é uma vantagem relativa ao grupo e $\beta$ é um parâmetro de regularização.

Insight Teórico Chave: Alvos Temperados Lambert
Ao analisar o ponto estacionário desse objetivo, os autores derivam que a política-alvo induzida não é a distribuição exponencial padrão (regularizada por KL), mas sim uma política temperada Lambert:
$$\pi^\star(y|x) = \pi_{old}(y|x) \frac{1}{\tau_s} W_0 \left( \tau_s \exp \left( \frac{A(x,y)}{\beta} \right) \right)$$
onde $W_0$ é o ramo principal da função W de Lambert, e $\tau_s$ é um multiplicador de normalização determinado pela linha de base da vantagem.

O comportamento da política-alvo depende criticamente do sinal e da magnitude de $\tau_s$, que é controlado pela forma como a vantagem é normalizada:

1. Regime Pessimista ($\tau_s > 0$): O alvo é mais conservador do que a atualização exponencial. A função Lambert cresce logaritmicamente para vantagens grandes, impedindo que a política se comprometa excessivamente de forma exponencial com algumas amostras de alta recompensa. Isso mitiga o colapso de entropia.
2. Limite Exponencial ($\tau_s = 0$): O alvo recupera o viés exponencial padrão. Este regime é frágil; pequenos erros na linha de base da vantagem podem deslocar o objetivo para regimes instáveis.
3. Regime Instável ($\tau_s < 0$): O alvo torna-se mais agressivo do que a atualização exponencial, amplificando respostas de alta vantagem e aumentando a suscetibilidade ao colapso de entropia.

Análise de Métodos Existentes (OAPL/$A^\star$-PO)
O artigo demonstra que o estimador de vantagem nominal usado no OAPL (vantagem centrada em log-sum-exp) induz um alvo no regime instável ($\tau_s \le 0$) ao nível da população devido ao viés da desigualdade de Jensen em tamanhos de grupo finitos. A estabilidade empírica observada nas implementações do OAPL é atribuída a um "desacoplamento de temperatura" heurístico (usar uma temperatura maior para o cálculo da vantagem do que para a regularização), o que implicitamente desloca a vantagem para um regime mais conservador.

Modificação Proposta
Para alcançar estabilidade sem depender do desacoplamento heurístico de temperatura, os autores propõem uma vantagem média deslocada por $\beta$:
$$\hat{A}_i = r_i - \bar{r} + \beta$$
Essa simples mudança garante que o multiplicador Lambert induzido satisfaça $\tau_s \ge 1$, garantindo que a política-alvo permaneça no regime Lambert pessimista por construção.

Contribuições Principais

1. Caracterização de Objetivos Sem Razão: Os autores provam que objetivos fora de política sem razão induzem políticas-alvo temperadas Lambert, onde o grau de conservadorismo é controlado pela normalização da vantagem.
2. Explicação dos Mecanismos de Estabilidade: Eles explicam que o sucesso de métodos como o OAPL depende do pessimismo implícito induzido por escolhas de implementação prática (desacoplamento de temperatura), enquanto suas derivações teóricas nominais na verdade sugerem alvos instáveis.
3. Estabilização Principiada: Eles propõem uma vantagem média deslocada por $\beta$ que garante que o alvo permaneça no regime Lambert pessimista e estável, eliminando a necessidade de um desacoplamento de temperatura pesado em hiperparâmetros.

Resultados Experimentais

Os autores avaliaram seu método contra o OAPL usando o modelo Qwen3-8B no conjunto de dados DeepScaleR, com avaliação em benchmarks de matemática (Minerva, AIME2025, AMC23, BRUMO).

• Sensibilidade à Regularização ($\beta$): Sob pequenas forças de regularização (pequeno $\beta$), o OAPL exibiu colapso rápido de entropia e recompensas degradadas, enquanto o método Lambert proposto permaneceu estável e continuou a melhorar.
• Robustez ao Atraso da Política: À medida que o atraso da política (trajetórias obsoletas) aumentava (de 32 para 256 passos), o OAPL tornava-se altamente sensível, mostrando tanto colapso de entropia quanto crescimento de entropia instável. O método Lambert manteve entropia mais alta e convergiu para recompensas mais altas em todas as configurações de atraso.
• Conclusão: A modificação proposta melhora a robustez tanto à regularização agressiva quanto a grandes atrasos de política, validando a hipótese de que visar o regime Lambert pessimista estabiliza o aprendizado fora de política.

Significado e Alegações

O artigo alega que a eficácia do aprendizado fora de política no raciocínio de LLMs não se deve meramente à ignorância da incompatibilidade de distribuição, mas porque normalizações específicas de vantagem induzem uma forma de pessimismo implícito. Esse pessimismo impede que a política otimize excessivamente em amostras obsoletas de alta recompensa, o que é crucial quando as trajetórias são geradas por políticas mais antigas.

Os autores posicionam seu trabalho como fornecendo uma compreensão principiada de por que certas escolhas de implementação em algoritmos fora de política recentes funcionam, indo além de heurísticas de "região de confiança" para um framework baseado em alvos temperados Lambert. Eles argumentam que visar explicitamente o regime pessimista por meio de uma vantagem de média deslocada oferece uma alternativa mais estável e confiável aos métodos existentes, particularmente no cenário desafiador de treinamento assíncrono de LLMs em grande escala. O artigo conclui sugerindo que variantes em nível de token dessa teoria representam uma direção promissora para tornar os algoritmos de raciocínio fora de política mais principiados.