Resumo Técnico: Além da Entropia: Modelagem de Vantagem Consciente da Correção via Otimização de Política Contrastiva

Declaração do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR), particularmente métodos como o Group Relative Policy Optimization (GRPO), avançou as capacidades de raciocínio em domínios como matemática e programação. No entanto, as abordagens existentes enfrentam duas limitações fundamentais:

1. Negligência ao Nível de Token: Recompensas de correção binária (correto/incorreto) aplicadas ao nível da trajetória falham em distinguir as contribuições distintas de tokens individuais dentro de uma cadeia de raciocínio.
2. Ineficiência de Vantagem Zero: Em grupos onde todas as respostas amostradas estão incorretas (ou todas corretas), a vantagem ao nível da trajetória é zero, tornando vastas quantidades de dados de treinamento inúteis para a otimização da política.

Tentativas recentes de abordar isso utilizaram a entropia como um sinal para modelagem de vantagem para incentivar a exploração ou refinar a importância do token. No entanto, os autores argumentam que a entropia é fundamentalmente desalinhada com a correção. A alta entropia pode indicar uma exploração produtiva de soluções alternativas ou uma confusão prejudicial causada por caminhos de raciocínio incorretos. Consequentemente, métodos baseados em entropia frequentemente levam a escolhas de design contraditórias (por exemplo, recompensar tokens de alta entropia em alguns contextos enquanto os suprimem em outros) porque a entropia quantifica a incerteza sem avaliar a qualidade do raciocínio subjacente.

Metodologia: Otimização de Política Contrastiva (CPO)

O artigo propõe a Otimização de Política Contrastiva (CPO), um framework que substitui a entropia por um sinal de desacordo contrastivo ao nível do token para a modelagem de vantagem consciente da correção.

Mecanismo Central

A CPO aproveita a intuição de que a correção emerge através da comparação. Assim como um aluno identifica erros comparando seu trabalho com uma resposta de referência, um LLM pode identificar tokens errôneos ao contrastar sua distribuição de geração vanilla ($\pi$) com uma distribuição posterior guiada por referência ($\pi_{post}$).

1. Desacordo Contrastivo ($\delta_t$):
   O método define um sinal ao nível do token como a razão de log entre a probabilidade de um token sob um prompt guiado por referência e sua probabilidade sob o prompt vanilla:
   $$\delta_t(x, y) = \log \frac{\pi_{post}(y_t | x, y^\star, y_{<t})}{\pi(y_t | x, y_{<t})}$$
   Aqui, $y^\star$ é uma resposta de referência (oráculo). Teoricamente, esta razão correlaciona-se monotonicamente com a probabilidade de um token específico levar a uma conclusão correta ($g(x, y_{<t}, y_t)$).

   • $\delta_t$ Positivo: Indica que o token se alinha com a referência e é provavelmente correto.
   • $\delta_t$ Negativo: Indica que o token contradiz a referência e é provavelmente incorreto.

2. Modelagem de Vantagem (Advantage Shaping):
   A CPO integra este sinal ao nível do token na vantagem ao nível da trajetória ($A_i$) derivada do GRPO. A vantagem modelada $\tilde{A}_{i,t}$ é computada como:
   $$\tilde{A}_{i,t} = A_i + \text{clip}(\alpha \cdot \delta_{i,t}, \text{bounds})$$

   • Clipping: Para garantir a estabilidade, a magnitude do sinal ao nível do token é limitada (clipping) para que não possa reverter a direção da vantagem ao nível da trajetória (por exemplo, uma trajetória correta não pode ser penalizada por um único token de desacordo).
   • Resolução de Vantagem Zero: Para trajetórias com vantagem zero ($A_i = 0$), o sinal ao nível da trajetória não fornece gradiente. A CPO utiliza $\delta_t$ para fornecer sinais de aprendizado significativos mesmo nesses casos, permitindo a otimização em dados anteriormente considerados inúteis.

3. Unificação Teórica:
   Os autores demonstram que a Destilação On-Policy (OPD) é um caso especial da CPO. Na OPD, um modelo professor externo fornece a distribuição posterior. A CPO generaliza isso ao permitir que a posterior seja instanciada por qualquer distribuição mais informada sobre a correção do que a política atual, incluindo o autocondicionamento em respostas de referência.

Principais Contribuições

1. Desacordo Contrastivo como um Sinal: O artigo introduz e valida (teórica e empiricamente) que o desacordo contrastivo é um sinal de correção ao nível do token mais confiável do que a entropia. Ele distingue entre exploração útil e confusão prejudicial.
2. Fundamentação Teórica para OPD: O framework fornece uma base principiológica para a Destilação On-Policy, unificando diversas variantes (professores externos, auto-professores guiados por referência, políticas guiadas por crítico) sob um único objetivo impulsionado pela correção.
3. Framework CPO: Um método computacionalmente eficiente para modelagem de vantagem que resolve o problema da vantagem zero no RLVR, permitindo gradientes mais informativos e exploração eficaz.
4. Validação Empírica: Experimentos extensos mostrando que a CPO supera os métodos de RLVR baseados em entropia tanto em raciocínio matemático in-domain quanto em tarefas de generalização out-of-domain.

Resultados Experimentais

Experimentos foram conduzidos no Qwen2.5-Math-7B e Qwen3-Base-4B usando o conjunto de dados MATH para treinamento.

• Ganhos de Desempenho: A CPO supera substancialmente o GRPO e outras baselines baseadas em entropia (ex: Entropy-Tokens, Entropy-Adv, RL-ZVP).
  • No Qwen2.5-Math-7B, a CPO melhorou o desempenho médio em 7,7% em relação ao GRPO.
  • No Qwen3-Base-4B, a CPO melhorou o desempenho médio em 8,5% em relação ao GRPO.
• Generalização: Diferente de muitas baselines que sofrem degradação out-of-domain (OOD), a CPO preservou ou melhorou o desempenho OOD em benchmarks como GPQA e MMLU-Pro.
• Estudos de Ablação:
  • Efetividade de Dados: O estudo descobriu que respostas incorretas impulsionam principalmente melhorias in-domain (explotação), enquanto respostas corretas são cruciais para manter a generalização OOD (exploração). Uma proporção equilibrada de $\alpha_+ : \alpha_-$ (1:1) produziu os melhores resultados.
  • Nível de Token vs. Nível de Trajetória: A modelagem ao nível do token provou ser superior à média do desacordo no nível da trajetória, pois preserva melhor as variações cruciais de atribuição de crédito.
  • Análise de Entropia: A CPO mantém uma entropia de treinamento e comprimentos de resposta mais longos em comparação com o GRPO, indicando uma exploração sustentada. A análise de nuvem de palavras mostrou que a CPO foca em tokens críticos para a tarefa (símbolos matemáticos, construtos de código), enquanto a entropia foca na variabilidade linguística.

Significância e Alegações

O artigo afirma que a CPO representa uma mudança de intervenções heurísticas baseadas em entropia para uma estratégia de otimização consciente da correção. Ao utilizar o contraste entre as distribuições geradas pelo próprio modelo e as guiadas por referência, a CPO fornece um sinal confiável que alinha o aprendizado da política com o sucesso da tarefa.

Os autores enfatizam que os papéis distintos dos tipos de resposta são críticos: respostas corretas permitem que o modelo explore novos caminhos de solução (evitando o overfitting), enquanto respostas incorretas permitem que o modelo explore e refine os caminhos mais promissores. Equilibrar isso através do sinal de desacordo contrastivo leva a um desempenho superior sem sacrificar a generalização. Além disso, a capacidade do framework de resolver o problema da vantagem zero sugere um uso mais eficiente de dados de treinamento em cenários de RLVR.