Resumo Técnico: CEPO – Auto-Distilação RLVR usando Otimização de Política de Evidência Contrastiva

1. Declaração do Problema

A Aprendizagem por Reforço com Recompensas Verificáveis (RLVR) tornou-se o paradigma dominante para o pós-treinamento de modelos de linguagem grandes (LLMs) em tarefas de raciocínio. A abordagem padrão, Otimização de Política Relativa por Grupos (GRPO), simplifica o treinamento eliminando redes de valor e normalizando recompensas dentro de grupos de respostas amostradas. No entanto, o GRPO sofre de um gargalo fundamental de atribuição de crédito: atribui uma vantagem uniforme em nível de sequência a cada token em uma trajetória correta e um sinal negativo uniforme a cada token em uma trajetória incorreta.

Essa uniformidade é ineficiente para o raciocínio matemático, onde um único passo inferencial decisivo ou um erro aritmético menor determina o resultado, enquanto a maioria dos tokens são preenchimentos gramaticais ou texto padrão. A atribuição de crédito uniforme desperdiça sinal de gradiente em tokens de preenchimento e falha em distinguir passos decisivos de raciocínio de conteúdo não informativo, levando a uma convergência lenta e atualizações ruidosas.

Tentativas anteriores de corrigir isso via auto-distilação on-policy (condicionando o modelo à resposta correta como um professor) enfrentaram dois problemas críticos:

1. Vazamento de Informação: Métodos como OPSD e SDPO minimizam a divergência por token entre o aluno e um professor privilegiado. Teoricamente, isso introduz uma soma em todo o vocabulário de pesos condicionados a $r$ no gradiente. À medida que o treinamento progride, esse "desvio prejudicial" domina o sinal benigno, fazendo com que o modelo codifique correlações espúrias entre a entrada e a resposta ($x \to r^+$), degradando a generalização.
2. Qualidade de Sinal Fraca: O recente método RLSD resolveu o vazamento usando um stop-gradient na razão de evidência $P^+_T(y_t)/P_S(y_t)$ para modular a vantagem do GRPO. No entanto, o RLSD possui três limitações de sinal:
   • Confound de Fluência: O denominador $P_S(y_t)$ reflete a fluência da taxa base, suprimindo a razão para tokens comuns independentemente de sua relevância semântica.
   • Sinal Negativo Assimétrico: Para trajetórias erradas, a penalidade é indireta e carece de fundamentação explícita no que a resposta errada prevê.
   • Evidência Unilateral: O RLSD não consegue distinguir um token de preenchimento (apoiado igualmente por respostas corretas e erradas) de um passo de raciocínio decisivo (apoiado pela resposta correta, mas desfavorecido pela resposta errada), pois ambos produzem a mesma razão.

2. Metodologia: Otimização de Política de Evidência Contrastiva (CEPO)

Os autores propõem o CEPO, que substitui a razão de evidência de referência única por uma razão contrastiva entre um professor de resposta correta e um professor de resposta errada.

Mecanismo Central

Em vez de comparar o prior do aluno $P_S$ contra o professor correto $P^+_T$, o CEPO compara o professor correto $P^+_T$ contra um professor errado $P^-_T$. O professor errado é construído condicionando o modelo a uma resposta rejeitada ($r^-$) extraída do mesmo lote de treinamento (especificamente, a trajetória rejeitada com menor recompensa), incorrendo em nenhum custo de amostragem adicional.

O Delta de Evidência Contrastiva é definido como:
$$\Delta^{CE}_t = \text{sg}\left( \log \frac{P^+_T(y_t)}{P^-_T(y_t)} \right)$$
Onde $\text{sg}(\cdot)$ é o operador stop-gradient.

Interpretação Bayesiana

Os autores derivam uma interpretação bayesiana limpa para $\Delta^{CE}_t$ como uma atualização diferencial de crença. Ela mede o quanto um token $y_t$ simultaneamente fortalece a crença posterior na resposta correta $r^+$ enquanto enfraquece a crença na resposta errada $r^-$.

• Passos Decisivos: Recebem um $\Delta^{CE}_t$ positivo grande (fortemente favorecido por $r^+$, desfavorecido por $r^-$).
• Tokens de Preenchimento: Recebem $\Delta^{CE}_t \approx 0$ (apoiados igualmente por ambos $r^+$ e $r^-$).

Objetivo de Treinamento

A vantagem em nível de token é modulada por esse peso contrastivo:
$$\hat{A}^{(i)}_t = A^{(i)} \cdot \left[ (1-\lambda) + \lambda \cdot \text{clip}(w^{CE}_t, 1-\epsilon_w, 1+\epsilon_w) \right]$$
onde $w^{CE}_t = \exp(\text{sign}(A) \cdot \Delta^{CE}_t)$. A política é atualizada usando um objetivo substituto padrão PPO-clipped. O parâmetro $\lambda$ decai linearmente de um valor inicial para 0 durante um período de aquecimento.

3. Contribuições Principais e Garantias Teóricas

O artigo estabelece que o CEPO herda a segurança estrutural do RLSD enquanto generaliza estritamente sua qualidade de sinal:

1. Segurança Estrutural: O CEPO satisfaz o Ancoramento Direcional (informação privilegiada não pode inverter o sinal da atualização) e Gradientes Livres de Vazamento (nenhuma soma condicionada a $r$ em todo o vocabulário). O professor de resposta errada $r^-$ entra apenas como um escalar com stop-gradient.
2. Contenção do RLSD: Se o professor de resposta errada não carregar informação ($P^-_T = P_S$), o CEPO reduz-se exatamente ao RLSD. Assim, o RLSD é um caso degenerado do CEPO.
3. Nitidez Discriminativa: Os autores provam que o CEPO atribui crédito estritamente mais nítido que o RLSD em um token $y_t$ se e somente se o professor de resposta errada desfavorecer esse token em relação ao prior do aluno ($P^-_T(y_t) < P_S(y_t)$). Essa condição concentra-se empiricamente em posições aritmeticamente e inferencialmente decisivas, enquanto tokens de preenchimento recebem pesos neutros ($w^{CE}_t \approx 1$), evitando a introdução de sinais espúrios.

4. Resultados Experimentais

Os autores avaliaram o CEPO em modelos Qwen3-VL (2B e 4B parâmetros) treinados no conjunto de dados de geometria Geo3k e testados em cinco benchmarks de raciocínio matemático multimodal: DynaMath, LogicVista, MathVisionmini, MMMU e WeMath.

• Ganhos de Desempenho:
  • Escala 2B: O CEPO alcançou 43,43% de precisão média, superando o GRPO (41,17%) em +2,26 pontos percentuais.
  • Escala 4B: O CEPO alcançou 60,56%, superando o GRPO (57,43%) em +3,13 pontos percentuais.
  • Os ganhos foram mais significativos em benchmarks que exigem raciocínio multietapa fino (por exemplo, LogicVista, MathVisionmini) e mínimos em benchmarks de recuperação de conhecimento (MMMU).
• Falha das Linhas de Base:
  • OPSD e SDPO degradaram-se abaixo da linha de base não treinada (por exemplo, 34,96% vs. 39,73% para 2B), confirmando empiricamente a previsão teórica de vazamento de informação.
  • RLSD mostrou melhoria marginal sobre o GRPO, mas foi superado pelo CEPO.
• Eficiência: O CEPO adiciona apenas uma passagem forward adicional de professor por trajetória em comparação ao GRPO (sobrecarga semelhante ao RLSD), sem custo de amostragem extra.

5. Significado e Alegações

O artigo alega que o CEPO oferece uma solução principlada e prática para o problema de atribuição de crédito no RLVR. Seu significado reside em:

• Resolução do Trade-off: Ele alcança o "melhor dos dois mundos": a segurança estrutural necessária para prevenir vazamento de informação (um pré-requisito para treinamento estável) e a qualidade de sinal necessária para distinguir passos decisivos de raciocínio de preenchimento.
• Validação Empírica da Teoria: O colapso de métodos propensos a vazamento (OPSD/SDPO) abaixo da linha de base serve como confirmação empírica da análise teórica de vazamento, enquanto o sucesso do CEPO valida a abordagem contrastiva.
• Interpretabilidade: A análise dos pesos dos tokens mostra que o CEPO localiza com sucesso o crédito em derivações algébricas críticas e suprime prosa fluente, mas não informativa, um comportamento não observado no RLSD.

Os autores concluem que o CEPO fornece um bloco de construção robusto para a próxima geração de treinamento RLVR consciente de crédito, com trabalho futuro sugerido para estender o método a modelos maiores, raciocínio apenas em texto e geração de código.