ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning

Resumo Técnico de ReDiPPO: Calibração de Valor Guiada por Referência e Reponderação de Tokens Consciente de Discrepância para Raciocínio Matemático

Problema
O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um paradigma dominante para aprimorar as capacidades de raciocínio matemático de Grandes Modelos de Linguagem (LLMs). Neste cenário, os modelos geram trajetórias de raciocínio longas, e um verificador automático atribui uma recompensa de resultado binário com base na resposta final. Embora métodos sem crítico, como GRPO, DAPO e GSPO, evitem erros de estimativa de valor ao atribuir vantagens uniformes ao nível da resposta, eles carecem da capacidade de distinguir entre etapas intermediárias de raciocínio corretas e incorretas. Por outro lado, a Otimização de Política Próxima (PPO) oferece o potencial para atribuição de crédito ao nível do token por meio de um crítico aprendido. No entanto, no raciocínio matemático, caracterizado por horizontes longos e recompensas terminais esparsas, os críticos padrão têm dificuldade em avaliar estados intermediários com precisão. Sem acesso à resposta de referência durante a avaliação de trajetórias parciais, os críticos padrão frequentemente produzem estimativas de vantagem ruidosas, levando a atualizações de política subótimas. Além disso, os sistemas RLVR baseados em PPO existentes exibem uma assimetria: embora as respostas de referência determinem a recompensa terminal, elas permanecem indisponíveis para o crítico responsável pela atribuição de crédito ao nível do token.

Metodologia: ReDiPPO
Os autores propõem o ReDiPPO (PPO guiado por referência e consciente de discrepância), um framework projetado para melhorar a atribuição de crédito ao nível do token sem alterar a interface de inferência da política. O método opera através de dois mecanismos primários:

1. Calibração de Valor Guiada por Referência:
   O ReDiPPO emprega uma arquitetura de crítico duplo durante o treinamento.

   • Crítico Padrão ($V^{std}$): Avalia o estado de raciocínio parcial (prompt + resposta parcial) sem acesso à resposta de referência, espelhando as condições do modelo de política.
   • Crítico Guiado por Referência ($V^{ref}$): Condiciona-se no prompt, na resposta parcial e na resposta de referência (fornecida como um sinal privilegiado de treinamento). Isso permite que o crítico avalie se uma trajetória parcial é compatível com a solução correta de forma mais precisa.
     O crítico guiado por referência fornece a linha de base para calcular a vantagem do ator ($\hat{A}^{ref}_t = G - V^{ref}_t$), enquanto a própria política permanece apenas com o prompt, garantindo que nenhuma informação privilegiada vaze para o processo de geração.

2. Reponderação de Tokens Consciente de Discrepância:
   O framework utiliza o desacordo entre os dois críticos como um sinal de confiabilidade.

   • Cálculo de Discrepância: A diferença absoluta entre as estimativas de valor do crítico padrão e do guiado por referência ($e_{i,t} = |v^{ref}_{i,t} - v^{std}_{i,t}|$) é computada para cada token. Uma grande discrepância indica um estado onde o crítico cego à referência está incerto ou propenso a errar.
   • Reponderação: Esta discrepância é normalizada e limitada para produzir um peso ao nível do token ($w_{i,t}$). As vantagens guiadas pela referência são então escalonadas por esses pesos ($\tilde{A}_{i,t} = \text{Whiten}(w_{i,t} \cdot \hat{A}^{ref}_{i,t})$) antes de serem usadas no objetivo PPO. Este mecanismo enfatiza atualizações para tokens em estados onde a informação de referência altera significativamente a avaliação de valor, efetivamente reduzindo o peso de estimativas ruidosas do crítico padrão.

Principais Contribuições

• Calibração de Valor Guiada por Referência: A introdução de um crítico que utiliza respostas de referência como informação privilegiada durante o treinamento para construir uma linha de base mais informativa para vantagens ao nível do token, abordando a dificuldade de avaliar soluções parciais sob recompensas esparsas.
• Reponderação de Tokens Consciente de Discrepância: Um mecanismo inovador que converte o desacordo entre os críticos padrão e guiado por referência em pesos ao nível do token limitados, permitindo que o processo de otimização foque adaptativamente em estados de raciocínio onde a estimativa de valor padrão é pouco confiável.
• Validação Empírica: O método é avaliado em seis benchmarks de raciocínio matemático (AIME 2024/2025/2026, HMMT 2025, Minerva Math, OlympiadBench) e três backbones de política distintos (Qwen3-4B-Instruct, Qwen3-4B-Thinking e OLMo3-7B-Instruct).

Resultados Experimentais
O ReDiPPO supera consistentemente bases fortes, incluindo métodos sem crítico (DAPO, GSPO) e o PPO vanilla.

• Ganhos de Desempenho: Em todos os três backbones, o ReDiPPO alcançou a maior precisão média. Especificamente, ele melhorou o PPO vanilla em 1,19 a 2,37 pontos percentuais. Por exemplo, no backbone Qwen3-4B-Instruct, a pontuação média aumentou de 53,66 (PPO) para 56,03 (ReDiPPO).
• Qualidade do Crítico: A análise da dinâmica de treinamento mostra que o crítico guiado por referência atinge uma Precisão de Seleção de Caminho (PSA) e uma Variância Explicada (EV) significativamente maiores em comparação ao crítico padrão.
• Análise de Discrepância: O estudo revela uma forte correlação entre alta discrepância entre referência e padrão e trajetórias de raciocínio difíceis (comprimentos maiores e menor precisão). Além disso, os ganhos de estimativa de valor provenientes do condicionamento de referência são mais pronunciados nos estágios finais da trajetória de raciocínio, justificando a abordagem de reponderação ao nível do token sobre um único score global de dificuldade.

Significância e Alegações
O artigo afirma que o ReDiPPO aborda o desafio central da atribuição de crédito confiável ao nível do token em raciocínios matemáticos de longo horizonte, utilizando efetivamente as respostas de referência como informação privilegiada de treinamento sem comprometer as capacidades de inferência da política. Os autores afirmam que sua abordagem fornece uma linha de base de crítico mais informativa e um mecanismo robusto para identificar e reponderar atribuições de crédito não confiáveis. O trabalho sugere que o aproveitamento do aprendizado de valor guiado por referência é uma direção promissora para o RLVR baseado em PPO, particularmente em domínios onde a verificação do resultado é possível, mas a avaliação de etapas intermediárias é ambígua. Os autores observam que uma questão aberta restante é se esta abordagem se transfere para domínios que carecem de respostas únicas e verificáveis por regras.