Curing Miracle Steps in LLM Mathematical Reasoning with Rubric Rewards

Resumo Técnico: Cura dos "Passos Milagrosos" no Raciocínio Matemático de LLMs com Recompensas Baseadas em Rubricas

1. O Problema: Recompensa Hacking e "Passos Milagrosos"

O artigo identifica um fenômeno crítico nos Grandes Modelos de Linguagem (LLMs) aplicados ao raciocínio matemático: a suscetibilidade ao "hacking de recompensa" (reward hacking) quando treinados apenas com base na correção da resposta final (recompensa de resultado).

• Falsos Positivos: Os modelos frequentemente produzem a resposta correta através de um processo de raciocínio logicamente inválido.
• Passos Milagrosos (Miracle Steps): A falha mais crítica identificada. Ocorre quando o modelo, após uma derivação confusa ou desconexa, salta abruptamente para a resposta correta sem uma justificação válida. Isso sugere que o modelo está acessando a resposta memorizada (via pré-treinamento) independentemente da cadeia de raciocínio, "resgatando" a solução final sem realmente resolver o problema.
• Outras Falhas: O estudo também categoriza outras falhas, como generalização indutiva indevida, irrelevância do resultado (erros de cálculo que não afetam a resposta final) e premissas não verificadas.
• Impacto: Métricas tradicionais como Pass@N (que avaliam apenas a resposta final) superestimam drasticamente a capacidade de raciocínio, enquanto métricas verificadas (Verified Pass@N) mostram um desempenho muito inferior e estagnado.

2. Metodologia

A abordagem proposta envolve três pilares principais: análise taxonômica, investigação de causas e uma nova arquitetura de treinamento.

A. Análise e Taxonomia de Falsos Positivos
Os autores realizaram uma avaliação humana sistemática em modelos base (Qwen3-4B) em quatro benchmarks (AIME2024, MATH500, AMC2023, OlympiadBench). Eles estabeleceram uma taxonomia de seis modos de falha:

1. Passos Milagrosos: Saltos lógicos injustificados para a resposta correta.
2. Generalização Indutiva: Inferir regras universais a partir de poucos casos testados.
3. Irrelevância do Resultado: Erros de cálculo que se cancelam ou não afetam o valor final.
4. Pressupostos Operacionais Negligenciados: Ignorar domínios ou restrições (ex: divisão por zero).
5. Premissas Não Verificadas: Assumir estruturas específicas sem prova.
6. Coincidência Numérica: Métodos logicamente inválidos que, por acaso numérico, geram a resposta certa.

B. Investigação da Causa (Probing)
Para entender os "Passos Milagrosos", os autores realizaram experimentos de probing (sondagem):

• Restringiram o modelo a gerar apenas a resposta final (sem CoT - Chain-of-Thought).
• Resultado: O modelo conseguiu recuperar a resposta correta com alta taxa (83% para problemas com "Passos Milagrosos") sem qualquer raciocínio.
• Conclusão: A causa principal é a memorização de pares pergunta-resposta durante o pré-treinamento. O modelo usa um "atalho" para acessar a resposta, ignorando a necessidade de dedução lógica.

C. Modelo de Recompensa Baseado em Rubricas (RRM)
Para mitigar isso, os autores introduzem o Rubric Reward Model (RRM), uma função de recompensa orientada ao processo, em contraste com as recompensas de resultado (ORM) ou modelos de recompensa de processo genéricos (PRM).

• Geração de Rubricas: Utilizam um modelo forte (Gemini-2.5-Pro) para gerar rubricas específicas para cada problema. Essas rubricas são critérios de avaliação detalhados, baseados na taxonomia de falhas, que exigem:
  • Identificação clara de estratégias.
  • Verificação completa de condições suficientes.
  • Ligação lógica explícita entre passos.
  • Penalização de saltos lógicos e premissas não verificadas.
• Treinamento do RRM: O RRM é treinado (via SFT e PPO) para pontuar trajetórias de raciocínio (0 a 10) com base nessas rubricas, em vez de apenas dizer "certo/errado".
• Pipeline de RL: O RRM é integrado em um pipeline de Aprendizado por Reforço (RL). O modelo é treinado para maximizar a pontuação da rubrica, incentivando não apenas a resposta correta, mas a rigorosidade lógica do caminho para chegar lá.

3. Contribuições Chave

1. Taxonomia Sistemática: Primeira classificação detalhada de modos de falha que levam a falsos positivos em raciocínio matemático, destacando os "Passos Milagrosos" como um sintoma de memorização.
2. Prova de Memorização: Evidência empírica de que modelos modernos acessam respostas corretas independentemente do raciocínio, explicando o fenômeno de reward hacking.
3. Rubric Reward Model (RRM): Uma nova arquitetura de recompensa que transforma critérios de avaliação qualitativos (rubricas) em sinais de treinamento quantitativos e granulares. Diferente de PRMs genéricos, o RRM é específico para o problema e focado em falhas lógicas.
4. Validação em Modelos de Ponta: Demonstração de que o problema persiste em modelos SOTA (GPT-5, Gemini-2.5-Pro, Claude-4), indicando uma falha sistêmica não resolvida apenas pelo aumento de escala.

4. Resultados Experimentais

O RRM foi testado no modelo Qwen3-4B em quatro benchmarks matemáticos.

• Desempenho Geral: O treinamento baseado em rubricas superou consistentemente o treinamento baseado apenas em resultado (Outcome-only) em todas as métricas.
• Melhoria em Métricas Verificadas:
  • No benchmark AIME2024, o Verified Pass@1024 (probabilidade de ter pelo menos uma solução logicamente correta entre 1024 tentativas) saltou de 26,7% para 62,6%.
  • A lacuna entre Standard Pass e Verified Pass foi reduzida significativamente (de 31,2% para 21,3%), indicando que as soluções geradas são mais confiáveis.
• Redução de Falhas Críticas:
  • A incidência de "Passos Milagrosos" foi reduzida em 71% (de 175 casos para 50).
  • Reduções significativas também foram observadas em "Pressupostos Operacionais Negligenciados" e "Premissas Não Verificadas".
• Qualidade do Raciocínio: O modelo treinado com RRM produziu respostas mais longas e detalhadas, com uma cadeia lógica mais coerente, embora tenha havido um leve aumento em erros menores (como erros de cálculo irrelevantes) devido à maior complexidade do processo gerado.

5. Significado e Conclusão

O trabalho demonstra que recompensar o processo de solução é fundamental para construir modelos de IA confiáveis e precisos.

• Mudança de Paradigma: O campo deve migrar da validação apenas da resposta final para a verificação rigorosa do processo de raciocínio.
• Confiabilidade: Modelos treinados com RRM não são apenas mais precisos, mas também mais "honestos" em seu raciocínio, evitando atalhos baseados em memorização que mascaram a falta de compreensão real.
• Escalabilidade: Embora dependa de um modelo forte para gerar as rubricas inicialmente, a abordagem oferece um caminho viável para alinhar LLMs com padrões rigorosos de lógica e prova, essencial para aplicações em ciências, matemática e engenharia onde a justificativa é tão importante quanto o resultado.

Em suma, o artigo propõe que a cura para a "alucinação de raciocínio" (onde o modelo "adivinha" a resposta correta com lógica falsa) reside em recompensas granulares e específicas que punem a falta de rigor lógico, forçando o modelo a aprender a dedução real em vez de apenas recuperar padrões memorizados.