💻 computer science

Rethinking Reward Models for Multi-Domain Test-Time Scaling

Este artigo desafia o senso comum de que modelos de recompensa de processo de grão fino são superiores ao apresentar uma avaliação unificada através de 14 domínios, a qual revela que os modelos de recompensa de resultado generativos (gORM) são os desempenhadores mais robustos e consistentes, enquanto os modelos de processo generativos passo a passo sofrem com a propagação de erros devido ao ruído de rótulo.

Autores originais: Dong Bok Lee, Seanie Lee, Sangwoo Park, Minki Kang, Jinheon Baek, Dongki Kim, Dominik Wagner, Jiongdao Jin, Heejun Lee, Tobias Bocklet, Jinyu Wang, Jingjing Fu, Sung Ju Hwang, Jiang Bian, Lei Song

Publicado 2026-07-15

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dong Bok Lee, Seanie Lee, Sangwoo Park, Minki Kang, Jinheon Baek, Dongki Kim, Dominik Wagner, Jiongdao Jin, Heejun Lee, Tobias Bocklet, Jinyu Wang, Jingjing Fu, Sung Ju Hwang, Jiang Bian, Lei Song

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a resolver quebra-cabeças complicados. Você não quer apenas que o robô encontra a resposta certa; você quer saber como ele chegou lá. Ele pegou um atalho? Ele cometeu um erro, percebeu e se corrigiu? Ou ele apenas chutou e teve sorte?

Para ajudar o robô a aprender, usamos um "Modelo de Recompensa" — pense nele como um professor rigoroso corrigindo o trabalho do robô. Por muito tempo, os professores mais inteligentes do mundo da matemática foram os Modelos de Recompensa de Processo (PRMs). Esses professores corrigiam cada passo do processo de pensamento do robô. Se o robô cometesse um erro minúsculo no passo 3, o professor parava e dizia: "Fim de jogo, isso está errado!" A ideia era que corrigir cada passo era como usar uma lupa; parecia ser a maneira mais detalhada e útil de aprender.

Mas aqui está a reviravolta: este artigo sugere que, para a maioria dos quebra-cabeças do mundo real (como direito, medicina ou conhecimentos gerais), essa lupa pode estar cegando o professor.

O Grande Experimento: 14 Mundos Diferentes

Os pesquisadores não olharam apenas para problemas matemáticos. Eles testaram quatro tipos diferentes de "professores" através de 14 domínios diversos (incluindo direito, biologia, história e psicologia). Eles queriam ver qual professor era o melhor para ajudar o robô a escolher a melhor solução entre um monte de palpites.

Os quatro professores eram:

O Corretor de Resposta Final (dORM): Olha apenas para o resultado final. "Você conseguiu a resposta certa? Sim/Não."
O Corretor Passo a Passo (dPRM): Verifica cada passo. "Passo 1 está bom, Passo 2 é ruim, PARE."
O Corretor de Resposta Final via Chatbot (gORM): Uma IA inteligente que escreve uma pequena explicação e dá um veredito final.
O Corretor Passo a Passo via Chatbot (gPRM): Uma IA inteligente que escreve uma explicação para cada um dos passos e os corrige um por um.

Os Resultados Surpreendentes

No mundo da matemática, os professores Passo a Passo (PRMs) geralmente vencem. Mas quando os pesquisadores mudaram para os outros 13 domínios, os resultados inverteram-se completamente:

O "Passo a Passo" via Chatbot (gPRM) foi o pior. Ele teve dificuldade em acompanhar o ritmo.
O "Passo a Passo" estilo Humano (dPRM) foi apenas ok. Ele teve um desempenho aproximadamente igual ao simples corretor de Resposta Final.
O "Resposta Final" via Chatbot (gORM) foi o campeão. Foi o mais robusto, proporcionando melhorias consistentes em todos os domínios testados.

Por que os Professores Passo a Passo Falharam?

O artigo oferece duas razões principais, e elas são bem inteligentes.

1. O Problema do Momento "Aha!"
Imagine um robô resolvendo um quebra-cabeça. Ele comete um erro no passo 2, mas depois percebe: "Ah não, eu errei!", e se corrige no passo 3, eventualmente chegando à resposta certa. Isso é chamado de momento "Aha!".

O Problema do PRM: Os professores Passo a Passo são treinados para pensar que, se um passo estiver errado, todo o processo está errado. Eles são como um árbitro que apita no segundo em que um jogador tropeça, mesmo que o jogador se levante e marque o gol da vitória. O artigo mostra que, nesses testes de múltiplos domínios, esses professores costumam perder esses momentos de recuperação "Aha!" porque param de corrigir cedo demais.
A Questão da Extensão: Quanto mais longa a cadeia de raciocínio do robô, maior a probabilidade de o professor Passo a Passo cometer um erro em sua própria correção. O artigo sugere que, conforme a cadeia de raciocínio fica mais longa, o erro na pontuação do professor Passo a Passo cresce, tornando-o menos confiável.

2. A Armadilha do "Rótulo Ruidoso"
Na matemática, temos professores humanos perfeitos que corrigem cada passo perfeitamente. Mas no direito ou na medicina, é muito caro contratar humanos para corrigir cada passo do pensamento de um robô. Por isso, usamos outras IAs para corrigir os passos automaticamente.

O Problema: Esses corretores automáticos cometem erros (ruído). O artigo descobriu que os professores Passo a Passo são muito sensíveis a esses erros. Se o corretor automático disser que o "Passo 3 está errado" quando na verdade está certo, o professor Passo a Passo fica confuso e falha.
O Vencedor: Os professores de Resposta Final (especialmente a versão Chatbot, gORM) são muito mais resistentes. Eles conseguem ignorar o pequeno ruído no meio e focar em saber se o resultado final faz sentido.

A Falha do "Filtro de Consenso"

Há mais uma razão pela qual o Passo a Passo via Chatbot (gPRM) falhou. Para treiná-lo, os pesquisadores usaram um método chamado "filtragem de consenso". Eles pediram à IA para corrigir seus próprios passos, mas se a correção da IA não coincidisse com a "verdade fundamental" (a chave de respostas), eles descartavam esses dados.

O Resultado: Esse processo acabou descartando acidentalmente todas as cadeias de pensamento longas e complicadas do tipo "Aha!". Deixou o professor apenas com exemplos curtos e simples para aprender. Quando o professor tentou corrigir um quebra-cabeça longo e complexo no mundo real, estava totalmente despreparado. O artigo mostra que os dados de treinamento para esse professor eram muito diferentes dos dados de teste, como ensinar um aluno apenas com matemática do 5º ano e depois testá-lo em cálculo do 12º ano.

A Conclusão

Se você está construindo um sistema para ajudar robôs a pensar através de problemas complexos do mundo real (como casos jurídicos ou conselhos médicos), não se obceque em corrigir cada passo individual.

O artigo sugere que um Modelo de Recompensa de Resultado Generativo (gORM) — uma IA inteligente que explica seu raciocínio e dá um veredito de "Sim/Não" sobre a solução inteira — é a ferramenta mais confiável. Ele é robusto, lida melhor com cadeias longas de pensamento e não é afetado por dados ruidosos.

Embora os professores Passo a Passo (PRMs) sejam ótimos para a matemática, onde temos rótulos perfeitos e problemas curtos, o artigo argumenta que, para o mundo real, que é bagunçado, longo e complexo, o professor da "Visão Geral" (gORM) é quem você quer ao seu lado.

Resumo Técnico: Repensando Modelos de Recompensa para Escalonamento em Tempo de Execução Multi-Domínio

Declaração do Problema

O escalonamento em tempo de execução (Test-Time Scaling - TTS) permite que Grandes Modelos de Linguagem (LLMs) melhorem a confiabilidade ao gerar múltiplas cadeias de raciocínio (Cadeias de Pensamento ou CoTs) e selecionar o melhor candidato usando verificadores externos. Embora os Modelos de Recompensa de Resultado (ORMs) e os Modelos de Recompensa de Processo (PRMs) tenham demonstrado sucesso em domínios próximos à matemática, sua eficácia em domínios mais amplos e de alto risco (ex: jurídico, médico) permanece pouco explorada. Além disso, a eficácia comparativa de arquiteturas de verificadores discriminativos versus generativos nesses cenários multi-domínio não está clara. A literatura existente frequentemente assume que a supervisão de processo refinada (PRMs) é universalmente superior, mas essa premissa depende fortemente de conjuntos de dados específicos de matemática com anotações manuais de alta qualidade.

Metodologia

Os autores apresentam a primeira avaliação controlada e unificada de quatro variantes de modelos de recompensa em 14 domínios diversos (incluindo MMLU-Pro, GPQA-Diamond, MedQA e LEXam). As quatro variantes são:

dORM (ORM Discriminativo): Um classificador treinado apenas em rótulos de resultado (resposta final correta/incorreta).
dPRM (PRM Discriminativo): Um classificador treinado em rótulos de processo ao nível de passo, agregando pontuações (tipicamente via mínimo) para determinar a correção da trajetória.
gORM (ORM Generativo): Um LLM ajustado para gerar uma CoT de verificação e um veredito binário ("Sim"/"Não"), treinado via filtragem por consenso, onde o veredito gerado se alinha com o resultado real (ground-truth).
gPRM (PRM Generativo): Um LLM ajustado para gerar racional de verificação e vereditos de processo passo a passo, também treinado via filtragem por consenso.

Configuração Experimental:

Domínios: Matemática (PRM800K, ProcessBench) e Multi-domínio/Especializados (MMLU-Pro, GPQA-Diamond, MedQA, LEXam).
Dados de Treinamento: Rótulos matemáticos foram anotados por humanos; rótulos de processo multi-domínio foram gerados automaticamente por LLMs (introduzindo potencial ruído).
Avaliação: Os modelos foram utilizados como verificadores em um framework de seleção Best-of-N (BoN), onde $N$ CoTs são geradas, e aquela com a maior pontuação de recompensa é selecionada.
Análise: Os autores realizaram análise teórica sobre limites de erro em relação ao comprimento da CoT e análise empírica sobre sensibilidade ao ruído de rótulo e desvios de distribuição induzidos pela filtragem por consenso.

Contribuições Principais

Avaliação Unificada Multi-Domínio: O artigo fornece a primeira comparação controlada de dORM, dPRM, gORM e gPRM em 14 domínios, indo além do foco centrado em matemática do trabalho anterior.
Descobertas Contraintuitivas: O estudo desafia o senso comum de que PRMs são sempre superiores. Conclui-se que, em cenários multi-domínio:
- dORM tem desempenho equivalente ao dPRM.
- gPRM não é competitivo e frequentemente apresenta desempenho inferior a outras variantes.
- gORM é o mais robusto, gerando ganhos significativos e consistentes em todos os domínios testados.
Análise Teórica e Empírica de Modos de Falha:
- Risco de Comprimento da CoT: Os autores provam (Teoremas 4.2 & 4.3) que o limite inferior do erro logarítmico para PRMs cresce linearmente com o comprimento da CoT ( $T$ ), enquanto os limites de erro de ORM permanecem independentes de $T$ . Empiricamente, o desempenho do PRM degrada conforme as CoTs se alongam, falhando particularmente em reconhecer "momentos de epifania" (trajetórias que se recuperam de erros iniciais).
- Ruído de Rótulo e Desvio de Distribuição: Em configurações multi-domínio, a dependência de rotulagem automática baseada em LLM introduz ruído. Os autores demonstram que o gPRM sofre de um severo desvio de distribuição no comprimento da CoT devido à filtragem por consenso, que poda cadeias de raciocínio longas e complexas, levando a um descompasso entre as distribuições de treinamento e teste.

Resultados

Domínio Matemático: Os resultados alinham-se com trabalhos anteriores: dPRM supera o dORM, e modelos generativos (gORM/gPRM) geralmente superam os discriminativos.
Domínios Multi-domínio e Especializados:
- dORM vs. dPRM: dORM alcança desempenho comparável ao dPRM, sugerindo que a supervisão ao nível de resultado é suficiente quando os rótulos de processo são ruidosos ou os domínios são diversos.
- Superioridade do gORM: gORM supera consistentemente todas as outras variantes, incluindo o gPRM.
- Falha do gPRM: gPRM não consegue competir, em grande parte devido ao acúmulo de erros na pontuação passo a passo e à incapacidade de lidar com trajetórias de raciocínio longas e de autocorreção.
Robustez: gORM demonstra superior robustez ao ruído de rótulo e variações no comprimento da CoT em comparação às variantes de PRM.

Significância e Alegações

O artigo argumenta que a suposição de que "supervisão refinada é sempre melhor" não se sustenta em cenários multi-domínio. Os autores afirmam que a verificação de resultado generativa (gORM) é a estratégia mais confiável para implantar TTS em domínios diversos e de alto risco.

Principais implicações destacadas pelos autores incluem:

Reavaliação dos PRMs: O mecanismo de agregação passo a passo nos PRMs acumula erros conforme o comprimento do raciocínio aumenta, tornando-os inadequados para domínios onde o raciocínio longo e complexo (incluindo autocorreção) é comum.
Diretrizes Práticas: Os autores fornecem recomendações específicas:
- Use gORM para domínios mistos/mutáveis, CoTs longas ou quando a confiabilidade é primordial (ex: médico/jurídico).
- Use dORM/dPRM apenas quando as CoTs forem curtas, os rótulos forem limpos e existam orçamentos estritos de latência/computação.
- Evite gPRM em cenários multi-domínio devido à sua sensibilidade a desvios de distribuição de comprimento e ruído de rótulo.

O trabalho conclui que, para implantação multi-domínio, a verificação de resultado generativa oferece um caminho mais robusto e consistente do que a supervisão baseada em processo, desafiando a tendência predominante em direção ao rotulagem granular de processos em tarefas de raciocínio complexas.