Resumo Técnico: Escalonamento do Computação no Tempo de Avaliação com Modelos de Raciocínio como Avaliadores

Declaração do Problema

O artigo aborda uma lacuna no paradigma atual de desenvolvimento de Modelos de Linguagem (LM). Embora seja bem estabelecido que o escalonamento da "computação no tempo de teste" (por exemplo, gerar longas cadeias de pensamento, CoT, ou amostrar múltiplos candidatos) melhora significativamente as capacidades de resolução de problemas dos geradores, permanece incerto se esse princípio de escalonamento se aplica aos avaliadores. Os avaliadores atuais frequentemente dependem de pontuação direta (Modelos de Recompensa de Resultado, ORMs) ou raciocínio CoT curto (Modelos de Recompensa de Processo, PRMs), sem aproveitar plenamente o poder computacional disponível no momento da inferência. Os autores perguntam: a capacidade de avaliação de um LM pode ser melhorada escalonando a computação no tempo de teste, e essa avaliação aprimorada pode subsequentemente melhorar o desempenho do gerador?

Metodologia

Os autores propõem um framework para Escalonamento no Tempo de Avaliação usando Avaliadores de Raciocínio. Diferentemente dos avaliadores diretos tradicionais que preveem pontuações sem raciocínio ou de avaliadores generativos ajustados com CoTs curtos, os avaliadores de raciocínio são modelos de raciocínio prontos (treinados via RL ou destilação para produzir longas CoTs) instruídos a atuar como juízes.

A metodologia envolve três componentes principais:

1. Avaliadores de Resultado com Raciocínio: O modelo gera uma longa CoT para analisar a resposta inteira antes de prever uma pontuação de correção (0 ou 1). A pontuação é derivada dos logits dos tokens de previsão.
2. Avaliadores de Processo com Raciocínio: O modelo avalia a resposta passo a passo.
   • Avaliação Multi-etapa: Em vez de gerar uma única CoT para a resposta inteira, o avaliador avalia cada etapa de raciocínio individualmente, gerando uma CoT distinta e um julgamento para cada uma.
   • Divisão Baseada em Modelo: Para lidar com saídas não estruturadas (por exemplo, código), os autores usam um LM para inserir marcadores [SPLIT] entre as etapas, em vez de confiar em divisão heurística por novas linhas.
   • Agregação: As pontuações etapa a etapa são agregadas usando uma função mean_logit em vez de um mínimo simples, o que provou ser mais eficaz nos experimentos.
3. Avaliação Combinada: A pontuação final é uma interpolação ponderada da pontuação de resultado e da pontuação de processo agregada ($s_{final} = \alpha \cdot s_{outcome} + (1-\alpha) \cdot s_{process}$), com $\alpha=0.5$ usado para equilibrar ambos os sinais.

Os autores comparam esses avaliadores de raciocínio com:

• Avaliadores Diretos: PRMs e ORMs padrão que preveem pontuações diretamente sem CoT.
• Avaliadores de Raciocínio de Etapa Única: Modelos que geram uma CoT para julgar todas as etapas simultaneamente (uma ablação do método proposto).

Principais Contribuições

1. Demonstração do Escalonamento no Tempo de Avaliação: O artigo estabelece que forçar avaliadores a gerar mais tokens de raciocínio (escalando a computação no tempo de avaliação) leva a melhorias monotônicas no desempenho de avaliação.
2. Superioridade da Avaliação de Processo Multi-etapa: Os autores mostram que avaliar cada etapa individualmente (multi-etapa) é significativamente mais eficaz do que a avaliação de etapa única ou autoconsistência (gerar múltiplas CoTs para a mesma tarefa) sob orçamentos de computação fixos.
3. Desempenho Zero-Shot: Avaliadores de raciocínio, que não são explicitamente treinados como avaliadores, superam PRMs altamente ajustados do estado da arte (por exemplo, um avaliador de raciocínio de 32B supera um PRM de 72B no ProcessBench) apenas através do escalonamento no tempo de teste.
4. Melhoria do Gerador via Avaliação: O artigo demonstra que alocar mais computação para avaliação (usando Best-of-8 com avaliadores de raciocínio) produz melhor desempenho do gerador do que alocar essa mesma computação para gerar mais candidatos (Best-of-64 com avaliadores diretos). Isso sugere que um avaliador mais forte e mais intensivo em computação mitiga a "otimização excessiva do modelo de recompensa".

Resultados Experimentais

Avaliação de Processo (ProcessBench)

• Métrica: Pontuação F1 na identificação da primeira etapa errônea em uma solução.
• Descobertas:
  • Modelos de raciocínio (por exemplo, DeepSeek-R1-Distill-Qwen-32B) superam significativamente modelos ajustados por instrução de tamanhos similares ou maiores.
  • Multi-etapa vs. Etapa Única: A avaliação de processo multi-etapa produz ganhos substanciais sobre métodos de etapa única. Por exemplo, o modelo de raciocínio de 32B alcançou um F1 de 78,6 com avaliação multi-etapa, superando o Qwen2.5-Math-PRM de 72B (78,3), que era o anterior estado da arte.
  • Autoconsistência: Embora a autoconsistência ajude, a avaliação multi-etapa fornece benefícios complementares. Combinar ambas produz as pontuações mais altas (por exemplo, 82,8 para o modelo de 32B).

Resolução de Problemas (Amostragem Best-of-N)

• Configuração: Geradores (Eurus-2, Llama-3.1-70B, Qwen2.5-7B) geram $N$ respostas. Avaliadores as classificam.
• Comparação: Avaliadores de raciocínio (Best-of-8) vs. Avaliadores diretos (Best-of-64) sob um orçamento total de computação fixo.
• Descobertas:
  • Avaliadores de raciocínio usando Best-of-8 superam avaliadores diretos usando Best-of-64 em 4,30% a 6,63% em benchmarks (AIME, MATH, LeetCode, etc.).
  • Desempenho em Código: Avaliadores de raciocínio mostram ganhos particularmente fortes em tarefas de codificação (LeetCode), onde PRMs diretos frequentemente sofrem de otimização excessiva e transferência de domínio pobre.
  • Pontuações Combinadas: Integrar pontuações de processo e de resultado aumenta ainda mais o desempenho, atuando como um desempate para respostas que avaliadores de resultado não conseguem distinguir.

Autoavaliação

• O artigo também explora o uso de um modelo de raciocínio para gerar e avaliar suas próprias saídas. Os resultados indicam que modelos de raciocínio podem se autoavaliar efetivamente, recuperando uma parte significativa da lacuna entre seu desempenho Best-of-1 e o desempenho oracular, muitas vezes superando geradores ajustados por instrução avaliados pelo mesmo modelo de raciocínio.

Significado e Alegações

O artigo alega que o escalonamento no tempo de avaliação é uma estratégia viável e poderosa que paralela o escalonamento no tempo de teste para geradores. O significado principal reside na descoberta de que gastar mais computação na avaliação pode ser mais eficaz do que gastá-la na geração para um orçamento fixo.

Os autores argumentam que:

1. Transferência de Capacidade de Raciocínio: A capacidade de raciocinar (via longa CoT) não é apenas para resolver problemas, mas é intrínseca à avaliação de alta qualidade.
2. Robustez: Avaliadores de raciocínio são menos propensos à otimização excessiva do modelo de recompensa, fornecendo sinais mais robustos para selecionar o melhor candidato.
3. Generalização: Esta abordagem funciona em domínios de matemática e código e até se estende a modelos não de raciocínio quando instruídos a avaliar passo a passo.

O artigo conclui que, embora os atuais avaliadores de raciocínio não sejam explicitamente treinados para avaliação, seus padrões nativos de raciocínio (autoverificação, retrocesso) os tornam juízes superiores. Sugere-se trabalho futuro para explorar o treinamento desses modelos especificamente como avaliadores e estender a metodologia para tarefas não verificáveis, como escrita criativa.