VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

1. Problema e Motivação

O avanço recente de Grandes Modelos de Raciocínio (LRMs), como o OpenAI o1 e o DeepSeek-R1, depende criticamente de sistemas de recompensa baseados em referência durante o treinamento por Aprendizado por Reforço (RL). Diferentemente dos modelos tradicionais de RLHF (Reinforcement Learning from Human Feedback), que avaliam preferências relativas entre duas respostas, os LRMs utilizam recompensas baseadas na verificação da correspondência exata entre a saída do modelo e uma resposta de referência (ground truth).

No entanto, existe uma lacuna crítica na literatura: os benchmarks existentes de modelos de recompensa (como RewardBench ou RM-Bench) focam quase exclusivamente em comparações de preferência par a par (qual resposta é melhor?). Eles não avaliam a capacidade de um sistema de recompensa de verificar a corretude absoluta de uma única resposta contra uma referência. Isso impede a avaliação precisa e o aprimoramento dos sistemas de verificação usados no treinamento de modelos de raciocínio de ponta.

2. Metodologia: Construção dos Benchmarks

Os autores introduzem dois novos benchmarks: VerifyBench e sua variante desafiadora VerifyBench-Hard.

A. VeriBench (Versão Padrão)

• Objetivo: Avaliar a precisão de sistemas de recompensa baseados em referência em cenários distribuídos naturalmente.
• Coleta de Dados: Agregação de 41 fontes de dados abertas cobrindo raciocínio geral, lógico e matemático.
• Tipos de Resposta: As perguntas foram categorizadas em quatro tipos principais: Valores Numéricos, Expressões Algébricas, Múltipla Escolha e Strings (texto livre).
• Geração e Anotação:
  • 22 modelos (open-source e proprietários) geraram respostas para um conjunto de 8.000 questões.
  • Um modelo LLM (Llama-3.3-70B) fez uma pré-anotação de correção.
  • Anotação Humana Rigorosa: Cada questão foi anotada por pelo menos dois humanos para validar o tipo de resposta e a correção (Verdadeiro/Falso). Discordâncias foram resolvidas por um meta-anotador.
• Estrutura Final: O dataset final contém 1.000 questões únicas, cada uma com exatamente duas completions (uma correta e uma incorreta), totalizando 2.000 pares, garantindo equilíbrio e minimizando viés de classe.

B. VeriBench-Hard (Versão Desafiadora)

• Objetivo: Testar os limites dos sistemas de verificação em casos ambíguos ou onde modelos de alto desempenho discordam.
• Seleção de Dados:
  • Geração de ~1,45 milhão de completions usando 18 modelos open-source.
  • Filtragem por Discordância: Foram selecionados apenas os casos onde 5 modelos de ponta (incluindo Llama-3.3-70B, Qwen2.5-72B, etc.) apresentaram julgamentos conflitantes (ex: 2 modelos dizem "correto" e 3 dizem "incorreto", ou vice-versa).
  • Anotação humana subsequente para garantir o rótulo de verdade.
• Características: Este conjunto é mais difícil, com uma distribuição natural de erros onde modelos maiores tendem a aceitar incorretamente respostas erradas.

3. Contribuições Principais

1. Novo Paradigma de Avaliação: Propõem uma mudança de foco de "preferência relativa" para "verificação absoluta baseada em referência", alinhando-se melhor com a realidade do treinamento de LRMs.
2. Benchmarks de Alta Qualidade: Criação de VerifyBench e VerifyBench-Hard com curadoria meticulosa e anotação humana de alta fidelidade, cobrindo múltiplos domínios e formatos de resposta.
3. Análise Empírica Abrangente: Avaliação de diversas abordagens, desde funções baseadas em regras (ex: math-verify) até modelos LLM como juízes (LLM-as-a-Judge) e verificadores especializados treinados.
4. Correlação com RL: Demonstração prática de que a performance em VerifyBench correlaciona-se diretamente com a melhoria de modelos treinados via RL.

4. Resultados Chave

• Desempenho Geral: Modelos grandes (ex: GPT-4o, Qwen3-32B) atingem alta precisão (>90%) no VerifyBench padrão, mas sofrem significativamente no VerifyBench-Hard, onde a precisão máxima cai para cerca de 72-87%, indicando um grande espaço para melhoria.
• Impacto da Resposta de Referência: Uma ablação mostrou que remover a resposta de referência do prompt degrada a performance dos LLMs em 5-18%, confirmando que a referência é crucial para a verificação precisa.
• Modelos Pequenos vs. Grandes: Modelos menores (<3B parâmetros) têm desempenho inferior no benchmark, o que é problemático para cenários de RL onde a eficiência de inferência do verificador é crítica.
• Análise de Erros: Os erros mais frequentes ocorrem em:
  • Números complexos ou múltiplos valores (ordem irrelevante vs. ordem estrita).
  • Expressões matemáticas não simplificadas (diferenças superficiais em fórmulas equivalentes).
  • Consistência semântica em strings.
• Validação Prática (RL): Experimentos de RL (usando GRPO) mostraram que usar verificadores com alta performance no VerifyBench (como gpt-oss-20b) leva a ganhos significativos em tarefas downstream (MATH500, AMC23), enquanto verificadores com baixa performance no benchmark podem degradar o modelo treinado devido a sinais de recompensa enviesados.

5. Significado e Impacto

O VerifyBench preenche uma lacuna fundamental na avaliação de sistemas de recompensa para modelos de raciocínio. Ao fornecer um framework padronizado para medir a precisão da verificação baseada em referência, o trabalho permite:

• Identificar e corrigir falhas específicas em verificadores (ex: rigidez excessiva em fórmulas matemáticas).
• Guiar o desenvolvimento de verificadores menores e mais eficientes para uso em RL.
• Estabelecer uma base para melhorar a confiabilidade do treinamento de modelos de raciocínio via RLVR (Reinforcement Learning with Verifiable Rewards), reduzindo o risco de "reward hacking" e melhorando a capacidade de raciocínio lógico e matemático dos modelos.

Em suma, o artigo fornece as ferramentas e a metodologia necessárias para evoluir de sistemas de recompensa baseados em preferência para sistemas baseados em verificação de verdade, um passo essencial para a próxima geração de modelos de IA raciocinadores.