RewardBench 2: Advancing Reward Model Evaluation

Resumo Técnico: REWARDBENCH 2

1. O Problema

Os Modelos de Recompensa (RMs) são componentes críticos no pós-treinamento de Modelos de Linguagem (LLMs), utilizados para capturar sinais sutis de preferências humanas e otimizar tarefas como seguimento de instruções, raciocínio e segurança. No entanto, o ecossistema de avaliação de RMs enfrenta desafios significativos:

• Falta de Correlação com Desempenho Real: A eficácia dos RMs em benchmarks de avaliação não se traduz consistentemente em melhor desempenho em tarefas downstream (como RLHF ou amostragem Best-of-N).
• Contaminação de Dados: Muitos benchmarks existentes reutilizam prompts e respostas de avaliações downstream já conhecidas, o que pode inflar artificialmente os scores e não testar a generalização do modelo.
• Simplificação Excessiva: Benchmarks anteriores muitas vezes usam apenas pares de "escolhido vs. rejeitado" (2 opções), o que torna a tarefa muito fácil para modelos fortes, com uma linha de base aleatória de 50%, limitando a capacidade de distinguir nuances entre modelos avançados.
• Ineficiência de Alinhamento Direto: Em muitos casos, algoritmos de alinhamento direto (como DPO) superam métodos que dependem de RMs complexos, sugerindo que a avaliação atual não está capturando as capacidades necessárias para o treinamento eficaz.

2. Metodologia

O REWARDBENCH 2 foi construído para ser um benchmark mais rigoroso, baseado em precisão (accuracy) e correlacionado com o desempenho downstream.

• Coleta de Dados e Prompting:
  • Utiliza predominantemente prompts humanos não vistos anteriormente (da pipeline WildChat), garantindo independência das avaliações downstream.
  • Total de 1.865 prompts filtrados manualmente e programaticamente.
• Estrutura de Avaliação (Best-of-4):
  • Diferente do padrão anterior (escolher entre 2), o REWARDBENCH 2 apresenta 4 completions por prompt: 1 correta (escolhida) e 3 incorretas (rejeitadas/distrações).
  • Isso reduz a linha de base aleatória para 25%, aumentando o "espaço" para melhoria e tornando a avaliação mais desafiadora.
• Seis Domínios de Avaliação:
  1. Factuality: Detecção de alucinações e erros factuais (usando verificação dupla com LLMs).
  2. Precise Instruction Following (IF): Seguimento de restrições estritas (ex: "não use a letra 'u'"), verificado por funções de verificador.
  3. Math: Raciocínio matemático em prompts abertos (de física escolar a cálculo), com verificação por votação majoritária e validação manual.
  4. Safety: Capacidade de recusar ou cumprir prompts de uso nocivo, baseada na taxonomia CoCoNot.
  5. Focus: Detecção de respostas de alta qualidade e no tópico, versus respostas fora do assunto.
  6. Ties (Empates): Um novo domínio onde múltiplas respostas são corretas (ex: "nomeie uma cor do arco-íris"). O RM deve ser calibrado para não expressar preferências arbitrárias entre respostas válidas, mas ainda preferir respostas corretas às incorretas.
• Métricas:
  • A métrica principal é a acurácia (selecionar a resposta correta entre 4).
  • Para o domínio Ties, usa-se uma pontuação ponderada que considera a precisão e a calibração das margens de recompensa entre respostas equivalentes.

3. Contribuições Principais

1. Benchmark Desafiador e Correlacionado: O REWARDBENCH 2 é significativamente mais difícil que o RewardBench original. Modelos líderes no RewardBench caem em média 20 pontos no REWARDBENCH 2. Apesar da dificuldade, os scores mantêm alta correlação com o desempenho downstream.
2. Análise de Treinamento Controlado: Os autores treinaram 120 novos RMs para analisar o impacto de hiperparâmetros, modelos base e dados de treinamento. Descobriram que:
   • Treinar por mais de uma época (ex: 2 épocas) pode ser benéfico, contrariando a prática comum de apenas uma época.
   • A escolha do modelo base e dos dados de preferência (Tulu vs. Skywork) afeta desigualmente os domínios (ex: dados Skywork ajudam em Safety, dados Tulu em Factuality).
3. Descoberta Crítica sobre RLHF (On-Policy vs. Off-Policy):
   • Para Best-of-N (BoN): O score do benchmark correlaciona-se fortemente com o desempenho downstream, independentemente do modelo.
   • Para RLHF (PPO): Existe uma dependência crítica de alinhamento de linhagem. Se o RM e o modelo de política (policy) não forem da mesma linhagem (ex: RM baseado em Llama treinando um policy Tulu), o desempenho downstream degrada drasticamente, mesmo que o RM tenha um score alto no benchmark.
4. Viés de Preferência do Modelo Base: Evidências mostram que RMs tendem a favorecer levemente as saídas geradas pelo seu próprio modelo base (ou linhagem), destacando a necessidade de pools de modelos diversos para avaliação justa.

4. Resultados Chave

• Desempenho dos Modelos: Modelos existentes de ponta (como Skywork-Reward-V2 e Gemini) obtiveram scores médios entre 72% e 84% no REWARDBENCH 2, mas com grandes variações por domínio (ex: <40% em Precise IF para alguns modelos).
• Correlação com Inferência (BoN): Houve uma correlação de Pearson de 0.87 entre os scores do REWARDBENCH 2 e o desempenho em tarefas downstream usando amostragem Best-of-N.
• Correlação com Treinamento (PPO):
  • Para modelos On-Policy (mesma linhagem), o desempenho do PPO satura rapidamente para modelos com scores moderados a altos no benchmark.
  • Para modelos Off-Policy (linhagem diferente), mesmo os RMs com os maiores scores no benchmark falham em melhorar o modelo de política, resultando em desempenho inferior ao baseline.
• Validação de Dados: O uso de prompts não vistos e a estrutura de 4 opções eliminaram a contaminação e forçaram uma discriminação mais fina entre modelos.

5. Significância e Impacto

O REWARDBENCH 2 representa um avanço crucial na avaliação de Modelos de Recompensa ao:

• Estabelecer Novas Melhores Práticas: Demonstrar que a avaliação de RMs deve considerar o contexto de uso (inferência vs. treinamento). Um RM "melhor" em um benchmark genérico não é necessariamente o melhor para um pipeline de RLHF específico.
• Alertar sobre a "Armadilha" do Benchmark: O artigo adverte que simplesmente escolher o modelo com o maior score no REWARDBENCH 2 para RLHF pode ser prejudicial se não houver alinhamento de linhagem com o modelo de política.
• Fornecer Dados de Alta Qualidade: A liberação de prompts humanos não vistos e a estrutura de avaliação rigorosa oferecem um padrão ouro para a comunidade desenvolver RMs mais robustos e generalizáveis.
• Influenciar o Futuro do Alinhamento: Os resultados sugerem que a avaliação de RMs precisa evoluir de métricas estáticas de precisão para avaliações situacionais que consideram a compatibilidade com o modelo alvo e o algoritmo de treinamento.

Em suma, o REWARDBENCH 2 não é apenas um novo conjunto de dados, mas uma reestruturação fundamental de como a comunidade deve avaliar e selecionar modelos de recompensa, enfatizando que a correlação com o downstream é condicional ao setup de treinamento.