RewardBench 2: Advancing Reward Model Evaluation

Resumen Técnico: REWARDBENCH 2

1. El Problema

Los modelos de recompensa (Reward Models o RMs) son componentes críticos en el entrenamiento posterior de modelos de lenguaje (LLMs), utilizados para capturar señales matizadas de datos de preferencia humana y optimizar tareas como el seguimiento de instrucciones, el razonamiento y la seguridad (RLHF). Sin embargo, el ecosistema de evaluación de estos modelos presenta deficiencias significativas:

• Falta de correlación con el rendimiento real: Aunque existen benchmarks como RewardBench, el progreso en las métricas de evaluación no se ha traducido en una mayor efectividad de los modelos de recompensa en tareas de downstream (como RLHF o muestreo Best-of-N). De hecho, algoritmos de alineación directa más simples a menudo superan a los modelos optimizados con RMs.
• Contaminación de datos: Muchos benchmarks existentes reutilizan prompts de evaluaciones de downstream, lo que genera un riesgo de contaminación y sobreajuste, impidiendo una evaluación rigurosa.
• Simplificación excesiva: Las evaluaciones actuales a menudo se basan en comparaciones binarias (elegido vs. rechazado) con prompts fáciles, lo que no distingue bien entre modelos de alto rendimiento y la línea base aleatoria.
• Desconocimiento de factores contextuales: No está claro cómo el rendimiento en un benchmark general se traduce en diferentes configuraciones de entrenamiento (ej. si el modelo de política y el RM provienen de la misma "linaje" o familia de modelos).

2. Metodología

El equipo presenta REWARDBENCH 2, un nuevo benchmark diseñado para ser más desafiante, preciso y correlacionado con el rendimiento downstream.

• Construcción de Datos:

  • Prompts No Vistos: A diferencia de trabajos anteriores, REWARDBENCH 2 utiliza principalmente prompts humanos no publicados y no vistos, extraídos de la tubería WildChat (con consentimiento de usuarios), evitando la contaminación con evaluaciones de downstream.
  • Formato de Evaluación: Se utiliza un formato de "Best-of-4" (1 respuesta elegida vs. 3 rechazadas) en lugar del binario tradicional. Esto reduce la línea base aleatoria del 50% al 25%, aumentando la dificultad y la capacidad de discriminación.
  • Filtrado Riguroso: Se aplicaron filtros manuales, programáticos y basados en LLMs para asegurar la calidad y la adherencia a los criterios de cada dominio.

• Los 6 Dominios del Benchmark:

  1. Factuality (Hechos): Detecta alucinaciones y errores factuales sutiles.
  2. Precise Instruction Following (Seguimiento Preciso): Evalúa la adherencia a restricciones estrictas (ej. "no usar la letra 'u'").
  3. Math (Matemáticas): Problemas abiertos desde nivel escolar hasta universitario.
  4. Safety (Seguridad): Capacidad de rechazar o cumplir adecuadamente con solicitudes dañinas.
  5. Focus (Enfoque): Distingue respuestas relevantes de respuestas fuera de tema o irrelevantes.
  6. Ties (Empates): Un nuevo dominio que prueba la calibración del RM cuando hay múltiples respuestas correctas válidas (ej. "nombra un color del arcoíris"), evaluando si el modelo evita preferencias arbitrarias entre respuestas correctas.

• Métricas:

  • La métrica principal es la precisión (accuracy) para la mayoría de los dominios.
  • Para el dominio Ties, se utiliza una puntuación ponderada que considera tanto la precisión como la calibración de los márgenes de recompensa entre respuestas correctas e incorrectas.

3. Contribuciones Clave

1. Benchmark Desafiante y Correlacionado: REWARDBENCH 2 es significativamente más difícil que RewardBench (los modelos líderes bajan ~20 puntos en promedio), pero mantiene una alta correlación con el rendimiento en tareas de inferencia y entrenamiento.
2. Análisis de Entrenamiento de RMs: Realizaron experimentos controlados entrenando sus propios modelos de recompensa, descubriendo que:
   • El linaje del modelo base es crucial: Un RM basado en una familia de modelos (ej. Llama) funciona mejor si se usa para entrenar una política de la misma familia.
   • Más de una época: Contrario a la práctica común de entrenar solo 1 época para evitar sobreajuste, encontraron que entrenar 2 épocas puede mejorar el rendimiento en ciertos casos sin dañar el rendimiento downstream.
   • La combinación de datos de preferencia (ej. Tulu + Skywork) mejora el rendimiento general.
3. Correlación con Downstream:
   • Best-of-N (Inferencia): Existe una fuerte correlación (Pearson 0.87) entre la puntuación en REWARDBENCH 2 y el rendimiento en muestreo Best-of-N.
   • RLHF (PPO): La correlación es condicional. Si el RM y la política comparten el mismo linaje y distribución de datos, el benchmark es útil. Si hay una desalineación (RM de una familia diferente o datos de entrenamiento fuera de distribución), el rendimiento en RLHF cae drásticamente, incluso si el RM tiene una puntuación alta en el benchmark.

4. Resultados Principales

• Rendimiento de Modelos Existentes: Los modelos de recompensa más avanzados (como Skywork-Reward-V2 o ContextualAI/LMUnit) obtienen puntuaciones promedio de ~80 en REWARDBENCH 2, pero luchan en subconjuntos específicos como Precise Instruction Following (<40% de precisión) y Math (<70%).
• Comparación con RewardBench: Mientras que en RewardBench los modelos obtienen puntuaciones altas, en REWARDBENCH 2 las puntuaciones son mucho más bajas y discriminativas, revelando debilidades ocultas.
• Hallazgo Crítico en RLHF: Los modelos que obtienen las puntuaciones más altas en el benchmark no siempre son los mejores para RLHF si no comparten el linaje con la política. Por ejemplo, un RM de Llama entrenado con datos Skywork puede fallar al guiar una política Tulu (basada en Llama), a pesar de tener una puntuación de benchmark alta.
• Correlación con Best-of-N: El benchmark es un predictor robusto para la selección de respuestas en tiempo de inferencia (Best-of-N), independientemente del linaje, lo que lo hace ideal para esta tarea específica.

5. Significado e Impacto

• Nuevas Mejores Prácticas: El trabajo establece que la evaluación de modelos de recompensa no puede ser unidimensional. Se debe considerar el contexto de uso (inferencia vs. entrenamiento RLHF) y la compatibilidad del linaje del modelo.
• Guía para la Selección de Modelos: Para aplicaciones de Best-of-N, se puede confiar en la puntuación del benchmark para elegir el mejor modelo "out-of-the-box". Sin embargo, para RLHF (PPO), no basta con elegir el modelo con la puntuación más alta; se debe replicar la "receta" (linaje y datos de entrenamiento) del modelo ganador en el flujo de trabajo específico del usuario.
• Evolución de la Evaluación: REWARDBENCH 2 marca un paso hacia evaluaciones basadas en precisión objetiva con prompts no vistos, alejándose de las preferencias subjetivas o datos contaminados, y proporcionando una base más sólida para el desarrollo de sistemas de alineación más robustos.

En conclusión, REWARDBENCH 2 no solo ofrece un estándar de evaluación más riguroso, sino que también revela matices críticos sobre cómo los modelos de recompensa interactúan con las políticas de lenguaje, advirtiendo contra la selección ciega de modelos basada únicamente en puntuaciones de benchmark sin considerar el contexto de implementación.