VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

Resumen Técnico: VerifyBench

1. El Problema

Los modelos de razonamiento a gran escala (LRMs) como OpenAI o1 y DeepSeek-R1 han demostrado un rendimiento excepcional en tareas complejas. Un componente crítico de su entrenamiento es el uso de sistemas de recompensa basados en referencias dentro del Aprendizaje por Refuerzo (RL). En estos sistemas, las salidas del modelo se evalúan comparándolas directamente con una respuesta de referencia (ground truth) para determinar si son correctas o incorrectas.

Sin embargo, existe una brecha significativa en la evaluación de estos sistemas:

• Los benchmarks actuales de recompensa (como RewardBench o RM-Bench) se centran casi exclusivamente en comparaciones de preferencia (determinar cuál de dos respuestas es mejor), en lugar de evaluar la verificación absoluta contra una verdad de referencia.
• Esta falta de benchmarks dedicados impide evaluar, comparar y mejorar eficazmente las metodologías de verificación utilizadas en el entrenamiento de modelos de razonamiento, limitando el progreso en este campo.

2. Metodología

Los autores presentan VerifyBench y su variante más desafiante, VerifyBench-Hard, diseñados específicamente para evaluar la precisión de los sistemas de recompensa basados en referencias.

Construcción del Dataset:

• Recopilación de Datos: Se curaron 41 fuentes de datos abiertas cubriendo tres dominios principales: razonamiento general, razonamiento lógico y razonamiento matemático.
• Tipos de Respuesta: Se definieron cuatro categorías canónicas: valores numéricos, expresiones algebraicas, selección múltiple y cadenas de texto libres.
• Generación de Completaciones: Se utilizaron 22 modelos (open-source y propietarios) para generar respuestas a las preguntas curadas.
• Anotación Humana Rigurosa:
  • Cada instancia fue revisada por al menos dos anotadores humanos.
  • Se resolvió cualquier discrepancia mediante un meta-anotador.
  • Se eliminaron sesgos mediante un muestreo controlado para equilibrar las categorías de respuesta y la corrección (correcto/incorrecto).

Diferenciación de los Benchmarks:

• VerifyBench: Contiene 1,000 preguntas únicas (2,000 pares pregunta-completación) con una distribución equilibrada y natural. Cada pregunta tiene una completación correcta y una incorrecta.
• VerifyBench-Hard: Diseñado para casos difíciles donde los modelos de alto rendimiento muestran desacuerdo. Se seleccionaron 945 preguntas basadas en patrones de desacuerdo entre múltiples modelos, resultando en una mayor proporción de casos difíciles de verificar (sesgo hacia completaciones incorrectas que los modelos tienden a aceptar erróneamente).

Evaluación:
Se evaluaron tres tipos de enfoques:

1. Funciones basadas en reglas: (ej. math-verify).
2. LLM como Juez (LLM-as-a-judge): Modelos generales (GPT-4o, Llama, Qwen) evaluando la corrección con y sin la respuesta de referencia.
3. Verificadores basados en modelos: Modelos especializados entrenados para tareas de verificación (ej. xVerify, CompassVerifier).

3. Contribuciones Clave

1. VerifyBench: El primer benchmark estandarizado diseñado para evaluar objetivamente la precisión de los sistemas de recompensa basados en referencias, alineándose con los escenarios reales de RL para modelos de razonamiento.
2. VerifyBench-Hard: Una variante de alta dificultad que identifica casos límite donde los verificadores actuales fallan, empujando los límites de las capacidades actuales.
3. Análisis Empírico Exhaustivo: Proporciona una descomposición detallada de los errores por tipo de respuesta y dominio, revelando patrones de fallo específicos (ej. problemas con números complejos, ecuaciones no simplificadas o consistencia semántica).
4. Correlación con RL: Demostración experimental de que la precisión en VerifyBench se correlaciona directamente con la mejora en el rendimiento de modelos entrenados con RL.

4. Resultados Principales

• Rendimiento General: Los modelos grandes (LLMs) muestran un alto rendimiento en VerifyBench estándar (ej. Qwen3-32B alcanza ~95.8% de precisión). Sin embargo, el rendimiento cae drásticamente en VerifyBench-Hard, donde la mejor precisión alcanza solo el ~72.4%, indicando un margen significativo de mejora.
• Importancia de la Referencia: El uso de la respuesta de referencia en el prompt es crucial. Sin ella, el rendimiento de los LLMs como jueces cae entre un 5% y un 18%, subrayando que la verificación basada en referencias es un mecanismo de supervisión más robusto que la inferencia pura.
• Modelos Pequeños: Los modelos con menos de 3B de parámetros tienen un rendimiento deficiente en tareas de verificación, lo que plantea desafíos para su uso eficiente como verificadores en RL debido a la necesidad de inferencia rápida.
• Análisis de Errores: Los errores más frecuentes ocurren en:
  • Valores Numéricos: Números complejos o múltiples valores sin orden específico.
  • Expresiones: Fórmulas algebraicas donde la falta de simplificación lleva a falsos negativos.
  • Cadenas: Verificación de consistencia semántica.
• Impacto en RL: En experimentos de entrenamiento por RL (usando GRPO), los verificadores con mayor precisión en VerifyBench (como gpt-oss-20b) produjeron mejoras significativas en tareas downstream (MATH500, AMC23), mientras que verificadores con menor precisión degradaron el rendimiento del modelo.

5. Significado e Impacto

Este trabajo cierra una brecha crítica en la evaluación de sistemas de recompensa para modelos de razonamiento. Al establecer un marco estandarizado para la verificación basada en referencias, VerifyBench permite:

• Identificar y corregir sesgos en los sistemas de recompensa actuales.
• Guiar el desarrollo de verificadores más precisos y eficientes.
• Mejorar la calidad del entrenamiento por Refuerzo (RL) en modelos de razonamiento, asegurando que las señales de recompensa sean fiables y basadas en la verdad objetiva.

En resumen, el artículo demuestra que la capacidad de verificar la corrección absoluta de una respuesta es un factor determinante para el éxito del entrenamiento de modelos de razonamiento avanzados, y ofrece las herramientas necesarias para medir y mejorar esta capacidad.