Resumen Técnico: Escalado del Cómputo en Tiempo de Evaluación con Modelos de Razonamiento como Evaluadores

Declaración del Problema

El artículo aborda una brecha en el paradigma actual de desarrollo de Modelos de Lenguaje (LM). Si bien está bien establecido que escalar el "cómputo en tiempo de prueba" (por ejemplo, generar largas cadenas de pensamiento, CoT, o muestrear múltiples candidatos) mejora significativamente las capacidades de resolución de problemas de los generadores, sigue sin estar claro si este principio de escalado se aplica a los evaluadores. Los evaluadores actuales a menudo dependen de la puntuación directa (Modelos de Recompensa de Resultados, ORMs) o de razonamiento CoT breve (Modelos de Recompensa de Proceso, PRMs) sin aprovechar plenamente la potencia computacional disponible en tiempo de inferencia. Los autores preguntan: ¿Puede mejorarse la capacidad de evaluación de un LM escalando el cómputo en tiempo de prueba, y puede esta evaluación mejorada mejorar posteriormente el rendimiento del generador?

Metodología

Los autores proponen un marco para el Escalado en Tiempo de Evaluación utilizando Evaluadores de Razonamiento. A diferencia de los evaluadores directos tradicionales que predicen puntuaciones sin razonamiento o de los evaluadores generativos ajustados finamente con CoTs cortos, los evaluadores de razonamiento son modelos de razonamiento listos para usar (entrenados mediante RL o destilación para producir CoTs largos) instruidos para actuar como jueces.

La metodología involucra tres componentes centrales:

1. Evaluadores de Resultados de Razonamiento: El modelo genera un CoT largo para analizar toda la respuesta antes de predecir una puntuación de corrección (0 o 1). La puntuación se deriva de los logits de los tokens de predicción.
2. Evaluadores de Proceso de Razonamiento: El modelo evalúa la respuesta paso a paso.
   • Evaluación Multietapa: En lugar de generar un solo CoT para toda la respuesta, el evaluador evalúa cada paso de razonamiento individualmente, generando un CoT y un juicio distintos para cada uno.
   • División Basada en Modelos: Para manejar salidas no estructuradas (por ejemplo, código), los autores utilizan un LM para insertar marcadores [SPLIT] entre pasos, en lugar de depender de la división heurística por saltos de línea.
   • Agregación: Las puntuaciones paso a paso se agregan utilizando una función mean_logit en lugar de un mínimo simple, lo cual demostró ser más efectivo en los experimentos.
3. Evaluación Combinada: La puntuación final es una interpolación ponderada de la puntuación de resultado y la puntuación de proceso agregada ($s_{final} = \alpha \cdot s_{outcome} + (1-\alpha) \cdot s_{process}$), con $\alpha=0.5$ utilizado para equilibrar ambas señales.

Los autores comparan estos evaluadores de razonamiento contra:

• Evaluadores Directos: PRMs y ORMs estándar que predicen puntuaciones directamente sin CoT.
• Evaluadores de Razonamiento de Un Solo Paso: Modelos que generan un CoT para juzgar todos los pasos simultáneamente (una ablación de su método propuesto).

Contribuciones Clave

1. Demostración del Escalado en Tiempo de Evaluación: El artículo establece que obligar a los evaluadores a generar más tokens de razonamiento (escalando el cómputo en tiempo de evaluación) conduce a mejoras monótonas en el rendimiento de la evaluación.
2. Superioridad de la Evaluación de Proceso Multietapa: Los autores muestran que evaluar cada paso individualmente (multietapa) es significativamente más efectivo que la evaluación de un solo paso o la autoconsistencia (generar múltiples CoTs para la misma tarea) bajo presupuestos de cómputo fijos.
3. Rendimiento Zero-Shot: Los evaluadores de razonamiento, que no están entrenados explícitamente como evaluadores, superan a los PRMs altamente ajustados finamente de última generación (por ejemplo, un evaluador de razonamiento de 32B supera a un PRM de 72B en ProcessBench) únicamente mediante el escalado en tiempo de prueba.
4. Mejora del Generador mediante Evaluación: El artículo demuestra que asignar más cómputo a la evaluación (usando Best-of-8 con evaluadores de razonamiento) produce un mejor rendimiento del generador que asignar ese mismo cómputo a generar más candidatos (Best-of-64 con evaluadores directos). Esto sugiere que un evaluador más fuerte y con mayor intensidad computacional mitiga la "sobreoptimización del modelo de recompensa".

Resultados Experimentales

Evaluación de Proceso (ProcessBench)

• Métrica: Puntuación F1 en la identificación del primer paso erróneo en una solución.
• Hallazgos:
  • Los modelos de razonamiento (por ejemplo, DeepSeek-R1-Distill-Qwen-32B) superan significativamente a los modelos ajustados con instrucciones de tamaños similares o mayores.
  • Multietapa vs. Un Solo Paso: La evaluación de proceso multietapa produce ganancias sustanciales sobre los métodos de un solo paso. Por ejemplo, el modelo de razonamiento de 32B logró un F1 de 78.6 con evaluación multietapa, superando al Qwen2.5-Math-PRM de 72B (78.3), que era el estado del arte anterior.
  • Autoconsistencia: Aunque la autoconsistencia ayuda, la evaluación multietapa proporciona beneficios complementarios. Combinar ambas arroja las puntuaciones más altas (por ejemplo, 82.8 para el modelo de 32B).

Resolución de Problemas (Muestreo Best-of-N)

• Configuración: Los generadores (Eurus-2, Llama-3.1-70B, Qwen2.5-7B) generan $N$ respuestas. Los evaluadores las clasifican.
• Comparación: Evaluadores de razonamiento (Best-of-8) frente a evaluadores directos (Best-of-64) bajo un presupuesto total de cómputo fijo.
• Hallazgos:
  • Los evaluadores de razonamiento que utilizan Best-of-8 superan a los evaluadores directos que utilizan Best-of-64 entre un 4.30% y un 6.63% en los puntos de referencia (AIME, MATH, LeetCode, etc.).
  • Rendimiento en Código: Los evaluadores de razonamiento muestran ganancias particularmente fuertes en tareas de codificación (LeetCode), donde los PRMs directos a menudo sufren de sobreoptimización y mala transferencia de dominio.
  • Puntuaciones Combinadas: Integrar las puntuaciones de proceso y resultado aumenta aún más el rendimiento, actuando como desempate para respuestas que los evaluadores de resultados no pueden distinguir.

Autoevaluación

• El artículo también explora el uso de un modelo de razonamiento para generar y evaluar sus propias salidas. Los resultados indican que los modelos de razonamiento pueden autoevaluarse eficazmente, recuperando una parte significativa de la brecha entre su rendimiento Best-of-1 y el de la oráculo, a menudo superando a los generadores ajustados con instrucciones evaluados por el mismo modelo de razonamiento.

Significado y Afirmaciones

El artículo afirma que el escalado en tiempo de evaluación es una estrategia viable y poderosa que paralela el escalado en tiempo de prueba para los generadores. El significado principal radica en el hallazgo de que gastar más cómputo en la evaluación puede ser más efectivo que gastarlo en la generación para un presupuesto fijo.

Los autores argumentan que:

1. La Capacidad de Razonamiento se Transfiere: La capacidad de razonar (mediante CoT largos) no es solo para resolver problemas, sino que es intrínseca a una evaluación de alta calidad.
2. Robustez: Los evaluadores de razonamiento son menos propensos a la sobreoptimización del modelo de recompensa, proporcionando señales más robustas para seleccionar al mejor candidato.
3. Generalización: Este enfoque funciona en los dominios de matemáticas y código e incluso se extiende a modelos no de razonamiento cuando se les instruye para evaluar paso a paso.

El artículo concluye que, si bien los evaluadores de razonamiento actuales no están entrenados explícitamente para la evaluación, sus patrones de razonamiento nativos (autoverificación, retroceso) los convierten en jueces superiores. Se sugiere trabajo futuro para explorar el entrenamiento de estos modelos específicamente como evaluadores y extender la metodología a tareas no verificables como la escritura creativa.