💻 computer science

Rethinking Reward Models for Multi-Domain Test-Time Scaling

Este artículo desafía la sabiduría convencional de que los modelos de recompensa de proceso de grano fino son superiores al presentar una evaluación unificada a través de 14 dominios, la cual revela que los modelos de recompensa de resultado generativos (gORM) son los que presentan un desempeño más robusto y consistente, mientras que los modelos de proceso generativos paso a paso sufren de la propagación de errores debido al ruido en las etiquetas.

Autores originales: Dong Bok Lee, Seanie Lee, Sangwoo Park, Minki Kang, Jinheon Baek, Dongki Kim, Dominik Wagner, Jiongdao Jin, Heejun Lee, Tobias Bocklet, Jinyu Wang, Jingjing Fu, Sung Ju Hwang, Jiang Bian, Lei Song

Publicado 2026-07-15

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dong Bok Lee, Seanie Lee, Sangwoo Park, Minki Kang, Jinheon Baek, Dongki Kim, Dominik Wagner, Jiongdao Jin, Heejun Lee, Tobias Bocklet, Jinyu Wang, Jingjing Fu, Sung Ju Hwang, Jiang Bian, Lei Song

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a resolver acertijos complicados. No solo quieres que el robot obtenga la respuesta correcta; quieres saber cómo llegó a ella. ¿Tomó un atajo? ¿Cometió un error, se dio cuenta y se corrigió a sí mismo? ¿O simplemente adivinó y tuvo suerte?

Para ayudar al robot a aprender, usamos un "Modelo de Recompensa" (Reward Model): piensa en él como un profesor estricto que califica el trabajo del robot. Durante mucho tiempo, los profesores más brillantes del mundo de las matemáticas fueron los Modelos de Recompensa de Proceso (PRMs). Estos profesores calificaban cada uno de los pasos del proceso de pensamiento del robot. Si el robot cometía un pequeño error en el paso 3, el profesor se detenía y decía: "¡Fin del juego, esto está mal!". La idea era que calificar cada paso era como tener una lupa; parecía que era la forma más detallada y útil de aprender.

Pero aquí está el giro: este artículo sugiere que para la mayoría de los acertijos del mundo real (como el derecho, la medicina o el conocimiento general), esa lupa podría estar cegando al profesor.

El Gran Experimento: 1eles 14 Mundos Diferentes

Los investigadores no solo analizaron problemas matemáticos. Probaron cuatro tipos diferentes de "profesores" a través de 14 dominios diversos (incluyendo derecho, biología, historia y psicología). Querían ver qué profesor era el mejor para ayudar al robot a elegir la mejor solución entre un grupo de conjeturas.

Los cuatro profesores eran:

El Calificador de Respuesta Final (dORM): Solo mira el resultado final. "¿Obtuviste la respuesta correcta? Sí/No".
El Calificador Paso a Paso (dPRM): Revisa cada paso. "Paso 1 es bueno, Paso 2 es malo, DETENTE".
El Calificador de Respuesta Final tipo Chatbot (gORM): Una IA inteligente que escribe una pequeña explicación y además da un veredicto final.
El Calificador Paso a Paso tipo Chatbot (gPRM): Una IA inteligente que escribe una explicación para cada uno de los pasos y los califica uno por uno.

Los Resultados Sorprendentes

En el mundo de las matemáticas, los profesores de Paso a Paso (PRMs) suelen ganar. Pero cuando los investigadores se movieron a los otros 13 dominios, los resultados se invirtieron:

El "Paso a Paso" tipo Chatbot (gPRM) fue el peor. Le costó seguir el ritmo.
El "Paso a Paso" de estilo Humano (dPRM) fue solo aceptable. Funcionó casi igual que el simple calificador de Respuesta Final.
El "Respuesta Final" tipo Chatbot (gORM) fue el campeón. Fue el más robusto, ofreciendo mejoras consistentes en cada uno de los domidades probados.

¿Por qué fallaron los profesores de Paso a Paso?

El artículo ofrece dos razones principales, y son bastante ingeniosas.

1. El Problema del Momento "¡Ahá!"
Imagina a un robot resolviendo un acertijo. Comete un error en el paso 2, pero luego se da cuenta: "¡Oh no, lo arruiné!", y lo corrige en el paso 3, logrando finalmente la respuesta correcta. Esto se llama un momento "¡Ahá!".

El Problema del PRM: Los profesores de Paso a Paso están entrenados para pensar que si un paso es erróneo, todo el proceso está mal. Son como un árbitro que toca el silbato en el segundo en que un jugador tropieza, incluso si el jugador se levanta y anota el gol de la victoria. El artículo muestra que, en estas pruebas multidominio, estos profesores a menudo pierden los momentos de recuperación "¡Ahá!" porque dejan de calificar demasiado pronto.
El Problema de la Longitud: Cuanto más larga es la cadena de pensamiento del robot, más probable es que el profesor de Paso a Paso cometa un error en su propia calificación. El artículo sugiere que a medida que la cadena de razonamiento se vuelve más larga, el error en la puntuación del profesor de Paso a Paso crece, haciéndolo menos confiable.

2. La Trampa de la "Etiqueta con Ruido"
En matemáticas, tenemos profesores humanos perfectos que califican cada paso a la perfección. Pero en derecho o medicina, es demasiado costoso contratar a humanos para que califiquen cada uno de los pasos del pensamiento de un robot. Por eso, usamos otras IA para calificar los pasos automáticamente.

El Problema: Estos calificadores automáticos cometen errores (ruido). El artículo encontró que los profesores de Paso a Paso son muy sensibles a estos errores. Si el calificador automático dice "El paso 3 es incorrecto" cuando en realidad es correcto, el profesor de Paso a Paso se confunde y falla.
El Ganador: Los profesores de Respuesta Final (especialmente la versión de Chatbot, gORM) son mucho más resistentes. Pueden ignorar el pequeño ruido en medio y enfocarse en si el resultado final tiene sentido.

El Fallo del "Filtro de Consenso"

Hay una razón más por la cual el Chatbot de Paso a Paso (gPRM) falló. Para entrenarlo, los investigadores usaron un método llamado "filtrado de consenso". Le pidieron a la IA que calificara sus propios pasos, pero si la calificación de la IA no coincidía con la "verdad fundamental" (la clave de respuestas), descartaban esos datos.

El Resultado: Este proceso descartó accidentalmente todas las cadenas de pensamiento largas y complicadas de tipo "¡Ahá!". Dejó al profesor solo con ejemplos cortos y simples para aprender. Cuando el profesor intentaba calificar un acertijo largo y complejo en el mundo real, estaba totalmente desprevenido. El artículo muestra que los datos de entrenamiento para este profesor eran muy diferentes a los datos de prueba, como enseñar a un estudiante solo con matemáticas de quinto grado y luego evaluarlo con cálculo de duodécimo grado.

La Conclusión

Si estás construyendo un sistema para ayudar a los robots a pensar a través de problemas complejos del mundo real (como casos legales o consejos médicos), no te obsesiones con calificar cada uno de los pasos.

El artículo sugiere que un Modelo de Recompensa de Resultado Generativo (gORM) —una IA inteligente que explica su razonamiento y da un veredicto final de "Sí/No" sobre la solución completa— es la herramienta más confiable. Es robusto, maneja mejor las cadenas de pensamiento largas y no se deja confundir por los datos con ruido.

Si bien los profesores de Paso a Paso (PRMs) son excelentes para las matemáticas donde tenemos etiquetas perfectas y problemas cortos, el artículo argumenta que para el mundo real, desordenado, largo y complejo, el profesor de la "Gran Imagen" (gORM) es el que quieres de tu lado.

Resumen Técnico: Replanteando los Modelos de Recompensa para el Escalamiento en Tiempo de Prueba Multidominio

Declaración del Problema

El escalamiento en tiempo de prueba (TTS, por sus siglas en inglés) permite que los Grandes Modelos de Lenguaje (LLMs) mejoren su fiabilidad mediante la generación de múltiples cadenas de razonamiento (CoT) y la selección del mejor candidato utilizando verificadores externos. Aunque los Modelos de Recompensa de Resultado (ORM) y los Modelos de Recompensa de Proceso (PRM) han mostrado éxito en dominios cercanos a las matemáticas, su eficacia en dominios más amplios y de alto riesgo (por ejemplo, legal, médico) sigue sin explorarse suficientemente. Además, la eficacia comparativa de las arquitecturas de verificadores discriminativos frente a los generativos en estos entornos multidominio no está clara. La literatura existente a menudo asume que la supervisión de proceso detallada (PRM) es universalmente superior, pero esta suposición depende fuertemente de conjuntos de datos específicos de matemáticas con anotaciones manuales de alta calidad.

Metodología

Los autores presentan la primera evaluación controlada y unificada de cuatro variantes de modelos de recompensa a través de 14 dominios diversos (incluyendo MMLU-Pro, GPQA-Diamond, MedQA y LEXam). Las cuatro variantes son:

dORM (ORM Discriminativo): Un clasificador entrenado únicamente con etiquetas de resultado (respuesta final correcta/incorrecta).
dPRM (PRM Discriminativo): Un clasificador entrenado con etiquetas de proceso a nivel de paso, agregando puntuaciones (típicamente mediante el mínimo) para determinar la corrección de la trayectoria.
gORM (ORM Generativo): Un LLM ajustado para generar una CoT de verificación y un veredicto binario ("Sí"/"No"), entrenado mediante filtrado por consenso donde el veredicto generado se alinea con el resultado real.
gPRM (PRM Generativo): Un LLM ajustado para generar racionales de verificación paso a paso y veredictos de proceso, también entrenado mediante filtrado por consenso.

Configuración Experimental:

Dominios: Matemáticas (PRM800K, ProcessBench) y Multidominio/Especializados (MMLU-Pro, GPQA-Diamond, MedQA, LEXam).
Datos de Entrenamiento: Las etiquetas matemáticas fueron anotadas por humanos; las etiquetas de proceso multidominio fueron generadas automáticamente por LLMs (introduciendo un posible ruido).
Evaluación: Los modelos se utilizaron como verificadores en un marco de selección de "Mejor de N" (BoN), donde se generan $N$ CoTs y se selecciona la que tiene la puntuación de recompensa más alta.
Análisis: Los autores realizaron un análisis teórico sobre los límites de error en relación con la longitud de la CoT y un análisis empírico sobre la sensibilidad al ruido de las etiquetas y los cambios de distribución inducidos por el filtrado por consenso.

Principales Contribuciones

Evaluación Unificada Multidominio: El artículo proporciona la primera comparación controlada de dORM, dPRM, gORM y gPRM a través de 14 dominios, yendo más allá del enfoque centrado en matemáticas de trabajos previos.
Hallazgos Contraintuitivos: El estudio desafía la sabiduría convencional de que los PRM son siempre superiores. Encuentra que en entornos multidominio:
- dORM tiene un rendimiento similar al de dPRM.
- gPRM no es competitivo y a menudo rinde por debajo de otras variantes.
- gORM es el más robusto, logrando ganancias significativas y consistentes en cada dominio probado.
Análisis Teórico y Empírico de Modos de Fallo:
- Riesgo de Longitud de CoT: Los autores demuestran (Teoremas 4.2 y 4.3) que el límite inferior del error logarítmico para los PRM crece linealmente con la longitud de la CoT ( $T$ ), mientras que los límites de error de los ORM son independientes de $T$ . Empíricamente, el rendimiento de los PRM se degrada a medida que las CoT se alargan, fallando particularmente al reconocer momentos de "eureka" (trayectorias que se recuperan de errores tempranos).
- Ruido de Etiquetas y Cambio de Distribución: En entornos multidominio, la dependencia del etiquetado automático basado en LLM introduce ruido. Los autores demuestran que el gPRM sufre un severo cambio de distribución en la longitud de la CoT debido al filtrado por consenso, lo que poda cadenas de razonamiento largas y complejas, provocando un desajuste entre las distribuciones de entrenamiento y de prueba.

Resultados

Dominio de Matemáticas: Los resultados se alinean con trabajos previos: el dPRM supera al dORM, y los modelos generativos (gORM/gPRM) generalmente superan a los discriminativos.
Multidominio y Dominios Especializados:
- dORM vs. dPRM: El dORM logra un rendimiento comparable al dPRM, lo que sugiere que la supervisión a nivel de resultado es suficiente cuando las etiquetas de proceso son ruidosas o los dominios son diversos.
- Superioridad de gORM: El gORM supera consistentemente a todas las otras variantes, incluido el gPRM.
- Fallo de gPRM: El gPRM no logra competir, debido principalmente a la acumulación de errores en la puntuación paso a paso y la incapacidad de manejar trayectorias de razonamiento largas y de autocorrección.
Robustez: El gORM demuestra una robustez superior al ruido de etiquetas y a las variaciones en la longitud de la CoT en comparación con las variantes de PRM.

Significado y Reivindicaciones

El artículo argumenta que la suposición de que "la supervisión detallada es siempre mejor" no se sostiene en entornos multidominio. Los autores afirman que la verificación de resultado generativa (gORM) es la estrategia más fiable para desplegar TTS en diversos dominios de alto riesgo.

Las implicaciones clave destacadas por los autores incluyen:

Reevaluación de los PRM: El mecanismo de agregación paso a paso en los PRM acumula errores a medida que aumenta la longitud del razonamiento, lo que los hace inadecuados para dominios donde el razonamiento largo y complejo (incluyendo la autocorrección) es común.
Directrices Prácticas: Los autores proporcionan recomendaciones específicas:
- Utilice gORM para dominios mixtos/cambiantes, CoT largas o cuando la fiabilidad sea primordial (por ejemplo, médico/legal).
- Utilice dORM/dPRM solo cuando las CoT sean cortas, las etiquetas sean limpias y existan presupuestos estrictos de latencia/cómputo.
- Evite gPRM en entornos multidominio debido a su sensibilidad a los cambios de distribución de longitud y al ruido de las etiquetas.

El trabajo concluye que, para el despliegue multidominio, la verificación de resultado generativa ofrece un camino más robusto y consistente que la supervisión basada en procesos, desafiando la tendencia predominante hacia el etiquetado de procesos granulares en tareas de razonamiento complejo.