Resumen Técnico: Más Allá de la Corrección: Armonización de Recompensas de Proceso y Resultado mediante Entrenamiento RL

Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha demostrado éxito en la mejora de la precisión de las respuestas finales en tareas de razonamiento (por ejemplo, matemáticas, programación) al utilizar Modelos de Recompensa de Resultado (ORM). Sin embargo, este enfoque adolece de una discrepancia fundamental entre proceso y resultado. Dado que los ORM solo evalúan el resultado final, recompensan inadvertidamente éxitos espurios: escenarios donde un razonamiento defectuoso produce casualmente una respuesta correcta.

El artículo define un estado latente $z$ donde $z=1$ representa un proceso de razonamiento válido. Incluso si un modelo genera un proceso inválido ($z=0$), existe una pequeña probabilidad $\epsilon$ de que produzca un resultado correcto ($r=1$). La recompensa esperada se descompone como $E_\pi[r] \approx (1-\epsilon)\alpha_\pi + \epsilon$, donde $\alpha_\pi$ es la probabilidad de generar un razonamiento válido. El término $\epsilon(1-\alpha_\pi)$ representa las ganancias derivadas del "hackeo de recompensas de resultado", donde la política aprende a explotar la escasez de recompensas de resultado para maximizar la recompensa sin mejorar la calidad subyacente del razonamiento (fidelidad).

Además, aunque los Modelos de Recompensa de Proceso (PRM) ofrecen supervisión paso a paso, optimizarlos directamente o mezclarlos ingenuamente con ORM introduce inestabilidad. Los PRM suelen entrenarse fuera de línea y sufren desplazamiento de distribución durante el entrenamiento en línea de RL, lo que conduce a juicios incorrectos en trayectorias raras o difíciles. Esto puede causar un hackeo severo de recompensas, donde los modelos aprenden a generar pasos verbosos, repetitivos o sin sentido para maximizar la puntuación de proceso promediada sin mejorar la solución real.

Metodología: Filtro de Consistencia de Proceso (PROF)

Para abordar estos problemas, los autores proponen PROF (Filtro de Consistencia de Proceso), una estrategia de curación de datos que integra la supervisión de PRM en RLVR sin optimizar directamente las puntuaciones de PRM. PROF funciona como un mecanismo de filtrado aplicado después de la fase de exploración (rollout), antes de las actualizaciones de la política.

Algoritmo Central

1. Sobremuestreo: La política genera un grupo de $n$ respuestas (exploraciones) para un prompt dado.
2. Puntuación:
   • Recompensas de Resultado ($r_o$): Obtenidas del verificador (1 para correcto, -1 para incorrecto).
   • Recompensas de Proceso ($r_h$): Obtenidas de un PRM preentrenado para cada paso de razonamiento $h$.
   • Puntuación de Consistencia ($r_{pro}$): Se calcula una puntuación a nivel de trayectoria promediando las puntuaciones de PRM a nivel de paso y aplicando un término de regularización basado en la longitud del paso. Esta puntuación se multiplica luego por la recompensa de resultado $r_o$.
3. Separación de Grupos: Las exploraciones se dividen en dos grupos:
   • $G^+$: Respuestas correctas ($r_o = 1$).
   • $G^-$: Respuestas incorrectas ($r_o = -1$).
4. Filtrado Equilibrado: El algoritmo determina el número de muestras a conservar ($k_+$ y $k_-$) de cada grupo para maximizar la varianza de las recompensas de resultado en el lote final (efectivamente equilibrando la relación entre muestras correctas e incorrectas).
   • Para $G^+$ (Correctas): Las muestras se clasifican por $r_{pro}$. Se conservan las $k_+$ muestras superiores (aquellas con alta consistencia entre proceso y resultado). Esto elimina respuestas correctas derivadas de un razonamiento defectuoso.
   • Para $G^-$ (Incorrectas): El artículo propone dos variantes:
     • PROF-POS: Selecciona aleatoriamente $k_-$ muestras del grupo incorrecto.
     • PROF-BOTH: Clasifica las muestras incorrectas por $r_{pro}$ y conserva las $k_-$ inferiores (aquellas con la menor consistencia, es decir, respuestas incorrectas con soporte de razonamiento débil o inexistente).
5. Actualización de la Política: Las $m$ trayectorias retenidas se utilizan para actualizar la política (por ejemplo, mediante GRPO).

Decisiones Clave de Diseño

• Filtrado vs. Optimización: PROF utiliza los PRM para la selección en lugar de como una señal de recompensa directa, evitando la inestabilidad de optimizar puntuaciones de proceso ruidosas.
• Clasificación Separada: Los grupos correctos e incorrectos se clasifican por separado para evitar que las respuestas incorrectas con pasos localmente correctos (que podrían tener puntuaciones altas de PRM) diluyan la señal de entrenamiento o sean favorecidas incorrectamente.
• Regularización: Una penalización por longitud de paso asegura que las muestras sin segmentos o con pasos excesivamente largos y no estructurados sean penalizadas.

Contribuciones Clave

1. Identificación de la Brecha de Calidad de Razonamiento: Los autores proporcionan un análisis teórico y evidencia empírica (mostrando que el 26.28% de las respuestas correctas de Qwen2.5-Math-7B contienen razonamiento defectuoso) de que el RLVR actual no mejora la fidelidad del razonamiento debido al hackeo de recompensas de resultado.
2. Marco PROF: Un método robusto de curación de datos basado en la consistencia que inyecta supervisión de proceso en RLVR. Filtra trayectorias conflictivas (respuestas correctas con mal razonamiento, o respuestas incorrectas con buen razonamiento) mientras mantiene una distribución de entrenamiento equilibrada.
3. Validación Empírica: Experimentos extensos en modelos Qwen y LLaMA demuestran que PROF mejora tanto la precisión de la respuesta final como la calidad del razonamiento intermedio en comparación con bases sólidas (GRPO y enfoques combinados PRM-ORM), con una dependencia reducida de la fortaleza del PRM preentrenado.

Resultados Experimentales

Los autores evaluaron PROF en cinco puntos de referencia (Math500, Minerva Math, Olympiad Bench, AMC2023, AIME2024) utilizando modelos Qwen2.5-Math (1.5B y 7B) y LLaMA-3.2-3B.

• Mejoras en Precisión: PROF superó consistentemente a las bases estándar GRPO y "Blend" (combinación ingenua de PRM y ORM).
  • En Qwen2.5-Math-7B, PROF-BOTH logró una precisión promedio del 51.7%, superando a GRPO (49.9%) y Blend (47.3%).
  • En LLaMA-3.2-3B, PROF-POS mejoró la precisión en un 1.8% sobre GRPO, mientras que el método Blend tuvo un rendimiento inferior a GRPO.
• Calidad de Razonamiento:
  • Estimación de Monte Carlo: PROF mostró puntuaciones de valor de paso significativamente más altas (probabilidad de alcanzar una respuesta correcta desde un paso intermedio) en todos los puntos de referencia, con brechas que oscilaron entre el 9.2% y el 37.4% en comparación con GRPO.
  • Auditoría de Defectos: Utilizando Claude Sonnet 4.6 para auditar respuestas correctas, PROF redujo la tasa de razonamiento defectuoso dentro de las respuestas correctas al 6%, en comparación con el 8% de GRPO.
• Robustez: PROF mantuvo un alto rendimiento incluso al utilizar un PRM más débil (Skywork-PRM-1.5B), mientras que el rendimiento del método Blend se degradó significativamente.
• Estabilidad: A diferencia del método Blend, que sufrió colapso de entropía y crecimiento descontrolado de la longitud de la respuesta (indicativo de hackeo de recompensas), PROF mantuvo longitudes de respuesta controladas y una disminución gradual de la entropía.

Significado y Afirmaciones

El artículo afirma que PROF ofrece una solución robusta a la discrepancia entre proceso y resultado inherente a los enfoques actuales de RLVR. Al desacoplar el uso de PRM de la optimización directa de recompensas y utilizarlos en su lugar para la curación de datos basada en la consistencia, PROF logra:

• Razonamiento Fiel: Garantiza que las mejoras en la precisión final estén impulsadas por mejoras en el proceso de razonamiento, no por la explotación de lagunas en la verificación de resultados.
• Generalización: El marco es modular y funciona con diferentes algoritmos de RL (por ejemplo, GRPO, RAFT++) y diversos PRM preentrenados, lo que sugiere que no es necesario entrenar PRM específicos para cada tarea para cada modelo base.
• Seguridad y Utilidad: Al mejorar la fidelidad e interpretabilidad del razonamiento de Cadena de Pensamiento (CoT), PROF mitiga el riesgo de que los modelos produzcan alucinaciones engañosas que casualmente sean correctas, mejorando así la utilidad práctica y la seguridad de los LLM en tareas de razonamiento.

Los autores reconocen limitaciones, principalmente el aumento del costo computacional debido al sobremuestreo y el filtrado, y el potencial de amplificación de sesgos si los PRM preentrenados en sí mismos están sesgados. Sugieren trabajo futuro en equilibrar la eficiencia con la calidad del razonamiento y extender el método a otros dominios como la programación y la navegación web.