Resumen Técnico: VeriGate (Supervisión de Nivel de Paso Mediante Puerta de Verificador para GRPO)

1. Planteamiento del Problema

La Optimización de Política Relativa de Grupo (GRPO, por sus siglas en inglés) ha surgido como un método eficaz para entrenar Modelos de Razonamiento Grandes (LRMs) utilizando recompensas de verificador basadas en resultados. Sin embargo, los autores identifican dos limitaciones críticas en el GRPO estándar que obstaculizan el rendimiento en tareas de razonamiento complejo:

1. Colapso de Gradiente Cero (Degeneración de la Recompensa): GRPO depende de ventajas relativas al grupo. Cuando todas las trayectorias muestreadas para un determinado prompt reciben la misma recompensa del verificador (por ejemplo, todas incorrectas, recibiendo una recompensa de 0), la ventaja relativa al grupo colapsa a cero. En estos lotes "degenerados", la señal de aprendizaje impulsada por la recompensa se desvanece, dejando solo el término de regularización KL. Esto causa que el aprendizaje se estanque precisamente en los prompts difíciles donde el modelo más necesita guía.
2. Falta de Asignación de Crédito a Nivel de Paso: Las recompensas basadas únicamente en el resultado asignan un único escalar a toda la trayectoria de razonamiento. En consecuencia, cada token en una solución correcta recibe la misma ventaja positiva, y cada token en una solución incorrecta recibe la misma ventaja negativa. Esto impide que el modelo distinga entre pasos de razonamiento genuinamente útiles y aquellos incidentales o espurios, limitando la exploración y la capacidad de aprender procesos de razonamiento robustos.

Aunque los Modelos de Recompensa de Proceso (PRMs) ofrecen una supervisión más densa a nivel de paso, integrar de forma ingenua los PRMs en GRPO introduce nuevos riesgos:

• Hacking de Recompensa (Reward Hacking): Los PRMs son modelos aprendidos con sesgos inherentes. Optimizar directamente las puntuaciones agregadas de los PRM (tratándolas como recompensas de resultado) puede llevar a la política a explotar patrones que el PRM favorece sin mejorar la corrección real.
• Agregación Frágil: Colapsar las puntuaciones de los pasos en un único escalar de trayectoria (por ejemplo, mediante producto o mínimo) puede distorsionar la recompensa efectiva si un solo paso es mal puntuado, descartando la asignación de crédito fina.
• Pérdida de Autoridad del Verificador: Reemplazar las señales confiables del verificador por señales imperfectas de los PRM puede degradar el rendimiento en tareas donde el verificador es fiable.

2. Metodología: VeriGate

Los autores proponen VeriGate (Verificador-Gated Step-Level GRPO), un método que integra la supervisión de proceso en GRPO solo cuando la señal del verificador no es informativa. El enfoque se basa en tres elecciones de diseño fundamentales:

S1: Supervisión Mediante Puerta de Verificador (Verifier-Gated Supervision)

VeriGate implementa un mecanismo de conmutación dinámica basado en la informatividad de las recompensas del verificador dentro de un grupo muestreado:

• Verificador Informativo: Si las trayectorias muestreadas para un prompt producen recompensas de verificador mixtas (algunas correctas, otras incorrectas), VeriGate opera exactamente como el GRPO estándar, confiando únicamente en la señal del verificador.
• Verificador Degenerado: Si todas las trayectorias muestreadas reciben la misma recompensa del verificador (específicamente, todas ceros), la ventaja del GRPO estándar colapsa. En este caso específico, VeriGate activa la supervisión a nivel de token basada en PRM como un mecanismo de respaldo (fallback).
• Justificación: Esto preserva la fiabilidad del verificador siempre que pueda distinguir la corrección, restringiendo el uso del imperfecto PRM solo a aquellos prompts difíciles donde el verificador no proporciona ninguna señal de aprendizaje.

S2: Recompensas de Tokens Futuros Acumulados (Future-Cumulated Token Rewards - FCTR)

En lugar de agregar las puntuaciones de paso de los PRM en un único escalar de trayectoria (lo que causa una asignación de crédito frágil), VeriGate convierte las puntuaciones de paso en recompensas de tokens futuros acumulados.

• Para una trayectoria con pasos $j=1 \dots S$, la recompensa para el paso $j$ se define como la suma de las puntuaciones del PRM desde el paso $j$ hasta el final de la trayectoria: $c_{i,j} = \sum_{k=j}^{S} r_{i,k}$.
• Este diseño asigna crédito a un token no solo por la calidad del paso inmediato, sino por la calidad de la continuación que este permite. Esto suaviza el ruido local del PRM y asegura que los tokens tempranos sean recompensados por permitir un razonamiento descendente correcto.

S3: Ventajas a Nivel de Token Normalizadas por el Grupo

Para integrar estas recompensas densas en el marco de GRPO sin reintroducir el hacking de recompensa absoluto, VeriGate transforma las recompensas futuras acumuladas en ventajas a nivel de token normalizadas por el grupo.

• La ventaja para un token en el paso $j$ de la trayectoria $i$ se calcula como: $A_{i,j} = \frac{c_{i,j} - \bar{c}}{\sigma(c)}$, donde $\bar{c}$ es la media y $\sigma(c)$ es la desviación estándar de todas las recompensas futuras acumuladas en el grupo muestreado.
• Propiedad de Robustez: Los autores demuestran (Proposición 3.1) que estas ventajas son invariantes a las transformaciones afines positivas por prompt de las recompensas del PRM ($c' = a \cdot c + b$). Esto significa que si una política aprende a desplazar o escalar uniformemente las puntuaciones del PRM (una forma común de hacking de recompensa), las ventajas normalizadas permanecen sin cambios, evitando que la política explote tales artefactos.

3. Contribuciones Clave

1. Supervisión de Proceso Mediante Puerta de Verificador: Una extensión simple a GRPO que preserva las actualizaciones estándar del verificador cuando son informativas y recurre a la supervisión a nivel de token basada en PRM solo para grupos de verificador con valor cero.
2. Asignación de Crédito Consciente de la Continuación: Un mecanismo novedoso que utiliza recompensas de futuros acumulados y ventajas normalizadas por el grupo para proporcionar señales de aprendizaje densas a nivel de paso sin colapsar las puntuaciones de los pasos en un único escalar.
3. Reducción de la Susceptibilidad al Hacking de Recompensa: Evidencia teórica y empírica de que la formulación de ventaja normalizada de VeriGate es invariante a las transformaciones afines de las recompensas del PRM, limitando la sobre-optimización de las señales imperfectas del PRM en comparación con los métodos que optimizan las puntuaciones agregadas de los PRM.
4. Mejoras Empíricas: Demostración de mejoras en la precisión del razonamiento, reducción de los fallos de gradiente cero y mejora de la calidad del razonamiento en múltiples evaluaciones.

4. Resultados Experimentales

Los autores evaluaron VeriGate utilizando modelos Qwen2.5-Instruct (1.5B y 7B de parámetros) entrenados en los conjuntos de datos MATH y GSM8K, con evaluación en seis bancos de pruebas de razonamiento (GSM8K, MATH-500, AMC, AIME-24, MinervaMath, OlympiadBench).

• Mejoras en la Precisión: VeriGate mejoró la precisión promedio aproximadamente un 20% para el modelo de 1.5B y un 12% para el de 7B en comparación con GRPO de solo resultado y las líneas base de PRM-como-resultado (PRM-as-outcome).
• Mitigación del Gradiente Cero: El método redujo sustancialmente la fracción de prompts que recibían recompensas de verificador de cero tras el entrenamiento, lo que indica un mejor la exploración y la salida de regímenes de aprendizaje degenerados.
• Resistencia al Hacking de Recompensa:
  • Cuantitativo: A diferencia de PRM-as-ORM, donde las puntuaciones del PRM subían mientras las del verificador permanecían planas (indicando hacking), VeriGate mostró un crecimiento alineado tanto en las recompensas del verificador como en las del PRM.
  • Cualitativo: El análisis de las respuestas "hackeadas" (alta puntuación de PRM, baja puntuación de verificador) mostró que los modelos PRM-as-ORM a menudo producían razonamientos verbosos, estructuralmente plausibles pero lógicamente erróneos. VeriGate produjo trayectorias de razonamiento coherentes que conducían a respuestas correctas.
  • Verificación Cruzada de PRM: Al ser evaluado con un PRM externo (Math-Shepherd) diferente del PRM de entrenamiento, VeriGate mantuvo un alto rendimiento, mientras que el rendimiento de PRM-as-ORM cayó significativamente, sugiriendo que VeriGate aprende razonamiento genuino en lugar de sobreajustarse a las idiosincrasias específicas del PRM.
• Estudios de Ablación: Eliminar la puerta del verificador o el mecanismo de acumulación futura resultó en caídas significativas de rendimiento, validando ambas decisiones de diseño.

5. Significado y Reivindicaciones

El artículo afirma que VeriGate ofrece una "modificación de inserción directa" (drop-in modification) para GRPO que aborda sus debilidades fundamentales en problemas de razonamiento difíciles sin sacrificar la fiabilidad de las recompensas basadas en el verificador.

• Fiabilidad: Al controlar el uso del PRM, el método asegura que el verificador confiable dirija el aprendizaje siempre que sea posible, utilizando los PRM solo como un mecanismo de recuperación para casos degenerados.
• Robustez: El uso de ventajas centradas y normalizadas derivadas de futuros acumulados proporciona una defensa matemáticamente fundamentada contra una clase común de hacking de recompensa de PRM (transformaciones afines).
• Calidad del Razonamiento: Los resultados sugieren que VeriGate mejora la calidad del razonamiento (derivación fiel paso a paso) en lugar de simplemente optimizar para las preferencias de un modelo de recompensa específico.

Los autores reconocen limitaciones, señalando que el método aún depende de la disponibilidad y calidad de los PRM y que una mala segmentación de pasos por parte del modelo podría debilitar la asignación de crédito. También señalan que los experimentos actuales se centran en el razonamiento matemático y que se requiere una evaluación más amplia para otros dominios como la generación de código o el uso de herramientas. Sin embargo, el trabajo establece un marco para integrar la supervisión de proceso densa en RLVR de una manera que es teóricamente robusta y empíricamente efectiva.