ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning

Resumen Técnico de ReDiPPO: Calibración de Valor Guiada por Referencia y Recalibración de Tokens Consciente de la Discrepancia para el Razonamiento Matemático

Planteamiento del Problema
El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en un paradigma dominante para mejorar las capacidades de razonamiento matemático de los Grandes Modelos de Lenguaje (LLMs). En este entorno, los modelos generan trayectorias de razonamiento largas, y un verificador automático asigna una recompensa de resultado binario basada en la respuesta final. Aunque los métodos sin crítico como GRPO, DAPO y GSPO evitan errores de estimación de valor al asignar ventajas uniformes a nivel de respuesta, carecen de la capacidad de distinguir entre pasos de razonamiento intermedios correctos e incorrectos. Por el contrario, la Optimización de Política Próxima (PPO) ofrece el potencial para una asignación de crédito a nivel de token mediante un crítico aprendido. Sin embargo, en el razonamiento matemático, caracterizado por horizontes largos y recompensas terminales dispersas, los críticos estándar tienen dificultades para evaluar con precisión los estados intermedios. Sin acceso a la respuesta de referencia durante la evaluación de trayectorias parciales, los críticos estándar suelen producir estimaciones de ventaja ruidosas, lo que conduce a actualizaciones de política subóptimas. Además, los sistemas RLVR basados en PPO existentes exhiben una asimetría: si bien las respuestas de referencia determinan la recompensa terminal, estas permanecen inaccesibles para el crítico responsable de la asignación de crédito a nivel de token.

Metodología: ReDiPPO
Los autores proponen ReDiPPO (PPO guiado por referencia y consciente de la discrepancia), un marco diseñado para mejorar la asignación de crédito a nivel de token sin alterar la interfaz de inferencia de la política. El método opera a través de dos mecanismos primarios:

1. Calibración de Valor Guiada por Referencia:
   ReDiPPO emplea una arquitectura de doble crítico durante el entrenamiento.

   • Crítico Estándar ($V^{std}$): Evalúa el estado de razonamiento parcial (prompt + respuesta parcial) sin acceso a la respuesta de referencia, reflejando las condiciones del modelo de política.
   • Crítico Guiado por Referencia ($V^{ref}$): Se condiciona en el prompt, la respuesta parcial y la respuesta de referencia (proporcionada como una señal privilegiada durante el entrenamiento). Esto permite al crítico evaluar con mayor precisión si una trayectoria parcial es compatible con la solución correcta.
     El crítico guiado por referencia proporciona la línea base para calcular la ventaja del actor ($\hat{A}^{ref}_t = G - V^{ref}_t$), mientras que la política en sí permanece solo con el prompt, asegurando que no haya filtración de información privilegiada en el proceso de generación.

2. Recalibración de Tokens Consciente de la Discrepancia:
   El marco aprovecha el desacuerdo entre los dos críticos como una señal de fiabilidad.

   • Cálculo de la Discrepancia: Se calcula la diferencia absoluta entre las estimaciones de valor del crítico estándar y del guiado por referencia ($e_{i,t} = |v^{ref}_{i,t} - v^{std}_{i,t}|$) para cada token. Una gran discrepancia indica un estado donde el crítico ciego a la referencia tiene incertidumbre o es propenso a errar.
   • Recalibración (Reweighting): La discrepancia se normaliza y se recorta para producir un peso a nivel de token ($w_{i,t}$). Las ventajas guiadas por referencia se escalan entonces por estos pesos ($\tilde{A}_{i,t} = \text{Whiten}(w_{i,t} \cdot \hat{A}^{ref}_{i,t})$) antes de ser utilizadas en el objetivo de PPO. Este mecanismo enfatiza las actualizaciones para los tokens en estados donde la información de referencia altera significativamente la evaluación del valor, disminuyendo efectivamente las estimaciones ruidosas del crítico estándar.

Contribuciones Clave

• Calibración de Valor Guiada por Referencia: La introducción de un crítico que utiliza respuestas de referencia como información privilegiada durante el entrenamiento para construir una línea base más informativa para las ventajas a nivel de token, abordando la dificultad de evaluar soluciones parciales bajo recompensas dispersas.
• Recalibración de Tokens Consciente de la Discrepancia: Un mecanismo novedoso que convierte el desacuerdo entre los críticos guiado por referencia y el estándar en pesos acotados a nivel de token, permitiendo que el proceso de optimización se enfoque adaptativamente en los estados de razonamiento donde la estimación de valor estándar es poco fiable.
• Validación Empírica: El método se evalúa en seis entornos de razonamiento matemático (AIME 2024/2025/2026, HMMT 2025, Minerva Math, OlympiadBench) y tres backbones de política distintos (Qwen3-4B-Instruct, Qwen3-4B-Thinking y OLMo3-7B-Instruct).

Resultados Experimentales
ReDiPPO supera consistentemente a los fuertes baselines, incluyendo métodos sin crítico (DAPO, GSPO) y el PPO vanilla.

• Ganancias de Rendimiento: En todos los tres backbones, ReDiPPO alcanzó la mayor precisión promedio. Específicamente, mejoró sobre el PPO vanilla entre 1.19 y 2.37 puntos porcentuales. Por ejemplo, en el backbone Qwen3-4B-Instruct, la puntuación promedio aumentó de 53.66 (PPO) a 56.03 (ReDiPPO).
• Calidad del Crítico: El análisis de la dinámica de entrenamiento muestra que el crítico guiado por referencia logra una Precisión de Selección de Ruta (PSA) y una Varianza Explicada (EV) significativamente mayores en comparación con el crítico estándar.
• Análisis de Discrepancia: El estudio revela una fuerte correlación entre la alta discrepancia entre la referencia y el estándar y las trayectorias de razonamiento difíciles (longitudes mayores y menor precisión). Además, las ganancias en la estimación de valor mediante el condicionamiento por referencia son más pronunciadas en las etapas finales de la trayectoria de razonamiento, justificando el enfoque de recalibración a nivel de token sobre una puntuación de dificultad global única.

Significancia y Afirmaciones
El artículo afirma que ReDiPPO aborda el desafío central de la asignación de crédito confiable a nivel de token en el razonamiento matemático de largo horizonte mediante el uso efectivo de las respuestas de referencia como información privilegiada durante el entrenamiento, sin comprometer las capacidades de inferencia de la política. Los autores sostienen que su enfoque proporciona una línea base de crítico más informativa y un mecanismo robusto para identificar y recalibrar asignaciones de crédito no fiables. El trabajo sugiere que aprovechar el aprendizaje de valor guiado por referencia es una dirección prometedora para el RLVR basado en PPO, particularmente en dominios donde la verificación de resultados es posible pero la evaluación de pasos intermedios es ambigua. Los autores señalan que una cuestión abierta restante es si este enfoque se transfiere a dominios que carecen de respuestas únicas y verificables mediante reglas.