Resumen Técnico: No Solo Dónde, Sino Cuándo: Programación Temporal para RLVR

Enunciado del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en un paradigma dominante para el entrenamiento posterior de Modelos de Lenguaje de Gran Escala (LLM), particularmente para tareas de razonamiento. Sin embargo, los enfoques estándar de RLVR, como la Optimización de Políticas Relativas por Grupos (GRPO), suelen difundir una única recompensa escalar a lo largo de toda la secuencia generada. Esto resulta en una señal de optimización uniforme donde todos los tokens muestreados participan por igual en las actualizaciones de la política, pasando por alto los comportamientos de política heterogéneos exhibidos a lo largo de una trayectoria (por ejemplo, andamiaje de razonamiento, conexiones lógicas, reflexión y convergencia de la respuesta).

Las soluciones existentes intentan abordar esto introduciendo mecanismos de asignación de crédito para determinar dónde deben distribuirse las señales de aprendizaje. Estas incluyen:

• Modelos de Recompensa de Proceso (PRM): Proporcionan retroalimentación a nivel de paso (alto costo de anotación).
• Proxies a Nivel de Token: Utilizan métricas como la entropía del token, la verosimilitud o la divergencia KL para reponderar las ventajas o seleccionar subconjuntos dispersos de tokens para la optimización.

La Limitación Central: Si bien estos métodos identifican tokens específicos para priorizar, los criterios de asignación permanecen estancados durante todo el proceso de entrenamiento. Una vez que se selecciona un proxy (por ejemplo, alta entropía), el comportamiento de política correspondiente se enfatiza continuamente. Los autores argumentan que este enfoque estático limita la evolución resiliente de la política y puede llevar al sacrificio de la entropía de la política al intentar acomodar diversos comportamientos simultáneamente. El artículo postula que la dimensión temporal—específicamente cuándo se programan las señales de aprendizaje—ha sido poco explorada y es tan crítica como dónde se asignan.

Metodología

El artículo propone la Programación Temporal, un marco que ajusta dinámicamente los criterios de asignación de crédito a lo largo del entrenamiento en lugar de fijarlos.

1. Percentiles de Trayectoria como una Perspectiva Natural

En lugar de depender únicamente de proxies de política complejos, los autores introducen la Puntuación de Percentil de Trayectoria (TP-Score) para distinguir comportamientos de política basados en la posición del token.

• Análisis: El análisis empírico revela distribuciones de tokens y perfiles de entropía distintos a través de las posiciones de la trayectoria.
  • Percentiles Tempranos: Asociados con el andamiaje de razonamiento y patrones restringidos; exhiben menor entropía.
  • Percentiles Intermedios: Asociados con la reflexión y el razonamiento crítico; exhiben la mayor entropía y comportamiento exploratorio.
  • Percentiles Tardíos: Asociados con la realización de la respuesta y la resumen; exhiben entropía intermedia.
• Perspectiva: Los percentiles de trayectoria proporcionan un ancla natural y simple para distinguir comportamientos heterogéneos sin requerir cálculos de proxy complejos.

2. El Mecanismo de Programación Temporal

La innovación central es programar el factor de asignación de crédito, $\hat{f}_t(\tau)$, como una función del progreso del entrenamiento $\tau$.
$$\hat{f}_t(\tau) = S(\tau) \hat{f}_t$$
Donde:

• $\hat{f}_t$ es el factor de asignación de crédito original derivado de métodos existentes (por ejemplo, reponderación basada en entropía o selección dispersa).
• $S(\tau)$ es una función de programación monótonamente decreciente que varía de 1 a 0.
• Estrategia: La optimización comienza priorizando los tokens más dirigidos (por ejemplo, aquellos identificados por el proxy específico o las posiciones tardías de la trayectoria) para reforzar comportamientos específicos. A medida que avanza el entrenamiento, los criterios se atenúan gradualmente, expandiendo el alcance de la optimización para incluir tokens más generales.

3. Integración con Paradigmas Existentes

El método está diseñado como un reemplazo "plug-and-play" para las estrategias de asignación de crédito existentes:

• Reponderación Continua de Ventajas: El peso $\psi(\mu_t)$ se escala por $S(\tau)$.
• Optimización Dispersa Discreta: El umbral de selección $\epsilon$ se relaja dinámicamente: $\mu_t \geq S(\tau) \cdot \epsilon$. Esto incluye gradualmente más tokens en el conjunto de optimización con el tiempo.

4. Programación de Percentiles de Trayectoria (TP-Schedule)

Los autores proponen una instancia específica utilizando percentiles de trayectoria directamente:

• Inicialización: Enfocarse exclusivamente en tokens tardíos (percentiles altos) responsables de una continuación confiable.
• Progresión: Incorporar gradualmente tokens anteriores (percentiles más bajos) responsables del andamiaje de razonamiento.
• Fórmula: $\hat{f}_t(\tau) = \mathbb{I}[t/T \geq S(\tau) \cdot 1]$, donde $t/T$ es la posición normalizada. Esto crea un cambio estructurado donde la optimización se propaga desde el final de la secuencia hacia atrás hasta el principio.

Contribuciones Clave

1. Identificación de la Dimensión Temporal: El artículo argumenta que el momento de la asignación de crédito es una dimensión de optimización crítica y poco explorada. Cuestiona el paradigma de asignación estancada, proponiendo que programar criterios a lo largo de los pasos de entrenamiento conduce a una evolución de política más resiliente.
2. Marco de Programación Temporal: Un método general para complementar las técnicas existentes de asignación de crédito (tanto la reponderación continua como la optimización dispersa) priorizando tokens dirigidos al principio y atenuando gradualmente hacia una optimización general.
3. Percentiles de Trayectoria como un Proxy Efectivo: Los autores identifican que los percentiles de trayectoria simples sirven como un criterio natural y efectivo para distinguir comportamientos de política, funcionando de manera sinérgica con la programación temporal para evitar el colapso de la entropía observado en los métodos estándar.
4. Validación Empírica: Demostró mejoras consistentes en múltiples escalas de modelos (Qwen3-4B, Qwen3-8B), algoritmos de RL (GRPO, GSPO) y puntos de referencia (razonamiento matemático y general).

Resultados Experimentales

Los autores evaluaron su método en los modelos Qwen3-4B y Qwen3-8B utilizando conjuntos de datos de OpenMathReasoning y DeepMath-103K. Los puntos de referencia incluyeron tareas matemáticas dentro de la distribución (AIME, HMMT, Minerva) y tareas de razonamiento fuera de la distribución (Winogrande, GPQA, MuSR).

• Ganancias de Rendimiento:
  • TP-Schedule (utilizando percentiles de trayectoria) superó al GRPO estándar en un 2.2% en puntos de referencia matemáticos y en un 2.7% en puntos de referencia de razonamiento general para el modelo de 4B.
  • Aplicar la programación temporal a métodos estancados existentes (por ejemplo, Entropy-Adv, Forking-Tok) produjo mejoras consistentes, mostrando la programación discreta (expansión de subconjuntos de tokens) un potencial particularmente fuerte.
  • Se observaron mejoras en diferentes tamaños de modelos y algoritmos de RL (incluyendo GSPO).
• Dinámicas de Entrenamiento:
  • Preservación de la Entropía: La optimización estándar a menudo sacrifica la entropía de la política para acomodar comportamientos heterogéneos. La programación temporal preservó una entropía de política significativamente más alta (más del 33.9% más alta en algunas comparaciones) durante todo el entrenamiento, lo que condujo a dinámicas más saludables.
  • Alineación Estructurada: El análisis de la divergencia KL mostró que la programación temporal induce un cambio progresivo en las actualizaciones de la política, comenzando desde percentiles de trayectoria tardíos y propagándose gradualmente a los anteriores, en lugar de actualizar uniformemente.

Significado y Afirmaciones

El artículo afirma que la programación temporal constituye una dimensión de optimización prometedora para RLVR. Su significado radica en:

• Cambio de Paradigma: Pasar de un enfoque estático en el "dónde" (selección de tokens) a un enfoque dinámico en el "cuándo" (programación).
• Mitigación del Colapso de Entropía: Al evitar la acomodación simultánea de todos los comportamientos heterogéneos, el método previene el colapso rápido de la entropía de la política a menudo visto en RLVR estándar.
• Simplicidad y Compatibilidad: El enfoque se basa en percentiles de trayectoria simples y es compatible con las estrategias existentes de asignación de crédito, sin requerir nuevos modelos de recompensa complejos ni costos de anotación.

Los autores concluyen que, si bien el marco se aplica actualmente a criterios de asignación específicos, el trabajo futuro implica orquestar diversos criterios de asignación de crédito dentro de este marco temporal. Los resultados sugieren que el momento de las señales de aprendizaje es tan crucial como su distribución espacial a través de los tokens.