Resumen Técnico: Replay de Experiencia Priorizado por Ventaja a Nivel de Rollout para GRPO

Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) utilizando la Optimización de Política Relativa al Grupo (GRPO) se ha convertido en el estándar para el post-entrenamiento de razonamiento en Modelos de Lenguaje Extensos (LLMs). Sin embargo, GRPO es inherentemente ineficiente en términos de muestras. En la configuración on-policy estándar, se genera un grupo de rollouts candidatos para cada prompt, se utilizan para una única actualización de gradiente y luego se descartan. Esto es particularmente ineficiente para los rollouts que portan una fuerte señal de aprendizaje, como las respuestas correctas poco comunes dentro de un grupo de respuestas incorrectas.

El Replay de Experiencia (ER) es una técnica común para mejorar la eficiencia de muestras en otros dominios de aprendizaje por refuerzo, pero no se transfiere directamente a GRPO por dos razones primarias:

1. Deriva Rápida de la Política: Las políticas de los LLM cambian significamente por cada paso de gradiente. Los rollouts almacenados se vuelven "obsoletos" rápidamente, y usarlos sin control puede desestabilizar el entrenamiento.
2. Granularidad a Nivel de Grupo: El GRPO estándar agrega las señales de aprendizaje por cada rollout en un único valor a nivel de consulta (query). Los esquemas de replay ingenuos que almacenan y muestrean grupos enteros (nivel de consulta) fallan al no poder aislar los rollouts específicos de alta señal dentro de un grupo que impulsan el aprendizaje.

Los intentos existentes de aplicar replay a GRPO suelen sufrir de una obsolescencia sin límites o dependen de señales de prioridad a nivel de consulta (por ejemplo, la varianza del grupo) que no pueden resolver los rollouts minoritarios dentro del grupo donde residen los gradientes más informativos.

Metodología

Los autores proponen un buffer de Replay de Experiencia Priorizado por Ventaja a Nivel de Rollout diseñado específicamente para GRPO. El método integra tres componentes principales para abordar la obsolescencia y el aislamiento de la señal:

1. Evicción por Edad (Control de Obsolescencia)

Para limitar el desfase de la política al reutilizar datos, el buffer emplea una evicción por edad. Cada rollout almacenado se etiqueta con un "paso de nacimiento" ($t_b$). En cualquier paso de entrenamiento $t$, la edad de un rollout es $t - t_b$. Cualquier rollout más antiguo que un umbral máximo $\tau_{max}$ es evictado.

• A diferencia de la evicción basada en capacidad, que varía según la escala del modelo y la dificultad de los datos, la evicción por edad proporciona un límite de obsolescencia a nivel de paso que es invariante al tamaño del modelo.
• Esto asegura que ninguna actualización reutilice un rollout más allá de un número fijo de pasos de entrenamiento, mitigando el riesgo de entrenar con datos significativamente fuera de la política (off-policy).

2. Composición Anclada en Datos Frescos (Fresh-Anchored Composition)

Los autores rechazan la "composición de pool" estándar (donde los datos frescos y los de replay se mezclan en un solo lote) en favor de una composición anclada en datos frescos.

• En cada paso de entrenamiento, se retiene el lote completo de rollouts frescos y on-policy.
• Un conjunto separado de rollouts de replay se muestrea del buffer y se concatena al lote fresco.
• Esto asegura que cada actualización de gradiente incluya un "ancla fresca", limitando el desfase máximo de la política independientemente de la porción de replay. Esto es crítico en escalas de modelos más grandes, donde se observó que mezclar datos obsoletos con datos frescos en un solo pool degradaba el rendimiento por debajo del GRPO estándar.

3. Prioridad de $|A_i|$ a Nivel de Rollout

En lugar de muestrear grupos enteros (nivel de consulta), el buffer almacena y muestrea rollouts individuales.

• Señal de Prioridad: La prioridad para el muestreo es la magnitud del valor absoluto de la ventaja $|A_i|$ del rollout individual. En GRPO, $A_i$ es la ventaja relativa al grupo. Los rollouts con un $|A_i|$ grande (típicamente la minoría en grupos sesgados, por ejemplo, la única respuesta correcta en un grupo de respuestas incorrectas) proporcionan la mayor parte de la señal de aprendizaje.
• Mecanismo: Al muestrear a nivel de rollout, el método puede reciclar selectivamente estos rollouts minoritarios de alta señal que a menudo se descartan tras una sola pasada en el GRPO estándar. Esto contrasta con las señales a nivel de consulta como la varianza del grupo ($\sigma_g$), que tratan a todos los rollouts en un grupo por igual y no logran priorizar las instancias minoritarias específicas.

El procedimiento de entrenamiento (Algoritmo 1) implica generar rollouts frescos, filtrar los grupos con varianza cero, muestrear rollouts de replay basados en la prioridad $|A_i|$ del buffer con restricción de edad, y realizar una actualización de GRPO sobre el lote concatenado.

Contribuciones Clave

1. Arquitectura de Replay Novedosa: El artículo introduce un buffer de replay específico para GRPO que combina la evicción por edad, la composición anclada en datos frescos y la prioridad de $|A_i|$ a nivel de rollout.
2. Superioridad Empírica: El método supera al GRPO estándar y a las líneas base de replay ingenuas (prioridad uniforme y $\sigma_g$ con composición de pool) en tres escalas de modelos (0.6B, 1.7B y 4B) en cinco benchmarks de razonamiento matemático.
3. Ganancias de Escala: Las ganancias de rendimiento escalan con el tamaño del modelo. Se observa la mayor mejora en la escala de 4B, con un incremento de +4.35 puntos porcentuales (pp) en el promedio de los cinco benchmarks en comparación con GRPO.
4. Análisis de Eficiencia: Utilizando el Score de Eficiencia de Precisión (AES), que mide conjuntamente la precisión y la longitud de generación de tokens, el método muestra un margen de eficiencia significativo sobre GRPO, particularmente en la escala de 4B (+0.579 AES).
5. Estudios de Ablación: Las ablaciones por eje validan que cada componente es necesario:
   • Evicción por Edad: Un límite moderado ($\tau_{max}=10$) equilibra el volumen de replay y la obsolescencia; límites más grandes provocan caídas de rendimiento debido al desfase de la política.
   • Composición: La composición anclada en datos frescos es esencial a escala; la composición de pool causa que el modelo de 4B caiga por debajo del GRPO estándar.
   • Prioridad: La prioridad de $|A_i|$ a nivel de rollout supera significativamente a las señales a nivel de consulta ($\sigma_g$ o uniforme), particularmente al mejorar el pass@k (diversidad de muestreo).

Resultados

• Precisión: En el promedio de los cinco benchmarks (MATH-500, AIME25, AIME26, HMMT-F25, HMMT-F26), el modelo de 4B alcanzó un 31.06% de precisión con el método propuesto, comparado con el 26.71% del GRPO estándar y el 26.70% de la mejor línea base ingenua.
• Diversidad de Muestreo: El método mejora las métricas de pass@k, indicando que retiene la diversidad de muestreo que el RLVR estándar suele estrechar. En 4B, el método superó al GRPO por +10.06 pp en la métrica pass.
• Eficiencia de Tokens: El análisis de AES revela un cambio asimétrico en la longitud de la respuesta: el modelo genera respuestas más largas para los rollouts correctos (+34.9% en 4B) y respuestas más cortas para los incorrectos (-10.2% en 4B). Esto sugiere que el método optimiza el presupuesto de tokens al asignar más tokens a soluciones correctas de alta probabilidad mientras comprime los intentos incorrectos.

Significancia y Reivindicaciones

El artículo afirma que su método proporciona un procedimiento de entrenamiento eficiente en muestras para GRPO en tareas de razonamiento matemático con recompensas verificables. La significancia radica en demostrar que el replay de experiencia puede adaptarse con éxito a las restricciones únicas del post-entrenamiento de LLM (deriva rápida y ventajas relativas al grupo) sin desestabilizar el entrenamiento.

Los autores enmarcan sus contribuciones de forma modesta como una solución específica a la ineficiencia de muestras de GRPO, señalando que:

• El método está actualmente limitado a recompensas verificables binarias (razonamiento matemático) y no pretende generalizarse a recompensas no verificables (por ejemplo, modelos de recompensa aprendidos) u otros algoritmos de RL (como PVO o REINFORCE) sin mayor estudio.
• Las tendencias de escalado se observan dentro del rango probado (0.6B a 4B) y en conjuntos de prompts específicos; no se valida la transferencia a escalas mayores o dominios ajenos a las matemáticas.
• Los resultados se basan en una única semilla de entrenamiento y configuraciones de evaluación específicas, aunque el uso de múltiples benchmarks proporciona una indicación indirecta de estabilidad.

En última instancia, el trabajo establece que la priorización a nivel de rollout combinada con un estricto control de obsolescencia permite reciclar eficazmente las señales de aprendizaje de alto valor en GRPO, logrando ganancias sustanciales tanto en precisión como en eficiencia de tokens a medida que aumenta el tamaño del modelo.