🤖 AI

Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning

El artículo propone VIGOR, un método de asignación de despliegue en línea guiado por la varianza que distribuye dinámicamente un presupuesto de generación fijo a los ejemplos con la mayor varianza de recompensa, reduciendo así significativamente los costos computacionales y mejorando la estabilidad, al tiempo que logra un rendimiento superior en tareas de razonamiento matemático y programación en comparación con el GRPO estándar.

Autores originales: Heyang Jiang, Henry Liu, Baharan Mirzasoleiman

Publicado 2026-07-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Heyang Jiang, Henry Liu, Baharan Mirzasoleiman

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot muy inteligente, pero un poco distraído, cómo resolver acertijos complejos como problemas matemáticos o escribir código de computadora. No puedes sentarte ahí y explicarle cada paso; en su lugar, dejas que el robot lo intente, y cuando acierta una respuesta, le das un "choca esos cinco" (una recompensa). Cuando se equivoca, le dices suavemente "inténtalo de nuevo". Este proceso se llama Aprendizaje por Refuerzo. El robot sigue probando diferentes formas de resolver el problema y, con el tiempo, aprende qué caminos conducen a los "choca esos cinco" y cuáles a callejones sin salida.

Sin embargo, hay un inconveniente. Para aprender eficazmente, el robot necesita probar muchos caminos diferentes. Si solo prueba uno o dos, podría tener suerte y pensar que un mal camino es en realidad bueno. Pero si prueba miles de caminos, se convierte en un enorme desperdicio de tiempo y electricidad, especialmente porque la mayoría de esos caminos son aburridos o inútiles. Es como pedirle a un estudiante que escriba 100 ensayos para aprender a escribir, cuando 90 de ellos son solo garabatos que no le enseñan nada nuevo. La gran pregunta para los científicos es: ¿Cómo hacemos que el robot pruebe el número correcto de caminos sin desperdiciar energía en los que son aburridos?

Aquí es donde entra en juego un nuevo método llamado VIGOR. Piensa en el proceso de aprendizaje del robot como un juego de "caliente o frío". En la forma antigua de hacer las cosas (llamada GRPO), el robot intentaba ciegamente el mismo número de conjeturas para cada acertijo, independientemente de si el acertijo era fácil o difícil. Era como un profesor que les da a todos los estudiantes la misma cantidad de tarea, incluso si algunos ya saben la respuesta y otros están completamente perdidos.

Los investigadores detrás de VIGOR se dieron cuenta de que la información más útil proviene de los momentos en los que el robot no está seguro. Si un robot intenta un problema matemático y obtiene una mezcla de respuestas correctas e incorrectas, esa "varianza" (o desacuerdo) es una señal de que está aprendiendo algo importante. Pero si obtiene la misma respuesta incorrecta cada vez, o la misma respuesta correcta cada vez, solo está perdiendo el tiempo.

VIGOR cambia el juego actuando como un entrenador inteligente que observa los primeros intentos del robot. En lugar de dar a cada acertijo un número fijo de intentos, VIGOR comienza dejando que el robot haga solo un par de conjeturas en todo. Luego, observa los resultados:

Si el robot obtuvo la misma respuesta cada vez (baja varianza), el entrenador dice: "Está bien, ya lo entendimos, sigamos adelante".
Si las respuestas del robot estaban por todas partes (alta varianza), el entrenador dice: "¡Este es difícil! Vamos a darle más intentos para resolverlo".

El método luego vierte más "energía de conjetura" (rollouts) solo en los acertijos que están causando más confusión, mientras ignora los que son demasiado fáciles o demasiado rotos para aprender de ellos. Es como un videojuego que solo genera enemigos más difíciles para el jugador que tiene dificultades, en lugar de hacer los niveles fáciles más difíciles solo para llenar el tiempo.

El artículo muestra que este enfoque cambia las reglas del juego. Al usar esta estrategia "guiada por la varianza", el robot alcanza el mismo nivel de habilidad utilizando significativamente menos conjeturas. En problemas matemáticos, VIGOR alcanzó su objetivo de precisión con hasta 2.3 veces menos rollouts que el método estándar. En tareas de programación, alcanzó la misma tasa de éxito con 1.49 veces menos rollouts e incluso mejoró la tasa de éxito final en 3.4 puntos.

Los autores sugieren que esto no es solo un pequeño ajuste; es un cambio fundamental en la forma en que enseñamos a la IA a razonar. Midieron estos resultados en diferentes tamaños de modelos de IA y descubrieron que VIGOR aprende de manera más rápida y eficiente de forma constante. Demuestra que no necesitas lanzar más potencia de cómputo a un problema para resolverlo; solo necesitas ser más inteligente sobre dónde gastas esa potencia. Al enfocarse solo en los momentos de incertidumbre, VIGOR ayuda a la IA a aprender a razonar de manera más efectiva, convirtiendo un proceso caótico de prueba y error en un viaje de descubrimiento enfocado y eficiente.

Resumen Técnico: VIGOR – Asignación de Rollout Online Guiada por la Varianza

1. Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en un paradigma dominante para mejorar las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLMs), siendo la Optimización de Política Relativa al Grupo (GRPO) una de sus principales instancias. Sin embargo, GRPO enfrenta desafíos significativos de eficiencia y estabilidad:

Cuello de Botella Computacional: GRPO depende de la generación de un gran número fijo de rollouts de cadena de pensamiento (CoT) por cada prompt. El análisis empírico del artículo revela que la generación de rollouts consume al menos el 50% del tiempo total de entrenamiento, escalando linealmente con el número de rollouts.
Desajuste de Informatividad: Una fracción sustancial de los rollouts generados no es informativa, exhibiendo a menudo poca o ninguna varianza de recompensa dentro de un grupo. Estos ejemplos contribuyen con señales de gradiente insignificantes, desperdiciando recursos computacionales.
Ineficiencia de las Soluciones Existentes: Las estrategias actuales para mejorar la eficiencia bien generan rollouts excesivos para filtrar prompts difíciles (lo que incurre en una alta sobrecarga) o dependen de señales históricas para filtrar datos en etapas posteriores del entrenamiento. Estos enfoques no logran priorizar los ejemplos informativos durante las etapas iniciales del entrenamiento, las cuales los autores identifican como desproporcionadamente críticas para las ganancias de rendimiento final.

2. Metodología: VIGOR

Los autores proponen VarIance Guided Online Rollout allocation (VIGOR), un marco de selección de datos iterativo diseñado para asignar adaptativamente los presupuestos de rollout sin modificar el objetivo de entrenamiento subyacente de GRPO.

Percepción Teórica Central

El método se fundamenta en una observación teórica respecto a la magnitud del gradiente de GRPO. Bajo un entorno de recompensa binaria (común en RLVR), los autores demuestran que la magnitud de la señal del gradiente está controlada directamente por la varianza de la recompensa dentro del grupo ( $\sigma$ ). Específicamente, la norma del gradiente está acotada por $M\sigma$ , donde $M$ es un límite en los gradientes de la razón de importancia. Esto implica que los prompts con alta varianza de recompensa proporcionan las señales de aprendizaje más fuertes, mientras que aquellos con varianza cero (donde todos los rollouts reciben la misma recompensa) no proporcionan señal de gradiente.

Marco Algorítmico

A diferencia del GRPO estándar, que asigna un número fijo de rollouts ( $G$ ) a cada prompt en una sola pasada, VIGOR opera iterativamente dentro de cada paso de entrenamiento:

Inicialización: Para un lote de prompts, VIGOR comienza con un pequeño presupuesto inicial de rollout ( $m_0$ ) para todos los ejemplos.
Refinamiento Iterativo: A lo largo de $T$ $T$ iteraciones de refinamiento:
- Generación: Se generan nuevos rollouts para el subconjunto activo actual de prompts.
- Estimación de la Varianza: La puntuación de utilidad para cada prompt se calcula como la varianza de las recompensas de sus rollouts acumulados.
- Selección: Se retiene la fracción superior- $\alpha$ de los prompts con la mayor varianza para la siguiente iteración.
- Expansión del Presupuesto: El presupuesto de rollout para los prompts retenidos se multiplica por un factor de expansión $\gamma$ ( $m_{t+1} = \gamma m_t$ ).
Actualización: Una vez que se agota el presupuesto total o se completan las iteraciones, todos los rollouts acumulados se utilizan para calcular las ventajas y actualizar la política mediante el GRPO estándar.

Este proceso concentra efectivamente los recursos computacionales en prompts "difíciles" o "inciertos" (alta varianza) mientras descarta prematuramente los prompts de bajo valor, evitando el costo de generar rollouts completos para muestras no informativas.

Aceleración Teórica

Los autores derivan una relación de aceleración en forma cerrada de VIGOR sobre GRPO. Asumiendo que la varianza de la recompensa a nivel de prompt sigue una distribución de Pareto (cola pesada), la relación de las escalas temporales de entrenamiento ( $\tau_{GRPO} / \tau_{VIGOR}$ ) crece con el número de rondas de refinamiento $T$ . Esto sugiere que las ganancias de eficiencia de VIGOR están teóricamente garantizadas para aumentar a medida que el proceso de entrenamiento refina su enfoque en el subconjunto de datos más informativo.

3. Contribuciones Clave

Identificación de la Varianza como Señal: El artículo establece que la varianza de la recompensa es un proxy directo de la magnitud del gradiente en GRPO, proporcionando una base teórica para la selección guiada por la varianza.
Algoritmo VIGOR: Una novedosa estrategia de asignación de rollout online que desplaza dinámicamente el cómputo hacia prompts de alta varianza sin requerir modelos auxiliares, filtrado de datos históricos o modificaciones al objetivo de GRPO.
Análisis Teórico: Derivación de una relación de aceleración de convergencia que demuestra que VIGOR supera la asignación uniforme, particularmente bajo distribuciones de varianza de cola pesada comunes en tareas de razonamiento.
Validación Empírica Exhaustiva: Experimentos extensos en tareas de razonamiento matemático y codificación utilizando múltiples escalas de modelos (Qwen2.5-1.5B/3B/7B, Phi-4-Mini, Qwen3-8B).

4. Resultados Experimentales

Los autores evaluaron VIGOR frente a GRPO estándar y líneas base de vanguardia (GRESO, RL-ZVP) en seis benchmarks de razonamiento matemático y LiveCodeBench v6.

Razonamiento Matemático:
- VIGOR alcanza la precisión objetivo con hasta 2.3 $\times$ menos rollouts en comparación con GRPO, GRESO y RL-ZVP (específicamente en Qwen2.5-3B).
- Bajo comparaciones de rollouts igualados, VIGOR logra los mejores puntajes promedio en las cuatro escalas de modelos probadas.
- Incluso comparado contra GRESO-g (que utiliza aproximadamente el doble de presupuesto de rollout), VIGOR logra puntajes promedio más altos en la mayoría de los benchmarks.
Codificación (LiveCodeBench v6):
- En Qwen3-8B, VIGOR alcanza la tasa de paso final de GRPO con 1.49 $\times$ menos rollouts (una reducción del 32.9%).
- VIGOR mejora la tasa de paso de prueba promedio en 3.4 puntos porcentuales (de 63.4% a 66.8%) en comparación con GRPO.
Eficiencia y Sobrecarga:
- Las mediciones de tiempo de ejecución (wall-clock time) muestran que VIGOR no incurre en sobrecarga de tiempo adicional en comparación con el GRPO base con el mismo presupuesto de rollout.
- VIGOR es significativamente más rápido que GRESO, que requiere generar rollouts adicionales para el filtrado.
- Los estudios de ablación confirman que la selección basada en la varianza supera a la selección aleatoria y a la selección basada en la dificultad, validando la motivación teórica.

5. Significado y Reivindicaciones

El artículo afirma que VIGOR ofrece un mecanismo simple pero efectivo para mejorar la eficiencia del entrenamiento de RLVR. Su importancia radica en:

Optimización en Etapas Tempranas: Al asignar recursos de forma adaptativa basándose en señales de varianza online, VIGOR asegura que las fases de entrenamiento iniciales más críticas utilicen el cómputo en los ejemplos más informativos, abordando una limitación clave de los métodos dependientes del historial.
Preservación del Paradigma: A diferencia de los métodos que alteran el objetivo de entrenamiento o requieren señales auxiliares complejas, VIGOR trabaja dentro del marco estándar de GRPO, lo que facilita su integración.
Escalabilidad: El método demuestra un rendimiento robusto a través de diferentes tamaños de modelo y dominios de tareas (matemáticas y codificación), sugiriendo que la generación de rollouts iterativa guiada por la varianza es una estrategia generalizable para el cómputo eficiente del razonamiento.

Los autores concluyen que VIGOR representa una dirección prometedora para escalar RLVR, permitiendo que los modelos alcancen un mayor rendimiento con presupuestos computacionales significativamente reducidos.