GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

Resumen Técnico: GRLO – Hacia el Aprendizaje por Refuerzo Generalizable en Entornos Abiertos desde Cero

Planteamiento del Problema
Los avances recientes en el post-entrenamiento de modelos de lenguaje grandes (LLM) se han bifurcado en gran medida en dos paradigmas: el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF), que optimiza las preferencias humanas, y el Aprendizaje por Refuerzo a partir de Recompensas Verificables (RLVR), que optimiza la corrección en dominios como las matemáticas y el código. Aunque el RLVR ha demostrado una eficiencia y un rendimiento superiores en tareas de razonamiento específicas, adolece de limitaciones significativas: es computacionalmente costoso, depende en gran medida de señales verificables de verdad fundamental y muestra una transferencia débil hacia capacidades conversacionales generales. Por el contrario, el RLHF estándar a menudo requiere datos a gran escala específicos de un dominio y lucha por inducir capacidades de razonamiento amplias sin trazas de razonamiento explícitas.

El problema central abordado por este trabajo es la "brecha de cobertura de dominio": los métodos actuales se especializan intensamente en dominios verificables (perdiendo la capacidad de chat general) o requieren presupuestos computacionales masivos para lograr capacidades amplias. Además, sigue sin estar claro si el aprendizaje por refuerzo realizado en entornos abiertos y no verificables puede desbloquear capacidades conversacionales generales que se transfieran implícitamente a tareas de razonamiento y generación de código posteriores sin un ajuste fino específico del dominio subsiguiente.

Metodología: GRLO
Los autores proponen GRLO (Aprendizaje por Refuerzo Generalizable a partir de Entornos Abiertos), una receta de entrenamiento que desplaza el enfoque del optimizador al entorno de entrenamiento. En lugar de introducir un optimizador algorítmico novedoso, GRLO aplica una optimización estándar al estilo RLHF (específicamente PPO) sobre un pequeño conjunto curado de prompts abiertos.

• Entorno de Entrenamiento: Los autores construyen un conjunto de aproximadamente 5.000 prompts sintéticos que abarcan dominios diversos, cognitivamente exigentes y en gran medida no verificables, incluyendo análisis científico, síntesis argumentativa, explicación conceptual y razonamiento de larga extensión. Una auditoría de temas confirma que el conjunto no está centrado en matemáticas, sino que cubre política, historia, biomedicina, tecnología y humanidades.
• Optimización: La política se inicializa a partir de un modelo base preentrenado (por ejemplo, Qwen3-4B-Base) y se optimiza utilizando PPO con un modelo de recompensa aprendido (Skywork-Reward-V2) y un objetivo regularizado por KL. Crucialmente, la distribución de entrenamiento ($D_{open}$) consiste en prompts abiertos donde la verificación exacta no es posible, en contraste con las distribuciones verificables ($D_{ver}$) utilizadas en RLVR.
• Hipótesis: La hipótesis central es que optimizar un modelo sobre un pequeño conjunto de interacciones abiertas puede remodelar su distribución de salida para aprovechar mejor las capacidades preentrenadas, mejorando así la capacidad conversacional general, la cual se transfiere implícitamente a tareas posteriores como el razonamiento matemático y la generación de código.

Contribuciones Clave

1. Reevaluación del RL Intra-Dominio: El artículo desafía la necesidad del entrenamiento de RL intra-dominio como la fuente principal de transferencia posterior, evaluando si el RL abierto puede servir como una alternativa práctica y ligera.
2. Generalización Ligera: Los autores demuestran que una sola etapa de RL abierto (GRLO) puede mejorar conjuntamente el razonamiento, la generación de código y el rendimiento del chat general. Este enfoque logra un rendimiento agregado comparable a las líneas base fuertes y intensivas en recursos de RLVR intra-dominio (como General-Reasoner), mientras utiliza significativamente menos datos (46 veces menos) y computación (68 veces menos).
3. Análisis Sistemático: El trabajo proporciona un análisis detallado de los comportamientos de escalado, la transferencia entre familias (a través de las arquitecturas Qwen y Llama) y las longitudes de respuesta, aclarando que las ganancias observadas no son meros artefactos de la verbosidad, sino que provienen de una mejor calidad de decisión y organización de la respuesta.

Resultados Experimentales
Los autores evaluaron GRLO en múltiples modelos base, incluyendo Qwen3-4B, Qwen3-8B, Qwen2.5-3B y Llama3.2-3B.

• Rendimiento de Qwen3-4B: En el modelo base Qwen3-4B, GRLO aumentó el rendimiento promedio en razonamiento (Math500, GPQA), generación de código (HumanEval, MBPP) y chat general (AlpacaEval 2 LC) desde una línea base de 24.1 a 63.1. Este resultado casi iguala al modelo post-entrenado oficial Qwen3-4B (No Pensamiento) y supera a la línea base General-Reasoner-4B en métricas agregadas, a pesar de utilizar una fracción de los recursos de entrenamiento.
• Ganancias Específicas: En relación con el modelo base, GRLO mejoró Math500 de 73.6 a 79.2, HumanEval de 6.1 a 84.8 y AlpacaEval 2 LC de 1.6 a 45.8.
• Consistencia entre Modelos: Se observaron tendencias similares en Qwen3-8B (puntuación promedio aumentando de 33.7 a 67.3) y Llama3.2-3B (aumentando de 21.5 a 39.3), lo que indica la robustez del método a través de diferentes familias de modelos.
• Estudios de Ablación: Los experimentos mostraron que el uso de prompts matemáticos intra-dominio para RL (en lugar de abiertos) mejoró ligeramente las puntuaciones de matemáticas pero degradó severamente la transferencia al chat. De manera similar, cambiar PPO por GRPO en el entorno abierto produjo resultados subóptimos, confirmando que la combinación del entorno abierto y PPO es crítica.
• RLVR Suplementario: Una etapa subsiguiente de RLVR intra-dominio proporcionó ganancias marginales (por ejemplo, aumentando el promedio de 63.1 a 63.2 en Qwen3-4B), con mejoras visibles principalmente en benchmarks matemáticos más difíciles de estilo competitivo (AIME). Esto sugiere que la transferencia amplia es impulsada por la etapa inicial abierta, mientras que RLVR sirve como un refinamiento especializado para tareas verificables difíciles.
• Eficiencia: El entrenamiento requirió solo 5.000 prompts y 22.7 horas de GPU. El análisis de las longitudes de salida reveló que los modelos GRLO produjeron respuestas más cortas y de mayor calidad en comparación con las líneas base que dependían de trazas de razonamiento verbosas.

Significado y Afirmaciones
El artículo afirma que GRLO ofrece una "receta simple y eficiente" para construir modelos post-entrenados de amplia capacidad. Su significado principal radica en demostrar que el RL abierto puede recuperar una gran fracción de las ganancias amplias típicamente atribuidas a pipelines de entrenamiento mucho más pesados y respaldados por verificadores.

Los autores argumentan que el entorno en el que se aplica el RL es un factor más crítico que el optimizador específico o la escala de los datos. Al mover el RL a un entorno abierto cognitivamente exigente, los modelos pueden adquirir implícitamente habilidades de razonamiento y codificación sin supervisión específica del dominio explícita. Esto desafía la noción predominante de que el razonamiento de alto rendimiento requiere presupuestos masivos de RLVR específicos del dominio, sugiriendo en su lugar que una etapa ligera de RL abierto desde "Cero" es suficiente para desbloquear capacidades generalizables. El trabajo concluye que, aunque una etapa subsiguiente de RLVR intra-dominio puede especializar aún más el rendimiento en benchmarks difíciles, la transferencia amplia fundamental se logra a través de la interacción abierta en sí misma.