💬 NLP

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

GFlowRL introduce un algoritmo de aprendizaje por refuerzo escalable y estable de estilo GFlowNet para modelos de lenguaje extensos que elimina la necesidad de una función de partición aprendida mediante el uso de estimaciones de Monte Carlo en lote y estabilizadores especializados, logrando un rendimiento de vanguardia en evaluaciones de matemáticas, código y adversarias a través de arquitecturas tanto densas como dispersas de hasta 235B de parámetros.

Autores originales: Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Publicado 2026-07-16

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante brillante y superrápido a resolver los acertijos más difíciles del mundo, desde complejos problemas matemáticos hasta la escritura de código informático que nunca falla. En el mundo de la inteligencia artificial, este estudiante es un "Modelo de Lenguaje Extenso" (LLM), y el método que usamos para enseñarle se llama Aprendizaje por Refuerzo. Piensa en esto como un videojuego donde la IA recibe puntos (recompensas) por hacer lo correcto. Durante mucho tiempo, la estrategia estándar fue actuar como un jugador codicioso: "Encuentra el único movimiento que te dé más puntos ahora mismo, y haz eso una y otra vez". Esto funciona bien, pero tiene un defecto. Es como un estudiante que memoriza una forma específica de resolver un problema matemático y se niega a probar cualquier otro método, incluso si ese otro método es igual de bueno. Se queda "atrapado" en una forma de pensar, perdiendo la creatividad y la variedad necesarias para manejar situaciones nuevas y complicadas.

Para solucionar esto, los científicos probaron recientemente un enfoque diferente llamado "Redes de Flujo Generativo" (GFlowNets). En lugar de simplemente buscar el mejor movimiento, este método enseña a la IA a explorar todos los movimientos buenos, dándoles la oportunidad de ser usados según qué tan bien funcionen. Es como decirle al estudiante: "Prueba todos los caminos válidos a través del laberinto, no solo el que parezca más rápido". El objetivo es crear un pensador diverso y flexible. Sin embargo, intentar escalar esto a modelos de IA masivos y superinteligentes ha sido una pesadilla. Las herramientas que los científicos construyeron para hacer esto funcionar eran tan complicadas e inestables que a menudo causaban que la IA colapsara o no aprendiera nada, especialmente cuando los modelos crecían demasiado o las tareas se volvían desordenadas.

Este artículo, titulado "GFlowRL", aborda exactamente ese dolor de cabeza. Los autores descubrieron que la parte más complicada de la receta anterior de "pensamiento diverso" era, de hecho, el problema mismo. Descubrieron que una herramienta matemática específica, que se suponía debía ayudar a equilibrar el aprendizaje de la IA, actuaba más como una radio ruidosa y rota que como una guía útil. Al desechar esa herramienta rota y reemplazarla con un cálculo mucho más simple y sobre la marcha, crearon un nuevo método llamado GFлоwRL. Este nuevo enfoque es estable, rápido y sorprendentemente efectivo. Permite que modelos de IA masivos aprendan diversas estrategias de resolución de problemas sin colapsar, incluso en los desafíos matemáticos y de programación más difíciles. De hecho, su nuevo método superó a los anteriores poseedores de récords, alcanzando un nivel de habilidad en programación competitiva que rivaliza con los mejores sistemas de IA disponibles actualmente, manteniendo todo el proceso de entrenamiento fluido y constante.

El Problema: La "Calculadora Mágica" que lo rompió todo

Para entender el avance, primero debemos mirar la forma antigua de hacer las cosas. Cuando los investigadores intentaron enseñar a la IA a ser diversa usando GFlowNets, dependieron de una "calculadora" especial (técnicamente llamada función de partición) para ayudar a equilibrar las recompensas. Imagina que eres un profesor tratando de calificar una clase de 1,000 estudiantes. Quieres asegurarte de que si un estudiante encuentra una solución ingeniosa y única, reciba crédito, pero también necesitas asegurarte de que las calificaciones no sean tan altas que todo el sistema se rompa.

El método antiguo intentaba construir un modelo de IA nuevo y diminuto solo para actuar como esta calculadora. El problema era que esta calculadora diminuta tenía que aprender desde cero mientras el estudiante gigante (la IA principal) ya era un genio. Era como pedirle a un niño pequeño que gestionara el presupuesto de una empresa de mil millones de dólares mientras el CEO tomaba las decisiones. El niño (la calculadora) se confundía, gritaba números aleatorios y causaba que todo el sistema entrara en pánico. Los investigadores descubrieron que esta "calculadora" estaba haciendo más daño que bien. Era tan inestable que causaba que el proceso de aprendizaje de la IA explotara con errores, y en muchos casos, la IA no aprendía nada mejor que si la calculadora hubiera sido reemplazada por ruido aleatorio.

La Solución: Desecha la Calculadora, Usa al Grupo

Los autores de GFlowRL se hicieron una pregunta simple y audaz: "¿Realmente necesitamos esta calculadora rota?".

Se dieron cuenta de que la IA ya estaba haciendo el trabajo que la calculadora debía hacer. Cuando la IA practica, no solo intenta una respuesta; intenta un grupo de respuestas a la vez (como un grupo de enfoque). Los investigadores notaron que podían simplemente observar el grupo de respuestas que la IA ya había generado para determinar el equilibrio que necesitaban. En lugar de construir una máquina separada y frágil para hacer las matemáticas, simplemente usaron los datos que tenían justo delante.

Piensa en esto como: En lugar de contratar a un contador nervioso y separado para que te diga cuánto dinero ganó el equipo, simplemente miras los recibos que el equipo acaba de entregarte. Es la misma información, pero es inmediata, es real y no requiere una nueva y costosa máquina que pueda romperse.

Este cambio simple —reemplazar la compleja calculadora aprendida con una estimación rápida y al instante del grupo— lo cambió todo.

Estabilidad: Los errores salvajes y explosivos desaparecieron. El entrenamiento se volvió tan fluido como los métodos estándar utilizados hoy en día.
Simplicidad: No necesitaron entrenar un segundo modelo adicional. Esto ahorró una enorme cantidad de potencia de cómputo y tiempo.
Desempeño: Sorprendentemente, la IA no solo dejó de colapsar; se volvió mejor.

Los Resultados: Del Colapso al Campeonato

El equipo probó este nuevo método, GFlowRL, en algunos de los desafíos más difíciles para la IA:

Matemáticas: Entrenaron modelos en competencias matemáticas difíciles. El nuevo método ayudó a la IA a resolver más problemas que cualquier método anterior que intentara fomentar la diversidad.
Programación: Lo probaron en sitios de programación competitiva como Codeforces. Un modelo de 14 mil millones de parámetros entrenado con GFlowRL alcanzó una calificación de 2048. Para poner esto en perspectiva, este es un nivel de habilidad increíblemente alto, superando los récords anteriores de código abierto y quedando a solo 25 puntos de la mejor IA de código cerrado (o3-mini) disponible.
Seguridad (Red Teaming): También lo probaron en el "red-teaming", que es una forma de intentar romper las reglas de seguridad de la IA para ver si se mantienen. En este entorno ruidoso y desordenado donde los métodos anteriores fallaron completamente, GFlowRL tuvo éxito, logrando la tasa de éxito más alta en atacar los filtros de seguridad, demostrando que podía aprender estrategias de resolución de problemas complejas y diversas incluso cuando la retroalimentación era confusa.

Quizás la parte más impresionante fue qué tan bien escaló. Cuando intentaron usar este método en modelos masivos de "Mezcla de Expertos" (Mixture of Experts - MoE)—sistemas de IA con cientos de miles de millones de parámetros—los métodos anteriores colapsaron inmediatamente. GFlowRL, sin embargo, siguió funcionando perfectamente, incluso en un modelo de 235 mil millones de parámetros.

Por Qué Esto Importa

La gran conclusión aquí no es solo que construyeron un mejor entrenador de IA; es que se dieron cuenta de que la "mejor" forma de hacer las cosas no siempre es la más complicada. Al eliminar las partes innecesarias e inestables de la receta antigua, encontraron un camino que es tanto más simple como más poderoso.

GFlowRL sugiere que para hacer que la IA sea verdaderamente inteligente y diversa, no necesitamos añadir más capas de maquinaria compleja. A veces, la mejor manera de enseñar a un estudiante superinteligente es dejar de sobre-diseñar el plan de lecciones y simplemente dejar que aprenda del grupo de ideas que ya está generando. Resulta que la clave para escalar el razonamiento de la IA no fue añadir más herramientas, sino saber exactamente qué herramientas desechar.

Resumen Técnico: GFlowRL

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) se ha convertido en el paradigma estándar de post-entrenamiento para los grandes modelos de lenguaje (LLMs), particularmente para tareas de razonamiento como las matemáticas y la programación. Sin embargo, los enfoques dominantes de RL (por ejemplo, PPO, GRPO) son fundamentalmente maximizadores de recompensa. Concentran la masa de probabilidad en el único modo de mayor recompensa, lo que conduce al colapso de modo (mode collapse) y a una reducción en la diversidad de las soluciones. Esto es estructuralmente limitante para el razonamiento de cadena de pensamiento (chain-of-thought), donde la generalización y la robustez dependen de cubrir múltiples rutas de solución válidas.

Las Redes de Flujo Generativo (GFlowNets) ofrecen una alternativa al aprender políticas que muestrean trayectorias en proporción a su recompensa, de modo que igualan la distribución de la recompensa en lugar de maximizarla. Los intentos recientes de aplicar GFlowNets a LLMs (por ejemplo, FlowRL, FOR) utilizan un objetivo de Equilibrio de Trayectoria (Trajectory Balance - TB). Este objetivo requiere estimar una función de partición $Z(x)$ , implementada típicamente como una red auxiliar aprendida (por ejemplo, un MLP) condicionada al prompt.

El artículo identifica un cuello de botella crítico de escalabilidad: en el contexto del post-entrenamiento de LLMs modernos, el entrenamiento conjunto de una red de partición inicializada aleatoriamente junto con un modelo de política pre-entrenado masivo es inestable. La política requiere solo un refinamiento modesto, mientras que la función de partición debe aprender una cantidad compleja desde cero dentro del mismo corto horizonte de entrenamiento. Esta asimetría causa que la función de partición aprendida actúe como una fuente de ruido e inestabilidad de gradiente en lugar de un normalizador útil, lo que a menudo conduce a la divergencia del entrenamiento, especialmente en regímenes de recompensa dispersa (por ejemplo, red-teaming adversarial) y en arquitecturas dispersas (Mezcla de Expertos, o MoE).

Metodología: GFlowRL

Los autores proponen GFlowRL, un algoritmo de RL estilizado tipo GFlowNet que elimina por completo la función de partición aprendida, preservando al mismo tiempo el objetivo de igualación de la distribución de recompensa.

Idea Central

A través de un análisis sistemático, los autores demuestran que la función de partición aprendida $Z_\phi(x)$ contribuye con información insignificante a la actualización de la política. Empíricamente, reemplazar la $Z_\phi$ aprendida por ruido aleatorio produce un rendimiento comparable, aunque la versión aprendida introduce gradientes de norma órdenes de magnitud mayores y explosiones de gradiente frecuentes.

El Algoritmo

GFlowRL reemplaza la $Z_\phi(x)$ aprendida con una estimación de Monte Carlo en el lote (in-batch) calculada directamente desde el grupo de rollouts ya requerido para el entrenamiento (similar a la normalización relativa al grupo en GRPO).

Estimador en el Lote: Para un prompt $x$ y un grupo de $G$ rollouts $\{y^{(1)}, \dots, y^{(G)}\}$ , la estimación para $\log Z(x)$ se calcula como el promedio de los objetivos de TB a través del grupo:
$\hat{Z}_t(x) := \frac{1}{G} \sum_{i=1}^G \left( \beta r(x, y^{(i)}) + \log \pi_{ref}(y^{(i)} | x) - \log \pi_{old}(y^{(i)} | x) \right)$
Este estimador sirve como una línea base de stop-gradient. Centra el residuo pero no porta gradiente propio, eliminando la necesidad de una red auxiliar y su estado del optimizador.
Estabilizadores: Para asegurar la estabilidad, GFlowRL incorpora dos mecanismos clave:
- Corrección de Muestreo de Importancia: Corrige la deriva entre la política de rollout ( $\pi_{old}$ ) y la política actual ( $\pi_\theta$ ).
- Recorte Asimétrico de Brecha de Flujo (Asymmetric Flow-Gap Clipping): La brecha de flujo (el residuo antes del término de actualización de la política) se recorta de forma asimétrica. Esto permite correcciones ascendentes más agresivas para soluciones correctas submuestreadas, mientras se limitan las actualizaciones negativas, evitando que los rollouts atípicos desestabilicen el entrenamiento.
Función de Pérdida: La pérdida final minimiza el residuo al cuadrado de la brecha de flujo, normalizado por la longitud de la respuesta para evitar que las secuencias largas dominen el gradiente.

Contribuciones Clave

Identificación de la Fuente de Inestabilidad: El artículo identifica la función de partición aprendida $Z_\phi$ como la principal fuente de inestabilidad en el RL basado en GFlowNet para LLMs. Proporciona evidencia empírica de que $Z_\phi$ ofrece casi ningún beneficio para el post-entrenamiento y, en su lugar, introduce desafíos de optimización innecesarios.
Algoritmo GFlowRL: La propuesta de un algoritmo simplificado que reemplaza la red de partición aprendida con una estimación de Monte Carlo en el lote. Esto elimina la red auxiliar y su sobrecarga de entrenamiento distribuido, manteniendo el punto fijo del objetivo de equilibrio de trayectoria.
Escalabilidad Estable: Demostración de un entrenamiento estable a través de arquitecturas tanto densas como dispersas (MoE), incluyendo regímenes donde métodos previos (FlowRL) divergen.

Resultados Experimentales

Los autores evalúan GFlowRL en tareas de razonamiento matemático, programación competitiva y red-teaming adversarial utilizando modelos que van desde 7B hasta 235B de parámetros.

Razonamiento Matemático: En el modelo denso de 7B, GFlowRL logra una precisión promedio de 40.92, superando a GRPO (32.48) y FlowRL (35.63). También supera a FlowRL en el modelo de 32B.
Generación de Código: A la escala de 14B, GFlowRL alcanza un rating de Codeforces de 2048, excediendo a DeepCoder-14B (+112 Elo), FlowRL-14B (+144 Elo) y o1 de OpenAI (+157 Elo). Está a 25 Elo de o3-mini.
Red-Teaming Adversarial: En regímenes de recompensa ruidosa donde FlowRL falla en converger, GFlowRL entrena de forma estable. Logra la mayor Tasa de Éxito de Ataque promedio (ASR@1) en AdvBench (82.5%) y HarmBench (79.5%), superando al anterior SOTA de ataque multivuelta (SEMA).
Escalado MoE: GFlowRL entrena con éxito en Qwen3-30B-A3B (3B parámetros activos) y Qwen3-235B-A22B (22B parámetros activos). En el modelo de 30B, alcanza 1999 Elo de Codeforces. En contraste, FlowRL diverge en todos los benchmarks de MoE probados.
Diversidad: GFlowRL logra una puntuación de diversidad de 3.93 (en una escala de 1-5), significativamente mayor que GRPO (1.21) y FlowRL (2.64), confirmando su capacidad para mantener rutas de razonamiento diversas.

Significado y Reivindicaciones

El artículo afirma que GFlowRL es el primer algoritmo de RL estilo GFlowNet que escala de forma estable a través de arquitecturas tanto densas como dispersas para modelos de razonamiento grandes.

Los autores argumentan que el cuello de botella de escalabilidad para el RL estilo GFlowNet no es el objetivo de equilibrio de trayectoria en sí, sino la función de partición aprendida. Al reemplazar este componente con un estimador simple no aprendido derivado del grupo de rollout, GFlowRL logra los beneficios de la igualación de la distribución (diversidad, robustez) sin la sobrecarga de ingeniería y la inestabilidad de las redes auxiliares. Esto sugiere que el escalado del RL estilo GFlowNet hacia modelos de frontera depende menos de añadir maquinaria compleja y más de identificar y eliminar componentes innecesarios del objetivo original.