🤖 machine learning

GFlowNet Training by Policy Gradients

Este artículo propone un nuevo marco de entrenamiento para GFlowNet que vincula el equilibrio de flujo con la optimización de la recompensa esperada para derivar nuevos métodos basados en políticas, presentando una estrategia acoplada para entrenar conjuntamente las políticas hacia adelante y diseñar las políticas hacia atrás, lo cual está garantizado teóricamente y se demuestra empíricamente que mejora el rendimiento tanto en conjuntos de datos simulados como en el mundo real.

Autores originales: Puhua Niu, Shili Wu, Mingzhou Fan, Xiaoning Qian

Publicado 2026-08-06

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Puhua Niu, Shili Wu, Mingzhou Fan, Xiaoning Qian

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde necesitas encontrar la receta perfecta, la ruta de entrega más eficiente o una nueva molécula de fármaco, pero el número de combinaciones posibles es tan vasto que tardaría más que la edad del universo en comprobarlas todas una por una. Este es el desafío de la "explosión combinatoria", un problema que afecta a todo, desde la biología hasta la ingeniería. Para resolver esto, los científicos utilizan una herramienta ingeniosa llamada Red de Flujo Generativo (GFlowNet). Piensa en una GFlowNet no como un libro de reglas rígido, sino como un sistema de agua mágico. Construye objetos complejos paso a paso, como un río tallando un camino a través de un cañón. El objetivo es asegurar que el "agua" (o la probabilidad) fluya de tal manera que el río termine en los valles más hermosos y de alta recompensa (las mejores soluciones) exactamente con la frecuencia que esos valles merecen.

Tradicionalmente, enseñar a este sistema de agua a fluir correctamente ha sido como intentar equilibrar una escala gigante e invisible. Los métodos antiguos, conocidos como enfoques "basados en el valor", se centran en comprobar si los niveles de agua en cada unión coinciden con una ecuación específica. Es un poco como un fontanero midiendo constantemente la presión en cada tubería para asegurar que no haya fugas. Si bien esto funciona, puede ser lento y torpe, especialmente cuando el paisaje está lleno de picos aislados de alta recompensa que son difíciles de alcanzar. Los investigadores en este artículo se preguntaron: ¿Existe una forma de enseñar al sistema de agua a fluir correctamente simplemente recompensando el camino que toma, en lugar de solo comprobar la presión en cada parada? Proponen una nueva forma de entrenar estas redes que se siente más como un personaje de un videojuego aprendiendo a correr por un laberinto recolectando puntos, en lugar de un matemático resolviendo una ecuación.

La Nueva Forma de Entrenar el Flujo

Los autores, Puhua Niu y su equipo, han desarrollado un nuevo método de entrenamiento para las GFlowNets que desplaza el enfoque de "comprobar las matemáticas" hacia "seguir la recompensa". En la vieja escuela de pensamiento, la red era entrenada para mantener el flujo de agua equilibrado a través de todo el mapa, un método que se asemeja a cómo funcionaba tradicionalmente el Aprendizaje por Refuerzo (RL) al estimar el valor de cada estado. El nuevo enfoque, sin embargo, trata el proceso de entrenamiento como un problema directo de gradiente de política.

Para entender esto, imagina que estás enseñando a un perro a buscar una pelota.

La Vieja Forma (Basada en el Valor): Te paras en cada posible punto del jardín y calculas exactamente cuánto "valor de búsqueda" tiene ese punto. Luego ajustas el comportamiento del perro para asegurar que las matemáticas sumen perfectamente en cada ubicación. Es preciso, pero requiere mucha energía mental para calcular el valor de cada brizna de hierba.
La Nueva Forma (Basada en la Política): Simplemente dices "¡Buen perro!" cuando el perro corre hacia la pelota y "Mal perro" cuando corre en la dirección equivocada. No necesitas saber el valor de cada punto en el jardín; solo ajustas el estilo de carrera del perro basándote en las recompensas que obtiene a lo largo del camino.

El artículo introduce un tipo especial de "recompensa" que depende de la estrategia (o política) que la red está utilizando actualmente. Al hacer esto, cierran la breza entre las complejas ecuaciones de equilibrio de flujo de las GFlowNets y el estilo de aprendizaje más simple y directo de "recompensa y castigo" de la IA moderna. Descubrieron que este método permite que la red aprenda de manera mucho más rápida y robusta, especialmente cuando el "tesoro" (las soluciones de alta recompensa) está escondido en puntos aislados que son difíciles de encontrar.

Lo Que Encontraron y Lo Que Evitaron

Los investigadores probaron su nuevo entrenamiento "basado en la recompensa" en varios desafíos diferentes, incluyendo la simulación de cuadrículas (como un tablero de ajedza gigante), el diseño de secuencias biológicas (como cadenas de ADN) y la creación de estructuras moleculares (como nuevos medicamentos).

En estas simulaciones, su nuevo método, que llaman RL-G (cuando usa un guía inteligente) y RL-T (usando una "región de confianza" para mantener los cambios seguros), superó consistentemente a los métodos antiguos.

Velocidad: Los nuevos métodos convergieron (encontraron la solución) mucho más rápido. En el experimento de la cuadrícula de 256x256, los nuevos métodos alcanzaron una tasa de error baja en menos pasos que los métodos tradicionales de "Equilibrio de Trayectoria" (TB).
Precisión: Los resultados finales fueron a menudo más precisos. Por ejemplo, en la cuadrícula de 256x256, su mejor método (RL-G) logró un error de Variación Total de aproximadamente 0.439, mientras que el siguiente mejor método tradicional (TB-U) fue de alrededor de 0.728. En las pruebas de diseño molecular, sus métodos encontraron más "modos" únicos (diferentes soluciones de alta calidad) que las formas antiguas.

Crucialmente, el artículo argumenta contra la idea de que siempre debemos confiar en muestreadores complejos fuera de la política (como el Muestreo de Thompson o la mezcla aleatoria) para explorar el espacio. Aunque esos métodos intentan equilibrar la "exploración" (probar cosas nuevas) y la "explotación" (usar lo que funciona), los autores demuestran que, al usar su enfoque basado en la política con una estimación de gradiente robusta, la red puede encontrar los mejores caminos de forma natural sin necesidad de esos complicados trucos externos. No solo sugirieron esto; lo midieron a través de múltiples conjuntos de datos y demostraron que las nuevas estrategias proporcionan una forma más estable y eficiente de entrenar estas redes.

La "Región de Confianza" y el "Guía"

Para asegurar que la red no se confunda o caiga en un mal hábito, los autores añadieron dos ingredientes especiales:

La Región de Confianza (RL-T): Imagina que estás enseñando a un perro a correr. Si le dices que corra demasiado rápido y demasiado pronto, podría tropezar. La "Región de Confianza" es como una correa que limita cuánto puede cambiar el estilo de carrera del perro en un solo paso. Esto mantiene el aprendizaje estable y evita que la red haga suposiciones salvajes y erróneas. El artículo muestra que esto hace que el entrenamiento sea más suave y confiable.
La Política Guiada (RL-G): A veces, el perro necesita una pequeña pista. Los autores introdujeron una política "guiada" que actúa como un mapa, dirigiendo suavemente a la red lejos de los callejones sin salida (áreas de baja recompensa) y hacia el tesoro. Esto ayuda a la red a evitar quedarse atrapada en "desiertos de recompensa" donde no hay soluciones buenas cerca.

Por Qué Esto Importa

El artículo concluye que, al reformular el entrenamiento de las GFlowNets como un problema directo de optimización de recompensas, podemos construir una IA mejor, más rápida y más confiable para generar objetos complejos. Ya sea diseñando un nuevo fármaco, optimizando una cadena de suministro o comprendiendo la estructura del universo, este método ofrece un camino más directo hacia la solución. Los autores están seguros de sus resultados porque respaldaron sus afirmaciones con rigurosas pruebas matemáticas y extensos experimentos con datos reales y simulados. No se limitaron a adivinar que esto funcionaría; demostraron que lo hace, ofreciendo una nueva dirección prometedora sobre cómo enseñamos a la IA a crear y descubrir.

Planteamiento del Problema
Las Redes de Flujo Generativo (GFlowNets) están diseñadas para muestrear objetos combinatorios de un espacio $\mathcal{X}$ con una probabilidad proporcional a una función de recompensa no negativa $R(x)$ . Aunque son efectivas, los métodos de entrenamiento de GFlowNet existentes se basan predominantemente en el valor (value-based), apoyándose en el mantenimiento de ecuaciones de equilibrio de flujo (por ejemplo, Balance de Trayectoria, Balance Detallado) a través de un Grafo Acíclico Dirigido (DAG). Estos métodos enfrentan desafíos al diseñar muestreadores potentes que equilibren la exploración y la explotación, particularmente en espacios de alta dimensión con modos aislados. Además, los enfoques estándar basados en el valor pueden sufrir inestabilidad numérica debido a la explosión de los valores de flujo y pueden quedar atrapados en óptimos locales al utilizar estrategias típicas de recocido (annealing) o mezcla aleatoria. El artículo postula que tender un puente entre el entrenamiento de GFlowNet y el Aprendizaje por Refuerzo (RL) basado en políticas podría ofrecer una estimación de gradiente más robusta y una mayor eficiencia en el entrenamiento.

Metodología
Los autores proponen un nuevo marco de entrenamiento que reformula el entrenamiento de GFlowNet como un problema de RL basado en políticas sobre un proceso de decisión de Markov (MDP) especial.

Recompensas Dependientes de la Política: La innovación central es la definición de funciones de recompensa dependientes de la política. Para una política hacia adelante $\pi_F$ y una política hacia atrás $\pi_B$ , las recompensas se definen como los log-ratios de estas políticas (por ejemplo, $R_F(s, a) = \log \frac{\pi_F(s, a)}{\pi_B(s', a)}$ ). Esta formulación permite que la condición de equilibrio de flujo se reinterprete como la minimización de la recompensa acumulada esperada, tendiendo un puente entre el equilibrio de flujo y los objetivos de RL.
Formulación de RL: El entrenamiento de la política hacia adelante se plantea como la minimización de una función de valor esperada $J_F$ , que corresponde a la divergencia de Kullback-Leibler (KL) entre la distribución de la trayectoria hacia adelante y una distribución objetivo derivada de la política hacia atrás. Del mismo modo, el diseño de la política hacia atrás se formula como un problema de RL para minimizar un objetivo separado $J_B$ .
Estrategia de Entrenamiento Acoplado: El artículo introduce una estrategia de entrenamiento acoplado que optimiza conjuntamente la política hacia adelante y el diseño de la política hacia atrás. A diferencia de los enfoques previos de dos fases, este método permite actualizaciones simultáneas, garantizando teóricamente mejoras en el rendimiento.
Técnicas de Optimización Avanzadas: Basándose en la literatura establecida de RL basado en políticas, los autores incorporan:
- Reducción de Varianza: El uso de bases funcionales (críticos) y la estimación de ventaja generalizada (controlada por un parámetro $\lambda$ ) para gestionar el compromiso entre sesgo y varianza en la estimación del gradiente.
- Restricciones de Región de Confianza: La adaptación de los conceptos de Optimización de Política de Región de Confianza (TRPO) y Optimización de Política Próxima (PPO) para asegurar actualizaciones de política estables y conservadoras, evitando que el modelo quede atrapado en óptimos locales.
Garantías Teóricas: El artículo proporciona pruebas teóricas que demuestran que los objetivos basados en políticas propuestos son equivalentes a la minimización de la divergencia KL entre distribuciones. Establece garantías de convergencia para los gradientes de política bajo recompensas dependientes de la política y cadenas de Markov absorbentes (específicas de la estructura DAG de las GFlowNets), que difieren de los supuestos de MDP ergódicos estándar en el RL tradicional.

Contribuciones Clave

Reformulación del Entrenamiento de GFlowNet: Los autores reformulan con éxito el entrenamiento de GFlowNet como un problema de RL con recompensas dependientes de la política, transformando la ecuación de equilibrio de flujo en una optimización de recompensas acumuladas esperadas.
Estrategias de Entrenamiento Basadas en Políticas: Derivan nuevas estrategias de entrenamiento que optimizan directamente la política hacia adelante mediante gradientes, contrastando con los métodos existentes basados en el valor. Esto incluye la adaptación de los objetivos de tipo TRPO y PPO para GFlowNets.
Diseño de Política hacia Atrás Acoplado: El artículo formula el diseño de las políticas hacia atrás como un problema de RL y propone una estrategia de entrenamiento conjunto que optimiza las políticas hacia adelante y hacia atrás simultáneamente, mejorando la eficiencia del entrenamiento.
Análisis Teórico: El trabajo proporciona garantías teóricas para la convergencia de estos métodos basados en políticas, demostrando que convergen asintóticamente a puntos estacionarios y estableciendo límites superiores en la mejora del rendimiento.

Resultados Experimentales
Los autores evaluaron sus métodos en tres dominios: modelado de hiper-rejilla (hyper-grid), diseño de secuencias biológicas/moleculares (conjuntos de datos SIX6, QM9, PHO4, sEH) y aprendizaje de estructura de Redes Bayesianas.

Rendimiento: A través de conjuntos de datos simulados y del mundo real, los métodos propuestos basados en políticas (específicamente RL-G con políticas guiadas y RL-T con actualizaciones basadas en TRPO) demostraron consistentemente tasas de convergencia más rápidas y una distancia de Variación Total (TV) menor en comparación con los métodos de vanguardia basados en el valor (como los métodos basados en TB-U, TB-B, TB-Sub y métodos basados en DB).
Estabilidad: La variante basada en TRPO (RL-T) mostró una mayor estabilidad durante el entrenamiento en comparación con los métodos de política vanilla, confirmando el beneficio de las actualizaciones conservadoras.
Ablación: Los experimentos que variaron el parámetro de compromiso sesgo-varianza $\lambda$ mostraron que los métodos basados en políticas proporcionaron una estimación de gradiente más robusta que los métodos de Balance de Trayectoria (TB), particularmente cuando $\lambda$ fue ajustado.

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en proporcionar perspectivas alternativas basadas en políticas para el entrenamiento de GFlowNet que ofrecen una estimación de gradiente robusta. Al reformular el problema a través de la lente de los gradientes de política, los autores argumentan que las GFlowNets pueden aprovechar técnicas avanzadas de RL (como regiones de confianza y reducción de varianza) para superar las limitaciones de los muestreadores basados en el valor. El trabajo sugiere que este enfoque es particularmente efectivo en entornos con modos grandes y aislados donde el equilibrio tradicional de exploración-explotación es difícil. Los autores señalan modestamente que, si bien sus métodos no requieren un diseño de muestreador explícito (a diferencia de los métodos off-policy basados en el valor), aún enfrentan desafíos con la varianza del gradiente en espacios de estados muy grandes, dejando espacio para trabajos futuros sobre la mejora de las técnicas de estimación de gradiente. El código se pone a disposición para facilitar la reproducibilidad.

La Nueva Forma de Entrenar el Flujo

Lo Que Encontraron y Lo Que Evitaron

La "Región de Confianza" y el "Guía"

Por Qué Esto Importa

Más como este