🤖 machine learning

Routing by Reaching: Composition of Pre-trained GFlowNets for Multi-Objective Generation

Este artículo propone un marco que compone GFlowNets preentrenados en el momento de la inferencia para gestionar eficientemente tareas de generación multiobjetivo sin reentrenamiento, ofreciendo recuperación exacta para la scalarización lineal y una aproximación acotada para operadores no lineales, al tiempo que logra un rendimiento comparable al de las líneas base entrenadas conjuntamente.

Autores originales: Seokwon Yoon, Youngbin Choi, Seunghyuk Cho, Seungbeom Lee, MoonJeong Park, Dongwoo Kim

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Seokwon Yoon, Youngbin Choi, Seunghyuk Cho, Seungbeom Lee, MoonJeong Park, Dongwoo Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un maestro chef intentando inventar un nuevo plato perfecto. Tienes una lista de ingredientes, pero también tienes una lista de reglas: debe ser picante, pero no demasiado fuerte; debe ser dulce, pero no empalagoso; y debe ser barato de hacer, pero con un aspecto elegante. En el mundo de la inteligencia artificial, los científicos utilizan herramientas especiales llamadas "Redes de Flujo Generativo" (o GFlowNets) para actuar como estos chefs. En lugar de cocinar, estas herramientas "cocinan" cosas nuevas, como moléculas para medicinas o grafos complejos. Estas herramientas son excelentes porque no solo encuentran una única respuesta "mejor", sino que exploran toda una cocina llena de opciones diversas y prometedoras, ofreciéndote una variedad de platos que se ajusten a diferentes gustos.

Sin embargo, la vida real es desordenada. Por lo general, no quieres una sola cosa; quieres equilibrar varias cosas a la vez, como crear una molécula que sea tanto fuerte como segura. El problema es que la forma antigua de hacer esto era como contratar a un nuevo chef para cada combinación de reglas. Si querías cambiar la receta de "picante y barato" a "dulce y seguro", tenías que despedir al viejo chef y entrenar a uno completamente nuevo desde cero. Esto es lento, costoso y un desperdicio. La gran pregunta que los científicos se han estado haciendo es: ¿Podemos tomar un equipo de chefs que ya son expertos en sus propios platos específicos y hacer que trabajen juntos instantáneamente para crear un nuevo sabor complejo sin necesidad de reentrenarlos?

Este artículo presenta un nuevo y astuto método llamado "Routing by Reaching" (Enrutamiento por Alcance) que responde "sí" a esa pregunta. Los autores proponen un marco de trabajo que actúa como un director de orquesta inteligente, tomando un grupo de chefs de IA (GFlowNets) ya preentrenados y mezclando sus instrucciones sobre la marcha para crear nuevas recetas de objetivos múltiples. En lugar de entrenar un nuevo modelo para cada nueva combinación de metas, el sistema simplemente observa qué tan probable es que cada modelo existente alcance un cierto paso en el proceso y utiliza eso como un peso para combinar sus decisiones.

Los investigadores descubrieron que para combinaciones simples, como sumar diferentes objetivos con pesos (un proceso llamado scalarización lineal), este método de mezcla es matemáticamente perfecto: crea exactamente la distribución de resultados que obtendrías si hubieras entrenado un nuevo modelo desde cero. Para combinaciones más complejas y no lineales (como usar la lógica para decir "debe ser A pero NO B"), el método no es matemáticamente perfecto en todos los casos, pero los autores demuestran mediante simulaciones que es increíblemente preciso en las áreas más importantes: las regiones de alta calidad y alta recompensa donde realmente quieres encontrar tus soluciones.

Para probar esto, el equipo realizó experimentos en dos etapas muy diferentes. Primero, utilizaron un juego de cuadrícula 2D simple, como el mapa de un videoj actually, donde podían ver exactamente qué tan bien navegaba la IA hacia las zonas de recompensa. Aquí, su método fue significativamente más preciso que los enfoques anteriores, especialmente a medida que añadían más objetivos a la mezcla. Luego, pasaron al mundo real: la generación de nuevas moléculas para el descubrimiento de fármacos. Probaron esto en dos tipos de construcción de moléculas: una donde ensamblan trozos prefabricados (fragmentos) y otra donde construyen átomo por átomo. En estas pruebas del mundo real, su método igualó o incluso superó el rendimiento de los modelos que requerían un reentrenamiento masivo para cada nueva meta. Quizás lo más impresionante fue que, cuando utilizaron reglas "lógicas" (como "alta afinidad de unión pero baja toxicidad"), su método fue aproximadamente de 30 a 65 veces más rápido en generar respuestas que el mejor método anterior, el cual tenía que realizar cálculos pesados en cada paso individual.

El artículo sugiere que este enfoque convierte a los modelos de IA preentrenados en bloques de construcción reutilizables. Así como un músico puede mezclar diferentes pistas pregrabadas para crear una nueva canción sin volver a grabar los instrumentos, este método permite a los científicos componer nuevos comportamientos de IA instantáneamente. Si bien el método no es una solución mágica que resuelva cualquier problema posible (funciona mejor cuando los modelos subyacentes están bien entrenados y los objetivos no son demasiado contradictorios), ofrece una forma flexible, rápida y altamente precisa de explorar problemas científicos complejos sin el alto costo de un reentrenamiento constante.

Resumen Técnico: Enrutamiento por Alcance (Routing by Reaching)

Declaración del Problema

Las Redes de Flujo Generativo (GFlowNets) son efectivas para muestrear candidatos diversos proporcionales a una función de recompensa, una capacidad crucial para tareas de descubrimiento científico como la generación de moléculas. Sin embargo, las aplicaciones del mundo real a menudo requieren equilibrar múltiples objetivos, frecuentemente conflictivos (por ejemplo, afinidad de unión, accesibilidad sintética y drug-likeness). Los enfoques existentes para GFlowNets multiobjetivo generalmente se dividen en dos categorías: escalarización (entrenar un único modelo condicionado en vectores de preferencia) y operadores lógicos (combinar distribuciones mediante clasificadores).

Estos métodos existentes sufren de dos limitaciones críticas:

Falta de Reutilización: Requieren un entrenamiento conjunto para cada combinación específica de objetivos. Introducir un nuevo objetivo o una nueva preferencia de compromiso requiere reentrenar el modelo desde cero o entrenar un nuevo clasificador auxiliar, lo que incurre en una sobrecarga computacional sustancial.
Marcos Fragmentados: Los métodos actuales suelen abordar la escalarización o la composición lógica de forma aislada, careciendo de un marco unificado capaz de manejar diversos esquemas de composición (desde sumas lineales hasta operadores no lineales complejos) sin reentrenamiento.

Metodología

Los autores proponen un marco titulado "Routing by Reaching" (Enrutamiento por Alcance), que compone GFlowNets preentrenados en el momento de la inferencia mezclando sus políticas de avance (forward policies). La idea central es que la probabilidad de alcance $u(s)$ —la probabilidad de visitar un estado $s$ bajo una política de avance específica— proporciona pesos naturales para combinar procesos de generación. Intuitivamente, un modelo que enruta más masa de probabilidad a través de un estado actual se considera más relevante para el objetivo de dicho estado.

La Regla de Mezcla

Dadas $k$ GFlowNets preentrenadas con políticas de avance $p_{i,F}$ , probabilidades de alcance $u_i$ y distribuciones de terminación $p_i$ , la política de mezcla propuesta $p_{M,F}$ para una transición de un estado $s$ a $s'$ se define como:

$p_{M,F}(s'|s) = \frac{G(u_1(s)p_{1,F}(s'|s), \dots, u_k(s)p_{k,F}(s'|s))}{N_M(s)}$

donde:

$G$ es la función de composición (por ejemplo, suma ponderada para la escalarización, media armónica para la conjunción).
$N_M(s)$ es una constante de normalización local que asegura que la política sume 1.
La probabilidad de alcance $u_i(s)$ actúa como un peso, escalando la probabilidad de transición del $i$ -ésimo modelo.

Computación de las Probabilidades de Alcance

Para implementar esto sin reentrenamiento, los autores proporcionan dos rutas para obtener $u_i(s)$ a partir de modelos preentrenados:

Modelo F: Para modelos entrenados con Flow Matching, Detailed Balance o Sub-Trajectory Balance, el flujo de estado $F_i(s)$ está parametrizado explícitamente. $u_i(s)$ se deriva directamente como $F_i(s)/Z_i$ .
DB F: Para modelos entrenados con Trajectory Balance (donde el flujo de estado no es explícito), $u_i(s)$ se reconstruye sobre la marcha durante la generación de la trayectoria utilizando la identidad de balance detallado: $u_i(s_t) = \prod_{j=1}^t \frac{p_{i,F}(s_j|s_{j-1})}{p_{i,B}(s_{j-1}|s_j)}$ .

Análisis Teórico

Escalarización Lineal ( $\beta=1$ ): Los autores demuestran que, para sumas ponderadas lineales de recompensas, la política de mezcla recupera exactamente la distribución objetivo. El factor de distorsión entre las distribuciones inducida y objetivo se vuelve constante.
Operadores No Lineales: Para composiciones no lineales (por ejemplo, $\beta \neq 1$ , media armónica, contraste), el factor de distorsión no está garantizado como constante. Sin embargo, el análisis empírico muestra que la distorsión permanece aproximadamente constante en regiones de alta densidad (donde la recompensa objetivo es alta), asegurando aproximaciones precisas donde más importa para el muestreo.

Contribuciones Clave

Composición Libre de Entrenamiento: Un método para componer GFlowNets preentrenadas para conjuntos de objetivos arbitrarios y diversos esquemas de composición (lineales y no lineales) sin ningún entrenamiento o ajuste fino adicional.
Garantías Teóricas: Prueba de recuperación exacta para la escalarización lineal y una cuantificación de la calidad de la aproximación para operadores no lineales mediante un factor de distorsión.
Marco Unificado: Un único enfoque que maneja tanto la escalarización condicionada por preferencia como los operadores lógicos (conjunción/sustracción), superando la fragmentación de la literatura previa.
Eficiencia: Reducción significativa en el tiempo de inferencia para operadores lógicos en comparación con las líneas base guiadas por clasificadores, ya que evita enumerar y evaluar todos los estados sucesores para un término de guía.

Resultados Experimentales

El marco fue evaluado en una rejilla 2D sintética y en tareas de generación de moléculas reales (basadas en fragmentos y basadas en átomos/QM9).

Rejilla 2D Sintética:
- Escalarización: El método logró errores L1 sustancialmente menores que las líneas base condicionadas por preferencia (MOGFN, HN-GFN) para 2 a 5 objetivos. A diferencia de las líneas base, el rendimiento se mantuvo estable a medida que aumentaba el número de objetivos.
- Operadores Lógicos: El método funcionó de manera comparable a las líneas base guiadas por clasificadores para operaciones de media armónica y contraste, pero sin requerir entrenamiento adicional. Superó significativamente a una línea base de "ensamble" que mezclaba políticas sin el pesaje de la probabilidad de alcance.
Generación de Moléculas:
- Escalarización: El enfoque igualó o excedió la calidad de la muestra (recompensa promedio y diversidad) y el hipervolumen de las líneas base que requieren entrenamiento conjunto para cada combinación de objetivos.
- Operadores Lógicos: El método logró altos porcentajes de bin objetivo para las operaciones de media armónica y contraste, superando a menudo la guía por clasificador. Crucialmente, mantuvo una validez molecular comparable a los modelos base.
- Costo de Inferencia: Para la escalarización, el método incurrió en una sobrecarga mínima (8–40 ms por muestra). Para los operadores lógicos, fue 30–65 veces más rápido que la guía por clasificador porque evita la enumeración exhaustiva de estados requerida por esta última.

Significado y Afirmaciones

El artículo afirma que "Routing by Reaching" permite que las GFlowNets preentrenadas sirvan como bloques de construcción reutilizables. Al componer estos modelos en el momento de la inferencia, los profesionales pueden adaptarse rápidamente a diversas combinaciones de objetivos y explorar el frente de Pareto sin el costo prohibitivo del reentrenamiento.

Los autores enfatizan que, si bien el método es teóricamente exacto para la escalarización lineal, proporciona aproximaciones precisas para operadores no lineales complejos en regiones de alta recompensa. El significado principal radica en desacoplar el entrenamiento de los objetivos individuales de la etapa de composición, facilitando así una exploración multiobjetivo flexible en dominios de descubrimiento científico como el diseño de fármacos, donde los requisitos suelen cambiar dinámicamente. El trabajo no pretende introducir capacidades generativas fundamentalmente nuevas, sino más bien un mecanismo para aprovechar eficientemente los modelos entrenados existentes para tareas multiobjetivo complejas.