🤖 machine learning

Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps

Este artículo presenta SCALLOP, un método de destilación de verosimilitud escalable y libre de Hutchinson para modelos generativos basados en flujo que reduce significativamente la varianza y el tiempo de entrenamiento, logiendo al mismo tiempo una inferencia hasta 10 veces más rápida en comparación con líneas de base existentes como F2D2.

Autores originales: RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

Publicado 2026-06-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de predecir el clima. Tienes un modelo computacional súper inteligente que puede decirte exactamente cómo se verá el cielo mañana (la muestra). Pero también necesitas saber qué tan probable es que ese patrón climático específico ocurra realmente (la verosimilitud).

En el mundo de la inteligencia artificial, crear un modelo que pueda hacer ambas cosas —generar imágenes de alta calidad o estructuras moleculares y además decirte exactamente qué tan probables son— es increíblemente difícil. Por lo general, tienes que elegir: o consigues imágenes excelentes pero no puedes calcular las probabilidades, o puedes calcular las probabilidades pero las imágenes salen borrosas o las matemáticas tardan una eternidad.

Este artículo presenta un nuevo método llamado SCALLOP (Escalable Likelihood distillation of flOw maPs) para resolver este problema. Así es como funciona, utilizando analogías sencillas:

El Problema: El "Atasco" Matemático

Imagina un río que fluye desde un lago tranquilo (ruido aleatorio) hacia una ciudad compleja (datos reales como moléculas o rostros).

Métodos Antiguos: Para saber cuánta agua está fluyendo en cualquier punto (la verosimilitud), los científicos tenían que detener el río, medir cada gota y realizar cálculos complejos. Esto era como intentar contar todos los coches en un atasco deteniendo cada uno de ellos. Era lento y, a menudo, tenían que adivinar, lo que provocaba errores salvajes (alta varianza).
El Atajo de "Hutchinson": Intentos anteriores trataron de acelerar esto tomando una muestra aleatoria de coches para adivinar el tráfico total. Pero esto era como adivinar el número total de coches en una ciudad preguntando solo a tres personas en la calle. A veces funcionaba, pero a menudo la suposición era erróneamente dispar, lo que hacía que el proceso de entrenamiento fuera inestable y ruidoso.

La Solución: El "GPS y Velocímetro" de SCALLOP

Los autores construyeron un nuevo sistema que actúa como un coche con un GPS integrado y un velocímetro perfecto que nunca necesita apagar el motor para comprobar la velocidad.

El Mapa de Flujo (El GPS): Utilizan un "Mapa de Flujo", que es como un mapa precalculado que le dice a la IA cómo moverse desde el ruido aleatorio hasta una imagen o molécula real en solo unos pocos pasos (como tomar una autopista directa en lugar de caminos rurales sinuosos).
La Verosimilitud (El Velocímetro): La parte difícil es conocer la "probabilidad" (la lectura del velocímetro) al mismo tiempo.
- La Forma Antigua: Para obtener esta lectura, los modelos antiguos (como F2D2) tenían que usar ese método de "adivinación aleatoria" (el estimador de Hutchinson), que era ruidoso y lento.
- La Forma de SCALLOP: Los autores se dieron cuenta de que podían usar un truco matemático (Coincidencia de Divergencia Condicional) para calcular la probabilidad directamente sin adivinar. En lugar de intentar contar los coches deteniéndolos, observan el flujo del río en sí. Derivaron una fórmula que permite al modelo "ver" la probabilidad mientras se mueve, sin necesidad de detenerse y realizar cálculos pesados.

¿Por qué es esto algo importante?

El artículo afirma que SCALLOP es una mejora importante en tres aspectos:

Es más Suave (Menos Ruido): Debido a que no depende de la adivinación aleatoria, el proceso de entrenamiento es mucho más estable. Imagina conducir un coche donde el velocímetro solía saltar salvajemente; SCALLOP hace que la aguja sea constante. Esto significa que el modelo aprende más rápido y de manera más fiable.
Es más Rápido: Los métodos antiguos eran como conducir un coche que tenía que detenerse en cada semáforo en rojo para consultar un mapa. SCALLOP conduce directo sin detenerse. El artículo muestra que es 10 veces más rápido que los mejores métodos existentes para la ciencia molecular y 100 veces más rápido que algunos otros competidores.
Funciona en Todas Partes: Lo probaron en dos cosas muy diferentes:
1. Moléculas: Lo utilizaron para simular cómo se pliegan las proteínas (como los péptidos de Alanina). Esto es crucial para el descubrimiento de fármacos porque los científicos necesitan saber no solo qué aspecto tiene una molécula, sino qué tan probable es que exista en esa forma. SCALLOP hizo esto mejor y más rápido que el estado del arte actual.
2. Imágenes: También lo probaron generando rostros (conjunto de datos CelebA). Produjo imágenes de alta calidad y estimaciones de probabilidad precisas, demostrando que el método funciona para datos generales, no solo para la ciencia.

La Conclusión

Piensa en SCALLOP como un nuevo motor para los generadores de IA. Antes, si querías saber las "probabilidades" de una imagen o molécula generada, tenías que pagar un impuesto enorme en tiempo y precisión. SCALLOP elimina ese impuesto. Permite que la IA genere datos complejos (como moléculas 3D o rostros) y te diga exactamente qué tan probables son, todo en una sola pasada, rápida y estable.

En resumen: Es una forma más rápida, precisa y menos "ruidosa" de enseñar a la IA a crear cosas y comprender qué tan probable es que esas cosas existan.

Resumen Técnico: Generadores de Boltzmann de Pocos Pasos mediante Mapas de Flujo de Verosimilitud Escalables (SCALLOP)

Planteamiento del Problema

Los avances recientes en el modelado generativo basado en flujos han permitido la generación de muestras de alta calidad con pocas evaluaciones de función (NFEs). Sin embargo, la estimación de la verosimilitud del modelo (densidad de la muestra) sigue siendo un cuello de botella. Los enfoques existentes enfrentan un compromiso:

Arquitecturas Restrictivas: Los flujos de normalización garantizan el cálculo exacto de la verosimilitud mediante la fórmula de cambio de variables, pero requieren restricciones arquitectónicas (por ejemplo, capas invertibles) que limitan la expresividad, particularmente en dominios con simetrías como el modelado molecular.
Estimadores de Alta Varianza: Los Flujos Normalizadores Continuos (CNFs) y sus contrapartes destiladas (por ejemplo, Mapas de Flujo) ofrecen mayor expresividad, pero requieren integrar la divergencia del campo de velocidad. Esto se estima típicamente utilizando el estimador de traza de Hutchinson, lo que introduce una varianza sustancial y requiere presupuestos computacionales que escalan pobremente con la dimensionalidad.
Limitaciones de la Destilación: Métodos recientes como F2D2 (Ai et al., 2026) intentan destilar tanto el muestreo como la verosimilitud en pocos pasos, pero aún dependen de estimadores de divergencia basados en Hutchinson durante el entrenamiento, heredando su alta varianza y sobrecarga computacional.

Consecuentemente, existe una falta de métodos escalables y de baja varianza para estimar verosimilitudes de modelos generativos expresivos, lo que dificulta su aplicación como generadores de Boltzmann para la estimación de energía libre y el muestreo mejorado en dominios científicos.

Metodología: SCALLOP

Los autores proponen SCAlable LikeLihood distillation of flOw maPs (SCALLOP), un marco que se basa en el modelo de mapa de flujo de verosimilitud F2D2, pero que reemplaza el objetivo de entrenamiento basado en Hutchinson por una alternativa vectorizada y escalable.

1. Mapas de Flujo de Verosimilitud

SCALLOP utiliza un mapa de flujo de verosimilitud $\Psi$ , un operador que mapea conjuntamente un estado $x_t$ en el tiempo $t$ a un estado $x_s$ en el tiempo $s$ y el cambio de log-densidad asociado. Esto se parametriza como:
$\Psi_\theta(x_t, t, s) = \begin{bmatrix} x_t \\ 0 \end{bmatrix} + (s-t) \begin{bmatrix} u_\theta(x_t, t, s) \\ D_\theta(x_t, t, s) \end{bmatrix}$
donde $u_\theta$ predice la velocidad y $D_\theta$ predice la divergencia (cambio de log-densidad).

2. Coincidencia de Divergencia Condicional (CDM)

La innovación central es reemplazar el estimador de traza de Hutchinson con la Coincidencia de Divergencia Condicional (CDM).

Derivación: Utilizando la regla de la cadena sobre el logaritmo de la densidad a lo largo de la trayectoria del flujo ( $dt \log p_t(x_t) = \nabla \log p_t(x_t) \cdot v_t(x_t) + \partial_t \log p_t(x_t)$ ), los autores reformulan el término de divergencia.
Mecanismo: Al condicionar en el punto de datos objetivo $x_1$ (en un entorno de interpolación lineal $x_t = (1-t)x_0 + tx_1$ ), la distribución condicional $p_t(x_t|x_1)$ se vuelve tratable (Gaussiana). Esto permite expresar la divergencia sin operadores de divergencia explícitos o estimadores de traza estocásticos.
Objetivo: El objetivo CDM minimiza la diferencia entre la divergencia predicha $D_\theta$ y un término derivado del campo de velocidad conocido y las puntuaciones condicionales, evitando la necesidad de utilizar el estimador de Hutchinson por completo.

3. Coincidencia de Divergencia Vectorizada

Para mejorar aún más la eficiencia, los autores introducen la Coincidencia de Divergencia Vectorizada (CDM-v).

En lugar de predecir la divergencia escalar $\nabla \cdot v_t$ , la red predice el vector de las entradas diagonales del Jacobiano, $\text{diag}(\nabla v_t)$ .
Esto transforma el objetivo de aprendizaje de una señal escalar a una señal vectorial, lo cual es más eficiente en términos de datos y permite una formulación completamente vectorizada.
El análisis teórico muestra que minimizar la pérdida vectorizada es equivalente a minimizar la pérdida de coincidencia de divergencia estándar hasta una constante.

4. Entrenamiento y Arquitectura

Arquitectura: SCALLOP emplea una arquitectura de Transformador de Difusión (DiT) con capas de codificación compartidas y cabezales de lectura separados para la velocidad de la muestra y el cambio de log-densidad vectorizado.
Simetría: Para sistemas moleculares, la arquitectura impone la equivariancia SE(3) para la velocidad y la invarianza SE(3) para el cambio de log-densidad (mediante la sumatoria de la salida vectorial).
Estabilización: Para manejar las singularidades en $t=1$ , el entrenamiento toma muestras de $t$ en $[0, 1-\epsilon]$ y aplica un pesaje lineal al término de coincidencia de la divergencia.

Contribuciones Clave

Objetivo de Entrenamiento Escalable: SCALLOP introduce un objetivo de destilación de verosimilitud vectorizado y libre de Hutchinson (CDM-v) que reduce significativamente la varianza del entrenamiento y el costo computacional en comparación con F2D2.
Superioridad Empírica: SCALLOP demuestra mejoras sustanciales sobre F2D2, reduciendo la varianza del entrenamiento hasta 100 $\times$ , convergiendo más rápido y logrando un mejor rendimiento en el conjunto de prueba.
Eficiencia de Inferencia: En dominios moleculares, SCALLOP logra una inferencia hasta 10 $\times$ más rápida que los flujos de normalización y 100 $\times$ más rápida que FALCON, manteniendo una calidad de muestra competitiva o superior.
Generalizabilidad: El método se valida en conjuntos de datos de imágenes de alta dimensión (CelebA-64), mostrando una estimación de verosimilitud precisa y una dinámica de entrenamiento estable en comparación con F2D2.

Resultados

Sistemas Moleculares (Generadores de Boltzmann)

Evaluado en sistemas de Alanina Dipéptido (ALA-2) a Hexapéptido (ALA-6):

Rendimiento: SCALLOP supera consistentemente a F2D2 en todas las métricas (Tamaño de Muestra Efectiva, Wasserstein-2 de Energía, Wasserstein-2 de Ángulo Torsional). Logra un rendimiento competitivo con el estado del arte FALCON y FALCON-A.
Estabilidad: Los gradientes de entrenamiento para SCALLOP exhiben una varianza significativamente menor y una Relación Señal-Ruido (SNR) más alta en comparación con F2D2.
Velocidad: SCALLOP soporta tamaños de lote grandes ( $10^4$ ) durante la inferencia, mientras que FALCON requiere tamaños de lote fuertemente restringidos debido a los costos de computación del Jacobiano. SCALLOP es 10 $\times$ más rápido que los flujos de normalización y 100 $\times$ más rápido que FALCON.

Generación de Imágenes (CelebA-64)

SCALLOP logra Bits Por Dimensión (BPD) y Distancia de Incepción de Fréchet (FID) comparables a F2D2 en 1 a 8 pasos de Euler.
Reduce consistentemente el error de BPD por muestra en comparación con F2D2.
El cálculo de la pérdida es un 16.9% más rápido (83.1% del tiempo de ejecución de F2D2) con una dinámica de entrenamiento más estable.

Significado y Reivindicaciones

El artículo afirma que SCALLOP resuelve el compromiso de larga duración entre la expresividad y la evaluación de verosimilitud tratable en modelos generativos de pocos pasos. Al eliminar el estimador de traza de Hutchinson, SCALLOP permite el entrenamiento de mapas de flujo de verosimilitud altamente expresivos con baja varianza y alta escalabilidad.

Los autores posicionan a SCALLOP como una solución práctica para aplicaciones científicas que requieren generadores de Boltzmann, donde la estimación precisa de la verosimilitud es crítica para los cálculos de energía libre y el muestreo mejorado. Señalan que, aunque SCALLOP puede teóricamente generar muestras en 1 paso, en la práctica utiliza $\sim$ 10 pasos para tareas de alta dimensión. El método depende del supuesto de que el campo de velocidad está bien aprendido, y la brecha teórica respecto al sesgo introducido por este supuesto permanece sin cuantificar. No obstante, los resultados empíricos demuestran que SCALLOP es un enfoque competitivo y de vanguardia que acelera significativamente tanto el entrenamiento como la inferencia para el modelado generativo consciente de la verosimilitud.