🤖 machine learning

Optimize Your Sampling: Tuned Diffusion Sampling with Bayesian Optimization

Este artículo presenta Optimizing Your Sampling (OYS), un método libre de entrenamiento que utiliza la optimización bayesiana para ajustar directamente los pasos de tiempo de muestreo de los modelos de difusión, reduciendo significativamente los costos de inferencia mientras mantiene una alta calidad de generación en diversas tareas y muestreadores.

Autores originales: Travis Zhang, Christian Belardi, Justin Lovelace, Jin Peng Zhou, Saebyeol Shin, Carla P. Gomes, Kilian Q. Weinberger

Publicado 2026-08-19

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Travis Zhang, Christian Belardi, Justin Lovelace, Jin Peng Zhou, Saebyeol Shin, Carla P. Gomes, Kilian Q. Weinberger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, un tipo específico de programa informático ha aprendido recientemente a crear imágenes a partir de nada más que una descripción. Estos programas, conocidos como modelos de difusión, funcionan comenzando con una pantalla llena de estática aleatoria, como la nieve en un televisor antiguo, y limpiándola gradualmente hasta que emerge una imagen clara. Para convertir ese ruido en un gato, un paisaje o una persona reconocible, la computadora debe dar muchos pasos pequeños, revisando su trabajo y ajustando la imagen en cada etapa. Este proceso es poderoso, permitiendo a las máquinas producir arte impresionante y diseños útiles, pero también es lento. Crear una sola imagen a menudo requiere que la computadora realice miles de cálculos, lo que la hace costosa y lenta. Durante años, los investigadores han intentado acelerar esto buscando mejores formas de dar esos pasos, con la esperanza de alcanzar una imagen clara en menos movimientos sin perder la calidad de la imagen final.

Un equipo de investigadores de la Universidad de Cornell ha encontrado una nueva forma de resolver este problema cambiando la manera en que la computadora decide qué pasos tomar. En lugar de seguir un plan estándar y preescrito para limpiar el ruido, trataron la selección de los pasos como un rompecabezas para ser resuelto por un algoritmo de búsqueda inteligente. Desarrollaron un método llamado Optimizing Your Sampling (Optimización de su Muestreo), o OYS, que prueba automáticamente miles de patrones de pasos diferentes para encontrar el que produzca los mejores resultados. Los investigadores descubrieron que el camino más eficiente no es el que nadie había adivinado antes. Mientras que los métodos anteriores intentaban distribuir los pasos de manera uniforme o seguían una fórmula matemática estricta, el nuevo método aprendió a dedicar más tiempo a las partes iniciales y desordenadas del proceso, donde la imagen es todavía solo ruido. Este simple cambio permitió a la computadora crear imágenes de alta calidad utilizando solo una fracción de los pasos que suele necesitar.

Los investigadores probaron su idea en varios modelos de creación de imágenes diferentes, incluyendo algunos de los más populares utilizados hoy en día. Le pidieron a la computadora que generara imágenes basadas en descripciones de texto, tales como "una pintura de una nave espacial aterrizando junto a un templo" o "un narciso feliz con ojos grandes". En estas pruebas, compararon su nuevo método contra la forma estándar de generar imágenes y contra otra técnica reciente que intentaba mejorar el proceso utilizando matemáticas complejas. Los resultados fueron claros: el nuevo método produjo consistentemente mejores imágenes. Cuando la computadora se vio obligada a trabajar con solo cinco pasos en lugar de los cincuenta habituales, el nuevo método mantuvo casi toda la calidad del proceso más largo, mientras que el método estándar produjo resultados borrosos o distorsionados. De hecho, el nuevo método fue tan efectivo que pudo crear imágenes que los humanos prefirieron sobre las estándar en más del 80 por ciento de los casos, incluso cuando la computadora trabajaba con muy pocos pasos.

Lo que hace que este descubrimiento sea particularmente interesante es cómo la computadora aprendió a resolver el problema. Los investigadores no le enseñaron a la computadora una nueva regla ni escribieron una nueva ecuación. En su lugar, dejaron que la computadora probara diferentes horarios de pasos, generara una imagen para cada uno y luego calificara la imagen basándose en qué tan bien coincidía con la descripción y qué tan buena se veía. La computadora utilizó estas puntuaciones para guar su búsqueda, reduciendo gradualmente el campo hasta encontrar el mejor horario posible. Cuando los investigadores observaron el horario ganador, vieron un patrón que los sorprendió. La computadora había decidido tomar más pasos cuando la imagen aún era muy ruidosa y menos pasos cuando la imagen ya estaba mayormente clara. Esto es lo opuesto de lo que muchos expertos habían asumido, ya que los métodos anteriores tendían a espaciar los pasos de manera uniforme o a enfocarse más en las etapas finales y limpias. El nuevo método demostró que dedicar más esfuerzo al comienzo caótico del proceso produce un resultado mucho mejor al final.

El equipo también aplicó este método a otras tareas, como reparar partes dañadas de una imagen o convertir un boceto simple en una foto realista. En cada caso, el nuevo método mejoró la calidad del resultado. Funcionó igual de bien en modelos que ya habían sido simplificados para ejecutarse más rápido, mostrando que el beneficio proviene de la forma en que se eligen los pasos, no de cambiar el modelo en sí. Los investigadores señalaron que encontrar este horario óptimo requirió generar miles de imágenes durante la fase de prueba, pero este costo se pagó solo una vez. Una vez encontrado el mejor horario, este podía usarse para siempre para hacer que las futuras imágenes se crearan de forma mucho más rápida y económica. El estudio sugiere que, durante muchos años, la comunidad de las ciencias de la computación había estado utilizando un enfoque de "talla única" para limpiar el ruido, cuando un enfoque personalizado que se adapte a las necesidades específicas de la tarea podría desbloquear un rendimiento significamente mejor.

Uno de los hallazgos más impactantes fue la eficiencia del nuevo método. Los investigadores descubrieron que podían ajustar el sistema para encontrar el mejor horario utilizando muchos menos recursos informáticos que otros intentos recientes. Mientras que algunos métodos anteriores requerían millones de generaciones de imágenes para encontrar un buen horario, este nuevo enfoque a menudo encontraba una solución tras generar solo unos pocos miles. Esta eficiencia significa que el método puede aplicarse a muchos tipos diferentes de generadores de imágenes sin requerir cantidades masivas de potencia de cálculo. Los investigadores enfatizaron que esto no es un arreglo universal que funcione de la misma manera para cada problema, sino más bien una herramienta que permite a los expertos encontrar los mejores ajustes para sus necesidades específicas con mucha más facilidad. Al tratar la elección de los pasos como un problema para ser optimizado directamente, en lugar de adivinar basándose en la teoría, abrieron un camino hacia la generación de imágenes más rápida y de mayor calidad que es accesible para una amplia gama de usuarios.

Las implicaciones de este trabajo se extienden más allá de solo hacer las imágenes más rápidas. Cambia nuestra forma de pensar sobre la relación entre el esfuerzo de la computadora y la calidad del resultado. El estudio muestra que la forma estándar de hacer las cosas, que se ha utilizado durante años, deja mucho potencial de calidad sobre la mesa. Simplemente reorganizando cuándo la computadora presta atención, es posible obtener resultados mucho mejores sin cambiar la tecnología subyacente. Esto sugiere que en muchas áreas de la inteligencia artificial, la forma en que guiamos el proceso puede ser tan importante como el proceso mismo. Los investigadores esperan que su método anime a otros a buscar optimizaciones similares en otras tareas complejas, demostrando que, a veces, la mejor manera de avanzar es repensar los pasos que damos para llegar allí.

Resumen Técnico: Optimizando su Muestreo (OYS) mediante la Optimización Bayesiana

Declaración del Problema

Los modelos de difusión han alcanzado un rendimiento de vanguardia en tareas generativas como la síntesis de texto a imagen, la superresolución y el inpainting. Sin embargo, el proceso de eliminación de ruido iterativo inherente a estos modelos requiere numerosos pasos hacia adelante a través de grandes redes neuronales, lo que hace que la generación sea computacionalmente costosa. Mientras que la investigación significativa se ha centrado en el desarrollo de solvers eficientes (por ejemplo, DPM-Solver++) y modelos destilados de pocos pasos (por ejemplo, modelos de consistencia), se ha prestado comparativamente poca atención a la selección de los propios pasos de muestreo (timesteps).

La elección de los pasos de tiempo impacta significativamente la calidad de la muestra, particularmente bajo presupuestos de pasos bajos donde los esquemas por defecto se degradan rápidamente. El trabajo previo, como Align Your Steps (AYS), intenta optimizar la selección de los pasos de tiempo minimizando un sustituto teórico derivado: el Límite Superior de la Divergencia de Kullback-Leibler (KLUB) entre el proceso generativo real y su discretización. Sin embargo, minimizar este límite no necesariamente minimiza la discrepancia entre las distribuciones de salida. En consecuencia, AYS depende de un frenado temprano de una inicialización heurística, y sus esquemas resultantes permanecen cercanos al espaciado log-lineal por defecto en el espacio log-SNR, fallando en explotar plenamente las ganancias potenciales de una reasignación global de pasos.

Metodología: Optimizando su Muestreo (OYS)

Los autores proponen Optimizing Your Sampling (OYS), un marco que trata la selección de los pasos de tiempo como un problema de optimización de caja negra. En lugar de optimizar un sustituto teórico, OYS optimiza directamente la métrica objetivo (por ejemplo, Puntuación de Preferencia Humana, FID, PSNR) utilizando Optimización Bayesiana.

Marco Central

Formulación de Caja Negra: OYS asume el acceso a un modelo de difusión preentrenado fijo $m$ , un conjunto de entradas de ajuste $X$ y una métrica de evaluación de caja negra $e$ . El objetivo es encontrar una configuración de muestreo $p$ que minimice $e(m(X; p))$ .
Parametrización:
- Optimización Directa del Esquema: Para modelos sin un esquema paramétrico, OYS optimiza los pasos de tiempo directamente. Para asegurar la monotonicidad (de alto ruido a bajo ruido), los autores utilizan una reparametrización de producto acumulativo donde cada paso $k$ se define por un parámetro continuo $p_k \in [0, 1]$ . Para modelos de tiempo discreto, los pasos de tiempo se redondean al entero más cercano.
- Esquemas Paramétricos: Para modelos como la familia EDM, OYS optimiza conjuntamente los parámetros funcionales (por ejemplo, $\sigma_{min}$ , $\sigma_{max}$ , $\rho$ , longitud de EMA, fuerza de guía) en lugar de solo los pasos de tiempo.
Bucle de Optimización Bayesiana:
- Inicialización: Las configuraciones iniciales se seleccionan mediante el muestreo de Sobol.
- Modelado del Sustituto: Se ajusta un Proceso Gaussiano (GP) a las evaluaciones observadas para aproximar la función objetivo, proporcionando estimaciones de media e incertidumbre.
- Adquisición: La búsqueda de configuraciones prometedoras es guiada por la función de adquisición $q$ LogNEI.
- Evaluación: Cada iteración implica generar imágenes con el modelo de difusión y puntuarlas. Este proceso se repite hasta la convergencia o el agotamiento del presupuesto.

Distinciones Clave con el Trabajo Previo

A diferencia de los métodos que optimizan sustitutos (por ejemplo, KLUB para AYS, error de discretización de Euler para ART, o error de punto medio para HSO), OYS optimiza la métrica objetivo misma. Aunque esto incurre en el costo de generar imágenes durante el ajuste, evita la discrepancia entre el sustituto y la calidad perceptual. Además, OYS no requiere información de gradiente a través del muestreador, lo que lo hace aplicable a operaciones no diferenciables (como el redondeo) y objetivos sin sustitutos tratables (como la preferencia humana).

Principales Contribuciones

Optimización Directa de la Métrica: OYS es el primer marco que trata la selección de parámetros de muestreo de difusión como un problema de optimización de caja negra, optimizando directamente la calidad perceptual en lugar de límites teóricos.
Sin Necesidad de Reentrenamiento: El método no requiere ningún entrenamiento adicional del modelo de difusión y es aplicable a cualquier modelo, muestreador u objetivo preentrenado.
Amplia Aplicabilidad: OYS mejora el rendimiento en diversas tareas (texto a imagen, inpainting, tareas inversas) y tipos de modelos (estándar, destilados, de tiempo discreto, de tiempo continuo).
Eficiencia: El proceso de ajuste es altamente eficiente. Para SDXL, el ajuste se estanca después de aproximadamente 17 mil generaciones de cinco pasos (85 mil pasos hacia adelante), lo cual es un orden de magnitud menor que el límite superior reportado para los costos de ajuste de AYS.

Resultados Experimentales

Los autores evaluaron OYS a través de múltiples benchmarks, comparándolo contra los esquemas por defecto y los esquemas de AYS.

Generación de Texto a Imagen

Métricas: Evaluado utilizando la Puntuación de Preferencia Humana (HPS) y FID en COCO Captions y DiffusionDB.
Rendimiento: OYS superó consistentemente tanto a los esquemas por defecto como a los de AYS, particularmente en el régimen agresivo de pocos pasos (5 pasos).
- En SDXL (5 pasos), OYS logró una tasa de victoria del 70.70% contra el esquema por defecto y una tasa de victoria del 68.8% contra AYS en evaluaciones humanas.
- En DeepFloyd y Stable Diffusion v1.5, OYS mostró mejoras significativas en las tasas de victoria de HPS (83.99% y 59.29% respectivamente) sobre el valor por defecto a 5 pasos.
- OYS también mejoró el rendimiento en SDXL-Turbo (un modelo destilado), demostrando que el ajuste de esquema complementa la destilación.

Tareas de Inpainting e Inversas

Inpainting: El ajuste en LPIPS para esquemas de 5 pasos mejoró el PSNR en 6.9 dB (SDXL) y 2.9 dB (SDv1.5) en comparación con los valores por defecto. La evaluación humana mostró que OYS ganaba en las comparaciones el 93.4% y el 85.1% de las veces, respectivamente. Crucialmente, OYS preservó las regiones no enmascaradas, mientras que los esquemas por defecto a menudo las corrompían.
Tareas Inversas: Para tareas de Difusión por Prompt (Inverse HED, Depth, Segmentation), OYS mejoró las tasas de victoria de HPS en un 57.6%–65.4% sobre los valores por defecto.

Generación de Imágenes EDM2

OYS optimizó el esquema paramétrico ( $\sigma_{min}, \sigma_{max}, \rho$ ) y la guía para la familia EDM2 en ImageNet-512.
Los resultados mostraron mejoras de FID de 3.57% a 7.00% en todos los tamaños de modelo (de XS a XXL) en comparación con las configuraciones de búsqueda de cuadrícula de Karras et al. (2024).

Perspectivas Cualitativas y Estructurales

Análisis de Esquema: La inspección de los esquemas optimizados en el espacio log-SNR reveló un patrón consistente: OYS asigna más pasos a las regiones de alto ruido (bajo log-SNR). Esto contrasta con el espaciado aproximadamente uniforme de log-SNR tanto de los esquemas por defecto como de AYS.
Evaluación Humana: Un estudio de usuario con 58 participantes confirmó que las generaciones de OYS eran preferidas sobre tanto AYS como el valor por defecto en términos de fidelidad de imagen y alineación con el prompt (todas las comparaciones fueron significativas con $p < 0.001$ ).
Generalización: Las mejoras se mantuvieron en métricas no utilizadas durante el ajuste (por ejemplo, el ajuste en HPS mejoró el FID), lo que sugiere ganancias de calidad genuinas en lugar de un sobreajuste de la métrica.

Significancia y Reclamaciones

El artículo afirma que OYS ofrece un camino práctico para un muestreo más eficiente a través de arquitecturas y tareas. Al plantear la selección de parámetros de muestreo como un problema de optimización de caja negra, OYS evita las limitaciones de los sustitutos teóricos que no logran capturar la calidad perceptual.

Los autores enfatizan que, si bien los esquemas de ruido óptimos son inherentemente dependientes del dominio, OYS hace que el proceso necesario de ajuste específico al dominio sea más simple y económico. El costo se incurre una vez por modelo y tarea, pero se amortiza en todo el muestreo posterior. Los resultados demuestran que los heurísticos convencionales de espaciado y rango de ruido dejan una calidad significativa sobre la mesa en presupuestos de pasos bajos, y que los parámetros que valen la pena ajustar se extienden más allá de los pasos de tiempo para incluir la fuerza de la guía y los límites del rango de ruido. Un esquema de 5 pasos de OYS retiene entre el 89% y el 94% de la calidad de un esquema de 50 pasos, reduciendo los costos de inferencia en 10x.