📊 statistics

Improved denoising diffusion probabilistic models with efficient non-diagonal covariance modeling

Este artículo presenta el modelo Kronecker-DCT (K-DCT), una novedosa aproximación de covarianza no diagonal que aprovecha la factorización de Kronecker y la Transformada Discreta del Coseno para capturar eficientemente las correlaciones de imágenes naturales, mejorando así significativamente la calidad y la verosimilitud de los Modelos Probabilísticos de Difusión de Eliminación de Ruido (DDPMs) con menos pasos de muestreo manteniendo un sobrecoste computacional insignificante.

Autores originales: Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

Publicado 2026-08-25

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rui Xia, Ayan Das, Artem Artemev, Andi Zhang, Guillaume Hennequin, Alberto Bernacchia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una máquina que aprende a crear arte no pintando desde cero, sino comenzando con un lienzo cubierto de estática y eliminando cuidadosamente el ruido hasta que emerge una imagen clara. Esta es la idea central detrás de una familia de modelos de inteligencia artificial conocidos como modelos de difusión de eliminación de ruido (denoising diffusion models). Se han convertido en una herramienta estándar para generar imágenes de alta calidad, desde rostros realistas hasta paisajes, porque producen resultados que son tanto nítidos como diversos. Sin embargo, hay un inconveniente: el proceso de eliminar el ruido es inherentemente lento. Para obtener una buena imagen, la computadora debe dar miles de pasos diminutos y cautelosos, despojando un poco de estática a la vez. Si intenta dar pasos más grandes para acelerar el proceso, la imagen suele volverse borrosa o distorsionada porque la máquina pierde el rastro de cómo las diferentes partes de la imagen se relacionan entre sí.

Durante mucho tiempo, los investigadores han intentado resolver este problema de velocidad mediante una suposición simplificadora: asumieron que la incertidumbre en la imagen en cualquier momento podía describirse observando cada píxel de forma independiente. Es un poco como intentar describir el clima mirando únicamente la temperatura en un punto específico, ignorando cómo el viento en ese punto afecta la lluvia en el siguiente. Si bien este enfoque funciona lo suficientemente bien cuando se dan pasos diminutos, falla cuando los investigadores intentan dar los pasos más grandes y rápidos necesarios para un uso práctico. La realidad de las imágenes naturales es mucho más compleja; el color de un píxel está profundamente conectado con sus vecinos, y los canales rojo, verde y azul de una imagen se influyen entre sí de maneras intrincadas. Un nuevo estudio publicado en Transactions on Machine Learning Research sugiere que, al reconocer estas conexiones complejas, podemos hacer que estos generadores de imágenes sean significativamente más rápidos sin sacrificar la calidad.

Los investigadores, un equipo de instituciones que incluyen la Universidad de Cambridge y el King's College London, se propusieron construir un mejor mapa de estas conexiones. Se centraron en la "covarianza posterior", un término técnico que esencialmente describe cómo la incertidumbre de una parte de la imagen depende de la incertidumbre de otra. En los modelos antiguos y más simples, este mapa se dibujaba como una cuadrícula donde solo importaban las líneas diagonales, lo que implicaba que el futuro de un píxel era independiente de sus vecinos. El nuevo equipo argumentó que esto era una simplificación drástica que ignoraba la verdadera estructura de las imágenes naturales, las cuales exhiben correlaciones no diagonales fuertes entre los píxeles y los canales de color. También señalaron que estas imágenes tienen un patrón de frecuencia específico, donde los detalles se desvanecen de una manera predecible, similar a cómo un acorde musical tiene una estructura específica de notas.

Para capturar esta complejidad sin ralentizar la computadora, el equipo desarrolló un nuevo modelo matemático que llaman K-DCT. El nombre proviene de dos ideas clave que combinaron. Primero, reconocieron que la relación entre los colores (como el rojo, el verde y el azul) y la relación entre las ubicaciones espaciales (izquierda, derecha, arriba, abajo) son aproximadamente separadas entre sí. Esto les permitió dividir el problema masivo y complejo en dos piezas más pequeñas y manejables. Segundo, se dieron cuenta de que las relaciones espaciales en una imagen se entienden mejor no mirando los píxeles directamente, sino viendo la imagen como una colección de ondas, utilizando una técnica llamada Transformada Discreta del Coseno (Discrete Cosine Transform). Este es un método que descompone una imagen en sus frecuencias fundamentales, de forma muy similar a cómo un prisma descompone la luz blanca en un arcoíris de colores. Al trabajar en este dominio de la frecuencia, los investigadores pudieron describir la compleja red de conexiones entre píxeles utilizando un conjunto muy compacto de números.

El resultado es un modelo que es tanto altamente expresivo como increíblemente eficiente. Mientras que una descripción completa de las conexiones en una imagen de alta resolución requeriría una cantidad masiva de memoria y potencia de cálculo, el modelo K-DCT logra hacer el mismo trabajo con una huella apenas mayor que la de la propia imagen. Los investigadores probaron este enfoque en varios conjuntos de datos de imágenes bien conocidos, incluyendo CIFAR-10, que contiene imágenes pequeñas de objetos cotidianos, y CelebA, que presenta retratos de celebridades. También lo probaron en conjuntos de datos más grandes y complejos como ImageNet y LSUN. En cada caso, compararon su nuevo método contra las mejores técnicas existentes, que dependían de las suposiciones diagonales más simples.

Los hallazgos fueron claros y consistentes. Cuando los investigadores obligaron a los modelos a generar imágenes en menos pasos —simulando un escenario donde la velocidad es crítica—, el nuevo modelo K-DCT produjo resultados significativamente mejores. Las imágenes eran más nítidas, detalladas y estadísticamente más cercanas a los datos reales sobre los que fueron entrenados. En términos técnicos, los modelos lograron menores tasas de error y mejores puntuaciones de verosimilitud (likelihood), lo que significa que la computadora tenía más confianza en sus creaciones. Quizás lo más importante es que la velocidad del proceso de generación no sufrió. Los cálculos adicionales requeridos por el nuevo modelo fueron tan eficientes que añadieron casi nada de tiempo al proceso, incluso en imágenes de alta resolución. Esto sugiere que el cuello de botella en la generación rápida de imágenes no era la potencia bruta de la computadora, sino la forma en que se estaba modelando la incertidumbre.

El equipo también exploró por qué este enfoque funciona tan bien. Encontraron que las conexiones entre píxeles en una imagen de eliminación de ruido no se desvanecen rápidamente; en cambio, siguen un decaimiento lento y predecible que abarca muchos órdenes de magnitud. Los modelos simples que intentan ignorar estas conexiones de largo alcance o aproximarlas con algunos patrones básicos fallan en capturar este matiz. El modelo K-DCT, por el contrario, acomoda naturalmente esta estructura. Curiosamente, el modelo funcionó excepcionalmente bien incluso en conjuntos de datos como CelebA, donde las imágenes son de rostros humanos y no poseen la simetría perfecta o la invarianza de traslación que la teoría matemática asume. Esto sugiere que el modelo es lo suficientemente robusto como para manejar las imperfecciones del mundo real, capturando la estructura "completa" esencial de los datos incluso cuando los patrones subyacentes no son perfectamente regulares.

Si bien el estudio no afirma haber resuelto todos los problemas de la inteligencia artificial, ofrece una solución convincente a un obstáculo específico y persistente: la compensación entre velocidad y calidad en la generación de imágenes. Al alejarse de la suposición de que los píxeles actúan solos y abrazar la realidad de que están profundamente interconectados, los investigadores han demostrado que podemos acelerar el proceso creativo de estas máquinas. El trabajo implica que el futuro de la generación de imágenes eficiente no reside en construir computadoras más grandes, sino en construir modelos más inteligentes que comprendan la naturaleza verdadera y compleja de las imágenes que intentan crear. El modelo K-DCT es una prueba de que una comprensión más precisa de la estructura estadística puede conducir a mejoras tangibles en el rendimiento, haciendo que la generación de imágenes de alta calidad sea más rápida y accesible sin requerir un salto en las capacidades del hardware.

Resumen Técnico: Modelos de Difusión Probabilística de Eliminación de Ruido Mejorados con un Modelado de Covarianza No Diagonal Eficiente

Planteamiento del Problema

Los Modelos de Difusión Probabilística de Eliminación de Ruido (DDPMs) logran un rendimiento de vanguardia en la generación de imágenes, pero sufren de velocidades de muestreo lentas debido a su naturaleza inherentemente secuencial. Si bien el proceso de muestreo puede acelerarse tomando menos pasos, más grandes (muestreo de salto de paso o skip-step sampling), este enfoque degrada la calidad de la muestra si la covarianza del posterior de eliminación de ruido no se modela con precisión.

Intentos previos para acelerar el muestreo aprovechando la información de segundo orden han dependido de simplificaciones drásticas, como asumir que la covarianza del posterior es diagonal o de bajo rango. Los autores argumentan que estas suposiciones son insuficientes porque las imágenes naturales exhiben fuertes correlaciones no diagonales entre píxeles y canales de color, así como un espectro de frecuencia de potencia de decaimiento lento. En consecuencia, las aproximaciones diagonales no logran capturar la compleja estructura estadística del posterior de eliminación de ruido, particularmente cuando el número de pasos de muestreo es pequeño. Además, modelar la matriz de covarianza completa es computacionalmente prohibitivo ( $O(D^2)$ de complejidad para $D$ píxeles), creando un compromiso entre precisión y tractabilidad similar al encontrado en la optimización de redes neuronales de segundo orden.

Metodología

El artículo propone un nuevo modelo de covarianza llamado Kronecker-DCT (K-DCT) que captura las propiedades estadísticas específicas de las imágenes naturales manteniendo la eficiencia computacional.

1. El Modelo de Covarianza K-DCT

El modelo propuesto, $E_\phi(x_t, t)$ , aproxima la covarianza del posterior de eliminación de ruido (o la covarianza del error de predicción de ruido) utilizando una descomposición estructurada:
$E_\phi(x_t, t) = \text{diag}(\varepsilon_\phi) + C_\phi C_\phi^\top \otimes (F^\top \otimes F^\top) \text{diag}(\lambda_\phi) (F \otimes F)$

El modelo consta de tres componentes clave:

Línea Base Diagonal: Un término $\text{diag}(\varepsilon_\phi)$ que absorbe cualquier contribución diagonal, asegurando que el modelo sea al menos tan expresivo como los modelos diagonales anteriores.
Correlación Inter-Canal: Capturada por el término $C_\phi C_\phi^\top \in \mathbb{R}^{3\times3}$ , que modela la correlación completa entre los canales de color RGB.
Correlación Inter-Píxel (Espacial): Modelada mediante un producto de Kronecker de la correlación de canales y un componente espacial. El componente espacial se diagonaliza en el dominio de la frecuencia utilizando la matriz de la Transformada de Coseno Discreta (DCT) $F$ $F$ .
- Los autores justifican el uso de DCT sobre la Transformada de Fourier Discreta (DFT) señalando que las imágenes naturales tienen estructuras de covarianza Toeplitz + Hankel (debido a las condiciones de contorno) en lugar de la estructura circular que asume la DFT. La base DCT diagonaliza naturalmente esta estructura.
- Los autovalores $\lambda_\phi$ son parámetros aprendidos en el dominio de la frecuencia.

2. Eficiencia Computacional

La estructura K-DCT permite un entrenamiento y muestreo eficientes sin construir explícitamente la matriz de covarianza completa $3D \times 3D$ :

Complejidad: La complejidad computacional se reduce de $O(D^2)$ a $O(D \log d)$ (donde $d$ es la dimensión de la imagen), lo que hace que la sobrecarga sea insignificante en comparación con el paso hacia adelante (forward pass) de la red de puntuación (score network).
Entrenamiento: Los autores adaptan dos objetivos existentes para aprender los parámetros de la covarianza:
- Emparejamiento de Covarianza Óptima (OCM): Basado en el Jacobiano de la función de puntuación (fórmula de segundo orden de Tweedie).
- Residuo de Predicción de Ruido (NPR): Basado en una formulación de Error Cuadrático Medio Mínimo (MMSE).
- Ambos objetivos se extienden para manejar modelos no diagonales utilizando estimadores de traza estocásticos y productos matriz-vector eficientes derivados de la estructura Kronecker-DCT.
Muestreo: El muestreo se realiza añadiendo dos muestras gaussianas independientes: una de la parte diagonal y otra de la parte Kronecker-DCT. Esta última se muestrea eficientemente utilizando la base DCT y los autovalores aprendidos.

3. Estrategia de Entrenamiento

El modelo K-DCT se entrena como una "amortización" sobre redes de puntuación de primer orden pre-entrenadas (UNets). La arquitectura comparte parámetros con el modelo pre-entrenado, con cabezales de red neuronal adicionales pequeños ( $NN_2$ ) dedicados a predecir los componentes de la covarianza ( $\varepsilon_\phi, C_\phi, \lambda_\phi$ ). Este enfoque requiere entrenar solo una pequeña fracción de los parámetros totales.

Contribuciones Clave

Parametrización de Covarianza Novedosa: Introducción del modelo K-DCT, que combina correlaciones inter-canales factorizadas por Kronecker con correlaciones espaciales basadas en DCT. Esto captura el espectro de potencia de decaimiento lento y la estructura no diagonal de las imágenes naturales de manera más precisa que las aproximaciones diagonales o de bajo rango.
Implementación Eficiente: Demostración de que el modelo K-DCT puede entrenarse y muestrearse con una complejidad de $O(D \log d)$ , evitando los cuellos de botella de memoria y cómputo de la estimación de la covarianza completa.
Validación Empírica: Evaluación sistemática a través de múltiples conjuntos de datos (CIFAR-10, CelebA, ImageNet, LSUN) mostrando que K-DCT supera a los muestreadores de estado del arte (SOTA) anteriores, particularmente en el régimen de pocos pasos de muestreo.

Resultados

Los autores evaluaron su método contra modelos de covarianza heurísticos, diagonales y de bajo rango, utilizando dos métricas principales: la Distancia de Fréchet Inception (FID) para la calidad de la muestra y la Log-Verosimilitud Negativa (NLL) para el ajuste estadístico.

Rendimiento: El modelo K-DCT logró consistentemente un FID más bajo y un NLL más bajo en comparación con las líneas base diagonales y de bajo rango en todos los conjuntos de datos y objetivos de entrenamiento (OCM y NPR).
Régimen de Pocos Pasos: Las mejoras fueron más significativas cuando el número de pasos de muestreo ( $K$ ) era pequeño (por ejemplo, 10–25 pasos). En estos regímenes, las aproximaciones diagonales fallan al capturar la estructura posterior necesaria, mientras que K-DCT mantiene una alta fidelidad.
Compromiso (Trade-off): El método logra un compromiso superior entre FID y NLL en comparación con los métodos existentes. Si bien los modelos de un solo paso destilados pueden ofrecer una generación más rápida, carecen de una estimación de verosimilitud tratable, una ventaja clave que retiene el enfoque K-DCT.
Sobrecarga: Los experimentos confirmaron que la parametrización K-DCT introduce una sobrecarga de tiempo de ejecución (wall-clock time) insignificante en comparación con los modelos diagonales, incluso en conjuntos de datos de alta resolución como LSUN Bedroom (256x256).

Significado y Reivindicaciones

El artículo afirma que modelar la estructura no diagonal de los posteriores de eliminación de ruido es crucial para acelerar el muestreo de difusión sin sacrificar la calidad. La importancia de este trabajo radica en:

Cerrar la Brecha: Cierra la brecha entre la necesidad teórica de información de segundo orden precisa y las restricciones prácticas de memoria y computación.
Estructura Estadística: Destaca que las imágenes naturales poseen propiedades estadísticas específicas (correlaciones espacio-cromáticas separables y espectros de ley de potencia) que pueden explotarse eficientemente a través de la estructura K-DCT.
Limitaciones y Trabajo Futuro: Los autores señalan modestamente que, aunque K-DCT mejora el rendimiento, aún no iguala el FID de los modelos de un solo paso destilados. Sugieren que esto puede deberse a que los posteriores de salto de paso están lejos de ser gaussianos, lo que implica que incluso un modelo de covarianza perfecto no puede corregir completamente el error de muestreo si la propia suposición gaussiana es violada. También especulan que, aunque el método está diseñado para imágenes, podría aplicarse a otros dominios con invariancia de traslación aproximada, como el audio y el habla, citando resultados preliminares de prueba de concepto en datos de voz.