💻 computer science

Normalizing Flows with Iterative Denoising

Este trabajo presenta iTARFlow, un modelo de flujo normalizador que combina generación autoregresiva con un procedimiento de eliminación de ruido iterativo para lograr un rendimiento competitivo en la generación de imágenes manteniendo un objetivo de verosimilitud totalmente end-to-end.

Autores originales: Tianrong Chen, Jiatao Gu, David Berthelot, Joshua Susskind, Shuangfei Zhai

Publicado 2026-04-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tianrong Chen, Jiatao Gu, David Berthelot, Joshua Susskind, Shuangfei Zhai

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que crear imágenes con inteligencia artificial es como intentar pintar un cuadro perfecto desde cero. Durante los últimos años, han existido dos grandes escuelas de pensamiento sobre cómo hacerlo, y esta nueva investigación propone una tercera vía que combina lo mejor de ambas.

Aquí te explico el paper "Normalizing Flows with Iterative Denoising" (Flujos de Normalización con Eliminación Iterativa de Ruido), o iTARFlow, usando analogías sencillas:

1. El Problema: Dos formas de pintar, ninguna perfecta

Imagina que quieres pintar un paisaje. Tienes dos métodos tradicionales:

El Método de la "Lluvia de Pintura" (Modelos de Difusión):
Imagina que tienes un lienzo lleno de manchas de pintura desordenadas. El modelo va borrando esas manchas poco a poco, paso a paso (como si lloviera suavemente y la lluvia limpiara el lienzo), hasta que aparece la imagen.
- Ventaja: Las imágenes salen increíbles y detalladas.
- Desventaja: Es muy lento. Tienes que esperar a que caigan cientos de gotas de lluvia (pasos de cálculo) para ver el resultado final. Además, es difícil predecir si, al hacerlo más grande, funcionará mejor o peor.
El Método del "Ladrillo a Ladrillo" (Modelos Autoregresivos):
Imagina que construyes la imagen pixel por pixel, de izquierda a derecha, como si escribieras una historia. Cada nuevo pixel depende del anterior.
- Ventaja: Es muy rápido y escala bien (funciona igual de bien en cuadros grandes).
- Desventaja: A veces, al tener que "adivinar" el siguiente pixel sin ver el cuadro completo, la imagen pierde calidad o se ve borrosa, como si estuviera hecha con piezas de un rompecabezas que no encajan del todo.

2. La Solución: iTARFlow (El Pintor Inteligente)

Los autores de este paper (de Apple) han creado iTARFlow. Es una mezcla inteligente que intenta tener lo mejor de los dos mundos.

Imagina que iTARFlow es un artista que tiene un superpoder especial: puede ver el cuadro completo de un vistazo, pero también sabe construirlo pieza por pieza.

¿Cómo funciona? (La analogía del "Ruido y la Limpieza")

El secreto de iTARFlow es un problema que llamaron "El Dilema del Ruido":

Si pones muy poco "ruido" (suciedad) al entrenar: El modelo intenta pintar cada detalle minúsculo (como las venas de una hoja), pero olvida la forma general del árbol. El resultado es un cuadro con muchos detalles pero sin estructura, como un dibujo infantil muy detallado pero desordenado.
Si pones mucho "ruido": El modelo entiende perfectamente la forma del árbol (la estructura global), pero los detalles se ven borrosos, como si la foto estuviera desenfocada.

La genialidad de iTARFlow:
En lugar de elegir solo una cantidad de ruido, entrenan al modelo con TODAS las cantidades de ruido posibles, desde muy poco hasta mucho.

Fase 1 (Construcción Rápida): El modelo pinta el cuadro "rápidamente" y con mucho ruido (como un boceto rápido hecho con trazos grandes). Gracias a su estructura autoregresiva, esto es muy veloz.
Fase 2 (Limpieza Iterativa): Una vez que tiene ese boceto ruidoso, el modelo entra en modo "limpieza". No tiene que esperar a que caigan cientos de gotas de lluvia. En su lugar, aplica una serie de pases de limpieza rápidos y paralelos (como pasar un paño mágico varias veces sobre el lienzo) para refinar los detalles y quitar el ruido, manteniendo la estructura perfecta que ya había dibujado.

3. ¿Por qué es importante?

Velocidad vs. Calidad: iTARFlow logra imágenes de alta calidad (como las de los modelos de difusión) pero con una velocidad de generación mucho más cercana a los modelos rápidos.
Eficiencia: No necesita miles de pasos para limpiar la imagen. Con solo 5 o 10 "pases de limpieza" (iteraciones), obtiene resultados excelentes.
Flexibilidad: A diferencia de versiones anteriores que eran rígidas, este nuevo modelo puede trabajar bien con otras tecnologías (como los modelos DiT), lo que abre la puerta a futuros sistemas híbridos aún más potentes.

4. ¿Tiene defectos? (Los "Artefactos")

Como todo arte nuevo, tiene algunos pequeños fallos que los autores reconocen:

A veces, el fondo del cuadro se vuelve completamente negro (como si el artista se hubiera olvidado de pintar el cielo).
A veces, la primera parte del cuadro (la esquina inferior derecha) se ve un poco borrosa o distorsionada, porque es la primera pieza que se "adivina" sin tener contexto previo.

En resumen

iTARFlow es como un pintor que primero hace un boceto rápido y estructurado (aunque sucio) y luego lo pule con unos pocos toques de pincel mágicos. Logra que la inteligencia artificial genere imágenes hermosas y detalladas sin tener que esperar horas, cerrando la brecha entre los métodos rápidos y los métodos de alta calidad.

Es un paso gigante para que la generación de imágenes sea más rápida, eficiente y accesible en el futuro.

1. Planteamiento del Problema

El trabajo aborda las limitaciones actuales de los modelos generativos de imágenes, específicamente en el contexto de los Flujos de Normalización (NF) y su comparación con los modelos de difusión y los modelos autorregresivos discretos.

El Dilema del Ruido en NFs: Los Flujos de Normalización tradicionales (como TARFlow) han demostrado ser competitivos, pero enfrentan un problema fundamental conocido como el "dilema del ruido".
- Si el nivel de ruido inyectado durante el entrenamiento es bajo, el modelo genera imágenes con texturas locales muy ricas y detalladas, pero carecen de coherencia estructural global (la imagen parece "artificial" o desordenada). Además, el entrenamiento puede volverse inestable.
- Si el nivel de ruido es alto, el modelo captura mejor la estructura global, pero el proceso de eliminación de ruido (denoising) resultante produce imágenes excesivamente borrosas y con pérdida de detalles finos, debido a las propiedades de suavizado predichas por el lema de Tweedie.
Limitaciones de otros paradigmas:
- Los modelos de difusión logran alta calidad pero requieren cientos de pasos iterativos para la inferencia, lo que genera una gran sobrecarga computacional.
- Los modelos autorregresivos discretos (basados en tokens) son escalables y rápidos, pero la cuantización introduce un cuello de botella de información que degrada la fidelidad visual.
Objetivo: Crear un marco que combine la escalabilidad y estructura autorregresiva de los NFs con la expresividad de las representaciones continuas, superando el dilema del ruido sin sacrificar la eficiencia de la inferencia.

2. Metodología: iTARFlow

Los autores proponen iTARFlow (iterative TARFlow), una extensión de la arquitectura TARFlow (Transformer Autoregressive Flow) que integra un proceso de eliminación de ruido iterativo inspirado en los métodos de difusión, manteniendo un objetivo basado en la verosimilitud (likelihood) durante todo el entrenamiento.

Componentes Clave:

Entrenamiento Multi-Nivel de Ruido:
- A diferencia de los NFs anteriores que usan un nivel de ruido fijo o pequeño, iTARFlow entrena el modelo sobre un continuo de niveles de ruido $t \in [t_{min}, t_{max}]$ .
- El objetivo es optimizar la función de verosimilitud $\log p_\theta(x_t, t)$ para todos los niveles de ruido simultáneamente.
- Se utiliza una reponderación $\gamma_t = t$ para estabilizar el entrenamiento.
Proceso de Muestreo (Inferencia):
El muestreo se divide en dos fases distintas:
- Fase 1: Generación Autorregresiva Ruidosa: El modelo genera una imagen ruidosa $x_{t_{max}}$ token a token (patch a patch) utilizando la estructura autorregresiva del Transformer. En esta etapa, se aplica una guía libre de clasificador (CFG) para mejorar la coherencia.
- Fase 2: Eliminación de Ruido Iterativa (Paralela): Una vez generada la imagen ruidosa, se aplica un proceso de denoising paralelo.
  - Se utiliza la función de puntuación (score function) $\nabla_x \log p_\theta(x_t, t)$ , calculada directamente mediante diferenciación automática a partir de la función de verosimilitud del flujo.
  - Se resuelve una Ecuación Diferencial Ordinaria (ODE) probabilística para refinar la imagen desde $t_{max}$ hasta $t_{min}$ (casi ruido cero).
  - Este paso es altamente paralelizable y requiere muy pocos pasos (5-10 pasos son suficientes para alta calidad), a diferencia de los cientos de pasos de los modelos de difusión.

3. Contribuciones Clave

Identificación y Resolución del Dilema del Ruido: Los autores caracterizan formalmente el trade-off entre textura local y estructura global en función del ruido de entrenamiento y proponen una solución mediante el entrenamiento en múltiples escalas de ruido.
Marco Híbrido Eficiente: iTARFlow logra un rendimiento competitivo al combinar la generación autorregresiva (eficiente en estructura) con una fase de refinamiento iterativo (eficiente en calidad), sin necesidad de cambiar a un objetivo de difusión durante el entrenamiento.
Mejora en la Escalabilidad: Demuestran que los NFs pueden escalar eficazmente a resoluciones de imagen más altas (64, 128, 256 píxeles) cerrando la brecha de rendimiento con los modelos de difusión y autorregresivos discretos.
Compatibilidad con Arquitecturas Externas: A diferencia de variantes anteriores de TARFlow, iTARFlow se integra naturalmente con modelos de difusión preentrenados (como DiT), sugiriendo un camino hacia marcos híbridos unificados.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos ImageNet a resoluciones de 64, 128 y 256 píxeles, utilizando la métrica FID (Fréchet Inception Distance) como indicador principal de calidad.

ImageNet-64: iTARFlow-S (350M parámetros) alcanza un FID de 2.05, superando a TARFlow original (2.66) y acercándose a modelos de difusión como EDM-SDE (1.55) con menos parámetros.
ImageNet-128: iTARFlow-L (1.2B parámetros) logra un FID de 2.44, superando significativamente a TARFlow (5.03) y compitiendo con modelos de difusión como Simple Diff (1.94).
ImageNet-256 (Espacio de Píxeles): iTARFlow-XL alcanza un FID de 3.32, superando a TARFlow (5.56) y STARFlow (4.69), reduciendo la brecha con los modelos de difusión de última generación (ej. SiD2 patch 1 con 1.38).
Eficiencia: El modelo converge en menos épocas (600) en comparación con modelos DiT (1400) y requiere solo 5-10 pasos de denoising para obtener resultados de alta calidad.

5. Significado y Limitaciones

Significado:
El trabajo revitaliza los Flujos de Normalización como una alternativa viable y potente a los modelos de difusión. iTARFlow demuestra que es posible mantener un objetivo de verosimilitud exacta (sin la aproximación de los modelos de difusión) mientras se logra una calidad visual competitiva mediante la introducción de un proceso de denoising iterativo basado en la diferenciación automática. Esto ofrece una nueva dirección para la modelación generativa que combina lo mejor de los paradigmas autorregresivos y de difusión.

Limitaciones y Análisis de Fallos:

Artefactos Específicos: Aunque el rendimiento cuantitativo es competitivo, se observan dos tipos de fallos en las muestras generadas:
1. Fondos colapsados: Fondos completamente negros, posiblemente relacionados con escalas de CFG demasiado altas en parches grandes.
2. Borrado de baja frecuencia: Una mayor proporción de imágenes borrosas, especialmente en la región inferior derecha (el primer token generado sin contexto), lo que sugiere un desajuste en la distribución inicial.
Costo Computacional: La diferenciación automática durante la fase de denoising iterativo consume mucha memoria de GPU, ya que requiere aplicar autograd a toda la red en cada paso.
Hiperparámetros: No existe una teoría sólida para seleccionar los hiperparámetros óptimos (como $t_{max}$ ), lo que requiere un ajuste empírico extensivo.

En conclusión, iTARFlow representa un avance significativo en la frontera de los Flujos de Normalización, ofreciendo un equilibrio prometedor entre calidad, eficiencia y escalabilidad.