Resumen Técnico: FREPix

Enunciado del Problema

Si bien los modelos de difusión en espacio latente se han convertido en el paradigma dominante para la generación de imágenes debido a su eficiencia, introducen un cuello de botella estructural: la calidad de la generación está estrictamente limitada por la fidelidad de reconstrucción de los Autoencoders Variacionales (VAE) utilizados para comprimir los datos. Esto ha renovado el interés en la generación en espacio de píxeles, donde los modelos operan directamente sobre imágenes crudas para evitar artefactos de representación. Sin embargo, los métodos existentes en espacio de píxeles tratan en gran medida la generación de imágenes como un proceso homogéneo en frecuencia. Modelan toda la imagen con un único estado y una trayectoria de interpolación compartida, confiando implícitamente en que la red descubra la separación entre estructuras globales (baja frecuencia) y detalles finos (alta frecuencia). Este enfoque pasa por alto las propiedades estadísticas distintas, las distribuciones de energía y las dinámicas de aprendizaje de estos componentes de frecuencia, imponiendo un sesgo inductivo innecesariamente restrictivo sobre el proceso de generación.

Metodología: FREPix

Los autores proponen FREPix (Matching de flujo heterogéneo en frecuencia), un marco que descompone explícitamente la generación de imágenes en espacio de píxeles en componentes de baja y alta frecuencia durante todo el pipeline. La metodología consta de cuatro innovaciones clave:

1. Espacio de Estados Descompuesto en Frecuencia e Interpolación Heterogénea

En lugar de tratar la imagen $x_t$ como un único estado homogéneo, FREPix reparametriza el estado utilizando una Transformada Discreta de Ondículas (DWT) ortonormal, $W$. La imagen se descompone en un subestado de baja frecuencia $l_t$ (estructura) y un subestado de alta frecuencia $h_t$ (detalle).
Crucialmente, el marco asigna trayectorias de interpolación heterogéneas a estos subestados. En lugar de aplicar un único programa compartido a todas las frecuencias, FREPix define programas estrictamente crecientes separados, $g_l(t)$ y $g_h(t)$, para los componentes de baja y alta frecuencia:
$$l_t = g_l(t) l + (1 - g_l(t)) \epsilon_l$$
$$h_t = g_h(t) h + (1 - g_h(t)) \epsilon_h$$
Esto permite que las dinámicas de transporte reflejen la asimetría natural de la formación de imágenes, donde la estructura global se establece antes de que se refinen los detalles finos. Los autores demuestran que esta interpolación heterogénea es una extensión fundamentada del matching de flujo estándar, preservando la validez de la ecuación de continuidad y la aprendibilidad.

2. Modelado Generativo Factorizado mediante Desacoplamiento Arquitectónico Explícito

Para evitar que el transporte descompuesto colapse de nuevo en un problema de predicción unificado, FREPix emplea una arquitectura explícitamente desacoplada. El objetivo de generación se factoriza en dos módulos especializados:

• Predictor de Estructura ($f_\phi$): Un Transformador de Difusión (DiT) que toma el subestado de baja frecuencia ruidoso $l_t$ y predice el componente de baja frecuencia limpio $\hat{l}$. Este módulo captura dependencias de largo alcance y semántica global.
• Refinador de Detalles ($g_\phi$): Un decodificador ligero y sin atención (adaptado de DeCo) que toma el subestado de alta frecuencia ruidoso $h_t$ y la estructura de baja frecuencia predicha $\hat{l}$ como condición para predecir el componente de alta frecuencia limpio $\hat{h}$.

Este diseño convierte la generación "de lo grueso a lo fino" de una tendencia arquitectónica implícita en un principio de diseño explícito, imponiendo una dependencia condicional donde los detalles de alta frecuencia se generan basándose en la estructura de baja frecuencia establecida.

3. Función de Objetivo de Matching de Flujo Alineada con la Frecuencia

El objetivo de entrenamiento se alinea con la estructura descompuesta. El marco convierte la predicción de imagen limpia del modelo ($\hat{x}$) en un campo de velocidad inducido basado en la trayectoria de interpolación heterogénea. Luego se define una pérdida consciente de la frecuencia, aplicando pesos dependientes del tiempo $\lambda_l(t)$ y $\lambda_h(t)$ a los errores de velocidad de baja y alta frecuencia, respectivamente:
$$\mathcal{L}_{FA} = \mathbb{E}_{t,x,\epsilon} \left[ \lambda_l(t) \| W_l(v_\theta - v_t) \|^2 + \lambda_h(t) \| W_h(v_\theta - v_t) \|^2 \right]$$
Esto permite que el modelo reequilibre la dificultad de optimización a lo largo del tiempo (por ejemplo, priorizando la estructura de baja frecuencia al inicio de la trayectoria y el refinamiento de alta frecuencia más tarde) sin alterar el campo de velocidad marginal objetivo.

4. Pérdidas Auxiliares

El objetivo final de entrenamiento combina la pérdida de matching de flujo alineada con la frecuencia con las pérdidas de alineación de representaciones (REPA) y las pérdidas perceptuales LPIPS para garantizar la consistencia de características y la recuperación de patrones locales.

Resultados Clave

FREPix fue evaluado en la generación de imágenes por clase de ImageNet a resoluciones de 256×256 y 512×512.

• Rendimiento: A 256×256, FREPix-XL (674M parámetros) logra un FID de 1.91 y un IS de 295.6 después de 320 épocas. A 512×512, alcanza un FID de 2.38 y un IS de 334.7. Estos resultados son competitivos con los modelos de espacio de píxeles más avanzados (por ejemplo, DeCo, PixelDiT) y se acercan al rendimiento de los modelos de espacio latente, a pesar de operar directamente sobre píxeles.
• Eficiencia de Entrenamiento: El modelo demuestra un rendimiento fuerte al inicio del entrenamiento. Después de solo 80 épocas, logra un FID de 2.29, superando a otras líneas base de espacio de píxeles en etapas similares.
• Eficiencia de Muestreo: FREPix destaca en el régimen de bajo NFE (Número de Evaluaciones de Función). Bajo muestreo Euler de 25 pasos, logra un FID de 2.59, superando significativamente a DeCo (3.30) y PixNerd (3.28).
• Costo Computacional: FREPix-XL opera a 230 GFLOPs por paso hacia adelante, lo cual es menor que la mayoría de los métodos recientes de espacio de píxeles (por ejemplo, PixelFlow con 5818 GFLOPs) y competitivo con modelos de espacio latente (por ejemplo, DiT con 238 GFLOPs), demostrando una mejora en la compensación calidad-computación.

Significado y Afirmaciones

El artículo afirma que modelar explícitamente la heterogeneidad de frecuencia proporciona un sesgo inductivo más fuerte para la generación de extremo a extremo en espacio de píxeles. Al hacer explícitos los roles distintos de los componentes de baja y alta frecuencia en el espacio de estados, la trayectoria de transporte, la arquitectura y el objetivo, FREPix transforma el proceso de generación "de lo grueso a lo fino" de un comportamiento emergente en un principio de diseño rígido.

Los autores afirman que este enfoque:

1. Mitiga el Enredo de Frecuencias: Al desacoplar los objetivos de predicción, el modelo reduce la dimensionalidad efectiva y la complejidad estadística que cada rama debe aprender, como lo respaldan sus límites de generalización.
2. Mejora la Eficiencia de Muestreo: El diseño de transporte heterogéneo es particularmente beneficioso al muestrear con pocos pasos, lo que sugiere que alinear la trayectoria de interpolación con el orden natural de recuperación de las frecuencias de la imagen acelera la convergencia.
3. Ofrece una Alternativa Viable al Espacio Latente: FREPix demuestra que la generación en espacio de píxeles puede lograr calidad competitiva sin el cuello de botella representacional de los VAE, manteniendo al mismo tiempo una eficiencia computacional comparable a los métodos de espacio latente.

El artículo concluye que la heterogeneidad de frecuencia es una perspectiva útil para diseñar futuros modelos generativos en espacio de píxeles, aunque reconoce limitaciones relacionadas con la familia específica de programas de interpolación explorada y la naturaleza fija de la descomposición por ondículas utilizada.