Resumen Técnico: Dirección General y Eficiente de Modelos de Difusión (NA-RFM)

Planteamiento del Problema

Los modelos de difusión se han consolidado como la metodología dominante para la síntesis de imágenes de alta calidad. Si bien pueden guiarse eficazmente cuando las condiciones (por ejemplo, etiquetas de clase o prompts de texto) se integran en el proceso de entrenamiento mediante la Guía Libre de Clasificador (CFG), muchas aplicaciones requieren la dirección hacia condiciones que fueron no vistas o no disponibles durante el entrenamiento. Los ejemplos incluyen nuevas clases de objetos, especies finamente diferenciadas o propiedades visuales específicas definidas únicamente por ejemplos.

Los enfoques existentes para dirigir modelos incondicionales hacia tales condiciones no vistas suelen depender de la guía basada en gradientes. Estos métodos ya sea entrenan clasificadores condicionados por ruido o utilizan clasificadores comerciales para calcular gradientes en cada paso de desdifusión. Aunque son efectivos, estos enfoques incurren en una carga computacional sustancial debido al cálculo de gradientes por paso y la retropropagación a través del modelo de difusión o de clasificadores auxiliares durante la inferencia.

Metodología: Dirección de RFM Alineada con el Ruido (NA-RFM)

Los autores proponen la Dirección de RFM Alineada con el Ruido (NA-RFM), un método post-hoc para dirigir modelos de difusión incondicionales preentrenados sin requerir gradientes durante la inferencia. El método opera en dos fases distintas: una etapa de preparación fuera de línea (offline) y una etapa de muestreo en línea (online) libre de gradientes.

1. Observaciones Principales

El diseño de NA-RFM se fundamenta en dos observaciones empíricas respecto al comportamiento de los modelos de difusión en diferentes niveles de ruido:

• Observación 1 (Estructura Gruesa de Alto Ruido): En niveles de ruido elevados, las trayectorias inversas ya contienen información gruesa predictiva de la clase final generada. Las aproximaciones Lineal-Gaussianas o de PCA del modelo de difusión en este régimen pueden proporcionar una señal de dirección tratable.
• Observación 2 (Direcciones de Activación Transferibles): En niveles de ruido moderados y bajos, las activaciones del proceso directo proporcionan señales discriminativas fuertes. Crucialmente, la dirección aprendida de estas activaciones permanece alineada a través de una ventana de pasos de muestreo inverso intermedios/tardíos, lo que permite reutilizar una única dirección aprendida fuera de línea durante el muestreo.

2. Etapa Fuera de Línea (Offline)

Para un concepto objetivo $c$ (por ejemplo, una clase específica o propiedad visual), NA-RFM calcula dos señales de guía utilizando ejemplos etiquetados:

• Alineación con el Ruido (Estadísticas de PCA): Los autores calculan las estadísticas de Análisis de Componentes Principales (PCA) para la clase objetivo ($\mu_c, V_c$) y para el conjunto de datos completo ($\mu_{all}, V_{all}$). Estas estadísticas definen un denoiser (desruidificador) de PCA condicionado a la clase $D_c$ y un denoiser incondicional $D_{all}$. La diferencia entre estos denoisers sirve como una señal de guía en el espacio de píxeles para los pasos de tiempo de alto ruido.
• Aprendizaje de Dirección de RFM: Utilizando activaciones del proceso directo de imágenes etiquetadas corrompidas a un nivel de referencia de bajo ruido, los autores entrenan una Máquina de Características Recursiva (RFM). La RFM aprende una dirección discriminativa objetivo-vs-fondo ($v_c$) en el espacio de activación de un bloque seleccionado de la U-Net. Esta dirección se deriva del Producto Exterior del Gradiente Promedio (AGOP) del predictor de la RFM, enfatizando las características que separan el objetivo del resto.

3. Etapa de Muestreo En Línea (Online)

Durante la inferencia, NA-RFM dirige el proceso de generación sin retropropagación:

• Ventana de Alto Ruido ($\sigma_t \ge \sigma_{end}$): El muestreador aplica la Alineación con el Ruido. Calcula la diferencia entre los denoisers de PCA condicionados a la clase e incondicionales, y añade esta corrección directamente a la imagen limpia estimada ($\hat{x}_0$).
• Ventana Intermedia/Tardía ($\sigma_t \in [\sigma_{lo}^R, \sigma_{hi}^R]$): El muestreador aplica la Dirección de Activación de RFM. La dirección aprendida $v_c$ se reformatea a la forma tensorial del bloque objetivo y se añade al tensor de activación del bloque. Esta edición se amplifica extrapolando la estimación desruidada resultante hacia la estimación dirigida.
• Eficiencia: El proceso en línea requiere únicamente pasadas hacia adelante (forward passes) a través del modelo de difusión y operaciones simples de matriz-vector. No se calculan gradientes a través del modelo de difusión ni de ningún clasificador.

Contribuciones Clave

1. Dirección Post-Hoc Libre de Gradientes: NA-RFM permite la generación controlable para condiciones no vistas sin necesidad de reentrenar el modelo de difusión o calcular gradientes durante la inferencia, abordando los cuellos de botella computacionales de los métodos existentes basados en gradientes.
2. Mecanismo de Guía Híbrido: El artículo introduce una combinación novedosa de Alineación con el Ruido (para control grueso en alto ruido) y Dirección de Activación de RFM (para control fino en ruido intermedio/bajo), aprovechando las distintas propiedades de la trayectoria de difusión en diferentes etapas.
3. Validación Teórica y Empírica de la Transferencia de Dirección: Los autores proporcionan un modelo teórico (Proposición A.1) y evidencia empírica (Figura 3) que demuestra que las direcciones de activación discriminativas aprendidas en niveles de bajo ruido permanecen estables y son transferibles a través de la ventana de muestreo intermedia/tardía.
4. Computación en el Espacio de Muestras: Para manejar espacios de activación de alta dimensión con muestras limitadas, el método emplea computaciones compactas en el espacio de muestras tanto para PCA como para la extracción de la dirección de RFM, evitando la formación de matrices de covarianza de gran tamaño.

Resultados Experimentales

NA-RFM fue evaluado en cuatro benchmarks: CIFAR-10, ImageNet (256×256), CelebA-HQ (atributo múltiple) y especies de aves finamente diferenciadas (fuera de la distribución).

• Precisión: NA-RFM supera significativamente a las líneas base de gradiente sin entrenamiento más avanzadas (por ejemplo, TFG). En CIFAR-10, alcanza una precisión del objetivo del 96.6% frente al 77.1% de TFG-4. En ImageNet, la precisión mejora del 59.8% al 75.8%. Para especies de aves finamente diferenciadas, la precisión aumenta del 2.2% al 14.1%.
• Calidad de Imagen: El método mantiene o mejora la calidad de la imagen (FID). En CIFAR-10, NA-RFM logra un FID de 41.4, comparable a la guía de clasificador (41.9) y significativamente mejor que TFG-4 (73.9).
• Eficiencia: NA-RFM ofrece aceleraciones sustanciales. En CIFAR-10, es 16 veces más rápido que TFG-4. En ImageNet, el tiempo total para 1024 imágenes cae de 22.7 horas (TFG-4) a 2.67 horas (NA-RFM), ya que la preparación fuera de línea se amortiza sobre las muestras generadas.
• Generalización: El método se extiende a modelos de difusión latente basados en transformadores (SiT-XL/2) y modelos condicionales (Stable Diffusion 1.5) para controlar atributos visuales como la profundidad de campo, que son difíciles de especificar solo mediante prompts de texto.

Significado y Reivindicaciones

El artículo afirma que NA-RFM proporciona una receta general y eficiente para dirigir modelos de difusión incondicionales. Al desacoplar la construcción de la señal de guía (fuera de línea) del proceso de muestreo (en línea), logra una alta precisión de objetivo y calidad de imagen mientras elimina el coste computacional de los cálculos de gradientes por paso.

Los autores enfatizan que su método evita la necesidad de entrenar clasificadores condicionados por ruido o depender de clasificadores comerciales que puedan proporcionar gradientes débiles o desalineados. En su lugar, NA-RFM construye direcciones de dirección específicas para el objetivo directamente desde los datos de ejemplo, permitiendo un control robusto sobre una amplia gama de condiciones, incluyendo clases raras y atributos finamente diferenciados. El trabajo sugiere que combinar correcciones gruesas de alto ruido con direcciones de activación estables de bajo ruido es una estrategia viable para el modelado generativo escalable y controlable.