Resumen Técnico: SteeringDiffusion

Enunciado del Problema

Los modelos de difusión se han consolidado como el paradigma dominante para la síntesis de imágenes de alta calidad. Sin embargo, adaptar estos modelos a nuevos estilos visuales o dominios presenta desafíos significativos. El ajuste fino completo tradicional es computacionalmente costoso y propenso al sobreajuste. Aunque los métodos de Ajuste Fino Eficiente en Parámetros (PEFT) como LoRA, DiffFit y el ajuste fino ortogonal ofrecen alternativas más ligeras, no logran proporcionar una superficie de control continua y transitable en el momento de la inferencia. Cambiar el punto de operación en estos métodos generalmente requiere reentrenamiento o un ajuste grueso de hiperparámetros en lugar de moverse a lo largo de un eje de control coherente. De manera similar, enfoques como DreamBooth, Inversión Textual y ControlNet carecen de una interfaz explícita que permita la transición continua de compensaciones entre contenido y estilo sin modificar los parámetros subyacentes del modelo.

La pregunta central abordada por este trabajo es: ¿Pueden los modelos de difusión ser guiados mediante modulación a nivel de activación para exponer una superficie de control suave y monótona?

Metodología: Guiado mediante Control Explícito Cuello de Botella (S-BEC)

Los autores proponen SteeringDiffusion, un método fundamentado en el concepto de Guiado mediante Control Explícito Cuello de Botella (S-BEC). A diferencia de los métodos de adaptación en el espacio de pesos, SteeringDiffusion mantiene el núcleo U-Net completamente congelado e introduce una interfaz de control ligera a nivel de activación.

Arquitectura Central

1. Núcleo Congelado: El U-Net, VAE y el codificador de texto CLIP de Stable Diffusion preentrenado (SD 1.5 o SDXL) permanecen sin alteraciones.
2. Código Latente Condicionado al Prompt: Un módulo pequeño y aprendible ($g_\theta$) mapea una representación textual agrupada (del codificador CLIP congelado) a un código de guiado de baja dimensión $v \in \mathbb{R}^k$. Los resultados empíricos sugieren que una dimensión pequeña ($k \approx 8\text{--}16$) es suficiente.
3. Modulación de Activación: Este código latente $v$ se proyecta en parámetros afines ($\gamma, \beta$) que modulan las activaciones intermedias mediante transformaciones al estilo FiLM/AdaGN. La modificación se aplica a las características normalizadas por GroupNorm en los bloques centrales y de aumento de muestreo del U-Net.
   • La regla de actualización es: $\Delta_\ell(h_\ell, c, t) = s \cdot f(t) \cdot (\gamma_\ell(v) \odot \text{GN}(h_\ell) + \beta_\ell(v))$.
4. Inicialización Cero: Todas las proyecciones de guiado se inicializan en cero. Esto garantiza que, con una escala de guiado $s=0$, la salida sea exactamente equivalente al modelo base congelado, asegurando que no haya degradación cuando el control está desactivado.
5. Puerta Temporal: Una función de puerta consciente del paso de tiempo $f(t)$ (una sigmoide desplazada y escalada) suprime la modulación durante los primeros pasos de eliminación de ruido (donde se forma la estructura global) y la incrementa durante las etapas posteriores (donde se refina la textura y el estilo). Esto evita la alteración del contenido.

Control en la Inferencia

En el momento de la inferencia, un único escalar $s$ controla la fuerza del guiado. Esto permite a los usuarios transitar continuamente la compensación entre contenido y estilo sin reentrenar ni cambiar los pesos del modelo.

Contribuciones Clave

1. Marco de Guiado a Nivel de Activación: El artículo introduce S-BEC como una abstracción general para controlar núcleos de difusión congelados mediante modulación de activación ligera en lugar de actualizaciones de pesos.
2. Superficie de Control Suave: Los autores demuestran que este enfoque expone una superficie de control suave, monótona e invariante al estilo. Variar el escalar $s$ resulta en una compensación predecible entre la preservación del contenido y la intensidad del estilo.
3. Diagnóstico de Estabilidad de Inversión: Se introduce una nueva métrica diagnóstica basada en la inversión DDIM para medir la perturbación de la trayectoria. Esta métrica revela fuertes correlaciones con la magnitud de la intervención y complementa las métricas perceptuales estándar.
4. Distinción de Paradigma: El trabajo establece que los métodos existentes (LoRA, ControlNet, adaptadores de rango 1) no pueden exponer una superficie de control comparable, posicionando a S-BEC como un paradigma distinto y superior para la controlabilidad en tiempo de ejecución.

Resultados Experimentales

Los experimentos se realizaron en Stable Diffusion 1.5 y SDXL utilizando el conjunto de datos ArtBench-10 (que cubre estilos como Art Nouveau, Impresionismo, Renacimiento y Ukiyo-e).

• Monotonía: En todos los estilos y dimensiones ($k$) probados, aumentar la escala de guiado $s$ resultó en aumentos estrictamente monótonos en el cambio de estilo y disminuciones en la preservación del contenido (CLIP-I), sin observarse ninguna violación.
• Comparación con LoRA: Con presupuestos de parámetros equivalentes (Guiado: 0.88M parámetros vs. LoRA: 0.80M parámetros), SteeringDiffusion logró un cambio de estilo un 33–80% mayor en niveles comparables de preservación del contenido. Crucialmente, mientras LoRA exhibió "colapso de estilo" (comportamiento no monótono y caídas bruscas en la preservación del contenido) con multiplicadores altos, SteeringDiffusion mantuvo una compensación suave.
• Comparación con ControlNet y Rango 1: ControlNet requirió 720$\times$ más parámetros y causó significativamente más alteración del contenido. Los adaptadores de Rango 1 lograron solo ~69% del cambio de estilo en preservación de contenido equivalente e indujeron una perturbación severa de la trayectoria.
• Generalización: La superficie de control suave se generalizó eficazmente desde SD 1.5 hasta el núcleo más grande SDXL sin modificaciones arquitectónicas.
• Eficiencia: El método añade una sobrecarga de inferencia negligible (~3 ms) y entrena aproximadamente 2$\times$ más rápido que las líneas base de LoRA.

Significado y Afirmaciones

El artículo posiciona a SteeringDiffusion como una interfaz de control práctica y de propósito general para modelos de difusión congelados. Su principal significado radica en replantear la controlabilidad como un problema de diseño de interfaz en lugar de un problema de conteo de parámetros.

Los autores argumentan que:

1. Geometría de Baja Dimensión: Al mediar todas las decisiones de guiado a través de un único código latente de baja dimensión compartido entre bloques, S-BEC crea una interfaz de control explícita independiente de la profundidad de la red. Esto contrasta con los métodos en el espacio de pesos (como LoRA) donde el control se distribuye entre miles de parámetros independientes, lo que conduce a un comportamiento incoherente y no monótono a altas intensidades.
2. Coherencia de la Trayectoria: La modulación a nivel de activación perturba el estado actual sin alterar el campo vectorial subyacente de la dinámica de difusión. Esto preserva la coherencia de la trayectoria de eliminación de ruido, a diferencia de las actualizaciones de pesos o ramas externas (ControlNet) que pueden introducir regiones inestables o atractores.
3. Alineación Temporal: La puerta consciente del paso de tiempo alinea el control con la emergencia semántica del estilo (etapas tardías), evitando el entrelazamiento de contenido y estilo que ocurre con perturbaciones uniformes.

El artículo concluye que una interfaz de control pequeña, explícita, con cuello de botella y alineada temporalmente puede exponer una superficie de control bien comportada en núcleos congelados grandes, ofreciendo una alternativa estable a los métodos actuales de PEFT y edición. Los autores notan explícitamente que sus afirmaciones están validadas para la transferencia de estilo y que las extensiones a otros atributos (identidad del objeto, disposición espacial) o restricciones de seguridad requieren una validación empírica adicional.