Resumen Técnico: Rompiendo el Bloqueo mediante la Modulación de la Representación

Declaración del Problema

Los modelos recientes de texto a imagen (T2I), particularmente aquellos que aprovechan arquitecturas Transformer de gran escala y objetivos basados en flujo, han logrado una alineación texto-imagen y un fotorrealismo notables. Sin embargo, estos modelos sufren frecuentemente un problema de "colapso de diversidad": al generar múltiples imágenes a partir de un mismo prompt fijo, los resultados convergen hacia composiciones, diseños y patrones estilísticos excesivamente similares. Esta homogeneidad limita la utilidad de los modelos generativos para tareas que requieren una amplia exploración de candidatos o la construcción de conjuntos de datos sintéticos.

Los métodos existentes para mejorar la diversidad suelen dividirse en dos categorías: diversificación por lote (p. ej., Particle Guidance, OSCAR) y manipulación de trayectorias individuales (p. ej., CADS). Aunque son efectivos hasta cierto punto, estos enfoques suelen incurrir en sobrecargas significativas de computación y memoria debido a la optimización auxiliar, la generación de candidatos en paralelo o las interacciones entre muestras. Además, las causas mecánicas fundamentales del colapso de la diversidad dentro de las representaciones internas del modelo permanecen en gran medida inexploradas, ya que el trabajo previo se ha centrado principalmente en heurísticas de inferencia en lugar de un análisis de la causa raíz.

Metodología: DAVE

Los autores proponen DAVE (DC Attenuation for diVersity Enhancement), una intervención a nivel de representación, libre de entrenamiento, diseñada para romper el "bloqueo" (lock-in) de las trayectorias generativas.

Análisis de la Causa Raíz

A través de un análisis de las características de los Transformers intermedios, los autores identifican que el promedio espacial de frecuencia cero (componente DC) de las representaciones ocultas converge rápidamente entre diferentes semillas durante las etapas tempranas de la generación.

• Observación: En los pasos iniciales de denotación (régimen de alto ruido), el componente DC exhibe una similitud de coseno y una varianza bajas entre semillas, lo que representa más del 50% de la energía total en la representación.
• Mecanismo: Este fenómeno, denominado "deriva de DC temprana" (early DC drift), se atribuye al sesgo espectral de las redes neuronales (que priorizan las señales de baja frecuencia) combinado con la naturaleza de los objetivos de flow-matching bajo alta incertidumbre. El modelo predice la expectativa de los datos condicionada al texto, lo que provoca que el componente DC se alinee con una media global invariante a la semilla. Este alineamiento temprano establece un ancla estructural que restringe la capacidad de las semillas de ruido iniciales para inducir una variación suficiente en el diseño global y la semántica gruesa.

La Intervención DAVE

Para mitigar este bloqueo, DAVE atenúa selectivamente el componente DC durante la fase generativa temprana.

• Operación: Para una representación oculta $h^{(\ell)}_t$ en el bloque Transformer $\ell$ y el paso de tiempo $t$, el componente DC $\mu^{(\ell)}_t$ se calcula como la media espacial a través de los tokens visuales. La representación se modifica entonces como:
  $$\hat{h}^{(\ell)}_t = \alpha \cdot \mu^{(\ell)}_t + (h^{(\ell)}_t - \mu^{(\ell)}_t)$$
  donde $\alpha \in (0, 1)$ es un parámetro de fuerza de atenuación.
• Restricciones: La intervención se aplica solo a bloques Transformer específicos ($\ell \in \mathcal{L}$) identificados como poseedores de una fuerte convergencia de DC entre semillas, y solo durante los pasos de tiempo tempranos ($t < \tau$).
• Implementación: DAVE no requiere reentrenamiento, no requiere cambios en el proceso de muestreo y no requiere memoria adicional para bancos de características. Opera como una modificación quirúrgica de las salidas intermedias antes de que sean pasadas a los bloques subsiguientes.

Contribuciones Clave

1. Perspectiva Mecanicista: El artículo identifica la rápida convergencia del componente DC en los pasos de generación temprana como un cuello de botella primario para la variación a nivel de semilla, proporcionando una explicación teórica y empírica para el bloqueo de la trayectoria.
2. Algoritmo DAVE: Un método ligero, libre de entrenamiento, que atenúa el componente DC para desbloquear la diversidad generativa sin comprometer la alineación semántica o la calidad visual.
3. Eficiencia: A diferencia de los métodos basados en interacción que escalan cuadráticamente con el tamaño del lote ($O(TB^2)$), DAVE mantiene una complejidad lineal ($O(TB)$) con una sobrecarga insignificante, lo que lo hace escalable para modelos modernos de gran tamaño.
4. Robustez: Se demuestra que el método es robusto a través de diferentes arquitecturas de modelos (Stable Diffusion 3/3.5, FLUX.1-dev, SANA1.5) y complejidades de prompts, siendo el conjunto de bloques objetivo $\mathcal{L}$ mayoritariamente independiente del conjunto de datos.

Resultados Experimentales

Los autores evaluaron DAVE en los entornos de referencia ImageNet y MS-COCO utilizando métricas para la calidad visual (FID, Precisión, Densidad), diversidad (Recall, Cobertura, Vendi Score) y alineación texto-imagen (CLIP Score).

• Ganancias en Diversidad: DAVE mejora consistentemente las métricas de diversidad (Recall, Vendi Score) en todos los modelos probados, superando al muestreador original y compitiendo favorablemente con métodos de vanguardia como CADS y SPARKE.
• Preservación de la Calidad: A diferencia de algunas líneas base que intercambian fidelidad por diversidad (por ejemplo, CADS mostrando degradación en los puntajes CLIP en ciertos modelos), DAVE mantiene una calidad de imagen y una alineación de texto competitivas.
• Rendimiento en Lote (In-Batch): En configuraciones explícitas de generación en lote, DAVE logra una menor similitud a nivel de características y una mayor distancia perceptual en comparación con métodos como Particle Guidance y SPELL, incurriendo en costos computacionales significativamente menores.
• Modelos Destilados: El método es compatible con modelos destilados (p. ej., SD3.5-Large-Turbo), mejorando la diversidad incluso en regímenes de muestreo simplificados.
• Estudios de Ablación:
  • Corte Temporal ($\tau$): Intervenir en el primer 15–20% de los pasos produce una diversidad óptima sin pérdida de calidad.
  • Fuerza de Atenuación ($\alpha$): Los valores entre 0.2 y 0.5 equilibran la variación estructural y la coherencia semántica.
  • Selección de Bloques: El método es robusto a la elección específica de los bloques dentro del conjunto de alta convergencia identificado $\mathcal{L}$.

Significado y Reivindicaciones

El artículo afirma que DAVE ofrece un marco práctico y escalable para abordar el problema crítico de la diversidad de generación limitada en los modelos T2I basados en flujo. Al dirigirse a la causa raíz del bloqueo de la trayectoria —la homogeneización temprana del componente DC—, el método logra ampliar el alcance generativo de los modelos preentrenados.

Los autores enfatizan que DAVE logra un equilibrio favorable entre diversidad y fidelidad sin las cargas computacionales de las soluciones existentes. Funciona como una intervención "quirúrgica" que preserva el proceso de muestreo mientras permite que la estocasticidad de las semillas iniciales impulse variaciones estructurales significativas. El trabajo sugiere que comprender y modular la dinámica de la representación interna es un camino viable para mejorar las capacidades generativas sin necesidad de reentrenamiento o procedimientos de optimización complejos.