Resumen Técnico: Control Composicional Condicionado por Anclajes para la Generación de Imágenes de Paisajes

Planteamiento del Problema

Si bien los modelos generativos de imágenes sirven como poderosas herramientas creativas, actualmente carecen de un control preciso sobre la composición, un aspecto fundamental del proceso creativo para fotógrafos y artistas visuales. A diferencia de la especificación de contenido, la intención compositiva implica decisiones relativas a la ubicación del horizonte, la división del encuadre y el enfoque del espectador. Los modelos de difusión estándar (por ejemplo, Ho et al. 2020; Rombach et al. 2022) dependen de patrones estadísticos absorbidos durante el preentrenamiento, ofreciendo ningún mecanismo explícito para que los usuarios dicten resultados espaciales o disposiciones compositivas. Los métodos de control espacial existentes, como ControlNet (Zhang et al. 2023) o GLIGEN (Li et al. 2023), a menudo requieren entradas estructurales como mapas de profundidad, mapas de bordes o cuadros delimitadores (bounding boxes), que no siempre están disponibles o son deseables para una dirección compositiva de alto nivel.

Metodología

1. Extracción del Vector de Anclaje Composicional

La innovación central es la extracción automática de un vector de anclaje tetradimensional a partir de imágenes de entrenamiento sin anotación manual. Este vector codifica:

• Posición del Horizonte ($y$): Estimada mediante la transformada de Hough sobre un mapa de bordes Canny de la parte superior del 60% de la imagen, normalizada al intervalo $[0, 1]$.
• Confianza del Horizonte: La cobertura fraccional de la línea horizontal más larga detectada en relación con el ancho de la imagen.
• Saliencia Promedio: Computada mediante el análisis de residuo espectral a través de las regiones salientes superiores.
• Relación de Primer Plano (Foreground Ratio): Una estimación gruesa del contenido prominente visualmente en el primer plano.

Si no se detecta un horizonte, se aplican valores por defecto ($y=0.5$, confianza $=0.0$) para preservar la capacidad informativa de los componentes restantes.

2. Arquitectura de Inyección: Atención Desacoplada

El vector de anclaje se inyecta en un modelo de difusión latente ajustado (fine-tuned) a través de una vía de atención paralela dedicada, distinta del flujo de condicionamiento de texto.

• Codificación de Fourier: El vector 4D se pasa a través de una capa de incrustación de Fourier utilizando 16 frecuencias con espaciado logarítmico ($2^0$ a $2^{15}$) para crear una representación de 132 dimensiones, lo que permite el aprendizaje de relaciones espaciales finas a partir de entradas escalares (motivado por los resultados de la ablación de GLIGEN).
• Proyección del Anclaje: Una red ligera (Lineal $\to$ GELU $\to$ LayerNorm $\to$ Lineal $\to$ LayerNorm) proyecta el vector de 132D en un único token de anclaje de forma $[B, 1, 768]$.
• Atención Desacoplada: En cada una de las 16 capas de atención cruzada en la UNet, se introducen matrices de proyección de Clave (Key) y Valor (Value) separadas (descomposición de bajo rango, rango 8) para el anclaje. La salida combina la atención de texto y la del anclaje:
  $$out = Attn(Q, K_{text}, V_{text}) + \lambda \cdot Attn(Q, K_{anchor}, V_{anchor})$$
  Este diseño evita que el token de anclaje (que representa aproximadamente el $1.3\%$ del presupuesto de atención) sea ignorado por los 77 tokens de texto, un modo de fallo observado cuando los anclajes se concatenan simplemente a la secuencia de texto.

3. Estrategia de Entrenamiento

• Conjunto de Datos: El conjunto de datos de paisajes Cropped-1901 (4,713 imágenes) estandarizado a 1949$\times$1024 y redimensionado a 768$\times$400 para el entrenamiento.
• Dropout de Clasificador Libre de Tres Vías (Three-Way Classifier-Free Guidance - CFG): Durante el entrenamiento, se aplica un esquema de dropout específico: 5% de caída tanto de texto como de anclaje, 5% de caída solo de texto, 5% de caída solo de anclaje, y 85% de retención de ambos. Esto permite la generación condicional donde el anclaje puede especificarse durante la inferencia sin necesidad de máscaras espaciales manuales.
• Ajuste Fino (Fine-tuning): El modelo utiliza adaptadores LoRA (rango 16) en las proyecciones de atención y se entrena durante 10,000 pasos.

Resultados Clave

Rendimiento Cuantitativo

La evaluación se realizó en cuatro configuraciones de modelo: Baseline (sin ajuste fino), Solo-LoRA (sin anclaje), Concatenación (anclaje añadido al texto) y el Propuesto (atención cruzada desacoplada).

• Tasa de Detección del Horizonte: El modelo propuesto logró la tasa más alta (0.850), comparado con el 0.766 del baseline y de LoRA-only, y el 0.766 de la variante de concatenación.
• Alineación con la Regla de los Tercios: El modelo propuesto logró un 0.817, superando significativamente al baseline (0.500) y a LoRA-only (0.636).
• Desviación del Horizonte: El modelo propuesto redujo el error composicional a 0.062, una reducción del 15% respecto al baseline (0.073).
• Ablación sobre la Concatenación: La variante de concatenación se comportó de manera idéntica al baseline sin modificar en todas las métricas, confirmando que un único token añadido es insuficiente para influir en la disposición espacial frente a 77 tokens de texto.

Ablación por Categoría

Los autores investigaron si el entrenamiento en subconjuntos composicionalmente homogéneos mejora la precisión. Se entrenaron tres modelos específicos por categoría (Montaña, Bosque, Desierto) utilizando subconjuntos de los datos.

• Ganancias de Precisión: Todos los modelos específicos por categoría lograron una detección de horizonte del 100% y una desviación significativamente menor que el modelo de entrenamiento mixto.
• Modelo de Bosque: Logró la desviación más baja (0.029), lo que representa una mejora del 40% sobre el modelo de entrenamiento mixto y una mejora del 60% sobre el baseline.
• Conclusión: El entrenamiento en subconj sets de escenas específicas aumenta de manera fiable la precisión del condicionamiento, lo que sugiere que el control composicional depende de la categoría.

Significado y Reivindicaciones

El artículo presenta resultados preliminares que establecen que:

1. La Atención Desacoplada es Necesaria: El control composicional efectivo mediante descriptores escalares requiere una vía de atención dedicada con proyecciones de Clave/Valor independientes; la simple concatenación de tokens falla.
2. Dependencia de la Categoría: El control de la precisión composicional no es uniforme en todas las escenas; el entrenamiento en subconjuntos homogéneos produce resultados superiores en comparación con el entrenamiento mixto, incluso con menos pasos totales.
3. Viabilidad del Condicionamiento Escalar: Es posible especificar y medir la intención composicional (posición del horizonte, saliencia, relación de primer plano) en el tiempo de inferencia sin máscaras estructurales, utilizando un vector 4D compacto.

Los autores reconocen limitaciones, señalando que el vector de anclaje está diseñado para imágenes de paisajes (gobernadas por las relaciones horizonte/cielo) y podría requerir una redefinición para retratos o arquitectura. También señalan que la evaluación actual se basa en métricas automáticas (detección de horizonte, regla de los tercios) en lugar de juicios subjetivos humanos, lo cual está planeado para futuros estudios de usuario. El trabajo no pretende resolver todos los problemas composicionales, sino demostrar un marco viable para el control composicional específico de paisajes.