The Cow of Rembrandt - Analyzing Artistic Prompt Interpretation in Text-to-Image Models

Resumen Técnico: La Vaca de Rembrandt: Analizando la Interpretación de Prompts Artísticos en Modelos de Texto a Imagen

Declaración del Problema
Aunque los modelos de difusión de texto a imagen (txt2img) han demostrado capacidades notables en la generación de contenido artístico al aprender de miles de millones de imágenes, la pregunta fundamental sobre cómo estos modelos representan y separan internamente los conceptos de "contenido" (qué se representa) y "estilo" (cómo se representa) permanece inexplorada. La visión por computadora tradicional a menudo trata el contenido y el estilo como ortogonales, sin embargo, los modelos de difusión no reciben ninguna guía explícita respecto a esta distinción durante el entrenamiento. En consecuencia, no está claro si estos modelos desentienden conceptualmente estos elementos o los tratan como representaciones entrelazadas.

Metodología
Los autores investigan cómo los modelos de difusión txt2img basados en transformadores codifican el contenido y el estilo analizando la distribución espacial de los mapas de calor de atención cruzada. El estudio emplea el siguiente enfoque técnico:

• Datos y Prompts: Se construyó un conjunto de datos de 16.000 prompts únicos utilizando 80 clases de objetos de MS-COCO y 50 descriptores de estilo (23 artistas, 27 movimientos) de WikiArt. Se utilizaron cuatro plantillas de prompts distintas para aislar las variables de contenido y estilo (por ejemplo, "una pintura de un en el estilo ").
• Modelo: Los experimentos se realizaron utilizando Stable Diffusion XL (SDXL), un modelo de código abierto que permite el acceso a representaciones internas.
• Análisis de Atención: El estudio utiliza Mapas de Atribución Atentiva de Difusión (DAAM) para extraer mapas de atribución específicos de tokens. Estos mapas visualizan la relación espacial entre tokens específicos del prompt y píxeles de la imagen mediante la agregación de matrices de atención cruzada a través de las dimensiones espaciales, temporales y arquitectónicas de la red de eliminación de ruido U-Net.
• Métrica Cuantitativa: Para medir la separación contenido-estilo, los mapas de calor de atribución continuos se umbralizan en máscaras binarias. Se calcula la Intersección sobre Unión (IoU) entre la máscara del token de contenido ($IoU_{CS}$) y la máscara del token de estilo. Esto se compara con una IoU media de referencia ($mIoU_B$) calculada a través de todos los pares de tokens posibles en el prompt para tener en cuenta los paisajes generales de atención.
• Métrica de Significancia: Se introduce una métrica de diferencia, $\Delta = mIoU_B - IoU_{CS}$. Un $\Delta$ positivo indica que los tokens de contenido y estilo atienden a regiones espaciales distintas (separación), mientras que un $\Delta$ negativo sugiere una mayor correlación espacial y entrelazamiento conceptual.

Resultados Clave
El análisis arroja tanto insights cuantitativos como cualitativos sobre el comportamiento del modelo:

• Separación General: En promedio, $IoU_{CS}$ es significativamente menor que la $mIoU_B$ de referencia (con $p < 0.001$), lo que indica que los tokens de contenido y estilo generalmente influyen en regiones complementarias de la imagen generada. Los tokens de contenido activan principalmente regiones relacionadas con objetos, mientras que los tokens de estilo afectan áreas de fondo y textura.
• Variabilidad por Token: El grado de separación no es uniforme; varía significativamente según los términos específicos de contenido y estilo utilizados.
  • Alta Separación: Los términos relacionados con animales (por ejemplo, jirafa, oveja) y los movimientos de arte figurativo (por ejemplo, Nuevo Realismo, Rococó) exhiben valores altos de $\Delta$, lo que sugiere un desentrelazamiento espacial claro.
  • Baja/Negativa Separación: El término "persona" muestra los valores de $\Delta$ más bajos. Cabe destacar que el artista "Rembrandt" es el único componente de estilo con una media de $\Delta$ negativa, lo que indica que el modelo confunde el estilo con el contenido.
• Observaciones Cualitativas:
  • En casos de alta separación, los mapas de calor muestran regiones distintas para el sujeto y el estilo.
  • En casos de baja separación (por ejemplo, estilo Rembrandt), el token de estilo activa regiones asociadas con el propio sujeto. Por ejemplo, al generar "una vaca con estilo Rembrandt", el modelo parece "vestir" a la vaca, aplicando el estilo a la ropa del sujeto, lo que sugiere que el modelo interpreta el estilo de Rembrandt como intrínsecamente vinculado a formas humanas o figurativas específicas.
  • Los casos límite revelan que los sujetos que aparecen con frecuencia en contextos estilísticos específicos (por ejemplo, mujeres en las pinturas de Kirchner) pueden ser internalizados por el modelo como elementos estilísticos en sí mismos.

Significancia y Contribuciones
El artículo afirma proporcionar la primera investigación sistemática sobre cómo los modelos generativos a gran escala conceptualizan internamente la distinción entre contenido y estilo artístico sin supervisión explícita. Las contribuciones clave son:

1. Comprensión Emergente: Los hallazgos sugieren que los modelos de difusión demuestran una comprensión emergente, aunque imperfecta, de la distinción contenido-estilo, separando a menudo estos conceptos espacialmente durante la generación.
2. Comportamiento Basado en Datos: El estudio destaca que el comportamiento del modelo está fuertemente influenciado por sus datos de entrenamiento; las co-ocurrencias frecuentes de sujetos y estilos en el conjunto de entrenamiento pueden conducir a un entrelazamiento conceptual donde los tokens de estilo atienden a regiones de contenido.
3. Herramientas: Los autores publican el código, el conjunto de datos y una herramienta exploratoria para visualizar mapas de atención con el fin de facilitar la investigación adicional sobre la interpretabilidad de los modelos generativos.

El trabajo concluye que, aunque existe una separación general, la interacción específica entre contenido y estilo es no trivial y depende en gran medida de los prompts artísticos específicos y de las propiedades estadísticas del corpus de entrenamiento.