The Cow of Rembrandt - Analyzing Artistic Prompt Interpretation in Text-to-Image Models

Resumo Técnico: A Vaca de Rembrandt: Analisando a Interpretação de Prompts Artísticos em Modelos de Texto para Imagem

Declaração do Problema
Embora os modelos de difusão de texto para imagem (txt2img) tenham demonstrado capacidades notáveis na geração de conteúdo artístico ao aprender a partir de bilhões de imagens, a questão fundamental de como esses modelos representam e separam internamente os conceitos de "conteúdo" (o que é representado) e "estilo" (como é representado) permanece inexplorada. A visão computacional tradicional frequentemente trata conteúdo e estilo como ortogonais, contudo, os modelos de difusão não recebem orientação explícita sobre essa distinção durante o treinamento. Consequentemente, não está claro se esses modelos desconectam conceitualmente esses elementos ou se os tratam como representações emaranhadas.

Metodologia
Os autores investigam como os modelos de difusão txt2img baseados em transformer codificam conteúdo e estilo, analisando a distribuição espacial de mapas de calor de atenção cruzada. O estudo emprega a seguinte abordagem técnica:

• Dados e Prompts: Um conjunto de dados de 16.000 prompts únicos foi construído utilizando 80 classes de objetos do MS-COCO e 50 descritores de estilo (23 artistas, 27 movimentos) do WikiArt. Quatro modelos de prompt distintos foram utilizados para isolar variáveis de conteúdo e estilo (por exemplo, "uma pintura de um <CONTEÚDO> no estilo ").
• Modelo: Os experimentos foram conduzidos utilizando o Stable Diffusion XL (SDXL), um modelo de código aberto que permite acesso às representações internas.
• Análise de Atenção: O estudo utiliza Mapas de Atribuição Atentiva de Difusão (DAAM) para extrair mapas de atribuição específicos de tokens. Esses mapas visualizam a relação espacial entre tokens específicos do prompt e pixels da imagem, agregando matrizes de atenção cruzada através das dimensões espacial, temporal e arquitetural da rede de remoção de ruído U-Net.
• Métrica Quantitativa: Para medir a separação conteúdo-estilo, os mapas de calor de atribuição contínua são limiarizados em máscaras binárias. A Interseção sobre União (IoU) é calculada entre a máscara do token de conteúdo ($IoU_{CS}$) e a máscara do token de estilo. Isso é comparado a uma IoU média de linha de base ($mIoU_B$) calculada em todos os pares de tokens possíveis no prompt para contabilizar paisagens de atenção gerais.
• Métrica de Significância: Uma métrica de diferença, $\Delta = mIoU_B - IoU_{CS}$, é introduzida. Um $\Delta$ positivo indica que os tokens de conteúdo e estilo atendem a regiões espaciais distintas (separação), enquanto um $\Delta$ negativo sugere maior correlação espacial e emaranhamento conceitual.

Principais Resultados
A análise produz insights tanto quantitativos quanto qualitativos sobre o comportamento do modelo:

• Separação Geral: Em média, a $IoU_{CS}$ é significativamente menor que a $mIoU_B$ de linha de base (com $p < 0.001$), indicando que os tokens de conteúdo e estilo geralmente influenciam regiões complementares da imagem gerada. Os tokens de conteúdo ativam principalmente regiões relacionadas a objetos, enquanto os tokens de estilo afetam áreas de fundo e textura.
• Variabilidade por Token: O grau de separação não é uniforme; varia significativamente com base nos termos específicos de conteúdo e estilo utilizados.
  • Alta Separação: Termos relacionados a animais (por exemplo, girafa, ovelha) e movimentos de arte figurativa (por exemplo, Novo Realismo, Rococó) exibem valores altos de $\Delta$, sugerindo um desconectamento espacial claro.
  • Baixa/Negativa Separação: O termo "pessoa" mostra os valores mais baixos de $\Delta$. Notavelmente, o artista "Rembrandt" é o único componente de estilo com uma média negativa de $\Delta$, indicando que o modelo confunde o estilo com o conteúdo.
• Observações Qualitativas:
  • Em casos de alta separação, os mapas de calor mostram regiões distintas para o sujeito e o estilo.
  • Em casos de baixa separação (por exemplo, estilo Rembrandt), o token de estilo ativa regiões associadas ao próprio sujeito. Por exemplo, ao gerar "uma vaca com estilo Rembrandt", o modelo parece "vestir" a vaca, aplicando o estilo às roupas do sujeito, sugerindo que o modelo interpreta o estilo de Rembrandt como intrinsecamente ligado a formas humanas ou figurativas específicas.
  • Casos extremos revelam que sujeitos que aparecem frequentemente em contextos estilísticos específicos (por exemplo, mulheres nas pinturas de Kirchner) podem ser internalizados pelo modelo como elementos estilísticos em si mesmos.

Significância e Contribuições
O artigo afirma fornecer a primeira investigação sistemativa sobre como modelos generativos em larga escala conceituam internamente a distinção entre conteúdo e estilo artístico sem supervisão explícita. As principais contribuições são:

1. Compreensão Emergente: As descobertas sugerem que os modelos de difusão demonstram uma compreensão emergente, embora imperfeita, da distinção conteúdo-estilo, frequentemente separando esses conceitos espacialmente durante a geração.
2. Comportamento Orientado por Dados: O estudo destaca que o comportamento do modelo é fortemente influenciado por seus dados de treinamento; co-ocorrências frequentes de sujeitos e estilos no conjunto de treinamento podem levar a um emaranhamento conceitual onde tokens de estilo atendem a regiões de conteúdo.
3. Ferramentas: Os autores lançam o código, o conjunto de dados e uma ferramenta exploratória para visualização de mapas de atenção para facilitar pesquisas adicionais sobre a interpretabilidade de modelos generativos.

O trabalho conclui que, embora exista uma separação geral, a interação específica entre conteúdo e estilo é não trivial e altamente dependente dos prompts artísticos específicos e das propriedades estatísticas do corpus de treinamento.