Attention, May I Have Your Decision? Localizing Generative Choices in Diffusion Models

Título: Atenção, Posso Ter Sua Decisão? Localizando Escolhas Generativas em Modelos de Difusão

1. O Problema

Os modelos de difusão de texto para imagem (T2I) possuem capacidades generativas notáveis, mas suas operações internas permanecem opacas ("caixa preta"). Um problema crítico surge quando os prompts de entrada não são totalmente descritivos (ex: "uma foto de flores" ou "uma foto de uma pessoa"). Nesses cenários, o modelo deve tomar decisões implícitas para preencher detalhes não especificados (como cor, gênero, idade ou etnia) baseando-se em padrões aprendidos dos dados de treinamento.

Essas decisões implícitas frequentemente perpetuam vieses sociais (ex: associar "médico" a homens ou "presidente dos EUA" a uma única pessoa específica). A literatura existente foca principalmente na localização de conhecimento baseada em injeção de prompts (condicionamento explícito), onde atributos são inseridos no texto para medir o impacto. No entanto, os autores argumentam que o mecanismo para decisões implícitas (quando o prompt é vago) é computacionalmente distinto e diferente do mecanismo usado para condicionamento explícito.

2. Metodologia

O artigo propõe uma nova abordagem para localizar e controlar essas decisões implícitas, introduzindo a técnica ICM (Implicit Choice-Modification). A metodologia divide-se em duas etapas principais:

A. Localização Baseada em Probing (Sondagem)
Diferente das técnicas anteriores que injetam atributos no prompt, o ICM utiliza probing linear para identificar as camadas onde as decisões implícitas são mais discrimináveis:

1. Geração de Dados: O modelo gera imagens usando prompts genéricos e não especificados (ex: "uma foto de uma pessoa").
2. Rótulos Pseudo (Post-hoc): As imagens geradas são classificadas por um classificador externo (ex: CLIP ou FairFace) para atribuir rótulos aos atributos implícitos (ex: gênero, idade).
3. Extração de Ativações: São extraídas as ativações intermediárias de todas as camadas do modelo durante a geração.
4. Treinamento de Probes: São treinados classificadores lineares (regressão logística) para prever o atributo (rótulo) a partir das ativações de cada camada e timestep.
5. Seleção de Camadas: As camadas com a maior precisão de classificação (maior separabilidade linear dos atributos) são identificadas como os locais onde a decisão implícita é "tomada".

B. Controle de Geração (Intervenção)
Uma vez localizadas as camadas críticas, o método aplica intervenções direcionadas apenas nessas camadas específicas, utilizando duas estratégias:

• Steering de Ativação (Activation Steering): Adiciona um vetor de direção (derivado dos pesos do classificador linear) às ativações da camada selecionada durante a inferência.
• Ajuste Fino (Fine-tuning): Ajusta os pesos apenas das camadas selecionadas (usando LoRA) para reforçar ou mitigar certas características.

3. Contribuições Principais

1. Descoberta da Localização: O trabalho demonstra que a resolução de conceitos ambíguos em prompts genéricos é governada principalmente pelas camadas de Self-Attention, e não pelas camadas de Cross-Attention (que tradicionalmente são associadas ao condicionamento de texto explícito).
2. Técnica de Localização ICM: Introdução de um método baseado em probing que evita os efeitos de confusão da engenharia de prompts, permitindo mapear onde o modelo decide sobre atributos não especificados.
3. Desempenho Superior em Desviés (Debiasing): A aplicação de intervenções apenas nas camadas de Self-Attention selecionadas resulta em uma redução de viés superior em comparação com métodos de state-of-the-art que intervêm em todas as camadas ou apenas nas de Cross-Attention.
4. Escalabilidade: A metodologia foi validada em diferentes arquiteturas, incluindo modelos baseados em UNet (Stable Diffusion v1.5, SDXL) e baseados em Transformer (SANA).

4. Resultados Experimentais

Os autores realizaram extensos experimentos focados na mitigação de vieses de gênero, idade e raça:

• Self-Attention vs. Cross-Attention:
  • Probes treinados em ativações após camadas de Self-Attention mostraram precisão significativamente maior na classificação de decisões implícitas do que os treinados em Cross-Attention.
  • Ao aplicar steering nas camadas de Self-Attention, obteve-se uma redução drástica no Fairness Discrepancy (FD) (medida de viés) enquanto se mantinha a qualidade da imagem (FID) e a alinhamento com o prompt (CLIP-T) superiores aos métodos que intervêm em Cross-Attention.
• Comparação com Métodos Existentes:
  • O método ICM (Steering) superou técnicas como Latent Editing, H-Distribution e DIFFLENS. Por exemplo, para o viés de gênero, o ICM alcançou um FD de 0.087, mantendo um FID de 122.08, enquanto outros métodos ou não reduziam o viés tanto ou degradavam severamente a qualidade da imagem.
• Qualidade e Artefatos:
  • Intervenções em camadas aleatórias ou em todas as camadas simultaneamente geraram artefatos visuais severos e degradação de qualidade.
  • A seleção precisa de apenas 2 a 4 camadas (as de melhor desempenho) preservou a fidelidade da imagem e a estrutura do conteúdo original.
• Validação em Modelos Grandes:
  • Em modelos maiores como SDXL e SANA, a seleção de camadas específicas (ex: 20 de 70 camadas no SDXL) permitiu redirecionar a geração (ex: de "Presidente dos EUA" para "Barack Obama") com alta taxa de sucesso (83%) e alta similaridade com a imagem original, evitando a degradação observada ao intervir em todas as camadas.

5. Significado e Conclusão

Este trabalho é significativo porque desafia a suposição comum de que o condicionamento de texto (Cross-Attention) é o único local relevante para controle de conceitos em modelos de difusão. Ao revelar que as camadas de Self-Attention são o locus das decisões implícitas (onde o ruído inicial é convertido em escolhas concretas), o artigo oferece um mecanismo mais preciso para a interpretabilidade e o controle ético de IA generativa.

A técnica ICM demonstra que é possível mitigar vieses sociais profundos sem sacrificar a qualidade visual ou a coerência do prompt, oferecendo uma ferramenta crucial para o desenvolvimento de modelos de geração de imagem mais justos e controláveis. O código e os dados estão disponíveis publicamente, facilitando a reprodução e o avanço futuro na área de interpretabilidade de modelos difusivos.