Diffusion Mental Averages

Título: Diffusion Mental Averages (DMA)

Autores: Phonphrom Thawatdamrongkit, Sukit Seripanitkarn, Supasorn Suwajanakorn (VISTEC, Tailândia)

1. O Problema

Os modelos de difusão (como o Stable Diffusion) são capazes de gerar infinitas variações de um único conceito (ex: "um gato", "um bombeiro"). No entanto, surge a questão: existe uma "média mental" única dentro do modelo que define o que ele considera como a representação típica desse conceito?

Tentar visualizar essa média é desafiador devido às limitações das abordagens existentes:

• Média de Pixels: A simples sobreposição e média de imagens geradas (após alinhamento espacial) resulta em imagens borradas e irreais, pois os detalhes finos não se alinham perfeitamente e se cancelam.
• Espaços Semânticos Externos: Métodos que codificam imagens em espaços semânticos (como VAEs ou GANs) e fazem a média dos vetores falham em modelos de difusão, pois estes não possuem um "gargalo" semântico explícito e decodificável como os autoencoders.
• Distilação de Dados: Técnicas que sintetizam protótipos para tarefas downstream frequentemente produzem resultados inconsistentes ou não realistas, não capturando a essência visual do conceito como o próprio modelo o vê.

O objetivo é sintetizar um único protótipo nítido e realista que represente a média semântica de um conceito dentro do espaço latente do modelo de difusão pré-treinado, sem acesso ao conjunto de dados original de treinamento.

2. Metodologia: Diffusion Mental Averages (DMA)

A proposta central é recastar o problema de "média" como um problema de alinhamento de trajetórias dentro do próprio processo de difusão.

A. Alinhamento de Trajetória (Trajectory Alignment)

Em vez de gerar amostras e depois tentar alinhá-las, o DMA otimiza conjuntamente múltiplos latents de ruído iniciais ($K$ latentes) para que suas trajetórias de desruído (denoising) converjam progressivamente para uma semântica compartilhada.

1. Espaço Semântico (h-space): O método utiliza uma camada específica da rede U-Net (geralmente próxima ao gargalo), chamada de h-space, que foi identificada por estudos anteriores como contendo representações semânticas lineares e interpretáveis.
2. Processo Iterativo por Timestep:
   • Para cada passo de tempo $t$ da difusão, o modelo calcula a ativação média no h-space de todos os $K$ latentes atuais.
   • Otimiza-se cada latent individualmente para minimizar a distância (L2) entre sua ativação no h-space e essa média calculada.
   • Após o alinhamento, aplica-se um passo de desruído (DDIM) para avançar para o próximo timestep.
3. Convergência Coarse-to-Fine: Esse processo força o modelo a primeiro alinhar estruturas de alto nível (forma global, composição) e, à medida que avança nos timesteps, alinhar detalhes finos, resultando em uma única imagem protótipo nítida.

B. Descoberta de Modos (Mode Discovery)

Muitos conceitos são multimodais (ex: "cachorro" inclui várias raças; "bicicleta" pode ser de estrada ou montanha). Uma única média pode borrar essas distinções.

• Clusterização: O método primeiro gera amostras e as clusteriza em um espaço semântico rico e estável, como o CLIP (ou BLIP-VQA para clustering baseado em atributos específicos, como etnia).
• Ponte Semântica (Bridging): Como o espaço de clustering (CLIP) difere do espaço de difusão (h-space), há uma inconsistência. Para corrigir isso, o DMA adapta a condição do modelo para cada cluster:
  • Utiliza Textual Inversion ou LoRA (Low-Rank Adaptation) treinados especificamente para cada cluster.
  • Isso guia o processo de desruído para a região semântica específica do cluster, garantindo que a média gerada reflita fielmente aquele subconjunto (modo).

3. Contribuições Principais

1. Primeiro Método de Média Realista em Difusão: Apresenta a primeira abordagem capaz de produzir médias consistentes e realistas diretamente de modelos de difusão pré-treinados, formulando a tarefa como alinhamento de trajetória.
2. Generalização para Conceitos Multimodais: Estende a capacidade de gerar médias para conceitos ambíguos através de clustering e condicionamento leve (LoRA/Textual Inversion).
3. Generalização Arquitetural: O método funciona não apenas em modelos baseados em U-Net (Stable Diffusion), mas também em arquiteturas baseadas em Transformers (DiT), adaptando a camada semântica utilizada.
4. Ferramenta de Análise de Viés: Oferece uma ferramenta concreta para visualizar e auditar os vieses internos dos modelos (ex: viés de gênero em "soldados" ou viés demográfico em "médicos").

4. Resultados e Avaliação

Os autores avaliaram o DMA em 12 conceitos (Animais, Pessoas, Objetos, Conceitos Abstratos) comparando com baselines como GANgealing, Avg VAE, D4M e MGD3.

• Métricas Quantitativas:
  • Consistência: O DMA obteve os melhores resultados (menor distância entre protótipos gerados a partir de diferentes sementes), superando significativamente métodos baseados em distilação de dados.
  • Representatividade: O protótipo gerado está mais próximo da distribuição semântica central do conceito do que as médias de pixel ou os protótipos de distilação.
  • ImageReward (Qualidade Visual): O DMA obteve a pontuação mais alta, indicando preferência humana e melhor alinhamento texto-imagem.
• Resultados Qualitativos:
  • Enquanto baselines produziam imagens borradas ou com componentes faltantes (ex: capacete de astronauta sem viseira), o DMA gerou imagens nítidas, estruturadas e visualmente plausíveis.
  • Para conceitos abstratos como "Liberdade", o DMA consistentemente gerou a Estátua da Liberdade, enquanto outros geravam distorções.
  • Análise de Modos: O método conseguiu separar e visualizar modos distintos (ex: diferentes raças de cães ou cores de carros) com alta fidelidade semântica.
• Generalização: O método funcionou em diferentes variantes do Stable Diffusion (Realistic Vision, PixelArt, Animerge) e na arquitetura DiT, revelando como diferentes modelos interpretam o mesmo conceito (ex: viés de gênero em "soldados" variando entre modelos realistas e estilo anime).

5. Significado e Impacto

O Diffusion Mental Averages oferece uma nova lente para interpretar modelos generativos:

• Interpretabilidade: Permite visualizar o "conceito médio" que o modelo internalizou, indo além da análise de amostras individuais.
• Auditoria de Viés: É uma ferramenta poderosa para detectar e quantificar vieses sociais, demográficos ou estéticos embutidos nos dados de treinamento e na arquitetura do modelo.
• Resumo de Dados: Pode ser usado para comprimir grandes conjuntos de dados em estatísticas visuais compactas para análise rápida ou treinamento downstream preservando privacidade.
• Limitações: O processo atual é computacionalmente intensivo (cerca de 10 horas por conceito em uma GPU RTX 4080), embora existam trade-offs possíveis entre velocidade e consistência ajustando hiperparâmetros.

Em suma, o DMA preenche a lacuna entre a geração de amostras individuais e a compreensão da representação semântica agregada dos modelos de difusão, fornecendo protótipos visuais que são ao mesmo tempo realistas e estatisticamente representativos.