Towards Controllable Image Generation through Representation-Conditioned Diffusion Models

Resumo Técnico: Rumo à Geração de Imagens Controlável por Meio de Modelos de Difusão Condicionados a Representações

Declaração do Problema
Embora os modelos de difusão tenham revolucionado a síntese e edição de imagens de alta qualidade, controlá-los para produzir saídas específicas permanece um desafio significativo. Diferentemente das Redes Adversariais Generativas (GANs), que oferecem espaços latentes bem estruturados e desentrelaçados, facilitando modificações precisas e de granularidade fina, os modelos de difusão carecem de um espaço latente igualmente eficaz para controle direto. Métodos de condicionamento existentes, como prompts de texto ou mapas semânticos, frequentemente dependem de conjuntos de dados extensivamente anotados ou engenharia de prompts complexa, o que pode limitar a precisão e a adaptabilidade a dados não estruturados. Além disso, embora modelos de difusão condicionados a representações tenham sido explorados para melhorar a qualidade da geração incondicional, seu potencial para fornecer um espaço latente controlável não foi testado exaustivamente.

Metodologia
Os autores propõem um Modelo de Difusão Condicionado a Representações (RCDM) que aproveita um modelo auto-supervisionado pré-treinado para guiar o processo de geração. A arquitetura consiste em dois componentes principais (ilustrados na Figura 1):

1. Extração de Representação: Um encoder auto-supervisionado pré-treinado (especificamente DINO) mapeia imagens de entrada para uma distribuição de representação de dimensão reduzida.
2. Geração Condicional: Um U-Net de remoção de ruído (baseado no Modelo de Difusão Latente, LDM) é treinado para mapear uma distribuição de ruído para a distribuição de imagens, condicionado às representações extraídas pelo encoder.

O pipeline de treinamento envolve duas etapas: primeiro, mapear imagens para o espaço de representação usando o encoder SSL; segundo, treinar o modelo de difusão para remover ruído enquanto condicionado a essas representações. Os autores adaptam métodos de trabalhos anteriores (usando MoCo v3 e MAGE), mas os aplicam dentro do framework LDM condicionado a representações DINO. Os experimentos foram conduzidos nos conjuntos de dados LSUN Churches e Celeb-A.

Principais Contribuições e Experimentos
O artigo apresenta experimentos iniciais para validar a eficácia do espaço de representação para geração controlável, focando em três propriedades-chave:

• Robustez a Perturbações: Os autores testaram a estabilidade do modelo perturbando vetores de representação com ruído gaussiano ($\hat{C} = C + \lambda\epsilon$). Os resultados indicam que, embora a Inversão de Difuição sofra degradação significativa de qualidade em níveis de ruído mais altos ($\lambda > 0.4$), o RCDM mantém a qualidade e consistência da imagem ao modificar o conteúdo.
• Suavidade de Interpolação: Foi realizada interpolação linear entre dois vetores de representação ($\hat{C} = \alpha C_1 + (1-\alpha)C_2$). O RCDM demonstrou transições semanticamente mais suaves entre imagens de referência em comparação com a Inversão de Difusão (que se tornou indistinguível no meio) e o Stable Diffusion (que exibiu transições abruptas).
• Descoberta de Direções Semânticas:
  • Supervisionada: Ao calcular a representação média de atributos específicos (por exemplo, cabelo loiro em Celeb-A) e adicioná-la a um vetor de referência, o modelo modificou com sucesso as características. No entanto, os autores observaram que correlações no conjunto de dados (por exemplo, calvície correlacionada com o gênero masculino) poderiam influenciar mudanças de atributos não intencionais.
  • Não Supervisionada: Usando Análise de Componentes Principais (PCA) no espaço de representação, os autores identificaram direções correspondentes a variações semânticas, como tamanho da testa, comprimento do cabelo e cor de fundo. Embora essas direções não tenham alcançado o mesmo nível de desentrelaçamento que as GANs, demonstraram a viabilidade da descoberta de direções não supervisionada.

Resultados e Afirmações
O artigo afirma que modelos de difusão condicionados a representações exibem propriedades promissoras em seu espaço de condicionamento, especificamente suavidade e um grau de desentrelaçamento. Os experimentos sugerem que o uso de representações de um modelo auto-supervisionado pré-treinado não apenas melhora a qualidade da geração de imagens incondicional, mas também estabelece um espaço latente adequado para geração controlada.

Significado
Os autores posicionam este trabalho como uma exploração preliminar em uma direção promissora para modelagem generativa. Eles argumentam que o condicionamento por representação oferece uma abordagem convincente para aprimorar tanto a qualidade quanto a controlabilidade dos modelos de difusão, sem a forte dependência de conjuntos de dados anotados exigida pelo condicionamento baseado em texto. O artigo conclui que trabalhos futuros poderiam focar em adaptar representações para melhorar ainda mais o desentrelaçamento e aplicar essas descobertas à edição de imagens e aumento de dados em modelos de difusão incondicionais.