Color Conditional Generation with Sliced Wasserstein Guidance

1. Declaração do Problema

O artigo aborda o desafio da geração de imagens condicionada a cores em modelos de difusão texto-para-imagem. Embora prompts em linguagem natural possam descrever objetos e cenas, eles são frequentemente imprecisos para especificar paletas de cores exatas (por exemplo, "azul turquesa" produz tons variados). As soluções existentes enfrentam duas limitações principais:

• Transferência de Cor Pós-processamento: A aplicação de algoritmos de transferência de cor (por exemplo, WCT, Correspondência de Histograma) a imagens geradas por modelos de difusão frequentemente resulta em incompatibilidades semânticas. O estilo de cor é transferido, mas o conteúdo subjacente pode ficar distorcido, ou as cores podem não alinhar semanticamente com os objetos gerados.
• Geração Estilizada: Métodos que modificam mecanismos de atenção ou pesos (por exemplo, IP-Adapter, InstantStyle) para controlar o estilo frequentemente emaranham cor com outras características estilísticas (textura, pinceladas, composição). Isso torna difícil controlar a cor independentemente sem transferir características de alto nível indesejadas da imagem de referência.

O objetivo é gerar uma imagem que adira estritamente a uma paleta de cores de referência enquanto mantém o conteúdo semântico ditado pelo prompt de texto e evita a transferência de elementos estilísticos não relacionados à cor.

2. Metodologia: SW-Guidance

Os autores propõem a SW-Guidance, uma abordagem sem treinamento que modifica o processo de amostragem de um modelo de difusão. Em vez de ajustar finamente pesos ou usar adaptadores de atenção, ela orienta a trajetória de remoção de ruído usando uma função de perda diferenciável baseada na distância Wasserstein 1 Sliced (SW1).

Mecanismo Central

O método opera dentro do processo de difusão reversa (especificamente usando schedulers DDIM). Em cada passo de tempo $t$, o algoritmo realiza um passo de otimização para deslocar a representação latente em direção à distribuição de cor de referência.

1. Previsão Latente: Dada uma latente ruidosa $x_t$, o modelo prevê uma latente limpa $\hat{x}_0$. Isso é decodificado para uma imagem $\hat{y}_0$.
2. Extração de Distribuição de Cor: A distribuição de cor da imagem gerada ($\pi_{\hat{y}_0}$) e da imagem de referência ($\pi_{ref}$) é extraída no espaço RGB.
3. Perda de Wasserstein Sliced: O algoritmo calcula a distância Wasserstein 1 Sliced entre essas duas distribuições.
   • Por que Sliced? A distância Wasserstein padrão é computacionalmente cara e não diferenciável em altas dimensões. O Wasserstein Sliced reduz o problema para projeções 1D, onde a distância é fácil de calcular e diferenciável.
   • Por que 1-Wasserstein? Os autores utilizam uma proposição teórica (Proposição 1) afirmando que, para distribuições 1D, a distância 1-Wasserstein pode ser calculada como a distância $L_1$ entre Funções de Distribuição Acumulada (CDFs), evitando a necessidade de calcular CDFs inversas (funções quantílicas).
   • Diferenciabilidade: A CDF é aproximada ordenando os valores dos pixels, uma operação diferenciável, permitindo que os gradientes fluam de volta para o espaço latente.
4. Orientação Baseada em Gradiente: Um vetor de controle auxiliar $u$ é adicionado à latente $x_t$. O algoritmo otimiza $u$ ao longo de $M$ passos internos para minimizar a distância SW:
   $$\min_u \text{SW}_1(\pi_{\hat{y}_0(x_t+u)}, \pi_{ref})$$
5. Atualização de Amostragem: O deslocamento otimizado $u^*$ é aplicado à latente, e o passo padrão de remoção de ruído (com orientação sem classificador) prossegue para $t-1$.

Justificativa Teórica

O artigo fornece provas teóricas (Lema 2) mostrando que minimizar a distância Wasserstein Sliced garante a convergência fraca da distribuição de cor gerada para a distribuição de referência, incluindo a convergência de todos os momentos (média, variância, etc.).

3. Contribuições Principais

• Mecanismo de Condicionamento Inovador: Primeira integração da distância Wasserstein Sliced diferenciável no condicionamento de modelos de difusão para controle de cor.
• Desacoplamento de Cor e Estilo: O método transfere com sucesso apenas a paleta de cores, evitando a transferência de texturas, pinceladas ou composição encontradas na imagem de referência (diferentemente de métodos de estilização baseados em atenção).
• Sem Treinamento: A abordagem não requer ajuste fino dos pesos do modelo de difusão, tornando-a aplicável a qualquer modelo de difusão latente pré-treinado (por exemplo, SD1.5, SDXL).
• Fundação Teórica: Fornece provas para as propriedades de convergência do procedimento de otimização e a eficiência do uso da distância 1-Wasserstein via diferenças de CDF.

4. Resultados Experimentais

O método foi avaliado em SD1.5 e SDXL usando o dataset ContraStyles (1000 prompts) e Unsplash Lite (1000 imagens de referência).

Métricas Quantitativas

• Semelhança de Cor: Medida pela distância 2-Wasserstein entre as distribuições de cor gerada e de referência.
  • Resultado: A SW-Guidance alcançou a menor distância (0,0297) em comparação com todas as linhas de base, incluindo algoritmos avançados de transferência de cor (por exemplo, PhotoWCT2: 0,1028) e métodos de estilização (por exemplo, InstantStyle: 0,1758).
• Fidelidade de Conteúdo: Medida pelo CLIP-T (semelhança entre prompt de texto e imagem).
  • Resultado: A SW-Guidance alcançou a maior pontuação CLIP-T (0,270) entre métodos de geração estilizada, indicando que segue o prompt de texto melhor do que métodos que emaranham estilo e conteúdo.
• Qualidade de Imagem: Medida pelo CLIP-IQA.
  • Resultado: A SW-Guidance manteve alta qualidade (0,285), ficando em segundo lugar apenas atrás da geração incondicional, superando significativamente muitas linhas de base de transferência de estilo.

Análise Qualitativa

• Comparação Visual: Exemplos visuais mostram que, enquanto métodos como InstantStyle transferem o "vibe" (por exemplo, pinceladas, fotorealismo) junto com as cores, a SW-Guidance adere estritamente à paleta de cores enquanto preserva a composição e textura originais da imagem gerada.
• Compatibilidade: O método é compatível com ControlNets (por exemplo, Canny, Depth), permitindo controle de layout junto com o condicionamento de cor.

5. Significado e Limitações

Significado:

• Controle de Precisão: Resolve o problema da "nomeação de cores" na arte de IA, permitindo que os usuários definam uma paleta por meio de uma imagem de referência em vez de descrições de texto vagas.
• Modularidade: Oferece uma separação limpa entre geração de conteúdo (prompt de texto), layout (ControlNet) e cor (SW-Guidance), o que é difícil com modelos atuais de transferência de estilo monolíticos.
• Eficiência: Adiciona sobrecarga computacional mínima (aproximadamente 30 segundos para SD1.5 em uma RTX 4090) em comparação com métodos baseados em treinamento ou pipelines complexos de pós-processamento.

Limitações:

• Conflito Texto-Cor: Se o prompt de texto descrever explicitamente uma cor que contradiz a paleta de referência (por exemplo, o prompt diz "maçã vermelha" mas a referência é azul), podem ocorrer artefatos visuais.
• Requisito de Diferenciação: A implementação atual requer diferenciação através do U-Net, o que é computacionalmente intensivo em comparação com pós-processamento não diferenciável.
• Interação com Estilização: Combinar SW-Guidance com outros métodos de estilização fortes (como InstantStyle) pode levar a conflitos, pois ambos tentam modificar o processo de geração.

Em conclusão, a SW-Guidance representa um avanço significativo na geração de imagens controlável, oferecendo uma solução fundamentada matematicamente e sem treinamento para transferência de cor precisa que preserva a integridade semântica e a qualidade da imagem.