ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts

Resumo Técnico: ContrastiveCFG

Definição do Problema
O Classifier-Free Guidance (CFG) tornou-se o padrão para melhorar o alinhamento de condição na amostragem de modelos de difusão ao refinar a distribuição posterior. No entanto, uma aplicação comum do CFG é o "Negative Prompting" (NP), onde usuários tentam filtrar características indesejadas simplesmente negando o vetor de orientação de CFG (ou seja, $p(x)/p(c|x)^\gamma$). O artigo identifica uma falha crítica nesta abordagem ingênua: a negação da orientação cria uma distribuição de probabilidade invertida. À medida que a escala de orientação $\gamma$ aumenta, essa distribuição invertida domina a distribuição de dados marginal, fazendo com que as amostras derivem para regiões de baixa densidade ou completamente fora do suporte de dados original. Isso resulta em uma degradação significativa da qualidade das amostras e em artefatos. Embora métodos recentes como o Dynamic Negative Guidance (DNG) tentem mitigar isso usando condições complementares, eles enfrentam dificuldades quando as condições positivas e negativas não são mutuamente exclusivas (por exemplo, prompts de texto sobrepostos), falhando frequentemente em remover totalmente conceitos indesejados sem comprometer os desejados.

Metodologia
Os autores propõem o ContrastiveCFG (CCFG), uma nova estratégia de orientação que reformula a amostragem condicional como um problema de otimização usando perda contrastiva, especificamente derivada da Estimativa de Contraste de Ruído (NCE).

1. Conceito Central: Em vez de inverter a distribuição de probabilidade, o CCFG trata a orientação como um objetivo para atrair a direção de denoising em direção a uma condição positiva ($c_+$) ou repelê-la de uma condição negativa ($c_-$) usando uma função de perda contrastiva.
2. Derivação:
   • O método parametriza a distribuição de dados $p_\theta(x)$ usando um modelo de difusão pré-treinado e define uma distribuição de ruído $q(x)$ baseada na previsão incondicional (ou alternativa).
   • Para orientação positiva, o modelo minimiza uma perda que incentiva o ruído previsto $\epsilon$ a se alinhar com o ruído condicional $\hat{\epsilon}_{c}$ enquanto se distingue do ruído incondicional $\hat{\epsilon}_{\emptyset}$.
   • Para orientação negativa, os papéis são invertidos: o modelo minimiza uma perda que empurra o ruído previsto para longe da condição indesejada $\hat{\epsilon}_{c_-}$ enquanto o mantém próximo à linha de base incondicional.
3. Estratégia de Amostragem:
   • Os autores derivam uma regra de atualização de forma fechada para a direção de denoising $\hat{\epsilon}$ baseada no gradiente da perda contrastiva.
   • O termo de orientação resultante inclui um coeficiente de ponderação dinâmica (dependente da distância entre as previsões condicional e incondicional).
   • Crucialmente, à medida que a amostra atual torna-se cada vez menos relacionada à condição negativa, a força da orientação negativa atenua-se automaticamente para zero. Isso evita a "sobre-repulsão" e os desvios de distribuição observados no NP padrão.
   • O método integra-se perfeitamente em amostragem DDIM determinística existente com overhead computacional mínimo, exigindo apenas passagens forward adicionais para os modelos condicional e incondicional.

Principais Contribuições

• Nova Formulação de Orientação: O artigo introduz um framework baseado em perda contrastiva para orientação de difusão que evita os problemas matemáticos de inverter distribuições de probabilidade inerentes ao Negative Prompting padrão.
• Atenuação Dinâmica: Ao contrário dos métodos de negação estática, o CCFG controla automaticamente a força da repulsão. A força de orientação diminui à medida que a amostra se afasta do conceito indesejado, garantindo que o processo de amostragem permaneça dentro do manifold de dados válido.
• Framework Unificado: A abordagem lida com ambas as condições positivas e negativas dentro de uma formulação matemática consistente, permitindo a atração simultânea para conceitos desejados e a repulsão de indesejados sem exigir ajustes empíricos complexos ou ajuste de hiperparâmetros para resolução de conflitos.

Resultados Experimentais
Os autores avaliaram o CCFG em diversos cenários, incluindo geração condicionada por classe (MNIST, CIFAR10, ImageNet-1k) e geração de texto-para-imagem (T2I) (StableDiffusion 1.5, SDXL).

• Geração Condicionada por Classe: No ImageNet-1k, o CCFG alcançou a maior "Acurácia Geral" (alinhamento positivo simultâneo e exclusão negativa) em comparação com baselines como CFG++, NP, DNG, Perp-Neg e SLD. Ele removeu com sucesso classes indesejadas (por exemplo, distinguindo raças semelhantes como Maltese vs. Siberian Husky) enquanto mantinha altas pontuações estéticas e qualidade de imagem, enquanto o NP degradou a qualidade da imagem e o DNG falhou em excluir totalmente classes sobrepostas.
• Geração de Texto-para-Imagem: Em tarefas de T2I, o CCFG demonstrou desempenho superior na remoção de conceitos indesejados de prompts de texto complexos e sobrepostos sem distorcer o prompt positivo ou introduzir artefatos. Exemplos visuais mostraram que, enquanto o NP frequentemente removia categorias inteiras (por exemplo, removendo todos os frutos vermelhos ao pedir para remover "morangos") ou degradava a coerência da imagem, o CCFG visou precisamente as características indesejadas.
• Benchmarks Quantitativos: No dataset proposto PIE-Bench-Neg, o CCFG alcançou desempenho de estado da arte tanto no alinhamento de prompt positivo (medido por CLIP, ImageReward, HPS-v2) quanto na supressão de prompt negativo, superando outros métodos avançados de orientação negativa.

Significância e Alegações
O artigo afirma que o ContrastiveCFG oferece uma solução teoricamente sólida e praticamente eficaz para as limitações dos métodos de orientação negativa existentes. Ao substituir a inversão ingênua de probabilidades por um objetivo de otimização contrastiva, o CCFG alcança um efeito de orientação semelhante ao CFG tradicional para condições positivas, enquanto supera a degradação da qualidade da amostra e os desvios de distribuição associados ao Negative Prompting. Os autores enfatizam que seu método remove fielmente conceitos indesejados sem sacrificar a qualidade da amostra, mesmo em cenários onde as condições positivas e negativas se sobrepõem, tornando-o uma ferramenta robusta para controle fino em modelos de difusão.