Training-Free Debiasing of Diffusion Models via CLIP-Guided Denoising Optimization

Resumo Técnico: Mitigação de Viés em Modelos de Difusão sem Treinamento via Otimização de Denoising Guiada por CLIP

Definição do Problema
Modelos de difusão de texto para imagem (T2I), como o Stable Diffusion, geram imagens de alta qualidade, mas frequentemente exibem um viés demográfico significativo. Apesar de receberem prompts neutros (ex: "a photo of a CEO"), esses modelos produzem consistentemente representações estereotipadas em relação a gênero e raça, reforçando preconceitos sociais existentes e levando à sub-representação sistemática de certos grupos. As soluções existentes enfrentam limitações críticas: abordagens baseadas em treinamento (retreinamento ou ajuste fino) são computacionalmente caras e difíceis de aplicar a modelos implantados ou de código fechado, enquanto métodos de tempo de inferência dependem de engenharia de prompt heurística ou manipulações estáticas no espaço latente que degradam a qualidade da imagem, o alinhamento semântico ou carecem de adaptabilidade dinâmica.

Metodologia: Text Embedding Steering (TES)
Os autores propõem o Text Embedding Steering (TES), um framework que não requer treinamento para mitigar o viés demográfico ao otimizar diretamente os embeddings de texto condicionais durante o processo de difusão, sem modificar os parâmetros do modelo. A observação central que impulsiona o TES é que os atributos demográficos são amplamente determinados nos estágios iniciais de denoising, quando a estrutura global da imagem se forma.

O método opera através de uma estratégia de otimização de dois estágios integrada ao pipeline padrão de classifier-free guidance (CFG) usando amostragem DDIM:

1. Alinhamento Global de Estágio Inicial: Antes que os detalhes visuais refinados emerjam, o TES realiza uma atualização de gradiente inicial no embedding de texto para direcionar a trajetória de geração global em direção a uma distribuição demográfica alvo predefinida.
2. Refinamento Iterativo de Tempo de Denoising: Após o alinhamento inicial, o TES refina continuamente o embedding ao longo dos subsequentes passos de denoising. Este refinamento utiliza o feedback baseado em CLIP derivado de estimativas intermediárias de "imagem limpa" ($\hat{x}_0$) reconstruídas em cada timestep.

Objetivo de Otimização
O TES otimiza uma perturbação aditiva ($\Delta e$) ao embedding de texto original ($e_0$), de tal forma que $e_t = e_0 + \Delta e$. A otimização minimiza uma função de perda composta ($L_{total}$) calculada sobre uma janela específica de timestep onde a imagem reconstruída é semanticamente significativa, mas a trajetória permanece flexível:

• Perda de Atributo ($L_{attr}$): Incentiva a imagem gerada a alinhar-se com uma descrição de atributo alvo (ex: "a female person") enquanto se opõe a um atributo contrastante (ex: "a male person"), utilizando similaridade de cosseno do CLIP.
• Perda de Profissão ($L_{prof}$): Preserva o conteúdo semântico do prompt original (ex: "CEO") para evitar que o modelo se desvie do assunto pretendido.
• Regularização ($L_{reg}$): Uma penalidade $L_2$ sobre a perturbação do embedding para evitar desvios excessivos do embedding original.

O framework ajusta dinamicamente a taxa de aprendizado com base no timestep, aplicando atualizações menores durante fases de alto ruído e aumentando a força conforme informações semânticas confiáveis tornam-se disponíveis.

Principais Contribuições

1. Framework sem Treinamento: O TES mitiga o viés demográfico otimizando continuamente os embeddings de texto durante a inferência, não exigindo retreinamento do modelo, ajuste fino ou módulos auxiliares.
2. Estratégia de Dois Estágios: Os autores identificam a importância crítica da intervenção precoce para o controle da trajetória global, combinada com o refinamento iterativo para manter a estabilidade e evitar o retorno a resultados enviesados.
3. Controle Dinâmico Sensível ao Contexto: Diferente de métodos que dependem de direções fixas ou mapeamentos estáticos, o TES adapta o embedding com base em estimativas intermediárias de imagem limpa, permitindo um direcionamento demográfico sensível ao contexto.

Resultados Experimentais
Experimentos extensos foram conduzidos no Stable Diffusion v2.1 (e v1.5 para generalização) em seis categorias de profissões (ex: CEO, enfermeira, taxista) e dois atributos demográficos (gênero e raça).

• Equidade (Fairness): O TES supera significamente os baselines existentes sem treinamento (ex: LightFair, EntiGen) e o Stable Diffusion original. Para o debiasing de gênero, reduziu o Bias-O de 0,85 (baseline) para 0,26 e a Discrepância de Equidade (FD) de 0,54 para 0,13. Para o debiasing de raça, o Bias-O caiu de 0,63 para 0,15.
• Qualidade e Semântica: Apesar do agressivo debiasing, o TES mantém uma qualidade de imagem competitiva. Alcançou os melhores escores FID (226,13 para gênero, 228,52 para raça) e altos escores CLIP-T, indicando um forte alinhamento semântico entre texto e imagem. O método preservou com sucesso a semântica da profissão e a coerência visual enquanto alterava os atributos demográficos.
• Estudos de Ablação: Os resultados confirmam que tanto o alinhamento de estágio inicial quanto o refinamento iterativo são necessários; usar apenas um estágio leva ou a um controle de equidade pobre ou a um alinhamento semântico instável. Além além disso, a inclusão da perda de preservação de profissão é essencial para manter o assunto pretendido.

Significância e Alegações
O artigo afirma que o TES demonstra que a otimização de embedding de texto em tempo de inferência é uma solução prática e escalável para a geração consciente de equidade. Ao desacoplar a mitigação de viés do retreinamento do modelo, a abordagem oferece um mecanismo plug-and-play que pode ser aplicado a modelos de difusão existentes e implantados. Os autores asseguram que seu método alcança um equilíbrio superior entre equidade e qualidade de imagem em comparação com o estado da arte, produzindo representações mais equilibradas e realistas de papéis sociais sem sacrificar a confiabilidade ou a fidelidade visual do conteúdo gerado. O trabalho destaca que o direcionamento dinâmico e sensível ao contexto de embeddings é um caminho viável para reduzir vieses demográficos sistemáticos na IA generativa.