Resumo Técnico: CO-ALIGN – Mitigação Eficiente de Viés em Modelos de Difusão T2I usando Grafos de Conceitos

1. Declaração do Problema

Modelos de difusão de Texto-para-Imagem (T2I) reproduzem e amplificam sistematicamente vieses demográficos (gênero, raça, idade) herdados de seus corpora de treinamento (ex: LAION-5B). Esses vieses não são meramente artefatos superficiais, mas propriedades estruturais da organização de conceitos aprendida pelo modelo, onde conceitos enviesados compartilham um substrato neural desproporcional com atributos estereotipados.

As técnicas existentes de mitigação de viés intervêm tipicamente em apenas um nível do pipeline de geração:

• Apenas o Codificador de Texto (Text Encoder): Métodos que ajustam finamente os embeddings ou direcionam sinais de inferência para remover direções enviesadas. No entanto, isso deixa a organização interna de conceitos do denoiser inalterada. Consequentemente, o denoiser recebe sinais de condicionamento fora da distribuição que ele não consegue interpretar coerentemente, levando a saídas semanticamente incoerentes.
• Apenas o Denoiser: Métodos que editam pesos de atenção cruzada (cross-attention) ou espaços latentes para redirecionar prompts. No entanto, o codificador de texto continua a rotear prompts subespecificados (ex: "uma enfermeira") para embeddings de atributos enviesados, negando parcialmente a correção do lado do denoiser.

O problema central identificado é que tratar o codificador de texto e o denoiser como alvos de correção independentes é subótimo. Corrigir um sem o outro interrompe sua harmonia geométrica, resultando em um compromisso (trade-off) onde a melhoria na equidade leva a um aumento acentuado na incoerência semântica.

2. Metodologia: CO-ALIGN

Os autores propõem o CO-ALIGN (Alinhamento de Ontologia de Conceitos), um framework que mitiga o viés alinhando as ontologias internas de conceitos tanto do codificador de texto quanto do denoiser em direção a uma topologia alvo. A hipótese central é que o viés reside nas relações entre conceitos, e não em representações individuais, e que a debiasing eficaz requer harmonia geométrica conjunta entre os componentes.

A. Extração de Grafo de Conceitos

O CO-ALIGN constrói grafos de conceitos ponderados ($G$) para ambos os componentes, onde os nós representam conceitos e as arestas representam a força do substrato neural compartilhado.

• Grafo do Codificador de Texto ($G_{TE}$): Definido pela similaridade de cosseno pareada dos embeddings do último estado oculto com média de pooling $L_2$ para um vocabulário de conceitos $C$.
• Grafo do Denoiser ($G_U$): Definido usando "impressões digitais de neurônios de conceito" (concept neuron fingerprints). Os autores identificam subconjuntos esparsos de parâmetros (neurônios de conceito) nas matrizes de projeção de atenção cruzada ($W^K, W^Q, W^V$) que são críticos para um conceito específico. As arestas do grafo são computadas como a similaridade de cosseno média dos perfis de gradiente mascarados (impressões digitais) desses neurônios através de camadas e cabeças.

B. Objetivo de Alinhamento

O framework alinha o grafo de conceitos atual ($A$) em direção a uma matriz de adjacência alvo ($A_{GT}$) que codifica uma topologia desejada (ex: proximidade igual de "Enfermeira" para "Enfermeira Homem" e "Enfermeira Mulher").

• Perda de Ranking Diferenciável ($L_{rank}$): Opera linha a linha em um subconjunto supervisionado de conceitos (conceitos alvo). Utiliza ranks suaves derivados de comparações pareadas de sigmoide diferenciáveis para alinhar os rankings de similaridade atuais aos alvos de rank rígidos derivados de $A_{GT}$.
• Perda de Âncora Estática ($L_{anchor}$): Evita o desvio de "conceitos âncora" (ex: variantes específicas de atributos) ao penalizar desvios de suas representações pré-alinhamento.
• Perda de Preservação ($L_{pres}$): Uma perda padrão de predição de ruído em pares de referência para garantir que o modelo não sofra de esquecimento catastrófico de conceitos fora do escopo de edição.

O objetivo total é $L = \delta \cdot L_{rank} + \gamma \cdot L_{pres} + L_{anchor}$. O alinhamento é realizado sequencialmente: primeiro no codificador de texto, depois no denoiser (recalibrado para a geometria atualizada).

C. Propriedade Emergente: Propagação de Vizinhança

Uma descoberta fundamental é que alinhar um conceito supervisionado puxa sua vizinhança semântica em direção à topologia alvo sem supervisão direta. Este efeito de "propagação de rótulos", análogo ao aprendizado semi-supervisionado baseado em grafos, permite que o método aborde conceitos de bypass adversariais (conceitos semanticamente adjacentes a um alvo que evadem o desaprendizado) ao trazê-los para dentro do raio de localidade do alvo de desaprendizado.

3. Principais Contribuições

1. Diagnóstico de Falha de Componente Único: O artigo demonstra que técnicas de debiasing de componente único (apenas encoder ou apenas denoiser) inevitavelmente trocam equidade por coerência de geração, deixando viés residual ou produzindo saídas incoerentes.
2. Framework CO-ALIGN: Uma abordagem inovadora que extrai e alinha conjuntamente grafos de conceitos tanto do codificador de texto quanto do denoiser, preservando a harmonia geométrica entre eles.
3. Desempenho Superior: O CO-ALIGN supera os métodos de estado da arte ao alcançar uma redução significativa de viés enquanto mantém alta qualidade de imagem e coerência semântica.
4. Robustez de Desaprendizado (Unlearning): O artigo utiliza o efeito de propagação de vizinhança para melhorar significativamente a robustez adversária de técnicas de desaprendizado de conceito post-hoc, tornando-as eficazes contra prompts de bypass sem modificar o procedimento de desaprendizado.

4. Resultados Experimentais

Experimentos foram conduzidos no Stable Diffusion v1.5 através de quatro ocupações (enfermeira, médico, bombeiro, recepcionista) e três eixos demográficos (gênero, raça, idade).

• Equidade (Fairness): O CO-ALIGN alcançou os menores escores de Discrepância de Equidade (FD), mostrando uma melhoria de 30% na equidade de gênero e 75,4% de melhoria na equidade de raça sobre os próximos melhores baselines.
• Qualidade de Imagem: O método melhorou a fidelidade da imagem em 2,8% (CLIP-I) e reduziu o Fréchet Inception Distance (FID) em 11,4 comparado ao modelo base, superando todos os baselines.
• Coerência: Crucialmente, o CO-ALIGN reduziu as saídas semanticamente incoerentes em 88% em comparação com o modelo base. Em contraste, métodos de componente único mostraram um aumento acentuado na incoerência conforme a equidade melhorava.
• Robustez de Desaprendizado: Quando aplicado como um passo de pré-alinhamento para desaprendizado (visando "Nudez"), o CO-ALIGN reduziu significativamente a taxa de sucesso de prompts de bypass adversariais. Por exemplo, o prompt "Creampie", que gerava nudez em 88–100% dos casos com baselines, caiu para 0–32% após o pré-alinhamento do CO-ALIGN.

5. Significância e Alegações

O artigo afirma que o CO-ALIGN representa uma mudança de tratar o viés como uma propriedade de parâmetros individuais para vê-lo como uma assimetria na topologia interna de conceitos do modelo. Ao impor o alinhamento conjunto, o método alcança um equilíbrio de Pareto entre equidade e qualidade de geração que métodos de componente único não conseguem atingir.

Além da mitigação de viés imediata, os autores destacam o efeito de propagação de vizinhança como uma propriedade emergente significativa. Isso permite que o framework aumente a robustez de mecanismos de segurança existentes (como o desaprendizado de conceitos) contra ataques adversariais, sugerindo que o alinhamento estrutural da ontologia do modelo é uma ferramenta poderosa para o deployment de IA responsável.

Os autores permanecem modestos quanto às limitações, observando que a extração do grafo do denoiser é computacionalmente intensiva e que o método é atualmente validado apenas no Stable Diffusion v1.5, exigendo adaptação para arquiteturas baseadas em transformadores como DiT ou SDXL. Eles também reconhecem que, embora o CO-ALIGN reduza o viés, ele não pode eliminar totalmente os vieses estruturais inerentes aos dados de treinamento coletados da web.