Resumo Técnico: EquiSteer

Declaração do Problema

Modelos de difusão de texto-para-imagem (T2I), embora poderosos para tarefas criativas, reproduzem e amplificam sistematicamente vieses demográficos presentes em seus dados de treinamento. Para prompts comuns como "uma foto de uma enfermeira" ou "uma foto de um CEO", os modelos consistentem em inclinar os resultados para gêneros específicos (feminino e masculino, respectivamente) em vez de refletir o prompt de texto de forma neutra. As abordagens de mitigação de viés existentes enfrentam limitações significativas:

• Métodos baseados em ajuste fino (finetuning): exigem acesso aos pesos do modelo e dados adicionais, dificultando a escalabilidade e a transferência entre arquiteturas.
• Métodos baseados em orientação (guidance): frequentemente operam ao nível de lote (batch), falhando em mitigar o viés em amostras individuais e enfrentando dificuldades em cenários de múltiplos atributos.
• Intervenções no embedding de texto: são sensíveis à formulação do prompt e oferecem controle espacial limitado sobre o resultado gerado.

Além disso, os métodos atuais frequentemente falham em distinguir entre prompts neutros em relação a atributos (ex: "um médico") e prompts específicos de atributos (ex: "um médico homem"), levando à modificação indesejada de atributos explicitamente solicitados.

Metodologia: EquiSteer

Os autores propõem o EquiSteer, um framework livre de treinamento (training-free) que opera em tempo de inferência para orientar as ativações de atenção cruzada (cross-attention - CA) para alcançar uma geração de imagens mais justa. O método opera por amostra sem modificar os pesos do modelo. Ele baseia-se no mecanismo CASteer, mas o reposiciona da supressão de conceitos para a mitigação de viés controlada.

O framework consiste em três componentes principais:

1. Vetores de Orientação Pré-computados

Para cada atributo alvo (ex: gênero, raça, idade), o EquiSteer pré-computa vetores de orientação no espaço de ativação de CA. Esses vetores são derivados de pares de prompts contrastivos (ex: "um homem" vs. "uma mulher") e capturam a direção no espaço de ativação associada a atributos demográficos específicos.

2. Mecanismo de Portão Sensível ao Prompt (Prompt-Aware Gating)

Para evitar a modificação de prompts que especificam explicitamente um atributo, o EquiSteer introduz um mecanismo de portão (gating).

• Detecção: Ele mede o alinhamento entre a saída de CA e o vetor de orientação de atributo usando uma estatística de produto escalar ($\langle ca^{out}_{ltk}, s^X_{lt} \rangle$).
• Limiarização (Thresholding): Ao avaliar a resposta máxima do token em uma camada de portão específica ($l_{gate}$) e no passo de tempo ($t=0$), o sistema distingue entre prompts específicos de atributos e prompts neutros de atributos.
• Ação: Se o sinal exceder um limiar calibrado, o prompt é tratado como específico de atributo, e a intervenção é ignorada (geração vanilla). Caso contrário, a mitigação de viés é aplicada.

3. Orientação Adaptativa com Ortogonalização

Para prompts neutros onde a mitigação de viés é acionada, o EquiSteer realiza duas etapas para garantir uma injeção de atributo limpa:

• Ortogonalização: Antes de injetar o atributo alvo, a saída de CA é projetada para ser ortogonal ao subespaço definido por todos os vetores de orientação de atributos. Isso remove sinais de atributos pré-existentes e potencialmente conflitantes que poderiam levar a artefatos de atributos mistos.
• Magnitude Adaptativa: A força de orientação ($\alpha$) não é fixa, mas calibrada para corresponder à força de sinal típica observada em prompts específicos de atributos. Isso garante que o atributo alvo seja expresso com magnitude suficiente sem ser fraco demais ou esmagador.

O método suporta a mitigação de viés de múltiplos conceitos (ex: gênero + raça + idade) aplicando essas etapas sequencialmente por conceito em cada camada de atenção cruzada.

Principais Contribuições

1. Demonstração da Orientabilidade de CA: O artigo estabelece que as ativações de atenção cruzada codificam atributos demográficos de uma forma que permite a orientação direta em tempo de inferência para controle de equidade.
2. Framework EquiSteer: A introdução de um método livre de treinamento que apresenta portão sensível ao prompt e ortogonalização do espaço de atributos. Este design aborda especificamente as falhas de modelos de orientação básicos: preservar prompts específicos de atributos e evitar gerações de atributos mistos.
3. Validação Abrangente: O método é validado em quatro backbones distintos de T2I (SD-1.5, SD-2.1, SDXL e SANA) e múltiplos conceitos demográficos (gênero, raça, idade, tipo corporal, óculos).

Resultados Experimentais

Os autores avaliaram o EquiSteer contra baselines recentes, incluindo FairDiffusion, Unified Concept Editing (UCE) e Text Embedding Intervention (TEI).

• Melhoria na Equidade: O EquiSteer reduz a lacuna média de paridade em até 87% em relação ao modelo sem mitigação e em até 47% sobre o baseline mais forte disponível (TEI).
• Preservação de Atributos: Diferente de outros métodos que degradam o desempenho em prompts específicos, o EquiSteer mantém alta fidelidade a prompts específicos de atributos (ex: gerando corretamente "uma enfermeira homem" quando solicitado), alcançando pontuações de preservação quase perfeitas.
• Qualidade e Alinhamento: O método preserva a qualidade da imagem e o alinhamento texto-imagem, com métricas CLIP e CMMD permanecendo competitivas com modelos vanilla e outros baselines.
• Generalização: A abordagem transfere-se efetivamente através de diferentes famílias de prompts, incluindo paráfrases, contextos longos e prompts composicionais, sem exigir recalibração.
• Mitigação de Viés de Múltiplos Conceitos: O framework lida com sucesso com a mitigação simultânea de múltiplos atributos (ex: gênero, raça, idade e tipo corporal) em uma única passagem de geração.

Significância e Alegações

O artigo afirma que o EquiSteer oferece uma rota prática e escalável para uma geração de imagem guiada por texto mais justa. Ao operar inteiramente em tempo de inferência sem retreinamento, ele supera as barreções de dados e computação associadas a abordagens baseadas em ajuste fino. Os autores enfatem que seu método é o primeiro a combinar efetivamente o controle por amostra com a capacidade de distinguir entre prompts neutros e específicos, resolvendo assim os problemas de "atributos mistos" e "sobrecorreção" que limitaram técnicas de orientação anteriores.

O trabalho sugere que a interpretabilidade da atenção cruzada pode ser diretamente aproveitada como um mecanismo de equidade, fornecendo uma solução robusta e agnóstica ao modelo que se integra naturalmente aos pipelines de amostragem padrão. Os autores observam que, embora o método seja de uso geral, ele depende de calibração específica de conceito (vetores de orientação e limiares) e atualmente opera ao nível da imagem, o que pode apresentar desafios para prompts altamente composicionais com múltiplas entidades.