Resumo Técnico: Orientação Negativa Ortogonal no Espaço de Recursos de Atenção para Geração de Imagem a partir de Texto

Declaração do Problema

Embora os modelos de Geração de Imagem a partir de Texto (T2I) tenham avançado significativamente na geração de imagens de alta qualidade, impor explicitamente a ausência de objetos ou atributos específicos permanece um desafio fundamental. Estratégias existentes sofrem limitações notáveis:

• Negação de Prompt: A simples inserção de palavras como "não" ou "sem" frequentemente falha, às vezes fazendo com que o modelo gere o conceito negado até com mais frequência do que sem a negação.
• Pipelines de Geração e Edição: Esses métodos primeiro geram uma imagem e depois utilizam modelos de edição para remover conceitos indesejados. No entanto, como os modelos de edição são treinados para preservar a integridade espacial e estrutural, eles lutam para remover conceitos que exigem uma reorganização estrutural significativa da cena.
• Orientação Negativa Padrão: Técnicas como Orientação Livre de Classificador (CFG) e suas variantes (por exemplo, NAG, NASA) direcionam a geração para longe de prompts negativos através de subtração linear. Contudo, elas frequentemente subtraem todo o sinal negativo, o que pode degradar o alinhamento com o prompt positivo e a qualidade geral da imagem antes que o conceito indesejado seja suficientemente suprimido.

Metodologia

Os autores propõem a Orientação Negativa Ortogonal, um método livre de treinamento projetado para modelos T2I de fluxo retificado baseados em arquiteturas de Transformador de Difusão Multimodal (MM-DiT) (por exemplo, FLUX-dev, FLUX-schnell). O método opera dentro do espaço de recursos de atenção para suprimir conceitos indesejados, preservando ao mesmo tempo as semânticas desejadas.

Mecanismo Central

O método intervém nas saídas de atenção de imagem para texto ($Z_{I2T}$) dentro dos blocos MM-DiT, que medeiam interações cross-modais. O processo envolve dois ramos paralelos:

1. Ramo Positivo: Calcula as saídas de atenção com base no prompt de geração original ($P^+$).
2. Ramo Negativo: Calcula as saídas de atenção com base em um prompt negativo auxiliar ($P^-$) especificando o conceito a ser suprimido. Crucialmente, este ramo reutiliza os recursos do lado da imagem ($Q_I, K_I, V_I$) do ramo positivo para garantir o alinhamento espacial, enquanto utiliza seus próprios recursos do lado do texto.

Subtração Ortogonal

Em vez de subtrair diretamente a saída de atenção negativa ($Z_{I2T}^-$) da saída positiva ($Z_{I2T}^+$), o método isola e remove apenas o componente do sinal negativo que é ortogonal ao sinal positivo. A saída de atenção modificada $\widehat{Z}_{I2T}^+$ é calculada como:

$$\widehat{Z}_{I2T}^+ = Z_{I2T}^+ - \alpha \cdot \left[ Z_{I2T}^- - \mathrm{proj}_{Z_{I2T}^+}(Z_{I2T}^-) \right]$$

Onde:

• $\alpha$ é a escala de orientação.
• $\mathrm{proj}_{Z_{I2T}^+}(\cdot)$ denota a projeção do vetor negativo sobre o vetor positivo ao longo da dimensão oculta.

Ao subtrair apenas o componente ortogonal, o método suprime informações específicas ao conceito indesejado sem interferir nas direções semânticas alinhadas com o prompt positivo. Este procedimento é aplicado a todos os blocos MM-DiT a partir de um timestep específico $\tau$.

Contribuições Principais

1. Orientação Negativa Ortogonal: Uma intervenção inovadora e livre de treinamento no espaço de recursos de atenção que suprime efetivamente conceitos indesejados removendo apenas o componente ortogonal dos sinais de orientação negativa, preservando assim o alinhamento do prompt e a qualidade da imagem.
2. Benchmarks Diversos de Supressão de Conceitos (DCS-Bench): Os autores introduzem um novo benchmark compreendendo 200 cenários de supressão em seis categorias semânticas (por exemplo, Lugar/Cena, Evento/Ação, Objetos Co-ocorrentes). Diferentemente de benchmarks anteriores focados na qualidade perceptual (por exemplo, "embaçado"), o DCS-Bench avalia a capacidade de suprimir conceitos específicos e naturalmente ocorrentes que os modelos tendem a alucinar.
3. Avaliação Abrangente: Experimentos extensivos em FLUX-dev, FLUX-schnell e Stable Diffusion 3.5 Large demonstram que o método supera as linhas de base existentes de orientação negativa (CFG, NASA, NAG, VSF) e pipelines de geração e edição (Kontext, Qwen-Image-Edit, OmniGen2).

Resultados Experimentais

Desempenho Quantitativo

Utilizando métricas baseadas em VLM (Supressão de Conceito Negativo, Alinhamento de Prompt, Qualidade de Imagem), o método proposto alcança compensações superiores:

• Supressão: No FLUX-dev, o método melhora a Supressão de Conceito Negativo em pelo menos 15% sobre todos os métodos anteriores de orientação negativa.
• Alinhamento e Qualidade: Diferentemente de métodos de subtração linear que degradam a qualidade da imagem ou o alinhamento do prompt, a Orientação Negativa Ortogonal mantém pontuações altas em ambas as métricas, comparáveis ao modelo original.
• Avaliação Humana: Em um estudo com 111 participantes, o método alcançou uma pontuação de preferência de 70,81%, superando a segunda melhor linha de base (NAG com 46,22%) em 18,78%.

Observações Qualitativas

• Supressão de Múltiplos Conceitos: O método pode suprimir múltiplos conceitos simultaneamente listando-os em um único prompt negativo.
• Supressão Ajustável: Variando a escala de orientação $\alpha$, os usuários podem controlar continuamente a força da supressão, removendo conceitos gradualmente sem destruir a cena.
• Casos de Falha: O método ocasionalmente luta com as categorias Lugar/Cena e Evento/Ação, onde o conceito está profundamente integrado à estrutura da cena (por exemplo, falha em remover completamente "luzes softbox" de um "estúdio de fotografia profissional").

Significado e Alegações

O artigo afirma que a Orientação Negativa Ortogonal representa um passo significativo para frente na geração T2I controlável, abordando o compromisso entre supressão de conceitos e fidelidade semântica. Os autores enfatizam que seu método:

• Não requer retreinamento ou parâmetros adicionais.
• Integra-se perfeitamente em arquiteturas modernas de transformadores de fluxo retificado.
• Fornece um mecanismo mais explícito para remoção de conceitos em comparação com a negação de prompt ou edição post-hoc.
• Estabelece um novo padrão de avaliação via DCS-Bench, destacando que os métodos atuais são insuficientes para cenários diversos e do mundo real de supressão.

Os autores concluem que, embora o método não seja uma panaceia para todas as tarefas de edição estrutural (onde pipelines de geração e edição podem ainda ser preferidos para edição sequencial), ele melhora substancialmente a capacidade de gerar imagens que aderem estritamente às restrições do usuário quanto à ausência de conceitos específicos.