DOS: Directional Object Separation in Text Embeddings for Multi-Object Image Generation

Título: DOS: Separação Direcional de Objetos em Embeddings de Texto para Geração de Imagens com Múltiplos Objetos

1. O Problema

Os modelos de geração de imagem a partir de texto (Text-to-Image ou T2I), como o Stable Diffusion, têm avançado significativamente na qualidade das imagens. No entanto, eles ainda enfrentam dificuldades críticas ao gerar prompts contendo múltiplos objetos. Os principais falhas observadas são:

• Negligência de Objetos (Object Neglect): O modelo ignora um ou mais objetos solicitados no prompt.
• Mistura de Objetos (Object Mixing): O modelo funde características de dois objetos diferentes em uma única entidade (ex: um "cachorro-gato").

A pesquisa identifica que essas falhas são exacerbadas em quatro cenários específicos de relações inter-objetos:

1. Formas Similares: Objetos com silhuetas ou geometrias parecidas (ex: um prato e um frisbee).
2. Texturas Similares: Objetos com padrões ou materiais parecidos (ex: um casaco de pele e um tapete).
3. Vieses de Fundo Dissimilares: Objetos que naturalmente pertencem a ambientes muito diferentes, causando conflito na geração (ex: um camelo e um polvo).
4. Muitos Objetos: A complexidade acumulada de interações quando há três ou mais objetos no prompt.

A maioria dos trabalhos anteriores foca em atributos (adjetivos) e não nas interações entre os substantivos (os próprios objetos), deixando essas falhas de relacionamento inter-objeto sem solução adequada.

2. Metodologia: DOS (Directional Object Separation)

O método proposto, DOS, atua modificando os embeddings de texto do CLIP antes de serem alimentados no modelo de geração de imagem. A abordagem não altera o processo de geração latente (o que a torna mais rápida que métodos iterativos), mas sim o condicionamento textual.

Fundamentos Teóricos:
O método baseia-se em duas observações sobre os embeddings do CLIP:

1. Mascaramento Causal: Informações de tokens anteriores misturam-se nos embeddings de tokens posteriores, causando confusão de informações.
2. Informação Direcional: A diferença entre dois embeddings de texto do CLIP codifica uma direção vetorial que pode ser explorada para separar conceitos.

Etapas do Algoritmo:

1. Cálculo de Vetores de Separação (Pairwise Separation Vectors):
   Para cada par de objetos $(obj_n, obj_m)$ no prompt, o DOS calcula vetores que definem a direção de separação.

   • Para Embeddings de Tokens Semânticos ($c_{obj}$): Usa prompts "puros" (ex: "um {objeto A}" vs "um {objeto B}"). O vetor de separação é a diferença direta: $s = c_{pure, A} - c_{pure, B}$. Isso evita a mistura de informações.
   • Para Embeddings EOT e Pool ($c_{EOT}, c_{pool}$): Explora intencionalmente a mistura de informações usando prompts contrastivos: "um {A} separado de um {B}" vs "um {A} misturado com um {B}". A diferença entre os embeddings resultantes define o vetor de separação.

2. Ajuste de Força Adaptativa (Adaptive Strengths):
   Nem todos os pares de objetos têm a mesma dificuldade de separação. O DOS calcula um peso ($\alpha$) para cada par baseado em:

   • Similaridade Visual: Comparação de similaridade de cosse entre o objeto e palavras descritivas de forma/texture.
   • Dissimilaridade de Fundo: Comparação de similaridade entre o objeto e frases de contexto de fundo.
     Pares com formas/texture muito similares ou fundos muito conflitantes recebem pesos maiores para forçar uma separação mais agressiva.

3. Atualização dos Embeddings:
   Os vetores de separação são combinados (média ponderada pelos pesos adaptativos) para criar um vetor DOS final para cada tipo de embedding (tokens semânticos, EOT e pooled).

   • Os vetores DOS são adicionados aos embeddings originais do prompt.
   • Para tokens de objetos, o vetor é adicionado individualmente.
   • Para EOT e Pool, os vetores de todos os objetos são somados e adicionados ao embedding global.

3. Contribuições Principais

• Identificação de Cenários Críticos: Mapeamento sistemático de quatro cenários onde as relações inter-objetos causam falhas, indo além da simples análise de atributos.
• Método de Separação Direcional: Proposta de uma técnica que utiliza a geometria vetorial dos embeddings do CLIP para "empurrar" as representações de objetos para longe umas das outras no espaço latente.
• Eficiência Computacional: Ao contrário de métodos baseados em latentes (como Attend-and-Excite) que requerem atualizações iterativas de gradiente durante a inferência, o DOS modifica apenas os embeddings de entrada. Isso resulta em uma inferência 4 vezes mais rápida.
• Generalização: O método funciona em diferentes arquiteturas de modelos (SDXL e SD3.5) e não requer treinamento adicional do modelo base (training-free).

4. Resultados Experimentais

Os resultados foram avaliados em quatro benchmarks correspondentes aos cenários problemáticos e comparados com o estado da arte (TEBOpt, Attend-and-Excite, CONFORM).

• Métricas Quantitativas (Taxa de Sucesso e Mistura):

  • O DOS alcançou consistentemente a maior taxa de sucesso (SR) e a menor taxa de mistura (MR) em todos os benchmarks.
  • No SDXL, o DOS superou o segundo melhor método em 10,5% a 24,0% na taxa de sucesso.
  • No SD3.5, também superou a linha de base e outros métodos recentes.

• Avaliação Humana:

  • Em estudos de preferência humana (MTurk), o DOS recebeu 26,24% a 43,04% a mais de votos do que o segundo melhor método em todos os benchmarks.

• Eficiência de Tempo:

  • SDXL Base: ~13 segundos.
  • DOS: ~13,87 segundos (quase o mesmo tempo da base).
  • Attend-and-Excite / CONFORM: ~58 segundos (4-5x mais lento devido à iteração).

• Estudos de Ablação:

  • A aplicação do DOS em todos os três tipos de embeddings (tokens, EOT e pooled) foi crucial para o melhor desempenho.
  • O uso de forças adaptativas (pesos dinâmicos) melhorou significativamente os resultados em comparação com pesos fixos.

5. Significado e Impacto

O trabalho demonstra que as falhas na geração de múltiplos objetos não são apenas um problema de "falta de dados", mas também uma questão de interferência de informações nos embeddings de texto.

• Solução Prática: O DOS oferece uma solução leve, rápida e eficaz que pode ser integrada a qualquer pipeline de T2I baseado em CLIP sem re-treinamento do modelo.
• Insight sobre CLIP: Reforça a ideia de que as diferenças entre embeddings de texto contêm informações direcionais estruturais que podem ser manipuladas para melhorar a coerência semântica e espacial.
• Futuro: Abre caminho para métodos que corrigem vieses de treinamento e interações complexas de prompts apenas manipulando o espaço de embeddings, evitando o custo computacional de modificações no espaço latente da imagem.

Em resumo, o DOS é uma técnica elegante que resolve um dos maiores gargalos atuais na geração de imagens por IA (a coexistência de múltiplos objetos distintos) através de uma manipulação inteligente e eficiente dos vetores de texto.