ISAC: Training-Free Instance-to-Semantic Attention Control for Multi-Instance Generation

Resumo Técnico: ISAC (Controle de Atenção de Instância para Semântica)

Definição do Problema
Modelos recentes de difusão de texto-para-imagem (T2I) de pesos abertos lutam com prompts de múltiplas instâncias, exibindo frequentemente dois modos primários de falha: falhas de contagem (omissão ou fusão de objetos solicitados) e mistura semântica (vazamento de atributos entre objetos similares). Os autores atribuem essas falhas às etapas iniciais de denoising (desruído) do processo de difusão. Embora os métodos de orientação existentes sem treinamento (ex: Attend-and-Excite, Self-Cross) dependam da atenção cruzada (CA) para separar conceitos em nível de token, eles assumem que regiões de instâncias distintas já emergiram. Nas etapas iniciais de denoising, as semânticas condicionadas por tokens são frequentemente grosseiras e emaranhadas, fazendo com que a orientação baseada em CA falhe ao esculpir fronteiras de instância confiáveis, particularmente para objetos semanticamente similares (ex: "um cachorro e uma ovelha" ou "dois cavalos").

Metodologia
O artigo propõe o ISAC (Instance-to-Semantic Attention Control), um objetivo agnóstico ao modelo e sem treinamento que impõe uma estratégia de geração hierárquica de "instância primeiro". O ISAC opera desacoplando a formação estrutural do vínculo semântico ao longo da trajetória de denoising, utilizando uma abordagem de duas fases:

1. Fase 1: Formação de Instância ($L_{ins}$)

   • Observação: Mapas de autoatenção (SA) expõem layouts de instâncias agnósticos à classe nas etapas iniciais de denoising, mesmo quando as semânticas dos tokens ainda estão subdesenvolvidas.
   • Mecanismo: O método agrupa mapas de SA em $N$ grupos (onde $N$ é a contagem total de instâncias solicitadas) para derivar layouts de instâncias agnósticos à classe. Para garantir a separação, aplica-se uma penalidade de Sobreposição de Pixels Máxima (MPO) entre as máscaras de instância resultantes, repelindo regiões sobrepostas.
   • Refinamento: Um portão de primeiro plano (foreground gate) é construído a partir de mapas de CA para restringir o agrupamento a regiões relevantes, e coordenadas espaciais normalizadas são concatenadas com características de SA para melhorar a coerência espacial durante o agrupamento (ex: usando K-means).

2. Fase 2: Separação Semântica Consciente da Instância ($L_{sem}$)

   • Mecanismo: Uma vez estabelecidas as fronteiras estáveis das instâncias na Fase 1, o ISAC injeta esses sinais estruturais nos mapas de atenção cruzada.
   • Objetivo: Uma perda de "repulsão e vínculo" (repel-and-bind) é aplicada. Tokens que se referem a diferentes instâncias são afastados (repel), enquanto tokens que descrevem a mesma instância (ex: um objeto e seu atributo) são aproximados (bind). Isso garante que os atributos sejam vinculados a regiões de instâncias específicas sem vazar para outras.

3. Cronograma de Perda (Loss Schedule)

   • O ISAC combina essas fases usando um cronograma dependente do tempo: $\lambda_{ins}(t) = t/T$ e $\lambda_{sem}(t) = 1 - t/T$. Isso garante que as etapas iniciais foquem no estabelecimento das estruturas das instâncias, enquanto as etapas posteriores refinam as atribuições semânticas.

Principais Contribuições

• Diagnóstico Quantitativo: Os autores fornecem uma análise quantitativa mostrando que a mistura semântica é significativamente maior para pares de objetos dentro da mesma supercategoria (ex: animais, veículos) em comparação com categorias diferentes, validando a necessidade de uma separação de "instância primeiro".
• Framework ISAC: Um novo objetivo sem treinamento e agnóstico ao modelo, que separa a formação de instâncias do vínculo semântico, não exigindo ajuste fino (fine-tuning), modelos de visão externos ou dados de treinamento adicionais.
• IntraCompBench: Um novo benchmark projetado para testar rigorosamente composições intra-supercategoria (2–5 instâncias), visando especificamente os regimes onde as falhas de contagem e a mistura semântica são mais prevalentes.
• Ampla Aplicabilidade: O método demonstra funcionar em vários backbones de difusão (SD1.5, SD3.5-M, Flux, Qwen-Image) e em tarefas de geração de texto-para-imagem e layout-para-imagem.

Resultados

• Desempenho: No IntraCompBench, o ISAC (especificamente a variante de otimização latente, ISACLO) supera significativamente os métodos anteriores sem treinamento. Por exemplo, no SD1.5, a precisão multi-classe para prompts intra-categoria melhorou de ~20% (melhor baseline) para 36%, e os escores espaciais no HRS-Bench quase dobraram (0.135 para 0.263).
• Precisão de Contagem: O ISACLO alcança uma precisão de contagem de instâncias superior aos métodos supervisionados por contagem (ex: CountGen, Counting Guidance) sem exigir modelos auxiliares ou ajuste fino. No SD1.4, alcançou 70% de precisão de contagem de instâncias contra 49% do Counting Guidance.
• Layout-to-Image: Quando aplicado a controladores de layout (ex: GLIGEN), o ISAC refina caixas delimitadoras (bounding boxes) grosseiras e sobrepostas em máscaras de instância densas, evitando a fusão de objetos adjacentes.
• Eficiência: Embora o ISACLO introduza latência devido ao backpropagation, a variante de seleção latente (ISACLS) oferece uma alternativa livre de gradiente adequada para modelos maiores (ex: Flux.2, Qwen-Image) ao selecionar a melhor amostra de um lote com base no escore ISAC.

Significância e Alegações
O artigo afirma que o ISAC fornece um caminho prático e reproduzível para estreitar a lacuna de confiabilidade entre modelos de difusão de pesos abertos e sistemas comerciais (que frequentemente utilizam dados proprietários e loops de raciocínio). Ao estabilizar explicitamente as fronteiras das instâncias antes de atribuir a semântica, o ISAC aborda a causa raiz das falhas de múltiplas instâncias nas etapas iniciais de difusão. Os autores enfatizam que essa hierarquia de "instância primeiro" é uma direção promissora para o controle desacoplado de estrutura-semântica, não apenas em T2I, mas potencialmente em vídeo e outros cenários generativos estruturados. O trabalho demonstra que uma geração de múltiplas instâncias de alta fidelidade pode ser alcançada através da manipulação de atenção em tempo de inferência, sem o custo computacional de retreinar ou utilizar modelos perceptivos externos.