Resumo Técnico: CoBind – Vinculação Composicional Sensível ao Estágio para Geração de Texto-para-Imagem Sem Treinamento

1. Declaração do Problema

Os atuais modelos de difusão baseados em texto para imagem são excelentes na geração de imagens de alta qualidade e realistas para prompts simples. No entanto, eles enfrentam dificuldades significativas com a consistência composicional quando os prompts envolveem múltiplas entidades, atributos específicos e relações inter-entidades complexas. Os modos comuns de falha incluem:

• Omissão de Entidade: Ausência de objetos especificados no prompt.
• Troca de Atributo: Atribuição de um atributo (ex: cor) à entidade errada.
• Reversão de Relação: Geração de objetos em configurações espaciais incorretas (ex: "à esquerda de" torna-se "à direita de").

Métodos existentes sem treinamento tentam mitigar esses problemas fortalecendo a atenção ao nível de token ou separando regiões de atenção. No entanto, essas abordagens frequentemente tratam todas as restrições composicionais como um objetivo de otimização unificado aplicado durante todo o processo de denoising. Isso negligencia a estrutura temporal da amostragem de difusão, onde layouts globais, fronteiras de entidades e detalhes finos emergem em estágios distintos. Aplicar restrições estruturais fortes muito cedo pode interromper a formação do layout global, enquanto aplicá-las muito tarde pode falhar em corrigir erros estabelecidos. Além disso, métodos existentes frequentemente falham em impor explicitamente a propriedade de atributos a entidades específicas ou as relações estruturais entre elas.

2. Metodologia: CoBind

CoBind é um framework sem treinamento, de tempo de inferência, projetado para impor restrições composicionais ao alinhá-las com os estágios específicos do processo de difusão. Ele opera modificando as variáveis latentes durante a amostragem sem retreinar o modelo subjacente.

2.1 Representação de Grafo Composicional

O CoBind primeiro analisa o prompt de texto de entrada $P$ em um grafo composicional explícito $G = (V_E, V_A, E_B, E_R)$:

• Nós: $V_E$ representa entidades (ex: "cubo", "esfera"), e $V_A$ representa atributos (ex: "vermelho", "madeira").
• Arestas: $E_B$ define arestas de vinculação de atributos (ligando atributos às suas entidades específicas), e $E_R$ define arestas de relação inter-entidade (ex: "à esquerda de", "dentro de").
• Construção: Este grafo é construído via análise sintática leve (parsing de dependência) antes do início da geração, não exigindo anotações de imagem adicionais ou treinamento de modelo.

2.2 Escalonamento Sensível ao Estágio (Stage-Aware Scheduling)

O CoBind divide o processo de denoising em três estágios suaves baseados no progresso da geração $p_t$:

1. Estabelecimento de Layout (Estágios Iniciais): Foca na completude de entidades e relações inter-entidades. Utiliza mapas de atenção cruzada de baixa resolução para estabelecer a estrutura da cena global e as posições relativas dos objetos.
2. Vinculação de Entidade (Estágios Intermediários): Foca na propriedade de atributos. Utiliza mapas de atenção de resolução intermediária para vincular atributos às suas entidades correspondentes, enquanto suprime sua ativação em entidades concorrentes.
3. Refinamento de Detalhes (Estágios Finais): A orientação estrutural é gradualmente relaxada, permitindo que o modelo pré-treinado recupere texturas, iluminação e detalhes finos sem interferência.

2.3 Mecanismos de Restrição

O framework aplica funções de perda específicas em diferentes estágios, ponderadas por cronogramas temporais e níveis de satisfação:

• Completude e Separação de Entidades: Incentiva a presença de todas as entidades requeridas e evita a sobreposição espacial para entidades que devem ser distintas.
• Relações Inter-Entidade: Utiliza restrições geométricas (ex: distâncias de centroide para "à esquerda de", razões de contenção para "dentro de") derivadas de mapas de atenção espacial para impor posições relativas.
• Vinculação de Atributos Contrastiva: Uma inovação chave onde, para um atributo $a_j$ e uma entidade alvo $e_i$, o modelo maximiza a sobreposição da atenção do atributo com $e_i$ enquanto simultaneamente minimiza a sobreposição com outras entidades $e_k$. Isso é formulado como uma perda contrastiva para evitar o vazamento de atributos.
• Orientação Adaptativa à Satisfação: Em vez de pesos fixos, o CoBind estima o nível de satisfação de cada restrição (ex: quão bem uma entidade é formada ou uma relação é satisfeita). Se uma restrição já foi atendida, seu peso de orientação é automaticamente reduzido para evitar perturbações desnecessárias na trajetória latente.

2.4 Otimização Latente

Em cada passo de tempo, o CoBind realiza um pequeno número de atualizações baseadas em gradiente na variável latente $z_t$:
$$z^\star_t = z_t - \eta_t \nabla_{z_t} L_t^{CoBind}$$
onde $L_t^{CoBind}$ é uma soma ponderada das restrições ativas (layout, vinculação, relações) e um regularizador de região de confiança para manter a trajetória guiada próxima ao caminho original da difusão.

3. Principais Contribuições

1. Análise Temporal de Erros: O artigo identifica que diferentes erros composicionais emergem e devem ser corrigidos em diferentes estágios da difusão (layout cedo, vinculação intermediária, detalhes tarde), desafiando a abordagem de orientação unificada de trabalhos anteriores.
2. Framework Sensível ao Estágio: O CoBind introduz um mecanismo que ativa dinamicamente restrições específicas (layout vs. vinculação) com base no estágio de geração e na satisfação atual dessas restrições.
3. Modelagem de Grafo Composicional: Ao modelar explicitamente o prompt como um grafo de entidades, atributos e relações, o CoBind impõe estruturas de propriedade e dependência que a atenção apenas ao nível de token não consegue garantir.
4. Generalização Sem Treinamento: O método não requer retreinamento de modelo, não exige anotações de imagem adicionais e é compatível com vários modelos de difusão latente pré-treinados (ex: Stable Diffusion v1.5, v2.1, SDXL).

4. Resultados Experimentais

Os autores avaliaram o CoBind no T2I-CompBench++, GenEval e em um conjunto de teste de escalonamento de complexidade customizado.

• Ganhos de Desempenho: O CoBind alcançou uma média macro de 0.453 no T2I-CompBench++, superando o modelo vanilla (0.325) e o baseline sem treinamento mais forte, Divide & Bind (0.390).
  • Melhorias significativas foram observadas em vinculação de cores (0.531 vs. 0.376), relações espaciais (0.427 vs. 0.287 para 2D) e composição complexa (0.372 vs. 0.214).
  • No GenEval, o CoBind melhorou a pontuação geral para 0.737, com ganhos notáveis em atribuição de cor (0.650) e posição (0.670).
• Escalonamento de Complexidade: À medida que o número de entidades e restrições aumentava, o desempenho dos modelos baseline degradava rapidamente. O CoBind manteve uma taxa de satisfação mais alta, demonstrando sua capacidade de mitigar a acumulação de erros locais em prompts complexos.
• Qualidade Visual: A avaliação humana e métricas automatizadas (ImageReward/HPSv2) indicaram que o CoBind preserva uma qualidade visual comparável ao modelo vanilla, com apenas uma degradação negligenciável (ex: -0.006 no SD v1.5).
• Estudos de Ablação: A remoção de componentes como o grafo composicional, o escalonamento sensível ao estágio ou a vinculação contrastiva resultou em quedas significativas de desempenho, validando a necessidade de cada módulo. Especificamente, o escalonamento sensível ao estágio foi crucial para equilibrar a correção composicional com a naturalidade visual.

5. Significância e Alegações

O artigo afirma que o CoBind aborda uma limitação fundamental na geração de imagens de texto para imagem atual: a incapacidade de traduzir de forma confiável descrições textuais estruturadas em estruturas visuais correspondentes. Ao reconhecer que as restrições composicionais possuem dependências temporais distintas dentro do processo de difusão, o CoBind fornece um mecanismo mais eficaz de correção de erro do que a orientação estática e unificada.

Os autores enfatizam que sua abordagem não apenas aumenta a força da atenção, mas mantém uma estrutura composicional visual que é progressivamente instanciada:

• Estágios iniciais determinam onde as entidades estão localizadas.
• Estágios intermediários determinam quais atributos pertencem a quais entidades.
• Estágios finais permitem que o modelo determine quais detalhes visuais essas entidades exibem.

O trabalho demonstra que a modelagem estrutural explícita combinada com a intervenção sensível ao estágio pode melhorar significativamente a execução fiel de prompts complexos sem o custo computacional de retreinar grandes modelos.

6. Limitações

Os autores reconhecem modestamente várias limitações:

• Dependência de Parsing: O desempenho depende da precisão da análise sintática inicial; erros no parsing (ex: direção de relação incorreta) levam a uma orientação incorreta.
• Aproximação Espacial: O método depende de mapas de atenção cruzada como proxies para fronteiras de objetos, que podem ser pouco confiáveis para objetos pequenos, transparentes ou abstratos.
• Interações Complexas: Restrições geométricas simples (centroide, sobreposição) são insuficientes para interações complexas como "segurar" ou "vestir".
• Diferenciação de Instância: A representação atual tem dificuldade em distinguir entre múltiplas instâncias da mesma categoria (ex: "um cachorro vermelho e um cachorro azul") se seus mapas de atenção se fundirem precocemente no processo.