Graph-PiT: Enhancing Structural Coherence in Part-Based Image Synthesis via Graph Priors

1. Problema e Motivação

A síntese de imagens controlável avançou significativamente com modelos de difusão em larga escala. No entanto, o controle composicional de alta granularidade (montagem de conceitos a partir de partes específicas) permanece um desafio.

• Limitação das Abordagens Atuais: Frameworks baseados em partes, como o PiT (Piece it Together), tratam as partes fornecidas pelo usuário como um conjunto desordenado. Eles ignoram as relações espaciais e semânticas intrínsecas entre os componentes.
• Consequência: Isso resulta em composições que carecem de integridade estrutural. Por exemplo, em designs de produtos ou layouts de interiores, peças como rodas e chassis, ou pernas e assentos de cadeiras, possuem adjacências e conexões fixas. Modelos que não consideram essas relações podem gerar configurações implausíveis (ex: pernas de cadeira flutuando ou conectadas incorretamente).
• Objetivo: Preencher essa lacuna criando um mecanismo que modele explicitamente as dependências estruturais entre componentes visuais para garantir coerência na geração.

2. Metodologia: Graph-PiT

O Graph-PiT é um framework que introduz priors gráficos (grafos) para guiar a geração de imagens baseada em partes. A abordagem transforma a coleção de partes em uma estrutura de grafo hierárquico antes de entrar no pipeline de geração.

A. Construção do Grafo de Relações

• Nós (Nodes): Cada parte visual (imagem de entrada) é representada como um nó super (super-node). Além disso, cada parte é expandida em sub-nós correspondentes aos tokens individuais do embedding (IP+ tokens), criando uma representação hierárquica.
• Arestas (Edges): As arestas codificam relações espaciais ou semânticas (adjacência, pontos de conexão).
  • Durante o Treinamento: O grafo é construído automaticamente com base na localização das partes na imagem original (usando alinhamento afim, caixas delimitadoras e métricas de sobreposição/IoU).
  • Durante a Inferência: O usuário fornece explicitamente as restrições de adjacência (ex: através de uma ferramenta de layout interativo).

B. Arquitetura do Modelo: Agregador de Grafo Hierárquico (HGNN)

O núcleo do método é um módulo de Rede Neural de Grafos Hierárquica (HGNN) que refina os embeddings das partes antes de alimentá-los no modelo de difusão.

1. Codificação Inicial: As imagens das partes são codificadas pelo IP-Adapter+ em tokens IP+ (sub-nós). A média desses tokens forma o super-nó da parte.
2. Passagem de Mensagens Bidirecional: O HGNN realiza a agregação de informações em duas direções:
   • Intra-gráfico: Atualização de features dentro dos super-nós (usando GAT - Graph Attention Networks) e dentro dos sub-nós de uma mesma parte (usando GCN - Graph Convolutional Networks).
   • Inter-gráfico (Hierárquico):
     • Top-Down (Super para Sub): O contexto global do super-nó é propagado para os sub-nós para refinar detalhes locais.
     • Bottom-Up (Sub para Super): As características específicas dos sub-nós são agregadas para atualizar a representação abstrata do super-nó.
3. Prior de Difusão Condicional: Os embeddings refinados (agora conscientes da estrutura) condicionam o modelo de difusão (baseado em SDXL/Flow Matching). O modelo de difusão utiliza mecanismos de cross-attention para atender diretamente às representações estruturadas das partes em cada passo de denoising.

C. Funções de Perda Auxiliares

Para garantir que o grafo aprendido respeite a estrutura desejada, dois termos de regularização são adicionados:

1. Perda de Suavidade Laplaciana (Graph Smoothness Loss): Força nós conectados no grafo a terem representações de features similares no espaço latente, promovendo coerência entre partes adjacentes.
2. Perda de Reconstrução de Aresta (Edge-Reconstruction Loss): Um MLP simples tenta prever se uma aresta existe entre dois super-nós com base em seus embeddings finais. Isso força o modelo a reter a informação de adjacência original.

3. Contribuições Principais

1. Prior de Grafo Explícito: Introdução de um grafo de dois níveis (super-nós e sub-nós) que codifica restrições espaciais/semânticas, derivadas automaticamente ou especificadas pelo usuário.
2. Agregador de Grafo Hierárquico (HGNN): Um design inovador que acopla níveis de granularidade (parte vs. token) via passagem de mensagens bidirecional e regularizadores estruturais, indo além do uso do grafo como mero codificador de tokens extras.
3. Compatibilidade com o Pipeline Original: O Graph-PiT é projetado para ser uma extensão direta do PiT. Se os tokens do grafo forem removidos, o modelo degenera exatamente para o PiT original, permitindo comparações justas e substituição direta em pipelines existentes.

4. Resultados Experimentais

Os autores avaliaram o Graph-PiT em quatro domínios sintéticos: Personagens, Produtos, Layouts de Interiores e Quebra-Cabeças (Jigsaw).

• Métricas Quantitativas:
  • FID (Frechet Inception Distance): O Graph-PiT reduziu drasticamente o FID em comparação ao PiT e outras bases (IP-Adapter+, OmniGen, etc.). Por exemplo, no domínio de "Personagens", o FID caiu de 191.96 (PiT) para 95.48 (Graph-PiT).
  • IIS (Image-Image Similarity): A similaridade com o conceito de referência aumentou significativamente (ex: de 0.77 para 0.88 em personagens).
• Ablação:
  • A remoção da Perda de Reconstrução de Aresta causou uma queda severa na precisão das arestas (de 1.00 para 0.80) e piorou o FID, provando que o aprendizado explícito das relações de adjacência é crucial.
  • A Perda de Suavidade Laplaciana teve um impacto menor, mas positivo.
• Qualitativo:
  • O modelo gera composições que respeitam posturas de personagens, montagens de produtos e layouts de interiores de forma muito mais plausível.
  • Mesmo em testes com imagens reais (transferência de domínio), o prior gráfico manteve a coerência topológica (peças conectadas em posições fisicamente plausíveis), apesar de desafios de realismo fotográfico.

5. Significado e Conclusão

O Graph-PiT representa um avanço significativo na síntese de imagens composicionais. Ao tratar as partes não como um conjunto aleatório, mas como um sistema interconectado definido por um grafo, o modelo consegue:

• Aumentar a Plausibilidade Física: Garante que partes que devem se conectar (como juntas mecânicas ou móveis) o façam corretamente.
• Oferecer Controle Interpretável: A estrutura do grafo permite que os usuários especifiquem restrições de layout de forma intuitiva.
• Escalabilidade: O método é compatível com pipelines de difusão modernos e pode ser aplicado a diversos domínios, desde design de produtos até geração de cenas internas.

Em suma, o trabalho demonstra que a racionalização relacional explícita via grafos é fundamental para superar as limitações de coerência estrutural nos modelos de geração de imagem atuais baseados em partes.