Resumo Técnico: Difusão Discreta Consciente de Dependência para Geração de Grafos de Cena

1. Declaração do Problema

Os grafos de cena (GCs) fornecem uma representação estruturada de cenas visuais, codificando objetos como nós e relações como arestas. Embora a condicionamento da geração de imagens em grafos de cena tenha demonstrado melhorar a fidelidade composicional em comparação com a promoção apenas por texto, um gargalo significativo permanece: a geração de grafos de cena estruturados a partir de prompts em linguagem natural.

As abordagens existentes enfrentam dois desafios principais:

1. Ambiguidade: A linguagem natural é frequentemente subespecificada (por exemplo, "uma pessoa e uma prancha de surf" não define a relação), exigindo a modelagem de uma distribuição condicional $p(G|T)$ em vez de um mapeamento determinístico.
2. Complexidade Estrutural: Os grafos de cena diferem fundamentalmente de grafos genéricos (como moléculas ou redes de tráfego) devido à sua estrutura hierárquica, vocabulários de relações de cauda longa e fortes dependências condicionais. Especificamente, a existência de uma relação é contingente à existência de uma aresta, e a existência da aresta é contingente aos objetos envolvidos.

Modelos de difusão discreta anteriores (por exemplo, DiGress) tratam nós e arestas como variáveis categóricas independentes. Essa suposição de independência falha para grafos de cena, onde a dependência hierárquica (Objetos $\to$ Arestas $\to$ Relações) é crítica. Abordagens padrão lutam com a classe "sem-aresta" dominando a distribuição, fazendo com que relações raras sejam perdidas durante o processo de corrupção.

2. Metodologia: DiScGraph

Os autores propõem o DiScGraph, um modelo de difusão discreta consciente de dependência e hierarquicamente restrito, projetado especificamente para geração de grafos de cena. O método consiste em quatro componentes principais:

2.1 Representação Hierárquica de Grafo de Cena

Em vez de modelar arestas e relações como uma única variável categórica acoplada, o DiScGraph desacopla-os em um espaço de estados fatorizado $G = (V, E, R^+)$:

• $V$ (Objetos): Rótulos de nós.
• $E$ (Arestas): Indicadores binários de existência ($e_{ij} \in \{0, 1\}$).
• $R^+$ (Relações): Identidades de relações definidas apenas em arestas ativas ($e_{ij}=1$).
  Isso impõe a restrição $e_{ij}=0 \implies r_{ij}=0$, garantindo validade semântica e desacoplando a esparsidade estrutural da aprendizagem semântica.

2.2 Processo Forward Consciente de Estrutura

O processo de ruído forward é redesenhado para respeitar as restrições hierárquicas:

• Corrupção Controlada por Aresta: A corrupção de relações é condicional ao estado da aresta. Se uma aresta estiver inativa ($e_{ij}=0$), a relação é definida deterministicamente como 0. Se ativa, as relações são corrompidas de acordo com um kernel de difusão discreta padrão.
• Estratégia Híbrida de Corrupção: O modelo emprega uma mistura de corrupção aleatória e corrupção por máscara absorvente. A estratégia de máscara preserva a estrutura do grafo (arestas) enquanto esconde informações semânticas (objetos e relações), permitindo que o modelo aprenda semântica sem destruir a topologia subjacente. Isso evita que relações raras compitam com a classe avassaladora "sem-aresta" durante o treinamento.

2.3 Amostrador Reverse Fatorizado

O processo de geração reverse segue uma sequência consciente de dependência: $V \to E \to R$.

• Predição Fatorizada: O modelo prevê o estado limpo $x_0$ em uma ordem específica: primeiro as identidades dos objetos ($V_0$), depois a existência de arestas ($E_0$) condicionada aos objetos e, finalmente, as identidades das relações ($R_0$) condicionadas tanto aos objetos quanto às arestas ativas.
• Posterior Controlado por Aresta: A probabilidade de transição reverse para relações é modificada para lidar com três cenários:
  1. Aresta ausente em $t-1$: A relação é deterministicamente 0.
  2. Aresta ativa em ambos $t$ e $t-1$: Atualização padrão do posterior discreto.
  3. Aresta reativa ($t$ inativa, $t-1$ ativa): A relação é amostrada a partir de uma distribuição marginal derivada da previsão limpa do denoiser, em vez do estado ruidoso atual.

2.2 Geração Condicionada a Texto via Inferência com Viés de Recompensa

Para gerar grafos de cena condicionados a prompts de texto ($p(G|T)$) sem retreinar o modelo de difusão, os autores empregam condicionamento sem treinamento usando Monte Carlo Sequencial (SMC) com amostragem com viés de recompensa:

• Função de Recompensa: Uma pontuação de similaridade CLIP entre o prompt de texto e o grafo de cena serializado serve como recompensa $R(G, T)$.
• Amostragem Viada: Durante a trajetória de difusão reverse, partículas são reamostradas com base em sua alinhamento com o prompt de texto. A probabilidade de um estado é viada por $\exp(\beta R(\hat{G}_0, T))$, onde $\hat{G}_0$ é o grafo limpo previsto no timestep atual.

3. Contribuições Principais

1. Fatorização Hierárquica: Introdução de um espaço de estados fatorizado que desacopla explicitamente a existência de arestas das semânticas de relações, abordando as limitações de tratá-las como variáveis independentes.
2. Difusão Consciente de Dependência: Um processo forward e reverse inovador que respeita as dependências condicionais inerentes aos grafos de cena (Objetos $\to$ Arestas $\to$ Relações), prevenindo o colapso de distribuições de relações raras.
3. Condicionamento a Texto sem Treinamento: Um método para alinhar grafos de cena gerados com prompts de texto usando amostragem com viés de recompensa e CLIP, evitando a necessidade de retreinamento complexo de modelos condicionais.
4. Avaliação Abrangente: Demonstração de desempenho de última geração em benchmarks padrão (Visual Genome, COCO, LAION-SG) em métricas de grafo, previsão de layout e qualidade de geração de imagens a jusante.

4. Resultados Experimentais

O modelo foi avaliado nos conjuntos de dados Visual Genome, COCO e LAION-SG.

• Geração de Grafo Sem Condicionamento: O DiScGraph supera as bases contínuas (DiffuseSG) e as bases de grafos discretos (DiGress, GraphGDP) em todas as métricas. Notavelmente, alcança melhorias significativas em Relation-MMD e Attach-TV, indicando aprendizagem superior da verdadeira distribuição de relações e consistência semântica entre objetos e relações. Também demonstra forte desempenho em Rare-K-TV, modelando efetivamente relações de cauda longa.
• Previsão de Layout: Ao extrair caixas delimitadoras via um cabeçalho de layout, o DiScGraph alcança pontuações F1 competitivas contra modelos dedicados de geração de layout (LayoutDM, LayoutDiffusion), demonstrando que a aprendizagem estrutural transfere-se efetivamente para o ancoramento geométrico.
• Geração de Imagem Texto-para-Imagem: Quando usado para condicionar geradores de imagem a jusante (SDXL-SG, GLIGEN), o DiScGraph produz imagens com pontuações mais altas em ImageReward, BLIP-VQA e SG-IoU em comparação com métodos composicionais apenas por texto (ComposeDiff, CO3). A melhoria é particularmente pronunciada em cenários de múltiplos objetos e relações complexas, confirmando que o grafo de cena estruturado fornece um prior mais robusto do que apenas embeddings de texto.

5. Significado e Alegações

O artigo alega que a limitação primária da difusão discreta existente para grafos é a suposição de independência entre nós e arestas, o que é inválido para grafos de cena. Ao introduzir um processo de difusão consciente de dependência e hierarquicamente restrito, o DiScGraph captura com sucesso as dependências condicionais complexas e distribuições de cauda longa características de cenas visuais.

Os autores afirmam que essa abordagem oferece uma alternativa robusta à difusão contínua para dados estruturados, fornecendo um "prior estruturado" que é difícil de codificar em embeddings de texto. Os resultados sugerem que gerar grafos de cena a partir de texto e usá-los para condicionar a geração de imagens é uma estratégia viável para melhorar a fidelidade composicional, particularmente em cenários onde prompts de texto são ambíguos ou complexos.

O artigo reconhece limitações, incluindo a dependência do CLIP para funções de recompensa (que podem não capturar todas as nuances), a escalabilidade quadrática dos transformadores de grafo com o tamanho da cena e a necessidade atual de refinamentos de amostragem para garantir saídas de alta qualidade. Trabalhos futuros são sugeridos para explorar modelos de recompensa aprendidos mais fortes e mecanismos de atenção esparsa para escalabilidade.