Sintesi Tecnica: Diffusione Discreta Consapevole delle Dipendenze per la Generazione di Grafi di Scena

1. Enunciato del Problema

I grafi di scena (SG) forniscono una rappresentazione strutturata delle scene visive, codificando gli oggetti come nodi e le relazioni come archi. Sebbene sia stato dimostrato che condizionare la generazione di immagini su grafi di scena migliori la fedeltà compositiva rispetto alla sola indicizzazione testuale, rimane un collo di bottiglia significativo: la generazione di grafi di scena strutturati a partire da prompt in linguaggio naturale.

Gli approcci esistenti affrontano due sfide principali:

1. Ambiguità: Il linguaggio naturale è spesso sottodeterminato (ad esempio, "una persona e una tavola da surf" non definisce la relazione), rendendo necessario modellare una distribuzione condizionale $p(G|T)$ piuttosto che una mappatura deterministica.
2. Complessità Strutturale: I grafi di scena differiscono fondamentalmente dai grafi generici (come molecole o reti di traffico) a causa della loro struttura gerarchica, dei vocabolari di relazioni a coda lunga e delle forti dipendenze condizionali. Nello specifico, l'esistenza di una relazione è condizionata all'esistenza di un arco, e l'esistenza dell'arco è condizionata agli oggetti coinvolti.

I precedenti modelli di diffusione discreta (ad esempio, DiGress) trattano nodi e archi come variabili categoriali indipendenti. Questa assunzione di indipendenza fallisce per i grafi di scena, dove la dipendenza gerarchica (Oggetti $\to$ Archi $\to$ Relazioni) è critica. Gli approcci standard faticano con la classe "nessun-arco" che domina la distribuzione, causando la perdita di relazioni rare durante il processo di corruzione.

2. Metodologia: DiScGraph

Gli autori propongono DiScGraph, un modello di diffusione discreta consapevole delle dipendenze e vincolato gerarchicamente, progettato specificamente per la generazione di grafi di scena. Il metodo è composto da quattro componenti fondamentali:

2.1 Rappresentazione Gerarchica del Grafo di Scena

Invece di modellare archi e relazioni come un'unica variabile categoriale accoppiata, DiScGraph li scompone in uno spazio degli stati fattorizzato $G = (V, E, R^+)$:

• $V$ (Oggetti): Etichette dei nodi.
• $E$ (Archi): Indicatori binari di esistenza ($e_{ij} \in \{0, 1\}$).
• $R^+$ (Relazioni): Identità delle relazioni definite solo sugli archi attivi ($e_{ij}=1$).
  Ciò impone il vincolo $e_{ij}=0 \implies r_{ij}=0$, garantendo la validità semantica e disaccoppiando la sparsità strutturale dall'apprendimento semantico.

2.2 Processo in Avverso Consapevole della Struttura

Il processo di rumorizzazione in avanti è ridisegnato per rispettare i vincoli gerarchici:

• Corruzione a Cancello per Archi: La corruzione delle relazioni è condizionata allo stato dell'arco. Se un arco è inattivo ($e_{ij}=0$), la relazione è deterministicaamente impostata a 0. Se attivo, le relazioni vengono corrotte secondo un kernel di diffusione discreta standard.
• Strategia di Corruzione Ibrida: Il modello impiega una miscela di corruzione casuale e corruzione a maschera assorbente. La strategia a maschera preserva la struttura del grafo (archi) nascondendo le informazioni semantiche (oggetti e relazioni), permettendo al modello di apprendere la semantica senza distruggere la topologia sottostante. Ciò impedisce alle relazioni rare di competere con la schiacciante classe "nessun-arco" durante l'addestramento.

2.3 Campionatore Inverso Fattorizzato

Il processo di generazione inverso segue una sequenza consapevole delle dipendenze: $V \to E \to R$.

• Predizione Fattorizzata: Il modello predice lo stato pulito $x_0$ in un ordine specifico: prima le identità degli oggetti ($V_0$), quindi l'esistenza degli archi ($E_0$) condizionata agli oggetti, e infine le identità delle relazioni ($R_0$) condizionate sia agli oggetti che agli archi attivi.
• Posteriore a Cancello per Archi: La probabilità di transizione inversa per le relazioni è modificata per gestire tre scenari:
  1. Arco assente a $t-1$: La relazione è deterministicaamente 0.
  2. Arco attivo sia a $t$ che a $t-1$: Aggiornamento standard del posteriore discreto.
  3. Riattivazione dell'arco ($t$ inattivo, $t-1$ attivo): La relazione viene campionata da una distribuzione marginale derivata dalla predizione pulita del denoiser, piuttosto che dallo stato rumoroso corrente.

2.4 Generazione Condizionata al Testo tramite Inferenza con Pendenza di Ricompensa

Per generare grafi di scena condizionati a prompt testuali ($p(G|T)$) senza riaddestrare il modello di diffusione, gli autori impiegano il condizionamento senza addestramento utilizzando Monte Carlo Sequenziale (SMC) con campionamento con pendenza di ricompensa:

• Funzione di Ricompensa: Un punteggio di similarità CLIP tra il prompt testuale e il grafo di scena serializzato funge da ricompensa $R(G, T)$.
• Campionamento con Pendenza: Durante la traiettoria di diffusione inversa, le particelle vengono riesaminate in base alla loro allineamento con il prompt testuale. La probabilità di uno stato è inclinata di $\exp(\beta R(\hat{G}_0, T))$, dove $\hat{G}_0$ è il grafo pulito previsto al passo temporale corrente.

3. Contributi Chiave

1. Fattorizzazione Gerarchica: Introduzione di uno spazio degli stati fattorizzato che disaccoppia esplicitamente l'esistenza degli archi dalla semantica delle relazioni, affrontando i limiti del trattarli come variabili indipendenti.
2. Diffusione Consapevole delle Dipendenze: Un processo in avanti e inverso innovativo che rispetta le dipendenze condizionali intrinseche nei grafi di scena (Oggetti $\to$ Archi $\to$ Relazioni), prevenendo il collasso delle distribuzioni di relazioni rare.
3. Condizionamento al Testo Senza Addestramento: Un metodo per allineare i grafi di scena generati ai prompt testuali utilizzando campionamento con pendenza di ricompensa e CLIP, evitando la necessità di un complesso riaddestramento del modello condizionale.
4. Valutazione Completa: Dimostrazione di prestazioni all'avanguardia su benchmark standard (Visual Genome, COCO, LAION-SG) attraverso metriche di grafo, previsione del layout e qualità della generazione di immagini a valle.

4. Risultati Sperimentali

Il modello è stato valutato sui dataset Visual Genome, COCO e LAION-SG.

• Generazione di Grafi Senza Condizione: DiScGraph supera le baseline continue (DiffuseSG) e le baseline di grafi discreti (DiGress, GraphGDP) in tutte le metriche. In particolare, ottiene miglioramenti significativi in Relation-MMD e Attach-TV, indicando un apprendimento superiore della vera distribuzione delle relazioni e coerenza semantica tra oggetti e relazioni. Mostra anche prestazioni solide su Rare-K-TV, modellando efficacemente le relazioni a coda lunga.
• Previsione del Layout: Quando si estraggono i riquadri di delimitazione tramite un head di layout, DiScGraph ottiene punteggi F1 competitivi rispetto a modelli dedicati alla generazione di layout (LayoutDM, LayoutDiffusion), dimostrando che l'apprendimento strutturale si trasferisce efficacemente al grounding geometrico.
• Generazione da Testo a Immagine: Quando utilizzato per condizionare generatori di immagini a valle (SDXL-SG, GLIGEN), DiScGraph produce immagini con punteggi più elevati in ImageReward, BLIP-VQA e SG-IoU rispetto ai metodi compositivi basati solo su testo (ComposeDiff, CO3). Il miglioramento è particolarmente pronunciato in scenari multi-oggetto e con relazioni complesse, confermando che il grafo di scena strutturato fornisce un prior più robusto rispetto ai soli embedding testuali.

5. Significato e Affermazioni

Il documento afferma che il limite principale della diffusione discreta esistente per i grafi è l'assunzione di indipendenza tra nodi e archi, che è invalida per i grafi di scena. Introducendo un processo di diffusione consapevole delle dipendenze e vincolato gerarchicamente, DiScGraph cattura con successo le complesse dipendenze condizionali e le distribuzioni a coda lunga caratteristiche delle scene visive.

Gli autori affermano che questo approccio offre un'alternativa robusta alla diffusione continua per dati strutturati, fornendo un "prior strutturato" difficile da codificare negli embedding testuali. I risultati suggeriscono che generare grafi di scena dal testo e utilizzarli per condizionare la generazione di immagini è una strategia praticabile per migliorare la fedeltà compositiva, in particolare in scenari in cui i prompt testuali sono ambigui o complessi.

Il documento riconosce le limitazioni, inclusa la dipendenza da CLIP per le funzioni di ricompensa (che potrebbero non catturare tutte le sfumature), la scalatura quadratica dei transformer per grafi con la dimensione della scena e la necessità attuale di affinamenti nel campionamento per garantire output di alta qualità. Si suggerisce un lavoro futuro per esplorare modelli di ricompensa appresi più potenti e meccanismi di attenzione sparsa per la scalabilità.