Riepilogo Tecnico: Pro-DG: Guida Diffusiva Procedurale per la Generazione di Facciate Architettoniche

Enunciato del Problema

La generazione di variazioni realistiche di facciate architettoniche che rispettino i principi strutturali preservando al contempo l'identità fondamentale di un progetto originale rimane una sfida significativa. I metodi esistenti nella grafica computerizzata e nella visione artificiale si concentrano tipicamente sulla modellazione procedurale (spesso richiedendo un intervento sostanziale dell'artista per il fotorealismo) o sulla sintesi di immagini basata sulla diffusione (che fatica con il controllo strutturale preciso e la coerenza globale). Sebbene recenti approcci neuro-simbolici abbiano tentato di colmare questo divario, manca un quadro di riferimento che combini efficacemente strutture procedurali simboliche gerarchiche con modelli di diffusione per abilitare modifiche strutturali controllabili su larga scala (ad esempio, duplicazione dei piani, riorganizzazione delle finestre) senza perdere la fedeltà visiva dell'immagine sorgente. I metodi attuali di modifica basati sulla diffusione si concentrano spesso sulla manipolazione localizzata di oggetti piuttosto che sulla ristrutturazione dell'intero spazio dell'immagine.

Metodologia

Il framework proposto, Pro-DG, unifica grammatiche simboliche delle facciate con la sintesi di immagini basata sulla diffusione attraverso una pipeline a cinque stadi:

1. Ricostruzione Procedurale Inversa:
   Il sistema inizia estraendo una rappresentazione procedurale da un'immagine di facciata in ingresso ($F_{in}$) e dalla sua segmentazione. Utilizza FaçAID, un metodo neuro-simbolico basato su transformer, per inferire un albero di derivazione della grammatica di partizione gerarchica ($P_{in}$). Questo albero divide lo spazio dell'immagine in regioni semantiche (ad esempio, piani, muri, finestre) e non-terminali, catturando la gerarchia strutturale della facciata.

2. Modifica Strutturale:
   Gli utenti definiscono le modifiche alterando la rappresentazione procedurale per creare una struttura target ($P_{out}$). Le modifiche possono coinvolgere l'aggiustamento dei parametri (ad esempio, numero di piani) o l'alterazione della gerarchia (ad esempio, eliminazione di elementi specifici). La coppia $(P_{in}, P_{out})$ definisce la trasformazione desiderata.

3. Corrispondenza Gerarchica:
   Un algoritmo di corrispondenza innovativo crea una relazione tra la struttura sorgente ($P_{in}$) e quella target ($P_{out}$). Questo stadio accoppia i simboli dell'albero target a quelli dell'albero sorgente basandosi su due metriche personalizzate:

   • Metrica SVD: Utilizza la Decomposizione ai Valori Singoli per confrontare la complessità strutturale e la simmetria delle regioni dell'immagine, trattando come identiche le regioni con un numero diverso di elementi ma schemi strutturali simili.
   • Metrica Istogramma: Utilizza la distanza di Hellinger sugli istogrammi di intensità per garantire la consapevolezza del contenuto (ad esempio, distinguere tra un muro e una finestra).
     L'algoritmo impone la coerenza genitore-figlio, assicurando che i nodi abbinati rispettino i vincoli gerarchici della grammatica.

4. Ricostruzione Diffusiva (Inversione):
   Il sistema esegue l'Inversione Null-Text sull'immagine in ingresso per recuperare il vettore di rumore iniziale e le attivazioni della rete ($\Psi_{in}$) necessari per ricostruire $F_{in}$. Contemporaneamente, vengono estratte le mappe dei bordi Canny ($C_{in}$). Questo stadio cattura l'"identità" della facciata originale.

5. Inferenza Guidata:
   Lo stadio di sintesi principale guida un modello di diffusione (Stable Diffusion 1.5 con ControlNet per bordi Canny) per generare l'output ($F_{out}$).

   • Input di Controllo: La corrispondenza gerarchica viene utilizzata per costruire una nuova mappa di bordi Canny ($C_{out}$) e attivazioni di rete target ($\Psi_{out}$) copiando e ridimensionando segmenti dalla sorgente in base alle corrispondenze stabilite.
   • Ottimizzazione: Il processo di diffusione è guidato da $C_{out}$ tramite ControlNet per imporre la struttura target. Inoltre, un obiettivo di ottimizzazione minimizza la distanza L2 tra le attivazioni latenti correnti e $\Psi_{out}$, assicurando la preservazione dell'aspetto locale e della texture.

Contributi Chiave

Il documento presenta tre contributi principali:

1. Algoritmo di Corrispondenza Consapevole della Gerarchia: Una metrica innovativa che combina l'analisi strutturale basata su SVD e l'analisi del contenuto basata su istogrammi per imporre la coerenza genitore-figlio allineando al contempo segnali strutturali e visivi tra gli alberi procedurali.
2. Pipeline Unificata ControlNet: Un sistema che sintetizza segnali di controllo derivati dalla gerarchia (bordi Canny) e target di attivazione per guidare tutti gli stadi del processo di diffusione, abilitando la ristrutturazione globale dello spazio dell'immagine piuttosto che modifiche localizzate.
3. Valutazione Completa: Una valutazione su 50 immagini di facciate diverse che dimostra guadagni coerenti nella fedeltà strutturale e nella coerenza visiva rispetto alle linee di stato dell'arte.

Risultati e Valutazione

Il metodo è stato valutato su un dataset di 50 immagini di facciate reali, con un sottoinsieme di 20 utilizzato per l'analisi qualitativa e gli studi sugli utenti.

• Risultati Qualitativi: Il sistema genera con successo facciate modificate che preservano l'identità fondamentale del progetto originale aderendo a modifiche strutturali complesse. Gli output esibiscono un fotorealismo paragonabile al modello sottostante Stable Diffusion 1.5.
• Linee di Base: Gli autori hanno confrontato il loro metodo con:
  • Linea di Base ControlNet: Un approccio standard basato su segmentazione con ControlNet che utilizza l'Inversione Null-Text.
  • Linea di Base Photoshop: Un approccio semi-automatico di inpainting basato su collage utilizzando Adobe Firefly.
  • Rendering Sintetici: Rendering 3D di modelli di facciata modificati utilizzati come proxy per la verità fondamentale.
• Studio sugli Utenti: In uno studio che ha coinvolto 105 utenti e 3.045 valutazioni, Pro-DG è stato significativamente preferito rispetto alla linea di base ControlNet per realismo e preservazione dell'aspetto. Ha anche superato la linea di base Photoshop nell'aderenza alle modifiche e nella preservazione dell'identità, nonostante la linea di base Photoshop utilizzasse un modello di riempimento generativo più avanzato (Firefly).
• Metriche Quantitative:
  • Distanza Wasserstein Tagliata (SWD): Pro-DG ha ottenuto la SWD più bassa (0,1185), indicando una preservazione superiore dell'aspetto locale e della texture rispetto alle linee di base ControlNet (0,1844) e Photoshop (0,124).
  • Distanza Cosine CLIP (CCD): Pro-DG ha mostrato una forte similarità semantica (0,118), superando la linea di base ControlNet (0,2146). Sebbene la linea di base Photoshop avesse una CCD leggermente inferiore (0,0936), ciò è attribuito alla copia diretta di oggetti da parte della linea di base, che la metrica favorisce.
• Studi di Ablazione: Gli esperimenti hanno confermato la necessità sia di ControlNet che della guida delle attivazioni; la rimozione di uno dei due ha portato a allucinazioni o output sfocati. Lo studio ha inoltre evidenziato che la corrispondenza gerarchica per i simboli terminali (ad esempio, muri) è fondamentale per mantenere la fedeltà della texture.

Significato e Limitazioni

Il documento afferma che Pro-DG affronta il divario inesplorato tra strutture procedurali simboliche e modelli di diffusione, offrendo un framework per la generazione di immagini di alta qualità e controllabile che mantiene l'integrità architettonica. A differenza della maggior parte dei metodi di modifica basati sulla diffusione che trasformano oggetti specifici, Pro-DG abilita la ristrutturazione dell'intero spazio dell'immagine mantenendo l'identità del progetto originale.

Le limitazioni riconosciute dagli autori includono:

• Generazione di Nuovi Elementi: Il metodo fatica quando la struttura target introduce elementi non presenti nel progetto originale (ad esempio, aggiungere porte a una facciata senza porte), poiché l'accoppiamento gerarchico manca di corrispondenze valide.
• Espressività della Grammatica: Se la grammatica sottostante (FaçAID) non può esprimere la complessità di una specifica facciata, la ricostruzione inversa fallisce, portando a disallineamenti.
• Rumore Visivo: Le immagini in ingresso con ostruzioni (alberi, cartelli) possono introdurre rumore non strutturale nelle mappe Canny e nelle attivazioni, risultando in output incoerenti.
• Vincoli del Modello: L'implementazione attuale si basa su Stable Diffusion 1.5 e sul suo ControlNet, il che limita la fedeltà raggiungibile rispetto a backbones di diffusione più recenti e specializzati.

Gli autori concludono che la sinergia tra rappresentazioni procedurali simboliche e sintesi basata sui dati promette applicazioni nel restauro delle facciate e nella progettazione architettonica interattiva, dimostrando il potenziale dell'integrazione neuro-simbolica nella modifica strutturata delle immagini.