Beyond Segmentation: Structurally Informed Facade Parsing from Imperfect Images

Titolo

Oltre la Segmentazione: Parsing di Facciate Strutturalmente Informato da Immagini Imperfette

1. Il Problema

Il recupero della struttura architettonica delle facciate a partire da una singola immagine è fondamentale per la modellazione urbana, i gemelli digitali e il flusso di lavoro "scanning-to-CAD".

• Limitazione attuale: I metodi moderni di rilevamento oggetti (come YOLOv8 o Mask R-CNN) sono ottimizzati per indizi di aspetto locale e trattano gli elementi architettonici (finestre, porte) in modo indipendente.
• Conseguenze: Sebbene le rilevazioni siano visivamente plausibili, spesso mancano di coerenza strutturale globale. Si osservano:
  • Jitter (instabilità) dei bordi tra elementi ripetuti.
  • Lacune dovute a occlusioni.
  • Derive sistematiche causate da distorsioni prospettiche o effetti di rilievo.
• Impatto: Quando queste rilevazioni disordinate vengono utilizzate come input per la ricostruzione procedurale inversa (es. metodi neuro-simbolici come FaçAID), il modello downstream deve gestire l'incoerenza, aumentando ambiguità e complessità nella generazione del programma procedurale.

2. Metodologia

Gli autori propongono una soluzione a monte, intervenendo direttamente sul livello del rilevatore (detector) durante la fase di addestramento, senza alterare la pipeline di inferenza standard.

• Base: Il metodo utilizza YOLOv8 come punto di partenza, un rilevatore di oggetti single-stage state-of-the-art che utilizza un head di rilevamento senza ancore (anchor-free).
• Novità: Funzione di Perdita di Allineamento (Alignment Loss):
  • Viene introdotta una funzione di perdita personalizzata e leggera che viene aggiunta all'obiettivo standard di YOLOv8.
  • Obiettivo: Incoraggiare disposizioni coerenti per righe e colonne tra le previsioni della stessa classe (es. tutte le finestre).
  • Meccanismo: La perdita opera sulle "bounding box" positive selezionate dall'assigner di YOLO. Identifica coppie di box della stessa classe che:
    1. Non si sovrappongono (IoU ≈ 0).
    2. Hanno coordinate iniziali/finali ($x_1, x_2$ o $y_1, y_2$) con una differenza assoluta inferiore a una soglia $T$ (in pixel).
  • Se le condizioni sono soddisfatte, viene calcolato un termine di perdita che penalizza la discrepanza tra le coordinate delle coppie, spingendo il modello ad allinearle su una griglia comune.
  • La perdita totale di allineamento ($L_{align}$) è la somma normalizzata delle perdite sugli assi X e Y.
• Bilanciamento: La perdita totale è una combinazione della perdita base YOLO e della perdita di allineamento, ponderata da un parametro di peso $W$. Questo permette di controllare il compromesso tra accuratezza di rilevamento e regolarità strutturale.

3. Contributi Chiave

1. Obiettivo di Addestramento Specifico: Introduzione di un termine di regolarizzazione geometrica basato su coppie (pairwise alignment) che inietta regolarità specifica per le facciate nelle previsioni delle bounding box.
2. Integrazione Non Invasiva: L'approccio si integra nella pipeline di addestramento standard di YOLOv8 mantenendo invariato il processo di inferenza (nessuna modifica necessaria al momento dell'uso).
3. Parametro di Controllo: Un parametro di peso ($W$) che consente agli utenti di regolare dinamicamente il trade-off tra l'accuratezza del rilevamento (mAP) e la regolarità strutturale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset CMP Facade, utilizzando 689 facciate ritagliate.

• Metriche di Valutazione:
  • mAP@0.5: Per misurare l'accuratezza standard del rilevamento.
  • Metrica SVD-based (Regolarità Strutturale): Una metrica basata sulla Decomposizione ai Valori Singolari (SVD) che valuta quanto una maschera binaria di finestre possa essere approssimata da un rango basso. Un punteggio più basso indica una struttura più regolare e allineata a una griglia.
• Risultati Quantitativi:
  • L'aggiunta della perdita di allineamento riduce significativamente la metrica SVD (migliorando la regolarità).
  • Esiste un trade-off: aumentare il peso $W$ migliora la regolarità ma riduce leggermente il mAP. Tuttavia, per valori moderati di $W$, è possibile ottenere un miglioramento sostanziale della regolarità con un impatto minimo sull'accuratezza.
  • La soglia $T$ è critica: valori troppo piccoli (es. 6-7 pixel) o pesi troppo alti possono portare a un peggioramento delle prestazioni (sovra-constraint), mentre valori come $T=9$ o $10$ offrono il miglior compromesso.
• Risultati Qualitativi:
  • Il modello riesce a correggere allineamenti errati causati dalla prospettiva.
  • Riesce a ricostruire finestre parzialmente o totalmente occluse (es. da alberi o balconi) inferendo la loro posizione e dimensione corretta basandosi sulla griglia.
  • Corregge errori di dimensione nelle finestre visibili che appaiono distorte a causa della prospettiva.

5. Significato e Limiti

• Significato: Il lavoro dimostra che è possibile migliorare la qualità strutturale dei dati di input per la modellazione procedurale senza sacrificare completamente l'accuratezza del rilevamento. Fornisce un meccanismo leggero per generare rilevazioni "pronte per la ricostruzione procedurale".
• Limiti:
  • Trade-off Inerente: Un peso $W$ eccessivo può degradare l'mAP e causare la mancata rilevazione di finestre molto piccole o molto grandi se non si allineano perfettamente con la griglia prevista.
  • Dipendenza dalla Coppia: La perdita funziona solo se il rilevatore propone almeno due elementi da allineare; elementi isolati o classi sparse non beneficiano della regolarizzazione.
  • Occlusioni Gravi: Se il rilevatore non propone alcun candidato in una zona (occlusione totale), la perdita di allineamento non può recuperare la struttura mancante.
  • Dipendenza dalla Risoluzione: Il parametro soglia $T$ è definito in pixel, rendendo il metodo sensibile alla risoluzione dell'immagine.

In conclusione, il paper offre un approccio pratico per colmare il divario tra il rilevamento di oggetti generico e le esigenze di coerenza strutturale richieste dalla ricostruzione architettonica automatica.