Joint Instance Segmentation and Geometric Attribute Regression for Roof Structures in Aerial Imagery

Riepilogo Tecnico: Segmentazione di Istanza Congiunta e Regressione di Attributi Geometrici per Strutture Tettuali in Immagini Aeree

Enunciato del Problema
La conoscenza geometrica accurata dell'ambiente costruito, in particolare altezza degli edifici, pendenza del tetto e orientamento (azimut), è fondamentale per la pianificazione della sostenibilità, la valutazione energetica, la valutazione del rischio assicurativo e la gestione abitativa. Tuttavia, l'acquisizione di questi dati su scala nazionale è impegnativa. Sebbene il LiDAR fornisca modelli 3D accurati, è costoso e poco frequente. L'ispezione manuale non è scalabile. I metodi esistenti basati sull'apprendimento si concentrano spesso su singoli attributi (ad esempio, solo l'altezza) o operano a livello semantico piuttosto che a livello di istanza, non riuscendo a distinguere più segmenti di tetto su un singolo edificio. Inoltre, molti approcci richiedono immagini multi-vista o condizioni di acquisizione specifiche che ne limitano l'applicabilità.

Metodologia
Gli autori propongono un metodo per prevedere congiuntamente maschere di segmenti di tetto a livello di istanza e tre attributi geometrici continui (altezza dell'edificio, pendenza del tetto e azimut del tetto) da una singola ortofoto aerea.

• Architettura: L'approccio estende il framework Mask R-CNN con un Ramificazione di Regressione degli Attributi dedicata.

  • Backbone: Il modello utilizza un backbone DINOv3 ConvNeXt-Base, che sfrutta un pre-addestramento auto-supervisionato tramite distillazione della conoscenza. È stato riscontrato che questo supera significativamente ResNet-50 e EfficientNetV2-M, in particolare nella generazione di confini di maschera precisi.
  • Estrazione delle Caratteristiche: Una Feature Pyramid Network (FPN) estrae le caratteristiche. Il ramo degli attributi condivide caratteristiche allineate RoI 7×7 con i rami di classificazione e delle caselle di delimitazione.
  • Output: Per ogni segmento di tetto rilevato, la rete produce una maschera binaria, una casella di delimitazione e tre attributi: altezza ($h$), angolo di pendenza ($\alpha$) e azimut ($\phi$). L'azimut è codificato come un vettore unitario 2D $(\cos \phi, \sin \phi)$ per gestire la discontinuità circolare.

• Dataset: Il modello è addestrato e valutato su un dataset su larga scala di 17.353 immagini aeree olandesi (risoluzione 8 cm/pixel). Il ground truth è derivato automaticamente da 3DBAG, un dataset nazionale di ricostruzioni edilizie LoD2.2 che combina impronte catastali con LiDAR aereo (AHN). Il dataset contiene oltre 2 milioni di annotazioni di istanza.

• Innovazioni Tecniche Chiave:

  1. Funzione di Perdita per Azimut Condizionale: I tetti piani (pendenza $\le 15^\circ$) nel ground truth di 3DBAG sono assegnati valori di azimut arbitrari poiché una superficie orizzontale non ha un orientamento compasso significativo. Gli autori introducono un meccanismo di gating che sopprime la perdita per azimut per questi segmenti piani. Ciò impedisce al modello di apprendere etichette rumorose e riduce significativamente l'errore di previsione dell'azimut.
  2. Rappresentazione dell'Altezza Log-Normalizzata: Le altezze degli edifici nel dataset sono fortemente asimmetriche a destra (la maggior parte è <20m, con una lunga coda di strutture alte). La regressione diretta fa sì che gli edifici alti dominino il segnale del gradiente. Gli autori applicano una trasformazione di log-normalizzazione ($h_{norm} = (\log h - \mu)/\sigma$) per rimodellare la distribuzione target in una forma quasi gaussiana, bilanciando il segnale del gradiente su tutti i range di altezza.
  3. Addestramento in Due Fasi: Il modello è addestrato in due fasi. In primo luogo, vengono addestrati solo i componenti Mask R-CNN (rilevamento e segmentazione) per garantire un affidabile matching delle istanze. In secondo luogo, il backbone viene congelato e il ramo di regressione degli attributi viene addestrato congiuntamente agli altri rami.

Risultati
Valutato su un set di test tenuto da parte con separazione geografica rigorosa, il metodo ottiene le seguenti metriche di prestazione:

• Segmentazione di Istanza: Un AP50 di 0,566 e una Precisione Media Media (mAP) di 0,298.
• Regressione degli Attributi (Errore Assoluto Medio):
  • Pendenza del Tetto: ~4,08°
  • Azimut: ~6,96° (migliorato a ~7° con la perdita condizionale)
  • Altezza dell'Edificio: ~1,03 metri

Studi di Ablazione e Analisi:

• Backbone: DINOv3 ConvNeXt-Base ha superato altri backbone, ottenendo una mAP di 0,204 nella fase di solo rilevamento rispetto a 0,129 per ResNet-50.
• Design della Perdita: La perdita per azimut condizionale ha ridotto l'MAE dell'azimut del 41% (da ~21,8° a ~12,9°) senza degradare gli altri attributi.
• Rappresentazione dell'Altezza: La rappresentazione log-normalizzata ha migliorato la regressione dell'altezza del 17% rispetto alla regressione diretta sulle altezze grezze (riducendo l'MAE da 1,878m a 1,556m nell'ablazione, e a ~1,03m nel modello finale con risoluzione più alta).
• Risoluzione: L'aumento della risoluzione di input da 512×512 a 768×768 ha migliorato costantemente tutte le metriche.
• Prestazioni per Cluster: Il modello performa meglio su tetti da medio a molto ripidi (tassi di corrispondenza >69%). Le prestazioni peggiorano per edifici molto alti e tetti poco ripidi, dove i segnali visivi sono più deboli o gli ambienti circostanti sono complessi.

Significato e Affermazioni
Il documento afferma che questo lavoro è il primo a prevedere congiuntamente maschere edilizie a livello di istanza con regressione continua di altezza, pendenza e azimut da una singola immagine aerea 2D.

Il significato primario risiede nella scalabilità dell'approccio. Utilizzando dati di riferimento 3D costosi (3DBAG derivato da LiDAR) solo per l'addestramento, il modello risultante può essere distribuito ovunque siano disponibili immagini aeree per inferire attributi geometrici 3D. Ciò consente la ricostruzione di modelli edilizi 3D semplificati (LoD2) senza richiedere input multi-vista o LiDAR al momento dell'inferenza. Gli autori affermano che ciò fornisce una base scalabile per applicazioni nella pianificazione energetica, nella valutazione del rischio assicurativo e nella gestione sostenibile degli edifici, colmando il divario in cui dati geometrici accurati sono attualmente non disponibili su scala degli stock edilizi nazionali.

Gli autori notano anche limitazioni, in particolare riguardo alla granularità del ground truth 3DBAG (che può dividere superfici visivamente coerenti in più poligoni) e alle disallineamenti temporali tra immagini e dati 3D, che potrebbero causare metriche quantitative a sottorappresentare la reale prestazione qualitativa del modello.