Multi-Modal Building Inspection via Perceiver IO Fusion of Satellite and Street-Level Imagery

Riepilogo Tecnico: Ispezione Edilizia Multi-Modale tramite Fusione Perceiver IO di Immagini Satellitari e a Livello Stradale

Enunciato del Problema
La manutenzione e l'assicurazione dell'ambiente costruito su scala nazionale richiedono una conoscenza dettagliata degli attributi dei singoli edifici, come i materiali dei tetti e gli elementi strutturali. Le ispezioni manuali tradizionali sono costose, lente e generano significative emissioni di carbonio. Sebbene il telerilevamento offra un'alternativa scalabile, fare affidamento esclusivamente sulle immagini satellitari limita l'analisi agli attributi visibili dall'alto, tralasciando dettagli critici a livello di facciata. Al contrario, le immagini a livello stradale offrono viste ravvicinate di facciate e materiali, ma soffrono di occlusione, copertura variabile e angolazioni della telecamera inconsistenti. La sfida principale risiede nella fusione di queste modalità eterogenee – immagini satellitari e a livello stradale – in un quadro unificato in grado di gestire numeri variabili di input stradali per edificio, isolare la struttura target dal suo contesto senza perdere indizi contestuali e prevedere congiuntamente attributi multi-etichetta del tetto.

Metodologia
Gli autori propongono un quadro di classificazione multi-modale incentrato su un'architettura Perceiver IO che opera su token di patch spaziali derivati da un backbone condiviso DINOv2.

• Costruzione del Dataset: È stato costruito un dataset su larga scala comprendente 32.135 edifici (61.672 segmenti di tetto) in dieci paesi. Ogni segmento è associato a una singola immagine satellitare e a un numero variabile di viste a livello stradale (in media 4,54 per segmento, fino a 8 campionati durante l'addestramento). Il dataset supporta due attività multi-etichetta: l'identificazione di sei elementi del tetto (ad esempio, pannelli solari, abbaini) e sette materiali del tetto (ad esempio, ardesia, bitume).
• Strategie di Mascheramento: Per isolare l'edificio target, sono state valutate quattro strategie: (1) immagine completa, (2) ritaglio rigido (azzeramento dello sfondo), (3) ritaglio invertito (azzeramento dell'edificio) e (4) RGB-M, dove la maschera binaria dell'impronta dell'edificio è aggiunta come quarto canale di input. La strategia RGB-M ha dimostrato di fornire un "prior spaziale morbido", consentendo al modello di concentrarsi sull'edificio mantenendo il contesto ambientale, superando il ritaglio rigido che interrompe le statistiche delle patch pre-addestrate.
• Backbone e Fine-tuning: Lo studio confronta ResNet-50 e DINOv2-S. I risultati indicano che il fine-tuning completo di DINOv2-S supera significativamente il probing lineare e il fine-tuning parziale, suggerendo che lo spostamento di dominio dalle immagini naturali alle immagini aeree/a livello stradale degli edifici richiede l'aggiornamento dei primi livelli di feature.
• Architettura di Fusione: Sono state confrontate tre strategie di fusione:
  1. Concatenazione: Unione di vettori di feature globali provenienti dalle immagini satellitari e dalle viste a livello stradale mass-pooled.
  2. Feature Vector Transformer: Elaborazione di una sequenza di vettori globali con un encoder transformer.
  3. Perceiver IO: Il metodo proposto elabora token di patch spaziali grezzi da entrambe le modalità. Utilizza l'attenzione incrociata per comprimere una sequenza di lunghezza variabile di token (da un'immagine satellitare e $N$ immagini a livello stradale) in una rappresentazione latente a dimensione fissa. Questo preserva le informazioni dettagliate a livello di patch e gestisce naturalmente i conteggi di input variabili senza padding o troncamento.

Risultati Chiave

• Mascheramento: La strategia RGB-M ha costantemente prodotto le migliori prestazioni in entrambe le modalità e con entrambi i backbone, raggiungendo un mAP di 0,939 per gli elementi del tetto e 0,729 per i materiali del tetto sulle immagini satellitari con DINOv2-S.
• Prestazioni di Fusione: Il modello di fusione Perceiver IO ha superato sia le baseline di concatenazione che quelle del Feature Vector Transformer. Sebbene la baseline solo-satellitare mantenesse un leggero vantaggio nell'mAP macro-medio (a causa di classi come lucernari e bitume meglio visibili dall'alto), il modello Perceiver IO ha fornito guadagni per classe sostanziali per gli attributi visibili dalla strada. Miglioramenti notevoli includono +11,3 AP per l'ardesia, +4,5 AP per il vetro e +1,3 AP per gli abbaini.
• Sensibilità dell'Architettura: È stato riscontrato che le prestazioni di Perceiver IO sono più sensibili alla dimensionalità latente ($D_z$) rispetto al numero di vettori latenti ($N_z$). Una configurazione con $N_z=128$ e $D_z=512$ ha fornito il miglior compromesso.
• Analisi dell'Attenzione: Le visualizzazioni Grad-CAM hanno confermato che la strategia RGB-M produce pattern di attenzione equilibrati, focalizzandosi sull'edificio mentre utilizza il contesto dei confini. Al contrario, per classi come i camini, l'attenzione era talvolta diffusa, suggerendo che il modello potrebbe fare affidamento su scorciatoie contestuali piuttosto che sulla localizzazione diretta.

Significato e Affermazioni
Il documento stabilisce un'architettura scalabile e flessibile per l'ispezione edilizia multi-modale, capace di accogliere input eterogenei e molteplici attività di output. Gli autori affermano che il loro lavoro differisce dalle opere precedenti fondendo a livello di token spaziali piuttosto che a livello di vettori di feature, preservando così i dettagli fini. Inoltre, l'uso di Perceiver IO consente la gestione naturale di numeri variabili di viste a livello stradale senza degradazione delle prestazioni.

Lo studio conclude che la fusione multi-modale è più preziosa quando le modalità offrono viste genuinamente complementari. Sebbene il modello solo-satellitare rimanga superiore per le metriche macro-medie a causa della prevalenza di classi visibili dall'alto, l'approccio di fusione migliora significativamente il rilevamento di attributi specifici del livello stradale. Gli autori suggeriscono che lavori futuri potrebbero coinvolgere la codifica dei metadati della telecamera come embedding geometrici, l'utilizzo dell'architettura basata su token per la mascheramento a livello di patch e l'estensione del quadro all'apprendimento multi-task (segmentazione e regressione).