Building Change Detection in Earthquake: A Multi-Scale Interaction Network and A Change Detection Dataset

Sintesi Tecnica: Rilevamento dei Cambiamenti degli Edifici durante i Terremoti: Una Rete di Interazione Multi-Scala e un Dataset per il Rilevamento dei Cambiamenti

Definizione del Problema
I terremoti causano enormi crolli di edifici e perdite umane, rendendo necessaria una valutazione dei danni rapida e affidabile per le operazioni di soccorso d'emergenza. Il rilevamento dei cambiamenti (Change Detection, CD) utilizzando immagini di telerilevamento (RS) multi-temporali è uno strumento critico per questo scopo. Sebbene i metodi basati su reti neurali profonde (DNN) abbiano ottenuto prestazioni impressionanti nel CD generale, essi affrontano limitazioni significative quando applicati a scenari post-terremoto con intervalli di acquiszione brevi. Nello specifico, quando le immagini post-evento vengono acquisite poco dopo un disastro (ad esempio, entro pochi giorni), le variazioni degli angoli di ripresa tra le immagini pre- e post-evento portano al problema del "side-looking" (visione laterale). Questi disallineamenti geometrici, particolarmente evidenti nelle aree con edifici alti, causano disallineamenti spaziali che degradano l'accuratezza degli attuali metodi di CD. Inoltre, la mancanza di dataset specializzati con brevi intervalli di acquisizione ostacola lo sviluppo e la valutazione di metodi mirati al soccorso immediato post-disastro.

Metodologia: MSI-Net
Per affrontare queste sfide, gli autori propongono una Rete di Interazione di Caratteristiche Multi-Scala con Calibrazione dell'Offset (MSI-Net). L'architettura si basa su un encoder Siamese a condivisione di pesi (basato su ResNet-18) per estrarre caratteristiche multi-scala da immagini RS bi-temporali. La rete integra tre nuovi moduli:

1. Modulo di Joint Cross-Attention (JCA): Progettato per facilitare un'interazione sufficiente tra le caratteristiche bi-temporali attraverso diverse scale. Comprende due sub-blocchi:

   • Channel Cross-Attention (CCA): Potenzia lo scambio di informazioni tra le immagini temporali calcolando mappe di attenzione cross-temporali, rendendo le distribuzioni delle caratteristiche più simili.
   • Spatial Joint Attention (SJA): Utilizza sia i meccanismi di cross-attention che di self-attention per esplorare le distribuzioni dei dettagli spaziali e catturare dipendenze a lungo raggio. Concatena le query di entrambe le immagini temporali per ottenere simultaneamente self-attention e cross-attention, modellando efficacemente le relazioni spaziali globali.
   • Nota: Le caratteristiche superficiali (shallow features), che contengono meno informazioni semantiche, bypassano il modulo JCA e vengono alimentate direttamente al modulo di calibrazione.

2. Modulo di Multi-Scale Offset Calibration (MOC): Questo modulo mira specificamente al problema del disallineamento dovuto alla visione laterale (side-looking). Esso stima un campo di offset tra le caratteristiche bi-temporali tramite convoluzione e concatenazione. Utilizzando questo campo di offset, il modulo esegue un allineamento adattivo tramite interpolazione bilineare per correggere i disallineamenti spaziali causati dai diversi angoli di ripresa. Questa calibrazione mitiga l'impatto negativo dei problemi di side-looking sull'accuratezza del rilevamento dei cambiamenti.

3. Modulo di Feature Integration (FeI): Questo modulo fonde le caratteristiche calibrate dal modulo MOC con le caratteristiche multi-scala del modulo JCA. Utilizza un meccanismo di proiezione per ridurre i disallineamenti prima di concatenare le caratteristiche per la previsione finale della mappa dei cambiamenti.

La rete è ottimizzata utilizzando una funzione di perdita di cross-entropy pesata per affrontare lo sbilanciamento di classe tra pixel cambiati e invariati.

Contributi Chiave
Il documento presenta tre contributi primari:

1. Dataset TUE-CD: Gli autori hanno costruito un nuovo dataset di rilevamento dei cambiamenti, il dataset TUE-CD (Turkey Earthquake CD), specificamente per valutare i danni agli edifici nel breve termine dopo un terremoto. Esso contiene 1.656 coppie di immagini RS bi-temporali di 256×256 acquisite dal satellite WorldView-2 entro 5 giorni dal terremoto di magnitudo 7.8 in Turchia del 6 febbraio 2023. Il dataset include esplicitamente campioni con disallineamenti side-looking, fornendo un benchmark per la valutazione post-disastro a breve termine.
2. Architettura MSI-Net: La proposta di una rete progettata specificamente per sopprimere l'impatto dei problemi di side-looking attraverso l'integrazione dei moduli JCA, MOC e FeI, consentendo un migliore allineamento delle caratteristiche delle immagini RS temporali differenti.
3. Design di Nuovi Moduli: Il design del modulo JCA (che combina spatial joint e channel cross-attention) per una sufficiente interazione delle caratteristiche e del modulo MOC per l'accurata calibrazione spaziale delle caratteristiche bi-temporali per mitigare i disallineamenti spaziali.

Risultati Sperimentali
Gli autori hanno condotto estesi esperimenti su tre dataset: WHU-CD (cambiamenti edilizi), CLCD (cambiamenti delle colture) e il nuovo TUE-CD. MSI-Net è stato confrontato con nove metodi di CD basati su DNN allo stato dell'arte (inclusi FC-EF, BIT, GAS-Net e HANet).

• WHU-CD: MSI-Net ha raggiunto le migliori prestazioni in Precision (96,66%), mF1 (95,58%), mIoU (91,81%) e Overall Accuracy (99,27%).
• CLCD: MSI-Net ha ottenuto i punteggi più alti in Recall, mF1, mIoU e OA, superando il secondo miglior metodo (HANet) dello 0,6% in mF1.
• TUE-CD: Nello scenario critico del terremoto con gravi problemi di side-looking, MSI-Net ha ottenuto i migliori risultati in mF1 (78,02%), mIoU (68,48%) e OA (96,16%). Ha dimostrato un miglioramento dell'1,13% e dell'1,24% in mF1 e mIoU rispetto al secondo miglior metodo (AMTNet), rispettivamente.
• Studi di Ablazione: Gli esperimenti hanno confermato che la rimozione di uno qualsiasi dei moduli JCA, MOC o FeI portava a un degrado delle prestazioni. Nello specifico, la rimozione del modulo MOC causava bordi sfocati e regioni di cambiamento incomplete a causa dei disallineamenti side-looking non corretti, mentre la rimozione di JCA portava alla stima errata di aree irrilevanti.

Significatività e Rivendicazioni
Il documento afferma che MSI-Net fornisce una soluzione più efficace per la valutazione dei danni agli edifici post-terremoto rispetto ai metodi esistenti allo stato dell'arte, in particolare in scenari che coinvolgono brevi intervalli di acquiszione dove sono prevalenti i disallineamenti side-looking. Introducendo il dataset TUE-CD, gli autori mirano a colmare la lacuna nei dati disponibili per il soccorso post-disastro a breve termine. La capacità della rete proposta di interagire efficientemente con le caratteristiche bi-temporali e di calibrare gli offset spaziali le consente di generare informazioni sui bordi più complete e di ridurre i falsi positivi in scenari di disastro complessi. I risultati suggeriscono che MSI-Net sia uno strumento robusto per i soccorsi immediati a seguito di terremoti.