Building Change Detection in Earthquake: A Multi-Scale Interaction Network and A Change Detection Dataset

Technische Samenvatting: Detectie van Gebouwveranderingen bij Aardbevingen: Een Multi-Scale Interactienetwerk en een Change Detection Dataset

Probleemstelling
Aardbevingen veroorzaken massale instortingen van gebouwen en menselijke slachtoffers, wat behoefte geeft aan snelle en betrouwbare schadebeoordeling voor noodhulpoperaties. Veranderingsdetectie (Change Detection, CD) met behulp van multi-temporele remote sensing (RS) beelden is een cruciaal instrument voor dit doel. Hoewel deep neural network (DNN)-gebaseerde methoden indrukwekkende prestaties hebben bereikt bij algemene CD-taken, kampen ze met significante beperkingen wanneer ze worden toegepast op scenario's na een aardbeving met korte beeldingsintervallen. Wanneer beelden na een gebeurtenis kort na een ramp worden verworven (bijv. binnen enkele dagen), leiden de variërende beeldingshoeken tussen pre- en post-event beelden tot "side-looking" problemen. Deze geometrische mismatches, vooral in gebieden met hoogbouw, veroorzaken ruimtelijke misalignments die de nauwkeurigheid van bestaande CD-methoden verslechteren. Bovs wordt het gebrek aan gespecialiseerde datasets met korte acquisitie-intervallen de ontwikkeling en evaluatie van methoden die zijn afgestemd op directe hulp na een ramp gehinderd.

Methodologie: MSI-Net
Om deze uitdagingen aan te pakken, stellen de auteurs een Multi-Scale Feature Interaction Network met Offset Calibration voor (MSI-Net). De architectuur is gebouwd op een weight-sharing Siamese encoder (gebaseerd op ResNet-18) om multi-scale features te extraheren uit bi-temporele RS-beelden. Het netwerk integreert drie innovatieve modules:

1. Joint Cross-Attention (JCA) Module: Ontworpen om voldoende interactie tussen bi-temporele features over verschillende schalen te faciliteren. Het bestaat uit twee sub-blokken:

   • Channel Cross-Attention (CCA): Versterkt de informatie-uitwisseling tussen temporele beelden door cross-temporele attention maps te berekenen, waardoor de feature-distributies meer op elkaar lijken.
   • Spatial Joint Attention (SJA): Maakt gebruik van zowel cross-attention als self-attention mechanismen om de distributie van ruimtelijke details te verkennen en langetermijn-afhankelijkheden (long-range dependencies) te vangen. Het concateneert queries van beide temporele beelden om simultaan self-attention en cross-attention te bereiken, waardoor globale ruimtelijke relaties effectief gemodelleerd worden.
   • Opmerking: Shallow features, die minder semantische informatie bevatten, omzeilen de JCA-module en worden direct naar de calibratiemodule gevoerd.

2. Multi-Scale Offset Calibration (MOC) Module: Deze module richt zich specifiek op het side-looking mismatch probleem. Het schat een offset-veld in tussen de bi-temporele features door ze te convolueren en te concateneren. Met behulp van dit offset-veld voert de module adaptieve uitlijning uit via bilineaire interpolatie om ruimtelijke misalignments veroorzaakt door verschillende beeldingshoeken te corrigeren. Deze kalibratie verzacht de negatieve impact van side-looking problemen op de nauwkeurigheid van veranderingsdetectie.

3. Feature Integration (FeI) Module: Deze module voegt de gekalibreerde features van de MOC-module samen met de multi-scale features van de JCA-module. Het maakt gebruik van een projectiemechanisme om mismatches te verminderen voordat de features worden geconcateneerd voor de uiteindelijke change map voorspelling.

Het netwerk wordt geoptimaliseerd met behulp van een weighted cross-entropy loss functie om de klasse-imbalans tussen veranderde en onveranderde pixels aan te pakken.

Belangrijkste Bijdragen
Het artikel presenteert drie primaire bijdragen:

1. TUE-CD Dataset: De auteurs hebben een nieuwe Change Detection dataset geconstrueerd, de Turkey Earthquake CD dataset (TUE-CD), specif으로 voor het beoordelen van gebouwschade op korte termijn na een aardbeving. Deze bevat 1.656 paren van 256×256 bi-temporele RS-beelden, vastgelegd door de WorldView-2 satelliet binnen 5 dagen na de magnitude 7.8 aardbeving in Turkije op 6 februari 2023. De dataset bevat expliciet monsters met side-looking mismatches, wat een benchmark biedt voor korte-interval rampenbeoordeling.
2. MSI-Net Architectuur: De voorstel van een netwerk dat specifiek is ontworpen om de impact van side-looking problemen te onderdrukken door de integratie van JCA, MOC en FeI modules, wat een betere uitlijning van features van verschillende temporele RS-beelden mogelijk maakt.
3. Innovatief Modulair Ontwerp: Het ontwerp van de JCA-module (combinatie van spatial joint en channel cross-attention) voor voldoende feature-interactie en de MOC-module voor nauwkeurige ruimtelijke kalibratie van bi-temporele features om ruimtelijke mismatches te mitigeren.

Experimentele Resultaten
De auteurs hebben uitgebreide experimenten uitgevoerd op drie datasets: WHU-CD (gebouwveranderingen), CLCD (landbouwveranderingen) en de nieuw geconstrueerde TUE-CD. MSI-Net werd vergeleken met negen state-of-the-art DNN-gebaseerde CD-methoden (inclusief FC-EF, BIT, GAS-Net en HANet).

• WHU-CD: MSI-Net behaalde de beste prestaties in Precision (96,66%), mF1 (95,58%), mIoU (91,81%) en Overall Accuracy (99,27%).
• CLCD: MSI-Net behaalde de hoogste scores in Recall, mF1, mIoU en OA, waarbij het de op één na beste methode (HANet) met 0,6% versloeg op mF1.
• TUE-CD: In het uitdagende aardbevingsscenario met ernstige side-looking problemen, behaalde MSI-Net de beste mF1 (78,02%), mIoU (68,48%) en OA (96,16%). Het vertoonde een verbetering van respectievelijk 1,13% en 1,24% in mF1 en mIoU ten opzichte van de op één na beste methode (AMTNet).
• Ablatie-studies: Experimenten bevestigden dat het verwijderen van een van de JCA, MOC of FeI modules leidde tot prestatieverslechtering. Specifiek leidde het verwijderen van de MOC-module tot wazige randen en incomplete veranderingsregio's door niet-gecorrigeerde side-looking mismatches, terwijl het verwijderen van JCA leidde tot een foutieve schatting van irrelevante gebieden.

Betekenis en Claims
Het artikel claimt dat MSI-Net een effectievere oplossing biedt voor de beoordeling van gebouwschade na een aardbeving vergeleken met bestaande state-of-the-art methoden, met name in scenario's met korte beeldingsintervallen waar side-looking mismatches veel voorkomen. Door de introductie van de TUE-CD dataset beogen de auteurs het gat in de beschikbare data voor korte-termijn rampenrespons op te vullen. Het vermogen van het voorgestelde netwerk om efficiënt te interageren met bi-temporele features en ruimtelijke offsets te kalibreren, stelt het in staat om meer complete randinformatie te genereren en fout-positieven te verminderen in complexe rampenscenario's. De resultaten suggereren dat MSI-Net een robuust instrument is voor directe hulpverlening na aardbevingen.