Building Damage Detection using Satellite Images and Patch-Based Transformer Methods

Technische Samenvatting: Detectie van Geboelschade met behulp van Satellietbeelden en Patch-gebaseerde Transformer-methoden

Probleemstelling
Snelle beoordeling van geboelschade na natuurrampen is cruciaal voor een effectieve respons na een ramp. Hoewel satellietbeelden een schaalbare methode bieden voor situationeel bewustzijn, wordt de ontwikkeling van betrouwbare classificatiemodellen voor schade gehinderd door aanzienlijke dataproblemen. Specifiek lijden satellietdatasets vaak aan een ernstige klassenonbalans (een sterke scheefheid naar de label "geen schade") en labelruis. Bov�and de visuele verschillen tussen schadecategorieën — met name tussen "lichte schade", "ernstige schade" en "vernietigd" — zijn vaak subtiel. De xBD-dataset, een gestandaardiseerde benchmark voor schade op gebouwniveau over diverse geografische gebieden, illustreert deze problemen en vormt een uitdagende testomgeving voor machine learning-modellen.

Methodologie
De studie evalueert de prestaties van Vision Transformer (ViT) architecturen op de xBD-dataset, waarbij specifiek wordt gefocust op DeiT-Tiny en DINOv2-small. Het onderzoek maakt gebruik van een nieuwe, gerichte pre-processing pipeline en specifieke fine-tuning strategieën om de beperkingen in data aan te pakken binnen computationeel beperkte omgevingen (Google Colab Pro/Pro+).

• Patch-gebaseerde Pre-processing: Om achtergrondruis (bijv. wolken, wegen) te mitigeren en structurele kenmerken te isoleren, hebben de auteurs een aangepaste pipeline ontworpen. Dit proces filtert beelden om alleen die te behouden die gebouwen bevatten met specifieke schade-labels. Vervolgens worden willekeurige patches geëxtraheerd die gecentreerd zijn rond de middelpunten (centroids) van de gebouwen. Een cruciale stap is het berekenen van een "lege ratio" (het aandeel transparante of zwarte pixels); patches die de drempelwaarde van 0,01 overschrijden, worden opnieuw bijgesneden om ervoor te zorgen dat het gebouw de primaire focus blijft. Dit vermindert de omvang van de dataset met ongeveer 50%, maar verhoogt de signaalintensiteit.
• Modelarchitecturen:
  • DeiT-Tiny: Een model met 5 miljoen parameters dat is voorgetraind op ImageNet, gebruikmakend van een teacher-student distillatie-aanpak met een [CLS]-token en een afzonderlijk distillatie-token.
  • DINOv2-small: Een model met 22 miljoen parameters dat op een zelfgesuperviseerde wijze is voorgetraind op de LVD-142M dataset. Het maakt gebruik van Swish-Gated Linear Units (SwiGLUs) en een [CLS]-token, maar laat het distillatie-token dat door DeiT wordt gebruikt weg.
• Trainingsstrategieën: De auteurs vergeleken twee trainingsbenaderingen:
  1. End-to-End Fine-tuning: Volledige modeltraining met hyperparameter grid searches (leersnelheden, batchgroottes) die beperkt werden door GPU-geheugen en tijdslimieten.
  2. Frozen-Head Fine-tuning: Alleen de classifier head werd getraind terwijl de gewichten van de backbone bevroren bleven, een strategie die werd gekozen om de computationele kosten te beheersen.
• Evaluatie: Modellen werden beoordeeld op basis van accuratesse, precisie, recall en macro-gemiddelde F1-scores. Om de effecten van klassenonbalans tijdens de evaluatie te mitigeren, werd het testproces herhaald over vijf onafhankelijke runs.

Belangrijkste Bijdragen

1. Gerichte Pre-processing Pipeline: De introductie van een patch-gebaseerde methode die gebouwstructuren isoleert en achtergrondruis minimaliseert, specifiek ontworpen om de ruizige, ongebalanceerde aard van de xBD-dataset aan te pakken.
2. Transformer Benchmarking: Een vergelijkende evaluatie van DINOv2-small en DeiT voor multi-class geboelschade-classificatie, wat empirisch bewijs levert van hun prestaties op hoogst ongebalanceerde rampendata.
3. Optimalisatie onder Beperkte Middelen: Een analyse van fine-tuning strategieën (End-to-End vs. Frozen Head) die specifiek zijn afgestemd op omgevingen met beperkte rekenkracht, zoals Google Colab.

Resultaten
De studie concludeerde dat kleine ViT-architecturen, wanneer zij worden gecombineerd met de voorgestelde pre-processing en trainingsmethoden, competitieve prestaties leveren ten opzichte van eerdere Convolutional Neural Network (CNN) baselines.

• Prestatie-indicatoren: Het DeiT (End-to-End) model behaalde de hoogste algehele prestaties met een accuratesse van 0,782 en een macro-gemiddelde F1-score van 0,599. Het DINOv2 (End-to-End) model volgde met een F1-score van 0,565.
• Vergelijking met Baselines:
  • Beide transformer-modellen presteerden beter dan de oorspronkelijke ResNet-baseline (Gupta et al., 2019), die een F1 van 0,320 rapporteerde.
  • Het DeiT (E2E) model presteerde iets minder goed dan de few-shot baseline (Koukouraki et al., 2021) die een F1 van 0,638 behaalde, maar bleef wel competitief.
  • Vergeleken met de UNet Encoder + ResNet18 methode (Chen, 2020) vertoonden de transformer-modellen lagere algemene macro-gemiddelde metrieken, maar demonstreerden superieure prestaties per individuele klasse voor "Geen schade" (0,90 vs 0,88), "Ernstige schade" (0,73 vs 0,53) en "Vernietigd" (0,73 vs 0,55).
• Klassespecifieke Uitdagingen: De modellen hadden aanzienlijke moeite met de klasse "Lichte schade" (F1-score van 0,14), waarbij de visuele aanwijzingen het meest subtiel zijn. Daarentegen was de prestatie sterk voor de klassen "Geen schade", "Ernstige schade" en "Vernietigd".

Betekenis en Claims
Het artikel claimt dat kleine ViT-architecturen, wanneer zij worden gekoppeld aan een gerichte patch-gebaseerde pre-processing pipeline, effectief kunnen omgaan met de ruizige en ongebalanceerde data die typerend zijn voor scenario's met rampenbestrijding. De auteurs stellen dat hun aanpak competitieve macro-gemiddelde F1-scores bereikt ten opzichte van eerdere CNN-baselines, met name door de detectie van ernstige schade-categorieën te verbeteren.

De auteurs blijven bescheiden over de classificatie van "Lichte schade" en erkennen dat de subtiele visuele verschillen tussen lichte schade en geen schade een uitdaging blijven. Zij suggereren dat toekomstig werk dit kan aanpakken door expliciet de dataset te herbalanceren (bijv. het verminderen van "geen schade" monsters of het gebruik van generatieve AI voor augmentatie), bredere scène-contexten te modelleren in plaats van enkelvoudige gebouwcrops, en potentieel de labelruimte te vereenvoudigen om beter aan te sluiten bij menselijke triage-protocollen. De studie concludeert dat deze stappen de transformer-gebaseerde modellen verder kunnen vestigen als sterke benchmarks voor betrouwbare rampenclassificatie.