Technische Samenvatting: HASTE – Een platform voor snelle schadeopname van gebouwen na rampen

1. Probleemstelling

Na grootschalige rampen (aardbevingen, orkanen, bosbranden, etc.) hebben humanitaire hulpverleners binnen enkele uren gebouwspecifieke schadekaarten nodig om zoek- en reddingsteams aan te sturen en middelen toe te wijzen. Huidige machine learning-benaderingen voor schadeopname worden geconfronteerd met aanzienlijke operationele barrières:

• Datagebrek: Presterende modellen vereisen doorgaans gekoppelde beelden van vóór en na het evenement, en trainingssets die afkomstig zijn van vergelijkbare gebeurtenissen uit het verleden. In de praktijk van echte responsen is beeldmateriaal van vóór het evenement vaak jaren oud of ontbreekt het volledig, en verschillen nieuwe rampen aanzienlijk van historische trainingsdata (domeinverschuiving).
• Labeling-bottlenecks: Het verzamelen van voldoende gelabelde data voor nieuwe gebeurtenissen is onmogelijk binnen de kritieke eerste dag van een ramp.
• Operationele beperkingen: Bestaande oplossingen vertrouwen op menselijke interpretatie door experts of vrijwilligers die sporen volgen, wat moeilijk schaalbaar is om elk gebouw in een grote stad snel in kaart te brengen.

Het kernprobleem is het snel genereren van nauwkeurige, gebouwspecifieke schadekaarten met behulp van enkel beelden van na de ramp en minimale lokale labeling, zonder dat daar een toegewijd machine learning-engineeringteam voor nodig is.

2. Methodologie

HASTE (High-speed Assessment and Satellite Tracking for Emergencies) is een no-code webplatform dat deze hiaten aanpakt door kleine, evenement-specifieke modellen te trainen op basis van een handvol labels van analisten. Het biedt twee onderscheidende methoden die een uniforme interface delen, maar waarbij een afweging wordt gemaakt tussen de inspanning voor labeling en de computationele snelheid.

Methode 1: Per-scene segmentatie en footprint join

• Workflow: De analist tekent polygonen over de scène na de ramp om klassen te labelen (bijv. achtergrond, intact gebouw, beschadigd gebouw).
• Training: Een vers U-Net model (ResNeXt-50 encoder) wordt specifief voor die enkele scène getraind met behulp van cross-entropy loss. Om met schaarse labels om te gaan, clustert het systeem deze in tegels (tiles) en negeert het niet-gelabelde achtergrondpixels. Een optionele "constraint class" stelt analisten in staat om grote gebieden als "bekend onbeschadigd" te markeren om fout-positieven te bestraffen.
• Inference: Het model draait over de volledige scène in overlappende tegels. Voorspellingen op pixelniveau worden geaggregeerd per gebouw-footprint om een "schadefractie" (ratio van beschadigde pixels ten opzichte van geldige pixels) te berekenen bij buffers van 0, 10 en 20 meter om misalignement op te vangen.
• Doorlooptijd: Een volledige iteratie (labelen, trainen, beoordelen) duurt ongeveer 1–2 uur.

Methode 2: Footprint embedding en in-browser logistische regressie

• Workflow: Deze methode slaat GPU-training over. Het gebruikt een vooraf getraind visiemodel om kenmerken (features) te extraheren voor elke gebouw-footprint in de scène.
• Embedding: Kenmerken worden gepooled vanuit de backbone (standaard MOSAIKS of DINOv2 varianten) over elke footprint. De pooling-strategie omvat het concateneren van per kanaal statistieken (min, max, gemiddelde, standaarddeviatie) van de tokens.
• Classificatie: Terwijl de analist enkele gebouwen aanklikt en labelt, wordt er in de browser een logistische regressie-classifier gefit met behulp van de bevroren feature-vectoren. Het model standaardiseert de kenmerken en minimaliseert de geregulariseerde logistische loss via gradiëntafdaling.
• Interactiviteit: De classifier traint en herberekent de zichtbare scène binnen enkele seconden zodra er nieuwe labels worden toegevoegd. Het ondersteunt multi-class "one-versus-rest" scenario's en draait efficiënt op WebGPU of CPU.
• Doorlooptijd: Iteratie vindt plaats binnen seconden, waardoor analisten hun model snel kunnen verfijnen zonder te wachten op GPU-taken.

Platformarchitectuur

HASTE is gebouwd als een React single-page applicatie die communiceert met een REST API en een tile server. Langdurige taken (training, embedding, inference) worden uitbesteed aan een queue-systeem dat wordt beheerd door een gedeelde kernbibliotheek (hastegeo). Data (beelden, footprints, modellen) bevindt zich in cloudopslag, terwijl metadata wordt opgeslagen in een NoSQL-database. Het platform integreert met bestaande gebouw-footprint datasets (bijv. Microsoft, Overture) en ondersteunt diverse beeldbronnen (optisch en radar).

3. Belangrijkste Bijdragen

• Implementatie van een No-Code Platform: HASTE operationaliseert snelle schadeopname, waardoor niet-ML-analisten gebouwspecifieke schadekaarten kunnen genereren met enkel beelden van na de ramp.
• Dual-Method Approach: Het artikel beschrijft twee complementaire methoden: een pixel-niveau segmentatie-aanpak (Methode 1) en een footprint-embedding aanpak (Methode 2), waarbij de afweging tussen labeling-inspanning en doorlooptijd wordt geanalyseerd.
• Experimenten naar Label-efficiëntie: Voorlopige experimenten op de xBD-dataset laten zien dat de embedding-gebaseerde methode (Methode 2) een hoge nauwkeurigheid bereikt met aanzienlijk minder labels dan volledig gesuperviseerde baselines.
• Operationele Validatie: Het artikel documenteert het gebruik van het platform in meer dan 30 echte rampenrespons-scenario's sinds 2023, waarbij resultaten worden geleverd aan partners (bijv. het Rode Kruis, VN-organisaties) binnen uren tot dagen.

4. Resultaten

Experimentele bevindingen (xBD Dataset)

Experimenten richtten zich op Methode 2 met enkel beelden van na de ramp:

• Label-efficiëntie: De embedding-gebaseerde aanpak met een DINOv2 backbone bereikte een macro ROC-AUC van 0,84 met slechts 1% van de trainingslabels (ongeveer een dozijn gebouwen per ramp).
• Vergelijking met Gesuperviseerde Baselines: Bij 1% labeling presteerde de embedding-methode (0,84 AUC) beter dan een volledig gesuperviseerde ResNet-50 die is gefinetuned op dezelfde 1% van de data (0,77 AUC). Bij 5% labeling kwam de embedding-methode overeen met de prestaties van een ResNet-50 getraind op 100% van de labels. Bij 10% labeling overtrof het de volledig gesuperviseerde baseline (0,91 vs. 0,88).
• Backbone Prestaties: Self-supervised backbones (DINOv2, DINOv3) presteerden aanzienlijk beter dan de willekeurige feature MOSAIKS-baseline. De grootte van de backbone was minder belangrijk dan de kwaliteit van de pretraining.

Operationele Prestaties

• Turkse Aardbevingen (2023): Vier steden in kaart gebracht, waarbij 3.800 beschadigde gebouwen en 160.000 getroffen mensen werden geschat.
• Rolling Fork Tornado (2023): Bereikte een precisie van 0,86 en een recall van 0,80 ten opzichte van veld-ground truth in minder dan twee uur per scène.
• Maui Wildfire (2023): Leverde een beoordeling van 1.700 beschadigde gebouwen tegen 13:00 uur op de dag dat de beelden beschikbaar kwamen, waarbij de validatie een nauwkeurigheid van ~97% liet zien (99% recall, 96% precisie).
• Hurricane Melissa (Jamaica, 2025): Identificeerde wijdverspreide schade in Black River en Montego Bay. Validatiesamples toonden een hoge recall (86–96%), maar een lagere precisie (71–82%), wat wordt toegeschreven aan de conservatieve aard van de footprint join (puin buiten de contouren wordt niet meegerekend).
• Externe Evaluatie: Een onafhankelijke studie naar het Turkse schadeproduct vond een hoge specificiteit (94%) maar een lage sensitiviteit (43%), wat bevestigt dat het systeem conservatief is en zelden onbeschadigde gebouwen als beschadigd markeert, hoewel het sommige beschadigde structuren kan missen.

5. Betekenis en Claims

Het artikel positioneert HASTE als een cruciale brug tussen geavanceerd machine learning-onderzoek en directe humanitaire behoeften. De betekenis ligt in:

• Overwinnen van Domeinverschuiving: Door kleine modellen te trainen op een enkele gebeurtenis met lokale labels, vermijdt HASTE de degradatie van nauwkeurigheid die optreedt bij het toepassen van wereldwijd getrainde modellen op nieuwe, onvoorziene rampenscenario's.
• Democratisering van AI: De no-code interface stelt humanitaire partners in staat om geavanceerde schadebeoordelingsworkflows uit te voeren zonder een eigen ML-team te onderhouden.
• Afweging Tussen Snelheid en Nauwkeurigheid: Het platform biedt een praktisch kader voor hulpverleners om te kiezen tussen een tragere, pixel-nauwkeurige segmentatiemethode (Methode 1) en een snellere, iteratieve embedding-methode (Methode 2) op basis van hun directe tijdsbeperkingen.
• Reële Impact: Het systeem is verder gegaan dan theoretische benchmarks en heeft meer dan 30 echte rampen ondersteund, waarbij bruikbare data aan besluitvormers is geleverd tijdens de kritieke "gouden uren" van een ramp.

De auteurs concluderen dat hoewel de methoden door ontwerp eenvoudig zijn, ze effectief de specifieke beperkingen van rampenbestrijding aanpakken. Toekomstig werk richt zich op het integreren van vision-language modellen voor automatische labeling, active learning om de selectie van labels te optimaliseren, en het uitbreiden van de beoordeling naar infrastructuur zoals wegen en bruggen.