DamageArbiter: A Multimodal Arbitration Framework for Disaster Damage Assessment from Street-View Imagery

Technische Samenvatting: DamageArbiter

Probleemstelling
Snelle, hyperlokale beoordeling van rampenschade via straatbeeld is cruciaal voor noodhulp en de toewijzing van middelen. Hoewel computervisiemodellen een veelbelovende weg bieden, leunen bestaande benaderingen doorgaans op "black box" vooraf getrainde visiemodellen (bijv. ViT, Swin Transformer) die lijden aan drie primaire beperkingen: (1) een zware afhankelijkheid van kostbare handmatige annotaties; (2) evaluatie gebaseerd op primair nauwkeurigheidsmetrieken, wat faalt in het vastleggen van de betrouwbaarheid van het model; en (3) kwetsbaarheid voor modaliteitsspecifieke fouten. Specifiek produceren alleen-beeldmodellen vaak "overconfidence errors" (fouten door overmatige zelfverzekerdheid)—onjuiste voorspellingen gedaan met een hoge mate van zekerheid—die bijzonder gevaarlijk zijn in rampcontexten waar valse zekerheid besluitvorming kan misleiden. Bovendien blijft de toepassing van Vision-Language Models (VLM's) zoals CLIP in dit domein nog in de kinderschoenen door een gebrek aan hoogwaardige beeld-tekstdatasets en een onvoldoende evaluatie van hun betrouwbaarheid vergeleken met unimodale baselines.

Methodologie
De studie stelt DamageArbiter voor, een multimodale, op onenigheid gebaseerde arbitrage-framework (disagreement-driven arbitration framework) ontworpen om zowel de nauwkeurigheid als de betrouwbaarheid van de classificatie van rampenschade te verbeteren. De methodologie omvat de volgende componenten:

1. Dataset: Het onderzoek maakt gebruik van de Milton-SV dataset, bestaande uit 2.556 post-Hurricane Milton straatbeeldbeelden uit Horseshoe Beach, Florida. Deze beelden zijn gekoppeld aan handmatig gegenereerde beschrijvingen van schade en beschrijvingen gegenereerd door Large Language Models (LLM's), specifiek GPT-4o-mini.
2. Baseline Architecturen: Drie baseline architecturen werden geïmplementeerd en gefinetuned:
   • Alleen-beeld (Image-Only): Een Vision Transformer (ViT) model.
   • Alleen-tekst (Text-Only): Een CLIP text encoder met behulp van menselijke of door LLM gegenereerde bijschriften.
   • Multimodaal: Een CLIP-gebaseerd model dat gebruikmaakt van contrastief leren om beeld- en tekstembeddings uit te lijnen, gevolgd door een classificatiekop.
3. DamageArbiter Framework: Dit framework werkt op basis van de outputs van de gefinetunede ViT (alleen-beeld) en CLIP-LLM (multimodaal) modellen.
   • Overeenstemming (Agreement): Als beide modellen dezelfde ernst van de schade voorspellen (mild, matig of ernstig), wordt die voorspelling geaccepteerd.
   • Onenigheid (Disagreement): Wanneer modellen van mening verschillen, fungeert een lichtgewicht logistische regressie meta-classifier als arbiter. Deze analyseert de voorspelde waarschijnlijkheidsverdelingen (specifiek de max-softmax zekerheid) van de twee basismodellen om te bepalen welk model vertrouwd kan worden.
4. Betrouwbaarheidsmetrieken: Naast standaard classificatiemetrieken (Accuracy, MCC, F1), introduceert de studie een rigoureuze analyse van vertrouwen-gebaseerde fouten. Fouten worden gecategoriseerd in:
   • Overconfidence (Overmatige zelfverzekerdheid): Onjuiste voorspellingen met een hoge zekerheid (betrouwbaarheidsmarge 0,4–1,0).
   • Ambiguity (Ambiguïteit): Onjuiste voorspellingen met een lage zekerheid waarbij concurrerende klassen vergelijkbare waarschijnlijkheden hebben.
   • Onzekerheidsmaten: Shannon-entropie en de beslissingsmarge worden berekend om voorspellende onzekerheid te kwantificeren.

Belangrijkste Resultaten
De evaluatie, uitgevoerd op de Milton-SV dataset, leverde de volgende bevindingen op:

• Prestaties: DamageArbiter behaalde de hoogste classificatieprestaties van alle geteste modellen. Het bereikte een nauwkeurigheid van 75,85% en een Matthews Correlation Coefficient (MCC) van 0,6188. Dit presteerde beter dan de beste unimodale alleen-beeld baseline (ViT-B/32: 74,33% nauwkeurigheid, 0,5947 MCC) en de beste multimodale CLIP baseline (74,22% nauwkeurigheid, 0,5915 MCC).
• Betrouwbaarheid en Overconfidence: De meest significante bevinding heeft betrekking op de betrouwbaarheid van het model. De best presterende alleen-beeld baseline (ViT-B/32) vertoonde een hoog percentage overconfidence errors (70,58%). In contrast hiermee produceerden de multimodale CLIP-modellen 0% overconfidence errors, hoewel ze leden onder hogere ambiguïteit.
• Effectiviteit van Arbitrage: Door gebruik te maken van het arbitrage-mechanisme, verminderde DamageArbiter het overconfidence error rate naar 16,45%. Dit vertegenwoordigt een substantiële mitigatie van valse zekerheid terwijl de algehele nauwkeurigheid tegelijkertijd werd verbeterd.
• LLM versus Menselijke Tekst: Hoewel menselijk gegenereerde bijschriften een iets betere semantische uitlijning (hogere CLIPScore) en classificatieprestaties opleverden dan door LLM gegenereerde bijschriften, was het verschil klein. Dit suggereert dat door LLM gegenereerde beschrijvingen een levensvatbaar, kosteneffectief alternatief zijn voor het verrijken van straatbeelddata wanneer menselijke annotatie beperkt is.
• Ablatie: De ablatie-studie bevestigde dat een logistische regressie-arbiter die enkel gebruikmaakt van max-softmax zekerheidskenmerken, voldoende was om optimale prestaties te behalen, waarbij het beter presteerde dan een eenvoudige heuristiek die simpelweg het meest zelfverzekerde model volgt.

Betekenis en Bijdragen
Het artikel claimt drie primaire bijdragen:

1. Herwaardering van Evaluatiemetrieken: De studie demonstreert dat nauwkeurigheid alleen onvoldoende is voor het evalueren van classificatiemodellen voor rampenschade. Het benadrukt het cruciale belang van het meten van overconfidence errors als een kerncomponent van modelbetrouwbaarheid, vooral in scenario's met hoge inzet waar zelfverzekerde maar onjuiste voorspellingen schadelijk kunnen zijn.
2. Het DamageArbiter Framework: Het introduceert een lichtgewicht, inzetbaar arbitrage-framework dat er succesvol in slaagt de sterke visuele discriminatie van alleen-beeldmodellen te integreren met het conservatieve, op betrouwbaarheid gerichte profiel van multimodale VLM's. Deze aanpak verbetert zowel de voorspellende nauwkeurigheid als de gebalanceerde classificatie (MCC).
3. Mitigatie van Valse Zekerheid: Het onderzoek levert empirisch bewijs dat arbitrage gebaseerd op onenigheid de overconfidence (van 70,58% naar 16,45%) substantieel kan verminderen zonder de nauwkeurigheid op te offeren. Dit biedt een betrouwbaarder pad voor AI-ondersteunde rampenbeoordeling vanuit straatbeeld.

De auteurs concluderen dat hoewel het framework veelbelovend is, de generaliseerbaarheid naar andere typen rampen en geografische regio's verdere tests vereist, en dat toekomstig werk zich moet richten op het uitbreiden van de classificatie van ernstniveaus naar type-specifieke schadekaarten.