Automated Wildfire Damage Assessment from Multi view Ground level Imagery Via Vision Language Models

Probleemstelling

De intensiteit en frequentie van bosbranden nemen wereldwijd toe, wat leidt tot enorme schade aan de bebouwde kom (bijv. de Eaton- en Palisades-branden in januari 2025 in Californië). De huidige processen voor schadebeoordeling na brand (Post-Disaster Damage Assessment - PDA) kampen met ernstige knelpunten:

• Handmatige inspecties zijn tijdrovend, duur en brengen inspecteurs in gevaar.
• Luchtfoto's (drones/satelliet) worden vaak geblokkeerd door rook of vegetatie en missen de nodige resolutie om individuele structuren nauwkeurig te beoordelen.
• Traditionele computer vision-modellen (zoals CNN's of ViT's) vereisen grote, gelabelde datasets voor training. In de chaotische nasleep van een ramp zijn deze datasets niet direct beschikbaar, wat de inzetbaarheid vertraagt.
• Er is een specifiek tekort aan nauwkeurigheid bij het classificeren van intermediaire schade (bijv. "aangetast" of "beschadigd" zonder volledige vernietiging), vooral wanneer de schade niet zichtbaar is vanaf de voorgevel.

Methodologie

De auteurs introduceren een zero-shot, trainingsvrij framework dat gebruikmaakt van vooraf getrainde Multimodale Grootte Taalmodellen (MLLMs) om schade te classificeren op basis van grondniveau-beelden (Ground-Level Imagery - GLI).

Kerncomponenten:

1. Modellen: De studie gebruikt primair GPT-4o en vergelijkt dit met Qwen2.5-Vision-Language-32B.
2. Data: Gegevens zijn afkomstig van de Damage Inspection (DINS) database van de staat Californië voor de branden van 2025 (Eaton en Palisades). De schadeklassen zijn geaggregeerd tot drie categorieën: Geen schade, Aangetast (samenvoeging van minor, major en affected), en Vernietigd.
3. Twee Pipelines:
   • Pipeline A (End-to-End): De MLLM ontvangt direct de beelden en genereert een schadeclassificatie op basis van de prompt.
   • Pipeline B (Gekoppeld/Decoupled): Een twee-staps proces. Eerst extraheert de MLLM gestructureerde visuele aanwijzingen (bijv. "raam gebroken: true/false") in JSON-formaat. Vervolgens gebruikt een tekstuele LLM deze indicatoren om de definitieve classificatie te maken.
4. Prompting Strategieën:
   • Zero-shot (Prompt A): Directe classificatie zonder specifieke richtlijnen.
   • Heuristisch (Prompt B): Gebaseerd op een vaste checklist van schade-indicatoren.
   • Self-Consistency (Prompt C): Het model genereert meerdere redeneerpaden (k=5) en kiest de meest consistente uitkomst.
   • Structured Chain-of-Thought (Prompt D): Het model volgt een hiërarchische logica (hypothese testen: "onbeschadigd" vs. "beschadigd" vs. "contextfilter").
5. Multi-view Analyse: In plaats van slechts één vooraanzicht, worden meerdere beelden van hetzelfde pand (voorkant, zijkant, achterkant) samengevoegd tot één contextuele input voor het model.

Belangrijkste Bijdragen

1. Multi-view Synthese: Het aantonen dat het combineren van meerdere perspectieven de classificatie van intermediaire schade drastisch verbetert, een probleem dat single-view modellen niet kunnen oplossen.
2. Trainingsvrij Framework: Een onmiddellijk inzetbare oplossing die geen lokale training of gelabelde datasets vereist, wat cruciaal is voor snelle inzet na een ramp.
3. Vergelijking van Prompting: Een systematische evaluatie van zero-shot versus geavanceerde redeneerstrategieën (CoT, Self-Consistency) om de balans tussen snelheid, kosten en interpretatiebaarheid te vinden.
4. Decoupled Architectuur: Het introduceren van een workflow waarbij visuele beschrijvingen kunnen worden gecachet, waardoor latere herschikkingen van classificatiecriteria (bijv. door nieuwe beleidsregels) kostenefficiënt kunnen worden uitgevoerd zonder de beelden opnieuw te hoeven verwerken.

Resultaten

De studie is uitgevoerd op 500 steekproeven per brandgebied.

• Single-view vs. Multi-view:
  • Bij enkelvoudige beelden (voorgevel) was de F1-score voor de categorie "Aangetast" zeer laag (0,225 – 0,511), omdat schade vaak aan de zijkant of achterkant zat.
  • Bij multi-view analyse steeg de F1-score voor "Aangetast" aanzienlijk naar 0,857 – 0,947.
  • De "Vernietigd" en "Geen schade" categorieën waren al redelijk goed te detecteren met single-view, maar de multi-view aanpak elimineerde valse positieven (huizen die als "aangetast" werden gemarkeerd maar in werkelijkheid "geen schade" hadden).
• Statistische Betekenis: De McNemar-test bevestigde dat de verbetering door multi-view analyse statistisch significant is (p < 0,0001).
• Prompting Strategieën:
  • Er was geen significant verschil in nauwkeurigheid tussen de eenvoudige zero-shot prompts en de complexe redeneerstrategieën (CoT, Self-Consistency) binnen Pipeline A.
  • Trade-off: Redeneerstrategieën bieden meer interpretatiebaarheid (auditbare redenering) maar zijn aanzienlijk duurder en langzamer (tot 20x meer tokens en latency).
  • Pipeline B Limitatie: Wanneer Pipeline B werd gebruikt met complexe redenering (Prompt D) in plaats van een strakke checklist, daalde de prestatie aanzienlijk. De tekstuele LLM kon de ongestructureerde redenering van de visuele fase niet correct interpreteren zonder visuele input, wat leidde tot "hallucinaties" en verkeerde classificaties (bijv. vernietigde huizen als "aangetast" bestempelen).
• Model Vergelijking: GPT-4o presteerde over het algemeen beter dan het open-source Qwen-model, voornamelijk door de grotere parameteromvang en geavanceerdere verwerking van hoge resolutie (tiling).

Betekenis en Toekomstperspectief

De studie toont aan dat MLLMs een revolutionaire stap kunnen zijn in de noodhulp, omdat ze:

• Direct inzetbaar zijn zonder trainingstijd.
• Intermediaire schade nauwkeurig kunnen detecteren door meerdere hoeken te combineren, wat essentieel is voor eerlijke hulpverlening.
• Flexibel zijn: Practici kunnen kiezen tussen snelheid (zero-shot) of transparantie (CoT) afhankelijk van de situatie.

Beperkingen en Aanbevelingen:

• Het model heeft moeite met subtiele details zoals gebroken glas (door transparantie) en kan soms objecten voor de deur (zoals een tarp) verkeerd interpreteren als schade.
• Een mens-in-de-lus (HITL) benadering blijft essentieel voor validatie, vooral bij twijfelgevallen of kritieke classificaties.
• Toekomstig werk moet zich richten op het verfijnen van de granulariteit (scheiden van minor/major schade) en het integreren van aanvullende data (zoals geospatiale data of bouwmateriaal) om de nauwkeurigheid verder te verhogen.

Concluderend biedt dit framework een praktische, schaalbare en onmiddellijk inzetbare tool voor rampenbeheerders om prioriteiten te stellen en hulpbronnen efficiënter toe te wijzen na bosbranden.