Using an On-Device VLM-Based Edge Computing System for Real-Time Disaster Detection

Technische Samenvatting: On-Device VLM-gebaseerde Edge Computing voor Real-time Rampendetectie

Probleemstelling
Systemen voor rampendetectie vertrouwden traditioneel op Convolutionele Neurale Netwerken (CNN's) voor beeldclassificatie. Hoewel effectief, vereisen CNN's doorgaans uitgebreide fine-tuning op specifieke datasets om een hoge nauwkeurigheid te bereiken en missen ze het vermogen om natuurlijke taalreacties te genereren of na detectie flexibel te integreren met andere sensoren. Daartegenover staan Vision-Language Models (VLM's), die bieden in termen van multimodale begrip en natuurlijke taalgeneratie, maar vaak worden verondersteld te rekenkrachtig te zijn voor real-time, on-device edge-implementatie. Deze studie adresseert de kloof in het verifiëren of VLM's de inferentieprestaties van CNN's kunnen evenaren of overtreffen voor rampendetectie, terwijl ze volledig opereren op resource-beperkte edge-hardware, wat zero-shot detectie en natuurlijke taalgebaseerde downstream-taken zonder netwerkafhankelijkheid mogelijk maakt.

Methodologie
Het onderzoek werd uitgevoerd in een on-device edge computing-omgeving om real-time toepasbaarheid en energie-efficiëntie te waarborgen.

• Hardware: Alle inferentie-experimenten werden uitgevoerd op een Raspberry Pi 5 om een goedkope, schaalbare edge-device te simuleren.
• Dataset: De studie maakte gebruik van de AIDER (Aerial Image Dataset for Emergency Response Applications), waarbij de data werd gefilterd naar vier rampgerelateerde klassen: brand, overstroming, gebouwinstorting en verkeersongevallen. "Normale condities" werden uitgesloten.
• Modellen:
  • Baseline (CNN's): Drie architecturen werden geëvalueerd: GoogLeNet (Inception v1), ResNet-18 en MobileNet V2.
  • Experimenteel (VLM): Gemma 3 (de 4B-parameter variant), een multimodale model dat in staat is tekst en afbeeldingen te verwerken.
• Experimenteel Ontwerp:
  • Fairness Control: Om een eerlijke vergelijking met de zero-shot VLM te garanderen, werden de CNN's eerst geëvalueerd met ImageNet-pre-trained gewichten zonder enige blootstelling aan de AIDER-dataset.
  • Fine-Tuning Vergelijking: De CNN's werden vervolgens gefinetuned op de AIDER-dataset (80 afbeeldingen per klasse voor training, 20 voor validatie) om een upper-bound performance baseline vast te stellen.
  • Reproduceerbaarheid: Experimenten werden uitgevoerd over vijf verschillende random seeds (42–46) om incidentele variatie uit te sluiten.
  • Metrieken: Prestaties werden gemeten aan de hand van Accuracy en F1-score.

Belangrijkste Resultaten

• ImageNet-Pre-trained CNN's: Zonder fine-tuning presteerden de CNN-modellen zwak, met een nauwkeurigheid variërend tussen 0,20 en 0,35 en F1-scores tussen 0,10 en 0,30. Dit geeft aan dat standaard ImageNet-gewichten onvoldoende zijn voor specifieke rampclassificatietaken zonder aanpassing.
• Fine-Tuned CNN's: Na fine-tuning op de AIDER-dataset verbeterde de prestatie van de CNN's aanzienlijk. ResNet-18 behaalde de hoogste prestatie onder de CNN's (nauwkeurigheid in de hoge 0,8-range), gevolgd door MobileNet V2 en GoogLeNet. Alle gefinetunede modellen stabiliseerden in de range van 0,85–0,90 nauwkeurigheid.
• Zero-Shot VLM (Gemma 3): Het Gemma 3-model, werkend in een zero-shot setting zonder enige training op de AIDER-dataset, behaalde een stabiele nauwkeurigheid en F1-score tussen 0,92 en 0,94 over alle seeds.
• Vergelijkende Prestaties: De VLM presteerde beter dan de ImageNet-pre-trained CNN's met een marge van ongeveer 60 procentpunten (0,92–0,94 vs. 0,20–0,35). Cruciaal is dat de zero-shot prestatie van de VLM vergelijkbaar was met, en in sommige seeds zelfs licht superieur aan, de gefinetunede CNN's. De VLM demonstreerde een consistente prestatie ongeacht de data-split, wat wijst op een robuuste generalisatie van rampgerelateerde visuele patronen geleerd tijdens de grootschalige pretraining.

Betekenis en Claims
Het artikel claimt dat VLM's een levensvatbaar en potentieel superieur alternatief zijn voor CNN's voor real-time rampendetectie op edge-devices. De primaire significantie ligt in drie gebieden:

1. Prestatie-viabiliteit: De studie toont aan dat een 4B-parameter VLM een hoge-nauwkeurigheid rampendetectie kan bereiken op een Raspberry Pi 5 zonder de noodzaak van dataset-specifieke fine-tuning, wat het idee uitdaagt dat VLM's te zwaar zijn of uitgebreide hertraining vereisen voor edge-taken.
2. Operationele Efficiëntie: Door volledig on-device te opereren, garandeert het systeem functionaliteit in scenario's met beperkte of geen netwerkverbinding, een cruciale factor voor rampenbestrijding.
3. Functionele Expansie: In tegen tegenstelling tot traditionele CNN's die alleen klasse-labels outputten, maakt het VLM-gebaseerde systeem natuurlijke taalgebaseerde responsgeneratie mogelijk. Dit maakt flexibele integratie met andere sensoren en de potentie voor geautomatiseerde, taalgestuurde downstream-acties (bijv. stem- of tekstgebaseerde rapportage) direct aan de edge mogelijk.

De auteur erkent beperkingen, specifiek het onvermogen om grotere modellen (bijv. DeepSeek, GPT) te testen vanwege de geheugenbeperkingen van de Raspberry Pi 5, en merkt op dat prestatiekloven kunnen variëren met verschillende datasamenstellingen. Desalniettemin concludeert de studie dat voor directe inzetbaarheid waar setup-tijd en kosten een factor zijn, VLM's een overtuigend voordeel bieden ten opzichte van de traditionele CNN-pipeline.