Using an On-Device VLM-Based Edge Computing System for Real-Time Disaster Detection

Sintesi Tecnica: Edge Computing basato su VLM on-device per il rilevamento in tempo reale di disastri

Problematica
I sistemi di rilevamento dei disastri naturali si sono tradizionalmente affidati alle Reti Neurali Convoluzionali (CNN) per la classificazione delle immagini. Sebbene efficaci, le CNN richiedono tipicamente un esteso fine-tuning su dataset specifici per raggiungere un'elevata accuratezza e mancano della capacità di generare risposte in linguaggio naturale o di integrarsi in modo flessibile con altri sensori post-rilevamento. Al contrario, i Modelli Vision-Language (VLM) offrono comprensione multimodale e capacità di generazione di linguaggio naturale, ma si assume spesso che siano troppo pesanti dal punto di cui computazionale per un deployment su dispositivi edge in tempo reale. Questo studio affronta il divario nel verificare se i VLM possano eguagliare o superare le prestazioni di inferenza delle CNN operando interamente su hardware edge con risorse limitate, abilitando così il rilevamento zero-shot e task a valle basati sul linguaggio naturale senza dipendenza dalla rete.

Metodologia
La ricerca è stata condotta utilizzando un ambiente di edge computing on-device per garantire l'applicabilità in tempo reale ed l'efficienza energetica.

• Hardware: Tutti gli esperimenti di inferenza sono stati eseguiti su un Raspberry Pi 5 per simulare un dispositivo edge a basso costo e scalabile.
• Dataset: Lo studio ha utilizzato l'AIDER (Aerial Image Dataset for Emergency Response Applications), filtrando i dati in quattro classi legate ai disastri: incendio, inondazione, crollo di edifici e incidente stradale. Le "condizioni normali" sono state escluse.
• Modelli:
  • Baseline (CNNs): Sono state valutate tre architetture: GoogLeNet (Inception v1), ResNet-18 e MobileNet V2.
  • Sperimentale (VLM): Gemma 3 (variante da 4 miliardi di parametri), un modello multimodale capace di elaborare testo e immagini.
• Design Sperimentale:
  • Controllo di Equità: Per garantire un confronto equo con il VLM zero-shot, le CNN sono state prima valutate utilizzando pesi pre-addestrati su ImageNet senza alcuna esposizione al dataset AIDER.
  • Confronto del Fine-Tuning: Le CNN sono state successivamente sottoposte a fine-tuning sul dataset AIDER (80 immagini per classe per l'addestramento, 20 per la validazione) per stabilire una baseline di prestazione limite superiore.
  • Riproducibilità: Gli esperimenti sono stati eseguiti attraverso cinque diversi seed casuali (42–46) per escludere variazioni incidentali.
  • Metriche: Le prestazioni sono state misurate utilizzando Accuratezza e F1 Score.

Risultati Chiave

• CNN pre-addestrate su ImageNet: Senza fine-tuning, i modelli CNN hanno performato scarsamente, con un'accuratezza compresa tra 0,20 e 0,35 e F1 score tra 0,10 e 0,30. Ciò indica che i pesi standard di ImageNet sono insufficienti per compiti specifici di classificazione dei disastri senza adattamento.
• CNN con Fine-Tuning: Dopo il fine-tuning sul dataset AIDER, le prestazioni delle CNN sono migliorate significativamente. ResNet-18 ha ottenuto la prestazione più elevata tra le CNN (accuratezza nell'ordine degli 0,8 alti), seguita da MobileNet V2 e GoogLeNet. Tutti i modelli con fine-tuning si sono stabilizzati nell'intervallo di accuratezza 0,85–0,90.
• Zero-Shot VLM (Gemma 3): Il modello Gemma 3, operando in un contesto zero-shot senza alcun addestramento sul dataset AIDER, ha raggiunto un'accuratezza e un F1 score stabili tra 0,92 e 0,94 attraverso tutti i seed.
• Prestazioni Comparative: Il VLM ha superato le CNN pre-addestrate su ImageNet con un margine di circa 60 punti percentuali (0,92–0,94 vs 0,20–0,35). Fondamentalmente, la prestazione zero-shot del VLM è comparabile, e in alcuni seed leggermente superiore, alle CNN con fine-tuning. Il VLM ha dimostrato una prestazione costante indipendentemente dalla suddivisione dei dati, suggerendo una robusta generalizzazione dei pattern visivi legati ai disastri appresi durante il suo pre-addestramento su larga scala.

Significatività e Rivendicazioni
Il documento sostiene che i VLM siano un'alternativa valida e potenzialmente superiore alle CNN per il rilevamento dei disastri in tempo reale su dispositivi edge. La significatività primaria risiede in tre aree:

1. Vitalità delle Prestazioni: Lo studio dimostra che un VLM da 4 miliardi di parametri può raggiungere un rilevamento dei disastri ad alta accuratezza su un Raspberry Pi 5 senza la necessità di un fine-tuning specifico per il dataset, sfidando la nozione che i VLM siano troppo pesanti o richiedano un addestramento esteso per task edge.
2. Efficienza Operativa: Operando interamente on-device, il sistema garantisce la funzionalità in scenari con connettività di rete limitata o assente, un fattore critico per la risposta ai disastri.
3. Espansione Funzionale: A differenza delle tradizionali CNN che restituiscono solo etichette di classe, il sistema basato su VLM abilita la generazione di risposte in linguaggio naturale. Ciò consente un'integrazione flessibile con altri sensori e il potenziale per azioni automatizzate guidate dal linguaggio (ad esempio, reportistica vocale o testuale) direttamente all'edge.

L'autore riconosce i limiti, specificamente l'impossibilità di testare modelli più grandi (es. DeepSeek, GPT) a causa dei vincoli di memoria del Raspberry Pi 5, e nota che i gap di prestazione possono variare con diverse composizioni dei dati. Tuttavia, lo studio conclude che per il deployment immediato dove i fattori tempo di setup e costi sono rilevanti, i VLM offrono un vantaggio convincente rispetto alla tradizionale pipeline CNN.