Using an On-Device VLM-Based Edge Computing System for Real-Time Disaster Detection

Résumé technique : Calcul en périphérie (Edge Computing) basé sur les VLM sur l'appareil pour la détection de catastrophes en temps réel

Énoncé du problème
Les systèmes de détection de catastrophes naturelles reposent traditionnellement sur des réseaux de neurones convolutifs (CNN) pour la classification d'images. Bien qu'efficaces, les CNN nécessitent généralement un ajustement fin (fine-tuning) intensif sur des jeux de données spécifiques pour atteindre une grande précision et manquent de capacité à générer des réponses en langage naturel ou à s'intégrer de manière flexible avec d'autres capteurs après la détection. À l'inverse, les modèles vision-langage (VLM) offrent une compréhension multimodale et des capacités de génération de langage naturel, mais ils sont souvent considérés comme trop lourds pour un déploiement en temps réel sur des appareils de périphérie (edge) aux ressources limitées. Cette étude vise à combler la lacune consistant à vérifier si les VLM peuvent égaler ou dépasser les performances d'inférence des CNN tout en opérant entièrement sur du matériel de périphérie à ressources contraintes, permettant ainsi une détection zero-shot et des tâches en aval basées sur le langage naturel sans dépendance au réseau.

Méthodologie
La recherche a été menée dans un environnement de calcul en périphérie sur l'appareil afin de garantir l'applicabilité en temps réel et l'efficacité énergétique.

• Matériel : Toutes les expériences d'inférence ont été exécutées sur un Raspberry Pi 5 pour simuler un dispositif de périphérie à faible coût et évolutif.
• Jeu de données : L'étude a utilisé le jeu de données AIDER (Aerial Image Dataset for Emergency Response Applications), en filtrant les données pour quatre classes liées aux catastrophes : incendie, inondation, effondrement de bâtiment et accident de la circulation. Les « conditions normales » ont été exclues.
• Modèles :
  • Base de référence (CNN) : Trois architectures ont été évaluées : GoogLeNet (Inception v1), ResNet-18 et MobileNet V2.
  • Expérimental (VLM) : Gemma 3 (variante à 4 milliards de paramètres), un modèle multimodal capable de traiter du texte et des images.
• Conception expérimentale :
  • Contrôle d'équité : Pour assurer une comparaison équitable avec le VLM zero-shot, les CNN ont d'abord été évalués à l'aide de poids pré-entraînés sur ImageNet sans aucune exposition au jeu de données AIDER.
  • Comparaison par ajustement fin : Les CNN ont ensuite été ajustés sur le jeu de données AIDER (80 images par classe pour l'entraînement, 20 pour la validation) afin d'établir une base de performance supérieure.
  • Reproductibilité : Les expériences ont été exécutées sur cinq graines aléatoires distinctes (42–46) pour écarter toute variation incidente.
  • Métriques : La performance a été mesurée via la précision (Accuracy) et le score F1.
• Résultats clés :
  • CNN pré-entraînés sur ImageNet : Sans ajustement fin, les modèles CNN ont obtenu de faibles performances, avec une précision comprise entre 0,20 et 0,35 et des scores F1 entre 0,10 et 0,30. Cela indique que les poids standards d'ImageNet sont insuffisants pour des tâches de classification de catastrophes spécifiques sans adaptation.
  • CNN ajustés (Fine-Tuned) : Après l'ajustement fin sur le jeu de données AIDER, la performance des CNN s'est considérablement améliorée. ResNet-18 a obtenu la meilleure performance parmi les CNN (précision dans les 0,8 élevés), suivi de MobileNet V2 et GoogLeNet. Tous les modèles ajustés se sont stabilisés dans une plage de précision de 0,85 à 0,90.
  • VLM Zero-Shot (Gemma 3) : Le modèle Gemma 3, opérant dans un contexte zero-shot sans aucun entraînement sur le jeu de données AIDER, a atteint une précision et un score F1 stables entre 0,92 et 0,94 sur toutes les graines.
  • Performance comparative : Le VLM a surpassé les CNN pré-entraînés sur ImageNet avec une marge d'environ 60 points de pourcentage (0,92–0,94 contre 0,20–0,35). Crucialement, la performance zero-shot du VLM est comparable, et dans certaines graines légèrement supérieure, aux CNN ajustés. Le VLM a démontré une performance constante quel que soit le découpage des données, suggérant une généralisation robuste des motifs visuels liés aux catastrophes appris lors de son pré-entraînement à grande échelle.

Signification et affirmations
L'article affirme que les VLM sont une alternative viable et potentiellement supérieure aux CNN pour la détection de catastrophes en temps réel sur les appareils de périphérie. La principale importance réside dans trois domaines :

1. Viabilité de la performance : L'étude démontre qu'un VLM de 4 milliards de paramètres peut atteindre une détection de catastrophes de haute précision sur un Raspberry Pi 5 sans nécessiter d'ajustement fin spécifique au jeu de données, remettant en question l'idée que les VLM sont trop lourds ou nécessitent un ré-entraînement extensif pour les tâches de périphérie.
2. Efficacité opérationnelle : En opérant entièrement sur l'appareil, le système garantit une fonctionnalité dans des scénarios avec une connectivité réseau limitée ou inexistante, un facteur critique pour l'intervention en cas de catastrophe.
3. Expansion fonctionnelle : Contrairement aux CNN traditionnels qui ne produisent que des étiquettes de classe, le système basé sur le VLM permet la génération de réponses en langage naturel. Cela permet une intégration flexible avec d'autres capteurs et le potentiel d'actions automatisées pilotées par le langage (par exemple, des rapports textuels ou vocaux) directement en périphérie.

L'auteur reconnaît des limites, spécifiquement l'impossibilité de tester des modèles plus larges (ex: DeepSeek, GPT) en raison des contraintes de mémoire du Raspberry Pi 5, et note que les écarts de performance peuvent varier selon les compositions de données. Cependant, l'étude conclut que pour un déploiement immédiat où le temps de configuration et le coût sont des facteurs déterminants, les VLM offrent un avantage convaincant par rapport au pipeline CNN traditionnel.