Using an On-Device VLM-Based Edge Computing System for Real-Time Disaster Detection

तकनीकी सारांश: वास्तविक समय में आपदा का पता लगाने के लिए ऑन-डिवाइस VLM-आधारित एज कंप्यूटिंग

समस्या विवरण
प्राकृतिक आपदा पहचान प्रणाली पारंपरिक रूप से इमेज क्लासिफिकेशन के लिए कन्वोल्यूशनल न्यूरल नेटवर्क्स (CNNs) पर निर्भर रही है। हालांकि ये प्रभावी हैं, लेकिन उच्च सटीकता प्राप्त करने के लिए इन्हें विशिष्ट डेटासेट पर व्यापक फाइन-ट्यूनिंग की आवश्यकता होती है और इनमें प्राकृतिक भाषा प्रतिक्रियाएँ उत्पन्न करने या डिटेक्शन के बाद अन्य सेंसरों के साथ लचीले ढंग से एकीकृत होने की क्षमता का अभाव होता है। इसके विपरीत, विजन-लैंग्वेज मॉडल्स (VLMs) मल्टीमॉडल समझ और प्राकृतिक भाषा निर्माण क्षमताएं प्रदान करते हैं, लेकिन अक्सर यह माना जाता है कि वे वास्तविक समय के, ऑन-डिवाइस एज डिप्लॉयमेंट के लिए बहुत अधिक कम्प्यूटेशनल रूप से भारी होते हैं। यह अध्ययन इस अंतर को संबोधित करता है कि क्या VLMs, पूरी तरह से संसाधन-सीमित एज हार्डवेयर पर संचालित होते हुए, आपदा पहचान के लिए CNNs के इन्फरेंस प्रदर्शन का मुकाबला कर सकते हैं या उससे बेहतर प्रदर्शन कर सकते हैं, जिससे नेटवर्क निर्भरता के बिना ज़ीरो-शॉट डिटेक्शन और प्राकृतिक भाषा-आधारित डाउनस्ट्रीम कार्य सक्षम हो सकें।

कार्यप्रणाली
वास्तविक समय की प्रयोज्यता और ऊर्जा दक्षता सुनिश्चित करने के लिए शोध को एक ऑन-डिवाइस एज कंप्यूटिंग वातावरण का उपयोग करके संचालित किया गया था।

• हार्डवेयर: सभी इन्फरेंस प्रयोग एक रस्पबेरी पाई 5 (Raspberry Pi 5) पर निष्पादित किए गए थे ताकि एक कम लागत वाले, स्केलेबल एज डिवाइस का अनुकरण किया जा सके।
• डेटासेट: अध्ययन में AIDER (एरियल इमेज डेटासेट फॉर इमरजेंसी रिस्पांस एप्लिकेशन्स) का उपयोग किया गया, जिसमें डेटा को चार आपदा-संबंधी श्रेणियों में फ़िल्टर किया गया: आग (fire), बाढ़ (flood), इमारत का ढहना (building collapse), और यातायात दुर्घटना (traffic accident)। "सामान्य स्थितियों" (normal conditions) को बाहर रखा गया।
• मॉडल:
  • बेसलाइन (CNNs): तीन आर्किटेक्चर का मूल्यांकन किया गया: GoogLeNet (Inception v1), ResNet-18, और MobileNet V2।
  • प्रायोगिक (VLM): Gemma 3 (4B पैरामीटर वेरिएंट), एक मल्टीमॉडल मॉडल जो टेक्स्ट और इमेज को प्रोसेस करने में सक्षम है।
• प्रायोगिक डिज़ाइन:
  • निष्पक्षता नियंत्रण: ज़ीरो-शॉट VLM के साथ निष्पक्ष तुलना सुनिश्चित करने के लिए, CNNs का मूल्यांकन पहले बिना किसी AIDER डेटासेट एक्सपोज़र के ImageNet-प्रीट्रेन्ड वेट्स का उपयोग करके किया गया।
  • फाइन-ट्यूनिंग तुलना: बेसलाइन प्रदर्शन स्थापित करने के लिए, CNNs को बाद में AIDER डेटासेट पर फाइन-ट्यून किया गया (प्रशिक्षण के लिए प्रति क्लास 80 इमेज, वैलिडेशन के लिए 20)।
  • पुनरुत्पादकता (Reproducibility): प्रयोग पांच अलग-अलग रैंडम सीड्स (42–46) पर चलाए गए ताकि आकस्मिक भिन्नता को खारिज किया जा सके।
  • मेट्रिक्स: प्रदर्शन को सटीकता (Accuracy) और F1 स्कोर के माध्यम से मापा गया।

मुख्य परिणाम

• ImageNet-प्रीट्रेन्ड CNNs: बिना फाइन-ट्यूनिंग के, CNN मॉडल का प्रदर्शन खराब रहा, जिसकी सटीकता 0.20 और 0.35 के बीच तथा F1 स्कोर 0.10 और 0.30 के बीच था। यह दर्शाता है कि बिना अनुकूलन के मानक ImageNet वेट्स विशिष्ट आपदा वर्गीकरण कार्यों के लिए अपर्याप्त हैं।
• फाइन-ट्यूनड CNNs: AIDER डेटासेट पर फाइन-ट्यून करने के बाद, CNN के प्रदर्शन में महत्वपूर्ण सुधार हुआ। ResNet-18 ने CNNs में उच्चतम प्रदर्शन प्राप्त किया (उच्च 0.8s की सटीकता के साथ), जिसके बाद MobileNet V2 और GoogLeNet का स्थान रहा। सभी फाइन-ट्यून किए गए मॉडल 0.85–0.90 की सटीकता सीमा में स्थिर रहे।
• ज़ीरो-शॉट VLM (Gemma 3): Gemma 3 मॉडल, जो AIDER डेटासेट पर बिना किसी प्रशिक्षण के ज़ीरो-शॉट सेटिंग में संचालित था, ने सभी सीड्स केAcross 0.92 और 0.94 के बीच एक स्थिर सटीकता और F1 स्कोर प्राप्त किया।
• तुलनात्मक प्रदर्शन: VLM ने ImageNet-प्रीट्रेन्ड CNNs को लगभग 60 प्रतिशत अंकों के अंतर से (0.92–0.94 बनाम 0.20–0.35) पीछे छोड़ दिया। महत्वपूर्ण रूप से, VLM का ज़ीरो-शॉट प्रदर्शन फाइन-ट्यून किए गए CNNs के बराबर था, और कुछ सीड्स में उससे थोड़ा बेहतर भी था। VLM ने डेटा स्प्लिट के बावजूद सुसंगत प्रदर्शन दिखाया, जो इसके बड़े पैमाने पर प्रीट्रेनिंग के दौरान सीखे गए आपदा-संबंधी दृश्य पैटर्न के मजबूत सामान्यीकरण (generalization) का सुझाव देता है।

महत्व और दावे
यह शोध दावा करता है कि VLMs, एज डिवाइसेस पर वास्तविक समय में आपदा का पता लगाने के लिए CNNs के एक व्यवहार्य और संभावित रूप से बेहतर विकल्प हैं। प्राथमिक महत्व तीन क्षेत्रों में निहित है:

1. प्रदर्शन व्यवहार्यता: यह अध्ययन प्रदर्शित करता है कि एक 4B पैरामीटर वाला VLM, बिना किसी डेटासेट-विशिष्ट फाइन-ट्यूनिंग की आवश्यकता के, रस्पबेरी पाई 5 पर उच्च-सटीक आपदा पहचान प्राप्त कर सकता है, जो इस धारणा को चुनौती देता है कि VLMs बहुत भारी होते हैं या उन्हें एज कार्यों के लिए व्यापक रिट्रेनिंग की आवश्यकता होती है।
2. परिचालन दक्षता: पूरी तरह से ऑन-डिवाइस संचालित होकर, यह सिस्टम सीमित या बिना नेटवर्क कनेक्टिविटी वाले परिदृश्यों में कार्यक्षमता सुनिश्चित करता है, जो आपदा प्रतिक्रिया के लिए एक महत्वपूर्ण कारक है।
3. कार्यात्मक विस्तार: पारंपरिक CNNs के विपरीत जो केवल क्लास लेबल आउटपुट करते हैं, VLM-आधारित सिस्टम प्राकृतिक भाषा-आधारित प्रतिक्रिया निर्माण को सक्षम बनाता है। यह अन्य सेंसरों के साथ लचीले एकीकरण और सीधे एज पर ही स्वचालित, भाषा-संचालित डाउनस्ट्रीम कार्यों (जैसे वॉयस या टेक्स्ट-आधारित रिपोर्टिंग) की क्षमता की अनुमति देता है।

लेखक सीमाओं को स्वीकार करते हैं, विशेष रूप से रस्पबेरी पाई 5 की मेमोरी सीमाओं के कारण बड़े मॉडल्स (जैसे DeepSeek, GPT) को टेस्ट करने में असमर्थता, और नोट करते हैं कि विभिन्न डेटा संरचनाओं के साथ प्रदर्शन अंतराल भिन्न हो सकते हैं। हालांकि, अध्ययन निष्कर्ष निकालता है कि जहाँ सेटअप समय और लागत कारक हैं, वहाँ VLMs पारंपरिक CNN पाइपलाइन की तुलना में एक आकर्षक लाभ प्रदान करते हैं।