Using an On-Device VLM-Based Edge Computing System for Real-Time Disaster Detection

ملخص تقني: الحوسبة الطرفية القائمة على نماذج الرؤية واللغة (VLM) على الأجهزة للرصد الفوري للكوارث

بيان المشكلة
اعتمدت أنظمة الكشف عن الكوارث الطبيعية تقليديًا على الشبكات العصبية الالتفافية (CNNs) لتصنيف الصور. ورغم فعاليتها، تتطلب هذه الشبكات عادةً ضبطًا دقيقًا مكثفًا على مجموعات بيانات محددة لتحقيق دقة عالية، وتفتقر إلى القدرة على توليد استجابات باللغة الطبيعية أو التكامل بمرونة مع أجهزة الاستشعار الأخرى بعد عملية الرصد. وفي المقابل، توفر نماذج الرؤية واللغة (VLMs) فهمًا متعدد الوسائط وقدرات توليد لغة طبيعية، ولكن يُفترض غالبًا أنها ثقيلة جدًا من الناحية الحسابية للنشر الفوري على الأجهزة الطرفية ذات الموارد المحدودة. تعالج هذه الدراسة الفجوة في التحقق مما إذا كانت نماذج الرؤية واللغة يمكن أن تضاهي أو تتفوق على أداء الاستدلال للشبكات الالتفافية في اكتشاف الكوارث، مع العمل بالكامل على أجهزة طرفية محدودة الموارد، مما يتيح الكشف بنمط "التعلم الصفري" (zero-shot detection) والمهام اللاحقة القائمة على اللغة دون الاعتماد على الشبكة.

المنهجية
أُجري البحث باستخدام بيئة حوسبة طرفية على الجهاز لضمان القابلية للتطبيق الفوري وكفاءة الطاقة.

• الأجهزة: نُفذت جميع تجارب الاستدلال على جهاز Raspberry Pi 5 لمحاكاة جهاز طرفي منخفض التكلفة وقابل للتوسع.
• مجموعة البيانات: استخدمت الدراسة مجموعة بيانات AIDER (مجموعة بيانات الصور الجوية للاستجابة لحالات الطواراء)، مع تصفية البيانات لتشمل أربعة أصناف متعلقة بالكوارث: الحريق، الفيضان، انهيار المباني، وحوادث المرور. تم استبعاد "الظروف الطبيعية".
• النماذج:
  • النموذج المرجعي (CNNs): تم تقييم ثلاث بنيات معمارية: GoogLeNet (Inception v1)، وResNet-18، وMobileNet V2.
  • النموذج التجريبي (VLM): نموذج Gemma 3 (نسخة 4 مليار معلمة)، وهو نموذج متعدد الوسائط قادر على معالجة النصوص والصور.
• التصميم التجريبي:
  • ضبط العدالة: لضمان مقارنة عادلة مع نموذج VLM الذي يعمل بنمط التعلم الصفري، تم تقييم نماذج CNN أولاً باستخدام أوزان مدربة مسبقًا على ImageNet دون أي تعرض لمجموعة بيانات AIDER.
  • مقارنة الضبط الدقيق: تم لاحقًا إجراء ضبط دقيق لنماذج CNN على مجموعة بيانات AIDER (80 صورة لكل صنف للتدريب، و20 للصلاحية) لتحديد سقف الأداء المرجعي.
  • قابلية التكرار: أُجريت التجارب عبر خمس بذور عشوائية مختلفة (42–46) لاستبعاد أي تباين عرضي.
  • المقاييس: تم قياس الأداء باستخدام الدقة (Accuracy) ومقياس F1 Score.

النتائج الرئيسية

• نماذج CNN المدربة مسبقًا على ImageNet: بدون الضبط الدقيق، كان أداء نماذج CNN ضعيفًا، حيث تراوحت الدقة بين 0.20 و0.35 وتراوحت قيم F1 بين 0.10 و0.30. يشير هذا إلى أن أوزان ImageNet القياسية غير كافية لمهام تصنيف الكوارث المحددة دون تكييف.
• نماذج CNN التي خضعت للضبط الدقيق: بعد الضبط الدقيق على مجموعة بيانات AIDER، تحسن أداء CNN بشكل كبير. حققت ResNet-18 أعلى أداء بين نماذج CNN (دقة في أواخر الثمانينات)، تلتها MobileNet V2 وGoogLeNet. استقرت جميع نماذج الضبط الدقيق في نطاق دقة يتراوح بين 0.85 و0.90.
• نموذج VLM بنمط التعلم الصفري (Gemma 3): حقق نموذج Gemma 3، الذي يعمل في إعداد التعلم الصفري دون أي تدريب على مجموعة بيانات AIDER، دقة مستقرة وقيمة F1 تتراوح بين 0.92 و0.94 عبر جميع البذور.
• الأداء المقارن: تفوق نموذج VLM على نماذج CNN المدربة مسبقًا على ImageNet بفارق يصل إلى 60 نقطة مئوية (0.92–0.94 مقابل 0.20–0.35). والأهم من ذلك، كان أداء التعلم الصفري لنموذج VLM مشابهًا، بل ومتفوقًا قليًا في بعض البذور، لأداء نماذج CNN التي خضعت للضبط الدقيق. أظهر نموذج VLM أداءً ثابتًا بغض النظر عن تقسيم البيانات، مما يشير إلى تعميم قوي للأنماط البصرية المتعلقة بالكوارث التي تعلمها أثناء التدريب واسع النط scale.

الأهمية والادعاءات
تزعم الورقة أن نماذج الرؤية واللغة (VLMs) هي بديل قابل للتطبيق وربما متفوق للشبكات الالتفافية (CNNs) لرصد الكوارث في الوقت الفعلي على الأجهزة الطرفية. تكمن الأهمية الأساسية في ثلاثة مجالات:

1. جدوى الأداء: تثبت الدراسة أن نموذج VLM بـ 4 مليارات معلمة يمكنه تحقيق رصد عالي الدقة للكوارث على جهاز Raspberry Pi 5 دون الحاجة إلى ضبط دقيق خاص بمجموعة البيانات، مما يتحدى الفكرة القائلة بأن نماذج VLM ثقيلة جدًا أو تتطلب إعادة تدريب مكثفة للمهام الطرفية.
2. الكفاءة التشغيلية: من خلال العمل بالكامل على الجهاز، يضمن النظام الوظيفية في السيناريوهات ذات الاتصال المحدود أو المنعدم بالشبكة، وهو عامل حاسم في الاستجابة للكوارث.
3. التوسع الوظيفي: على عكس نماذج CNN التقليدية التي تخرج فقط تسميات الأصناف، يتيح نظام VLM توليد استجابات قائمة على اللغة الطبيعية. وهذا يسمح بتكامل مرن مع أجهزة الاستشعار الأخرى وإمكانية تنفيذ إجراءات لاحقة مؤتمتة مدفوعة باللغة (مثل التقارير الصوتية أو النصية) مباشرة عند الجهاز الطرفي.

يقر المؤلف بالقيود، وتحديدًا عدم القدرة على اختبار نماذج أكبر (مثل DeepSeek أو GPT) بسبب قيود الذاكرة في جهاز Raspberry Pi 5، ويشير إلى أن فجوات الأداء قد تختلف مع تركيبات البيانات المختلفة. ومع ذلك، تخلص الدراسة إلى أنه بالنسبة للنشر الفوري حيث تكون عوامل وقت الإعداد والتكلفة مؤثرة، توفر نماذج VLM ميزة مقنعة على مسار عمل CNN التقليدي.