Drone-Based Early Forest Fire Detection Using Vision-Language Models on NVIDIA Jetson Orin Nano
تقدم هذه الورقة إطار عمل للذكاء الاصطنا الاصطناعي الطرفي (edge-AI) تم نشره على طائرة بدون طيار مجهزة بمنصة NVIDIA Jetson Orin Nano، يجمع بين كاشف YOLOv8s مضبوط بدقة مع نموذج رؤية-لغة قائم على CLIP لتحقيق كشف فوري وعالي الدقة لحرائق الغابات مع أوصاف للمشهد باللغة الطبيعية، مما يقلل بشكل كبير من الإيجابيات الكاذبة مع الحفاظ على زمن انتقال منخفض.
المؤلفون الأصليون:Mohamed Amine Jabli, Abdellaoui Mehrez, Douik Ali
تُعد حرائق الغابات قوة طبيعية لا تهدأ، وهي تزداد سرعة وتدميراً مع ارتفاع درجة حرارة المناخ. ولعقود من الزمن، اعتمد السباق لإيقافها على رصد أول خيط من الدخان أو أول ومضة لهب قبل أن ينتشر الحريق خارج نطاق السيطرة. وغالباً ما تصل الأساليب التقليدية، مثل الأقمار الصناعية أو الكاميرات الثابتة، متأخرة جداً أو تخفق في رصد الحريق تماماً بسبب السحب، أو التضاريس، أو الاتساع الشاسع للمناظر الطبيعية. ولتجسير هذه الفجوة، لجأ العلماء إلى الطائرات بدون طيار (الدرونز)، بإرسالها إلى السماء لتعمل كعيون متنقلة. ومع ذلك، فإن الطائرة بدون طيار لا تكون جيدة إلا بقدر "العقل" الذي تحمله؛ فإذا كان حاسوب الطائرة بطيئاً جداً، فلن يتمكن من معالجة الصور بالسرعة الكافية لرصد حريق في الوقت الفعلي. وإذا كان بسيطاً للغاية، فقد يخطئ في اعتبار انعكاس ضوء الغروب أو بقعة من العشب الجاف حريقاً، مما يتسبب في إنذارات كاذبة تهدر موارد ثمينة. ويكمكم التحدي في بناء نظام يكون ذكياً بما يكفي ليفهم الفرق بين النار وخداع الضوء، وسريعاً بما يكفي للعمل على طائرة تعمل بالبطارية دون ارتفاع في درجة حرارتها.
هذه هي المشكلة التي سعى فريق من الباحثين من جامعة سوسة في تونس إلى حلها. فقد طوروا طريقة جديدة للطائرات بدون طيار للكشف عن حرائق الغابات في وقت مبكر، من خلال الجمع بين نوعين مختلفين من الذكاء الاصطناعي في نظام واحد فعال. يعمل الجزء الأول من نظامهم بمثابة ماسح ضوئي سريع، حيث يستخدم كاشف صور متخصص للعثور بسرعة على أي شيء يشبه النار أو الدخان. أما الجزء الثاني فيعمل كمفكر ناقد، باستخدام نموذج رؤية لغوي — وهو نوع من الذكاء الاصطناعي يمكنه "قراءة" الصورة ووصفها بالكلمات — للتحقق من نتائج الماسح الضوئي. ومن خلال تشغيل هذه العملية المكونة من خطوتين على حاسوب مدمج وقوي يسمى "NVIDIA Jetson Orin Nano"، نجح الباحثون في إنشاء نظام طائرة بدون طيار يمكنه القيام بدوريات في الغابات، ورصد حريق، والتأكد من أنه حقيقي، كل ذلك أثناء الطيران بشكل مستقل وإرسال تنبيه في غضاً من الزمن.
قام الباحثون ببناء طائرة بدون طيار مخصصة مجهزة بكاميرا عالية الدقة وهذا الحاسوب المدمج. وقاموا بتدريب نظامهم باستخدام آلاف الصور للغابات والحرائق والدخان، لتعليمه كيفية التعرف على الأشكال والألوان المحددة للاشتعال. وعندما تطير الطائرة، يقوم نموذج الذكاء الاصطناعي الأول بمسح كل إطار من إطارات الفيديو التي يراها. وإذا رصد شيئاً قد يكون حريقاً، فإنه يمرر تلك الصورة المحددة إلى النموذج الثاني. هذا النموذج الثاني لا يكتفي بقول "نعم" أو "لا" فحسب؛ بل ينظر إلى الصورة ويولد جملة قصيرة تصف ما يراه، مثل "دخان كثيف يتصاعد من الأشجار" أو "وهج الغروب على بحيرة". تسمح هذه الخطوة الإضافية للنظام باستبعاد المواقف المربكة، مثل ضوء الشمس الساطع الذي يصطدم بسطح عاكس أو أوراق الخريف التي تبدو برتقالية مثل اللهب. وقد صُمم النظام ليكون انتقائياً، حيث يستدعي النموذج الثاني الأكثر تعقيداً فقط عندما يكون الأول غير متأكد، مما يمنع حاسوب الطائرة من الارتباك أو التحميل الزائد.
وفي اختباراتهم، أثبت النظام فعالية ملحوظة. فقد نجحت الطائرة بدون طيار في تحديد الحرائق والدخان بدقة تقتر% من 95، وهو تحسن كبير مقارنة بالأنظمة التي تعتمد على كاشف واحد. والأهم من ذلك، أن إضافة النموذج الثاني "المفكر" قللت من الإنذارات الكاذبة بنسبة 21% تقريباً. وهذا يعني أن الطائرة أقل عرضة لإرسال تنبيه ذعر لشيء ليس حريقاً، وهو أمر بالغ الأهمية للحفاظ على ثقة المشغلين البشريين الذين يديرون الاستجابة. حقق النظام ذلك بينما كان يعمل بسرعة 26 إطاراً في الثانية، وهي سرعة كافية لمواكبة حركة الطائرة وتوفير عرض حي وفوري لأرض الغابة. واستغرقت العملية بأكملها، من رؤية الصورة إلى إرسال التنبيه، أقل من عُشر الثانية، مما يضمن بقاء النافذة المتاحة لإيقاف الحريق قبل أن يخرج عن السيطرة مفتوحة.
كما اختبر الباحثون كيفية أداء النظام في الظروف الصعبة، مثل وقت غروب الشمس أو عندما تهب الرياح وتدفع الدخان في اتجاهات غير متوقعة. وبينما ظل النظام دقيقاً للغاية في معظم السيناريوهات، إلا أنه واجه صعوبة طفيفة عندما كان الدخان خفيفاً جداً ومنتشراً بفعل الرياح، أو عندما كانت الإضاءة خافتة. هذه هي اللحظات التي يكون فيها الفرق بين حريق حقيقي وظل أمراً صعب الرؤية. ولمعالجة ذلك، أشار الفريق إلى أن إضافة كاميرا حرارية، والتي ترى الحرارة بدلاً من الضوء، يمكن أن تساعد الطائرة على رصد الحرائق حتى في أكثر الأجواء ظلمة أو إرباكاً. أما في الوقت الحالي، فيمثل هذا النظام خطوة كبيرة للأمام في مجال المراقبة الذاتية؛ فهو يثبت أن الطائرة بدون طيار يمكنها حمل ذكاء متطور ثنائي الطبقات على منصة صغيرة تعمل بالبطارية، محولةً بذلك كاميرا طائرة بسيطة إلى حارس موثوق للإنذار المبكر لغاباتنا.
ملخص تقني: الكشف المبكر عن حرائق الغابات باستخدام الطائر بدون طيار عبر نماذج الرؤية واللغة على منصة NVIDIA Jetson Orin Nano
بيان المشكلة ارتفعت حوادث حرائق الغابات بشكل ملحوظ، مع تقلص النافذة الزمنية الحرجة للإخماد الفعال لتصبح أول 10-15 دقيقة بعد الاشتعال. تعاني طرق الكشف التقليدية — مثل المراقبة عبر الأقمار الصناعية، والكاميرات الثابتة، وأجهزة الاستشعار الأرضية — من تأخير متأصل في الاستجابة، أو فجوات في التغطية، أو قيود في الدقة تؤدي إلى تأخير الوعي البشري. وبينما توفر المركبات الجوية غير المأهولة (UAVs) تغطية عالية الدقة وعند الطلب، تعتمد معظم الأنظمة الموجودة على متنها فقط على كواشف الأجسام القياسية (مثل متغيرات YOLO). غالبًا ما تنتج هذه الكواشف إنذارات كاذبة عند التمييز بين النار وعناصر أخرى تشبهها بصريًا مثل وهج الشمس، أو تغيرات أوراق الشجر الموسمية، أو الانعكاسات المائية. علاوة على ذلك، تفتقر الكواشف القياسية إلى القدرة على الاستنتاج السياقي لتقديم أوصاف للمشهد بلغة طبيعية، مما يحد من الوعي بالموقف لدى المشغلين. التحدي يكمن في تطوير إطار عمل للذكاء الاصطناعي الطرفي (Edge-AI) يجمع بين الكشف عالي الدقة والتحقق السياقي وإعداد التقارير باللغة الطبيعية، كل ذلك مع العمل ضمن قيود الطاقة والحرارة وزمن الاستجابة الصارمة لطائرة بدون طيار تعمل بالبطارية.
المنهجية يقترح المؤلفون خط معالجة استدلال شرطي مكون من مرحلتين، يتم نشره على طائرة رباعية المراوح من طراز S500 مجهزة بمنصة NVIDIA Jetson Orin Nano (8 جيجابايت) وكاميرا Sony IMX219 RGB.
المرحلة الأولى: الكشف (YOLOv8s): يقوم كاشف YOLOv8s مضبوط بدقة بمعالجة كل إطار لتحديد مناطق النار والدخان المرشحة. تم تدريب النموذج على مجموعة بيانات مركبة تضم 21,040 صورة تغطي المناطق الحيوية المتوسطية والمعتدلة والقطبية الشمالية، باستخدام تقنيات تعزيز مثل Mosaic وCutMix للتعامل مع الأهداف الصغيرة وعدم توازن الفئات.
المرحلة الثانية: التحقق (VLM القائم على CLIP): يتم تمرير الإطارات التي يتجاوز فيها ثقة الكاشف عتبة معينة (τdet=0.45) فقط إلى نموذج رؤية-لغة (VLM) يعتمد على OpenCLIP (ViT-B/32). تقوم هذه المرحلة بالتحقق الدلالي باستخدام مكتبة من 24 مطالبة نصية مصاغة يدويًا ومصنفة إلى:
إيجابية: أوصاف للحرائق النشطة.
مضللة-سلبية: أوصاف لأشياء تشبه النار ولكنها ليست نارًا (مثل "وهج الغروب"، "غابة ضبابية").
غامضة: حالات حدية تتطلب مراجعة بشرية. يقوم نموذج VLM بحساب تشابه جيب التمام (cosine similarity) بين تضمين الصورة وتضمينات المطالبات. إذا كانت درجة "المضللة-السلبية" عالية، يتم قمع الكشف باعتباره إنذارًا كاذبًا؛ وإذا كانت الدرجة "الإيجابية" عالية، يتم إطلاق تنبيه مع وصف باللغة الطبيعية.
تحسين الحوسبة الطرفية: لتلبية متطلبات الوقت الفعلي، تم تكميم (Quantization) كاشف YOLOv8s إلى صيغة INT8 باستخدام TensorRT (تكميم ما بعد التدريب)، بينما يعمل مشفر CLIP بصيغة FP16. يسمح هذا النهج المختلط الدقة بالحفاظ على معدل إطارات مرتفع مع إبقاء نموذج VLM مستقرًا في الذاكرة جنبًا إلى جنب مع الكاشف.
المساهمات الرئيسية
خط معالجة طرفي متكامل: نظام طائرة بدون طيار متكامل يربط كاشف YOLOv8s مضبوط بدقة مع نموذج VLM قائم على CLIP للقيام بالكشف المشترك ووصف المشهد باللغة الطبيعية، ويتم تشغيله بالكامل على الجهاز.
بنية الاستدلال الشرطي: تصميم يفصل بين الكشف والتحقق، حيث يستدعي نموذج VLM المكلف حاسوبيًا فقط في 8-12% من الإطارات (التي يحددها الكاشف)، مما يحافظ على الإنتاجية في الوقت الفعلي.
توصيف الأجهزة: نشر وتوصيف شامل للخط على منصة NVIDIA Jetson Orin Nano، بما في ذلك مقارنات صارمة بين أنماط الدقة FP32 وFP16 وINT8.
تحليل الاستئصال والتشغيل: دراسات منهجية حول عتبات الكشف، وحجم مكتبة المطالبات، ومتغيرات النماذج، ومعلمات الطيران (الارتفاع، السرعة)، بالإضافة إلى تحليل ميزانيات الطاقة ومتانة الاتصال تحت فقدان الحزم.
التحقق من الأداء: أدلة تجريبية تثبت أن دمج VLM يقلل من الإنذارات الكاذبة بنسبة 21% مقارنة بالنماذج التي تعتمد على الكاشف فقط مع الحفاظ على الأداء في الوقت الفعلي (26.2 إطارًا في الثانية).
النتائج التجريبية تم التقييم على مجموعة اختبار محجوزة تضم 932 صورة (1,847 حالة) عبر ظروف بيئية متنوعة:
مقاييس الدقة: حقق النظام المقترح دقة بنسبة 94.7%، وإحكامًا بنسبة 93.1%، واستدعاءً بنسبة 95.4%، ودرجة F1 تبلغ 0.942. يمثل هذا تحسنًا قدره +1.5 نقطة مئوية في الدقة والإحكام مقارنة بأساس YOLOv8s وحده.
تقليل الإنذارات الكاذبة: قلل محقق CLIP من الإنذارات الكاذبة من 147 إلى 116 حالة (انخفاض بنسبة 21.3%)، وذلك بشكل أساسي من خلال قمع عمليات الكشف الناتجة عن وهج الشمس وتغيرات الألوان الموسمية.
زمن الاستجابة والإنتاجية: مع تسريع TensorRT INT8، يبلغ متوسط زمن الاستجداء النهائي لـ (end-to-end latency) 38.1 مللي ثانية لكل إطار (26.2 إطارًا في الثانية). يستغرق كاشف YOLO وحده 18.4 مللي ثانية، بينما يستغرق محقق CLIP مدة 74.6 مللي ثانية عند استدعائه. تضمن الاستراتيجية الشرطية بقاء النظام فوق عتبة 20 إطارًا في الثانية المطلوبة للدوريات الذاتية.
الأداء البيئي: حافظ النظام على درجة F1 > 0.90 في معظم الظروف، لكنه أظهر تراجعًا في حالات تشتت الدخان بفعل الرياح (F1=0.874) وفي ظروف الإضاءة المنخفضة عند الغسق (F1=0.887)، حيث يكون الاستدعاء (Recall) الخاص بالكاشف هو العامل المحدد.
القيود التشغيلية: يعمل النظام ضمن نطاق طاقة 10 واط لوحدة الحوسبة (إجمالي إلكترونيات الطيران ~29.5 واط)، مما يساهم بشكل ضئيل في ميزانية الطاقة الإجمالية للطائرة. يبلغ زمن استجابة التنبيه النهائي (بما في ذلك الإرسال اللاسلكي) حوالي 109 مللي ثانية.
الأهمية والادعاءات يزعم البحث أن تعزيز الاستدلال الطرفي بنماذج الرؤية واللغة (VLM) هو نهج عملي للمراقبة الذاتية لحرائق الغابات. تكمن الأهمية الأساسية في القدرة على تشغيل نموذج رؤية-لغة على جهاز طرفي محدود الموارد (طائرة بدون طيار) دون التضحة بالأداء في الوقت الفعلي. من خلال دمج الاستنتاج باللغة الطبيعية، لا يقلل النظام من إجهاد التنبيه لدى المشغل عبر قمع الإنذارات الكاذبة فحسب، بل يوفر أيضًا سياقًا قابلاً للقراءة البشرية الفورية (مثل "عمود دخان كثيف يتوافق مع حريق أرضي نشط") مما يساعد في اتخاذ القرار السريع.
يضع المؤلفون هذا العمل كخطوة نحو مراقبة ذاتية أكثر قوة، مشيرين إلى أنه بينما يعد النظام فعالًا في المناطق الحيوية المتوسطية والمعتدلة، فإن الأداء في الظروف القاسية (الدخان المشتت بفعل الرياح، وقت الغسق) يظل دون عتبة التشغيل المستقل الكامل. يقترحون أن العمل المستقبلي يجب أن يركز على دمج مستشعرات RGB + Thermal والتكيف الديناميكي للمطالبات لمعالجة أوضاع الفشل المحددة هذه. ويخلص البحث إلى أن البنية المقترحة تتناسب مع أطر الطاقة والحمولة الواقعية، مما يوفر مسارًا قابلاً للتطبيق لأنظمة الإنذار المبكر التي تتدخل قبل وصول الحرائق إلى مرحلة انتقال التاج (crown transition phase).