DA-LightNet: Real-Time Rain and Haze Removal on Edge Devices
تقترح هذه الورقة DA-LightNet، وهي شبكة تعلم عميق موحدة وخفيفة الوزن تعمل على إزالة المطر والضباب بفعالية في الوقت الفعلي على الأجهزة الطرفية ذات الموارد المحدودة من خلال توظيف وحدة تعديل مدركة للتدهور وكتل تلافيفية فعالة لتحقيق التوازن بين جودة الاستعادة العالية والتكلفة الحسابية المنخفضة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
كل يوم، تلتقط الكاميرات العالم كما هو، لكن العالم نادراً ما يكون واضحاً. يمر المطر عبر الزجاج الأمامي، مما يؤدي إلى تشويش الطريق أمامك، بينما يتدلى ضباب كثيف فوق مدينة ما، محولاً المباني النابضة بالحياة إلى ظلال رمادية. هذه الظروف الجوية لا تكتفي فقط بإفساد الصورة الفوتوغرافية؛ بل تجرد التفاصيل التي تحتاجها الآلات للرؤية. بالنسبة للشبكة المتنامية من الكاميرات الذكية، والطائات بدون طيار (الدرونز)، والمركبات ذاتية القيادة التي تعتمد على الرؤية للتنقل، يمكن للصورة المشوشة أن تعني تفويت عائق أو اتخاذ منعطف خاطئ. لعقود من الزمن، عمل العلماء على تعليم الحواسيب كيفية تنظيف هذه الصور الفوضوية، باستخدام نماذج رياضية معقدة لتخمين كيف كان المشهد قبل أن تتدخل الأحوال الجوية. ومع ذلك، فإن أقوى الأدوات لهذه المهمة كانت تقليدياً ثقيلة، وتتطلب حواسيب ضخمة ذات كميات هائلة من الذاكرة والطاقة. وهذا يخلق مشكلة: الأجهزة ذاتها التي تحتاج إلى الرؤية بوضوح في المطر أو الضباب — مثل طائرة بدون طيار تحلق فوق غابة أو كاميرا مثبتة على سيارة — غالباً ما تكون صغيرة، وتعمل بالبطاريات، وغير قادرة على حمل وزن هذه البرامج الحاسوبية العملاقة.
قام فريق من الباحثين من الكلية المهنية والتقنية بسيتشوان في الصين بتطوير حل جديد مصمم خصيصاً لهذه الآلات الصغيرة محدودة الموارد. لقد ابتكروا نظاماً يسمى DA-LightNet، وهو شبكة خفيفة الوزن لترميم الصور يمكنها إزالة كل من المطر والضباب في الوقت الفعلي. وخلافاً للمنهجيات السابقة التي غالباً ما كانت تتطلب برامج منفصلة وثقيلة للمطر وبرامج منفصلة للضباب، يستخدم هذا النظام الجديد بنية موحدة واحدة للتعامل مع كلا المشكلتين في آن واحد. بنى الباحثون الشبكة لتكون "مدركة للتدني" (degradation-aware)، مما يعني أنها تستطيع النظر إلى صورة مشوشة وتحديد ما إذا كان التشويش ناتجاً عن المطر أو الضباب، ثم تعديل استراتيجية التنظيف الخاصة بها دون الحاجة إلى تبديل النماذج. لقد حققوا ذلك من خلال تصميم هيكل انسيابي يجرد العمليات الحسابية غير الضرورية، ويركز فقط على الميزات الأساسية اللازمة لترميم الصورة. والنتيجة هي أداة صغيرة بما يكفي لتناسب جهاز حافة (edge device) قياسي — وهو مصطلح للأجهزة الحاسوبية الصغيرة التي تعالج البيانات محلياً بدلاً من إرسالها إلى خادم سحابي بعيد — ومع ذلك فهي قوية بما يكفي لإنتاج صور واضحة فوراً.
اختبر الباحثون ابتكارهم على مجموعتين محددتين من صور العالم الحقيقي: إحداهما تحتوي على آلاف الأزواج من الصور الممطرة وغير الممطرة، والأخرى مع أزواج من الصور الضبابية والصافية. لقد دربوا النظام ليتعلم الفرق بين نوعي التلف الجوي وكيفية عكسهما. وعندما قاموا بتشغيل النظام على منصة NVIDIA Jetson، وهي نوع شائع من الحواسيب الصغيرة المستخدمة في الذكاء الاصطناعي في الميدان، عالج النظام الصور بسرعة 34.8 إطاراً في الثانية. وهذا يعني أنه يمكنه تنظيف بث الفيديو في الوقت الفعلي، مواكباً بذلك بث الكاميرا المباشر دون أي تأخير ملحوظ. ومن الناحية الرياضية الكامنة وراء الكواليس، يستخدم النظام بأكمله 4.6 مليون معلمة فقط، وهي مقياس لتعقيده، ويتطلب 21.5 مليار عملية نقطة عائمة لمعالجة صورة واحدة. هذه الأرقام أقل بكثير من الطرق عالية الأداء الأخرى، والتي غالباً ما تتطلب عشرة أضعاف القوة الحسابية.
لفهم كيفية عمل ذلك، تخيل النظام كمحرر عالي الكفاءة. عندما تصل صورة ممطرة، يقوم النظام أولاً بمسحها لتحديد الأنماط المحددة لخطوط المطر. ثم يستخدم وحدة خاصة لإعادة معايرة تركيزه الداخلي، ليخبر نفسه بأن ينتبه إلى التفاصيل عالية التردد التي يحجبها المطر بينما يتجاهل مشكلات التباين العالمي الناتجة عن الضباب. أما إذا كانت الصورة ضبابية، فإن الوحدة نفسها تحول انتباهها إلى استعادة السطوع العام وتوازن الألوان. هذه العملية التكيفية تحدث ضمن سلسلة مدمجة واحدة من العمليات. استبدل الباحثون الكتل البنائية القياسية الثقيلة الموجودة عادة في هذه الشبكات بـ "كتل ترميم فعالة". تستخدم هذه الكتل تقنية "الالتفاف العميق" (depthwise convolution)، التي تعالج كل قناة لونية من الصورة بشكل منفصل قبل مزجها مرة أخرى، بدلاً من معالجة كل شيء دفعة واحدة. هذا النهج يقلل بشكل كبير من حجم العمل الذي يجب على الكمبيوتر القيام به. وأخيراً، يأخذ رأس إعادة بناء خفيف الوزن الميزات المنظفة ويجمعها مرة أخرى في صورة كاملة، مضيفاً فقط التصحيحات الضرورية إلى الصورة الأصلية بدلاً من محاولة إعادة بناء المشهد بأكرافه من الصفر.
قارن الفريق نظامهم الجديد مع العديد من الأساليب الرائدة الأخرى، بما في ذلك بعضها يستخدم هياكل "ترانسفورمر" ضخمة وأخرى تعتمد على آليات انتباه معقدة. وبينما أنتجت تلك النماذج الأثقل صوراً أكثر حدة قليلاً على الورق، إلا أنها فشلت في العمل بسرعات الوقت الفعلي على أجهزة الحافة. تمكن بعض المنافسين من إدارة حوالي 5 إلى 15 إطاراً في الثانية فقط، وهو أمر بطيء جداً لاعتماد مركبة متحركة أو طائرة بدون طيار لاتخاذ قرارات فورية. وفي المقابل، حافظ DA-LightNet على مستوى تنافسي من جودة الصورة مع العمل بسرعة تزيد عن ضعف أسرع الخيارات التالية له. كما اختبر الباحثون النظام على Raspberry Pi، وهو كمبيوتر أصغر وأقل قوة، ليروا ما إذا كان بإمكانه التعامل مع المهمة تحت قيود أكثر صرامة. وقد صمد النظام في مكانه، مظهراً قدرته على العمل على أجهزة ذات ذاكرة وقدرة معالجة محدودة للغاية.
تشير الدراسة إلى أن هذا النهج يقدم توازناً أفضل بين الجودة البصرية والسرعة العملية مقارنة بالبدائل الحالية. وجد الباحثون أنه من خلال توحيد مهام إزالة المطر والضباب في نموذج واحد، فقد تجنبوا الحاجة إلى تخزين وتشغيل برامج متعددة ومنفصلة، مما يوفر الذاكرة والوقت معاً. كما أظهروا أن النظام يمكنه تعلم التمييز بين أنواع التلف الجوي المختلفة دون الحاجة إلى إخباره بالضبط بنوع الطقس الذي ينظر إليه، وذلك ببساطة من خلال تحليل الأنماط في الصورة نفسها. هذه المرونة حاسمة في التطبيقات الواقعية حيث يمكن أن يتغير الطقس بسرعة وبشكل غير متوقع. وتشير النتائج إلى أن ترميم الصور عالي الجودة لا يجب أن يكون حصراً على الحواسيب الفائقة القائمة على السحابة؛ بل يمكن جلبه مباشرة إلى عدسة الكاميرا، مما يسمح للأجهزة الذكية بالرؤية بوضوح حتى في أسوأ الظروف.
وبالنظر إلى المستقبل، يخطط الباحثون لتوسيع هذا العمل ليشمل تحديات جوية أخرى، مثل الثلج، والإضاءة المنخفضة، وضبابية الحركة، بهدف إنشاء نظام أكثر عمومية يمكنه التعامل مع أي نوع من التدهور البصري. كما يعتزمون استكشاف طرق أخرى لتحسين النظام لأجهزة معينة، باستخدام تقنيات مثل "الكمية" (quantization) لجعل النموذج أصغر وأسرع. وبالإضافة إلى مجرد جعل الصور تبدو أفضل، يخططون لاختبار ما إذا كانت الصور المستعادة تساعد بالفعل المهام اللاحقة، مثل مساعدة طائرة بدون طيار في اكتشاف شخص أو مساعدة سيارة في التنقل في شارع مزدحم. وفي الوقت الحالي، يقف هذا العمل كدليل على أنه مع التصميم الدقيق، من الممكن بناء أدوات رؤية قوية صغيرة بما يكفي لتوضع في راحة اليد، ولكنها ذكية بما يكفي لتصفية رؤية العالم في الوقت الفعلي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.