ملخص تقني: WeatherOcc3D

بيان المشكلة

يعد التنبؤ بالانشغال الدلالي ثلاثي الأبعاد (3D semantic occupancy prediction) أمراً بالغ الأهمية للملاحة في القيادة الذاتية، ومع ذلك فإن متانته محدودة جوهرياً بسبب التغيرات البيئية. وبينما تعمل الأنظمة متعددة الوسائط التي تدمج بيانات الكاميرا والليدار (LiDAR) على تعزيز الأداء بشكل عام، إلا أنها تواجه "مشكلة ثقة الوسائط" (modality trust problem) في الظروف القاسية. وتحديداً، تعاني مستشعرات الكاميرا من تدهور شديد في الرؤية أثناء الهطول الغزير للأمطار، بينما تواجه مستشعرات الليدار ضوضاء ناتجة عن التشتت الخلفي (backscatter noise) أثناء المطر. تفشل استراتيجيات الدمج الحالية المتطورة، مثل النماذج القائمة على الانتباه (مثل OccFusion وGaussianOcc3D)، في التكيف مع إعادة وزن المدخلات عندما يصبح مستشعر معين غير موثوق به. علاوة على ذلك، غالباً ما تتكبد هذه الطرق تكاليف ذاكرة باهظة أو تعامل مدخلات المستشعرات على أنها متساوية في الموثوقية بغض النظر عن الضوضاء الجوية. وفي حين تستخدم مناهج نماذج الرؤية واللغة (VLM) الحديثة التمثيلات اللغوية للحصول على أولويات دلالية، إلا أنها نادراً ما تعالج التحدي المحدد المتعلق بثقة المستشعرات في ظروف الطقس المتدهورة.

المنهجية

يقترح المؤلفون WeatherOcc3D، وهو إطار عمل مدعوم بنماذج الرؤية واللغة (VLM) مصمم لتوجيه التكامل متعدد المستشعرات عبر الإشارات البيئية اللغوية. يعمل الهيكل كنظام متعدد الوسائط متكامل (end-to-end) مع المكونات الرئيسية التالية:

1. استخراج الميزات:

   • الكاميرا: يتم معالجة صور الرؤية المحيطية من خلال مشفر ثنائي الأبعاد (ResNet + FPN) ويتم إسقاطها في الفضاء ثلاثي الأبعاد باستخدام محول الرؤية (Lift-Splat-Shoot) لتوليد ميزات فوكسل الكاميرا ($V_{cam}$).
   • الليدار (LiDAR): تتم معالجة السحب النقطية من خلال مشفر ثلاثي الأبعاد لتوليد ميزات فوكسل الليدار ($V_{pts}$).

2. الإدراك البيئي والتحفيز (Prompting):

   • يقوم وحدة تنبؤ بالطقس بتحليل الميزات ثنائية الأبعاد للتنبؤ بالحالات البيئية: الرؤية (صافية/ممطرة) والإضاءة (نهار/ليل).
   • يتم تحويل هذه الحالات المتنبأ بها إلى محفزات نصية (على سبيل المثال: "ليل ممطر، وهج كاميرا شديد").
   • يقوم مشفر نصي CLIP مدرب مسبقاً (متخصص عبر تقنية LoRA) بتشفير هذه المحفزات إلى تمثيل بيئي دقيق ($f_{env}$). وتقوم طبقة إسقاط برسم هذا التمثيل إلى أبعاد نموذج الميزات.

3. آلية البوابات المجزأة (Factorized Gating Mechanism):
   يستخدم الإطار استراتيجية دمج تكيفية ثنائية المستويات مدفوعة بـ $f_{env}$:

   • البوابة على مستوى القنوات (Channel-Level Gating): يقوم التمثيل بتوليد أقنعة بوابات ($G_{cam}, G_{pts}$) يتم تطبيقها عبر الضرب العنصري. وهذا يسمح للنموذج بكبح القنوات الملوثة بالضوضاء بشكل انتقائي ضمن كل وسيط بناءً على السياق البيئي المحدد.
   • الوزن العالمي (Global Weighting): يتم تحويل التمثيل إلى قيمة عددية قابلة للتعلم ($w_{env}$) عبر شبكة MLP ودالة sigmoid. تمثل هذه القيمة الثقة العالمية للنموذج في الوسيط البصري.
   • الدمج: يتم حساب التمثيل المدمج النهائي ($V_{fused}$) كمجموع مرجح:
     $$V_{fused} = w_{env}(G_{cam}V_{cam}) + (1 - w_{env})(G_{pts}V_{pts})$$
     تتيح هذه الآلية للنموذج إعطاء الأولوية للميزات الدلالية للكاميرا في ضوء النهار الصافي، مع التحول إلى الاعتماد على الأولويات الهندسية للليدار أثناء الليالي الممطرة.

4. التحسين (Optimization):
   يتم تدريب النموذج باستخدام دالة هدف متعددة المهام تجمع بين فقدان التنبؤ بالانشغال (cross-entropy و Lovász-Softmax) وفقدان التنبؤ بالطقس (binary cross-entropy للرؤية والإضاءة).

المساهمات الرئيسية

• البوابات المجزأة الموجهة بنماذج الرؤية واللغة (VLM-Guided Factorized Gating): على عكس طرق الانتباه كثيفة الذاكرة، يقدم البحث آلية بوابات فعالة من حيث المعلمات تقوم بتفكيك عدم اليقين البيئي إلى عوامل رؤية وإضاءة مستقلة لتعديل نسب الدمج ديناميكياً.
• حل مشكلة ثقة الوسائط (Modality Trust Resolution): يعالج الإطار صراحةً مشكلة ثقة الوسائط باستخدام الإشارات اللغوية لكبح القنوات الملوثة بالضوضاء وتعديل أوزان الدمج العالمية، بدلاً من معاملة المستشعرات على أنها متساوية في الموثوقية.
• تعدد الاستخدامات (Plug-and-Play Versatility): تم تصميم الطريقة كمكون نمطي يمكن دمجه في البنى الحالية دون الحاجة إلى إعادة هيكلة كاملة.

النتائج التجريبية

أُجريت التقييمات على مجموعة التحقق nuScenes-OpenOccupancy.

• مكاسب الأداء:
  • عند دمجه مع OccMamba، حقق الإطار 26.3 mIoU، وهو تحسن بمقدار 1.1 mIoU عن النموذج الأساسي.
  • عند دمجه مع M-CONet، حقق 21.1 mIoU، وهو تحسن بمقدار 1.0 mIoU.
  • كانت التحسينات متسقة عبر جميع الفئات الدلالية الـ 17.
• المتانة في الطقس السيئ:
  • في ظروف الليل، حسن النموذج الـ mIoU من 11.8 إلى 15.7 (+3.9).
  • في الظروف الممطرة، حسن الـ mIoU من 24.1 إلى 27.3 (+3.2).
• الكفاءة:
  • أضافت الوحدة المقترحة 2.14 مللي ثانية فقط من زمن التأخير (latency)، متفوقة على طريقة ACLF التي بلغت (3.21 مللي ثانية) مع تحقيق درجات تقسيم أعلى (+0.8 mIoU عن ACLF).

الأهمية والادعاءات

يزعم البحث أن WeatherOcc3D يؤسس لنموذج أكثر متانة للإدراك متعدد الوسائط في القيادة الذاتية. ومن خلال الاستفادة من الفضاء الكامن لنموذج CLIP لتفسير الواصفات البيئية، يوفر الإطار حلاً فعالاً من الناحية الحسابية لمشكلة ثقة الوسائط. ويؤكد المؤلفون أن نهجهم يقلل بفعالية من تدهور المستشعرات، لا سيما في أكثر المجموعات الفرعية للطقس السيئ تحدياً، مما يقدم تحسناً كبيراً مقارنة بنماذج الدمج الثابتة التقليدية دون تحمل عبء الذاكرة العالي لطرق بديلة تعتمد على الانتباه. ويظهر العمل أن التكيف الديناميكي لأوزان الدمج بناءً على الرؤية والإضاءة البيئية أمر ضروري للتنبؤ بالانشغال الدلالي ثلاثي الأبعاد الموثوق في سيناريوهات العالم الحقيقي.