ReaLiTy and LADS: A Unified Framework and Dataset Suite for LiDAR Adaptation Across Sensors and Adverse Weather Conditions

1. بيان المشكلة

تعتمد المركبات ذاتية القيادة (AVs) بشكل كبير على تقنية ليدار (LiDAR) للإدراك ثلاثي الأبعاد، إلا أن الأداء يتدهور بشكل كبير نتيجة لـ انزياحات النطاق (domain shifts) الناتجة عن:

• تباين المستشعرات: تنتج مستشعرات ليدار المختلفة (مثل اختلاف الشركات المصنعة، وعدد القنوات، وتخطيط الأشعة) أنماط شدة متميزة لنفس المشهد.
• الطقس السيئ: تسبب الأمطار والثلوج ظواهر فيزيائية مثل التوهين (attenuation)، والتشتت (scattering)، والتشتت الخلفي (backscatter)، وفقدان النقاط (point dropouts)، مما يغير كل من الهندسة وشدة الإشارات المرتدة من الليدار.

القيود الحالية:

• نادراً ما توفر مجموعات البيانات الحالية ملاحظات متزامنة ومتسقة فيزيائياً لنفس المشهد تحت مستشعرات وظروف جوية مختلفة.
• الحلول الحالية مجزأة: تفتقر المحاكيات القائمة على الفيزياء إلى استجابات المستشعرات المعقدة، بينما تفتقر الطرق القائمة على التعلم غالباً إلى الاتساق الفيزيائي والقدرة على التعميم.
• هناك نقص في المعايير الموحدة لتقييم التكيف عبر النطاقات (من مستشعر إلى آخر، ومن طقس صافٍ إلى طقس سيئ).

2. المنهجية: إطار عمل ReaLiTy

يقترح المؤلفون ReaLiTy، وهو إطار تعلم موحد مدعوم بالفيزياء مصمم لتحويل بيانات الليدار من نطاق المصدر ($D_s$) إلى نطاق الهدف ($D_t$).

أ. البنية النموذجية

يعمل إطار العمل تحت نموذج تعلم موحد مدعوم بالفيزياء بفرعين متميزين ولكن متكاملين:

1. فرع التكيف مع المستشعرات: يركز على تحويل توزيعات الشدة لتطابق خصائص المستشعر المستهدف (مثل تخطيط القنوات، ومعايرة الانعكاس) مع الحفاظ على هندسة السحابة النقطية الأصلية.
2. فرع التكيف مع الطقس: يتعامل مع الهندسة والشدة معاً. يستخدم وحدة قائمة على الفيزياء لمحاكاة التشوهات الهندسية الناتجة عن الطقس (فقدان النقاط، والضجيج) ووحدة تعلم لتنقية أنماط الشدة.

ب. المكونات الأساسية

• المدخلات الموجهة بالفيزياء: يستخدم كلا الفرعين "حزمة النمط الفيزيائي" كمدخلات ميزات: المدى ($R$)، زاوية السقوط ($\theta$)، وانعكاسية المادة ($MR$). هذا يربط عملية التعلم بالواقع الفيزيائي.
• وحدة محاكاة الطقس: قبل التعلم، تقوم وحدة محاكاة تشتت جوي قائمة على الفيزياء (بناءً على تشتت ميه وقانون بير-لامبرت) بتحويل المسوحات في الطقس الصافي إلى هندسات في الطقس السيئ. وهي تحاكي تفاعلات الجسيمات مع الأشعة لإنشاء فقدان نقاط وضجيج واقعي.
• نموذج التعلم (PICGAN): يستخدم القلب النابض للنموذج شبكة خصومة دورية متسقة فيزيائياً (Physics-Informed Cycle-Consistent GAN).
  • يستخدم مولدين ($G_{S2T}, G_{T2S}$) ومميزين لعملية الترجمة غير المتزامنة.
  • الاشتراط (Conditioning): يتم اشتراط النموذج على الإشارات الفيزيائية (المدى، الزاوية، الانعكاسية) لضمان أن الشدة المولدة منطقية فيزيائياً.

ج. دوال الخسارة

يجمع هدف التدريب بين ثلاث خسائر لضمان الواقعية والاتساق:

1. خسارة الخصومة ($L_{adv}$): تعمل على مواءمة توزيع الشدة المولد مع نطاق الهدف.
2. خسارة الاتساق الدوري ($L_{cycle}$): تضمن قابلية العكس (التحويل من $S \to T \to S$ يستعيد الأصل).
3. خسارة الاتساق الفيزيائي ($L_{phy}$): تفرض أن الشدة المتوقعة تلتزم بالقوانين الفيزيائية.
   • الطقس الصافي: $I_{phy} = \frac{MR \cdot \cos(\theta)}{R}$
   • الطقس السيئ: $I_{AW} = I_{phy} \cdot e^{-2\alpha R}$ (بإدراج التوهين الجوي $\alpha$).

3. المساهمات الرئيسية

أ. إطار عمل ReaLiTy

نظام موحد قادر على التكيف مع المستشعرات، أو التكيف مع الطقس، أو التكيف المشترك ضمن بنية واحدة. إنه يسد الفجوة بين المحاكاة القائمة على الفيزياء والتعلم القائم على البيانات.

ب. مجموعة بيانات LADS (LADS: LiDAR Adaptation Dataset Suite)

مجموعة بيانات مشتقة تم إنشاؤها باستخدام ReaLiTy، وتتميز بـ:

• تطابق واحد لواحد: سحب نقطية محولة تطابق الإطارات الأصلية لمجموعات البيانات المصدر (SemanticKITTI، nuScenes، Voxelscape) في هيكل الملفات، والفهرسة، والمعايرة.
• أهداف متسقة فيزيائياً: تتضمن بيانات مقترنة لظروف الثلوج والأمطار، بالإضافة إلى تكيفات شدة خاصة بالمستشعرات.
• قابلية التكرار: مصممة للسماح بالدمج المباشر في خطوط المعالجة الحالية دون الحاجة لإعادة المعايرة.

ج. الاختبارات والنماذج

إصدار نماذج مدربة مسبقاً وبروتوكولات تقييم معيارية لتسهيل الأبحاث القابلة للتكرار.

4. النتائج والتحليل

النتائج النوعية

• التكيف مع المستشعرات: نجح في نقل بصمات الشدة الخاصة بكل مستشعر من البيانات المحاكات إلى النطاقات الواقعية (SemanticKITTI، nuScenes) مع الحفاظ على هندسة المشهد.
• التكيف مع الطقس: ولد تأثيرات ثلجية ومطرية واقعية، بما في ذلك التوهين المميز، وانخفاض الشدة، وفقدان النقاط الموضعي، بما يطابق الملاحظات الواقعية (مجموعات بيانات CADC وBoreas).

النتائج الكمية (المهمة النهائية: الكشف عن الأجسام ثلاثي الأبعاد)

قيم المؤلفون فائدة البيانات المولدة بواسطة ReaLiTy من خلال تدريب كاشف PV-RCNN على تكوينات مختلفة واختباره على بيانات ثلج واقعية (CADC).

• فشل الخط المرجعي (Baseline): أدى التدريب على بيانات الطقس الصافي وحدها إلى ضعف في التعميم (على سبيل المثال، انخفضت دقة Car AP 3D @0.7 إلى حوالي 6.8% لـ KITTI).
• فعالية الثلج الاصطناعي: أدى التدريب على بيانات الثلج المولدة بواسطة ReaLiTy إلى تحسين المتانة بشكل كبير (ارتفعت دقة Car AP 3D @0.7 إلى حوالي 28.4% لـ KITTI)، مما يثبت أن البيانات الاصطناعية تلتقط ميزات الطقس الحرجة.
• الجمع التآزري: تم تحقيق أفضل أداء من خلال الجمع بين ثلج ReaLiTy المولد وبيانات CADC الثلجية الحقيقية.
  • مثال (KITTI): حقق نموذج "KITKI-Snow (Ours) + CADC" نسبة 39.5% AP، متفوقاً على "KITTI-Clear + CADC" الذي حقق 32.6%، ومقارباً للحد الأعلى لـ "CADC (Real Snow Only)" البالغ 47.9%.
• الاستنتاج: توفر البيانات الاصطناعية تنوعاً تكميلياً (تغطي وضعيات الأجسام والمسافات) لا يمكن للبيانات الواقعية وحدها التقاطه بالكامل، حيث تعمل بشكل تآزري لتحسين قوة الكشف.

5. الأهمية

• نهج موحد: يحل مشكلة التجزئة في هذا المجال من خلال توفير إطار عمل واحد لكل من التكيف مع المستشعرات والطقس.
• حل ندرة البيانات: يعالج التكلفة العالية والصعوبة في جمع بيانات ليدار واسعة النطاق ومقترنة للطقس السيئ من خلال توفير طريقة توليد قائمة على الفيزياء.
• قابلية التكرار: توفر LADS أول مجموعة بيانات نظامية ومقترنة لتكيف الليدار، مما يسمح بمعايير قياسية عبر المستشعرات والظروف الجوية.
• تأثير السلامة: من خلال تحسين متانة أنظمة الإدراك في الطقس السيئ عبر بيانات تدريب أفضل، يساهم هذا العمل مباشرة في سلامة المركبات ذاتية القيادة.

الإطار ومجموعة البيانات متاحان عبر صفحة المشروع ومتكاملان مع محاكي SimDaaS، مما يوفر أساساً قابلاً للتوسع للأبحاث المستقبلية في أنظمة النقل الذكية.