SAM-Enhanced Segmentation on Road Datasets: Balancing Critical Classes in Autonomous Driving

ملخص تقني: تعزيز التجزئة باستخدام نموذج SAM على مجموعات بيانات الطرق

بيان المشكلة
تعد التجزئة الدلالية الكثيفة متطلباً أساسياً لإدراك القيادة الذاتية، ومع ذلك، فإن تطوير نماذج قوية يعوقه نقص مجموعات البيانات متعددة الأنماط ذات التوصيفات عالية الجودة على مستوى البكسل. وعلى الرغم من ثراء مجموعة بيانات Zencact المفتوحة (ZOD) ببيانات متعددة المستشعرات (كاميرا-ليدار) من بيئات شمال أوروبا، إلا أنها توفر فقط تسميات صناديق الإحاطة (bounding-box) ثنائية الأبعاد. هذا القصور يحد من فائدتها في أبحاث التجزئة الدلالية الخاضعة للإشراف. علاوة على ذلك، غالباً ما تفشل أساليب التوسيم الآلي الحالية في المجالات الحرجة للسلامة بسبب الهلوسة، أو أخطاء الحدود، أو الأداء الضعيف على الأجسام الصغيرة والمحجوبة. بالإضافة إلى ذلك، تعاني مجموعات بيانات القيادة الذاتية من عدم توازن شديد في الفئات، حيث تشكل الفئات الحرجة للسلامة مثل المشاة، وراكبي الدراجات، وإشارات المرور أقل من 1% من إجمالي البكسلات، مما يتسبب في ضعف أداء النماذج القياسية على هذه الفئات النادرة.

المنهجية
يقترح المؤلفون مسار عمل شاملاً لسد الفجوة بين صناديق الإحاطة المتفرقة وأقنعة التجزئة الكثيفة، وذلك باستخدام نموذج "التقطيع لأي شيء" (SAM) كقاعدة أساسية.

1. مسار التوسيم القائم على SAM:

• المعالجة المسبقة: تخضع صناديق الإحاطة الخام في ZOD لعملية تصفية لإزالة الضجيج (مثل الكشوفات الصغيرة جداً، أو الأشكال المستطيلة المشوهة) وإزالة التكرار عبر دمج التقاطع على الاتحاد (IoU). كما يتم تطبيق حد أقصى قدره 75 جسماً لكل إطار لتحقيق التوازن بين الاكتمال والكفاءة.
• توليد الأقنعة: تعمل الصناديق المصفاة كمحفزات (prompts) لنموذج SAM من نوع ViT-H. ولحل مشكلة تداخل الأقنعة، يتم استخدام مخطط دمج قائم على الأولويات حيث تُعطى الأولوية لمستخدمي الطريق المعرضين للخطر (المشاة، راكبي الدراجات) على الإشارات والمركبات.
• المخرجات: يتم تغيير حجم الأقنعة الناتجة لتصبح بدقة 768×768. ويولد المسار نوعين من التوسيم: كاميرا فقط (أقنعة كثيفة تحافظ على مجال الرؤية الكامل) وليدار فقط (أقنعة تُسقط حصرياً على نقاط عودة الليدار الصالحة لتعكس ندرة المستشعرات).
• التنقيح: من بين أكثر من 100,000 إطار تمت معالجته، تم إنشاء مجموعة فرعية منقحة يدوياً مكونة من 2,300 إطار (بمعدل قبول 36%) لتكون بمثابة معيار موثوق.

2. تعزيز مجموعة بيانات Iseauto:
   بالنسبة لمنصة Iseauto، يتم تطبيق خوارزمية صقل الحواف القائمة على SAM على التسميات اليدوية الموجودة. تستخدم هذه العملية نموذج SAM للقيام بتوسيع وانكماش محافظ للحواف، مما يصحح عدم دقة الحدود مع الحفاظ على القصد الدلالي.

3. بنى النماذج:

• تقيم الدراسة نموذجين: CLFT (محولات دمج الكاميرا-الليدار)، والتي تستخدم الانتباه الذاتي متعدد الرؤوس عبر الأنماط للتحليل المشترك، وDeepLabV3+، وهو بنية قائمة على الشبكات العصبية الالتفافية (CNN) مع توسيع التجميع الهرمي المكاني الخالي من الفجوات (atrous spatial pyramid pooling) لدمج تعدد الأنماط.
• تخصص النماذج: لمعالجة عدم توازن الفئات، يتم تدريب نماذج متخصصة لفئات فردية (مركبة، إشارة، إنسان) وتوليفات زوجية، جنباً إلى جنب مع نهج دمج المعلمات (parameter-merged ensemble).

4. التعلم بنقل الخبرة (Transfer Learning):
   تُجرى تجارب التعلم ثنائي الاتجاه بين مجموعتي بيانات ZOD وIseauto لتقييم القدرة على التعميم عبر النطاقات المختلفة.

المساهمات الرئيسية

• مسار التوسيم: مسار مبتكر يعتمد على SAM يحول صناديك الإحاطة المتفرقة إلى أقنعة دلالية كثيفة على مستوى البكسل لمجموعة بيانات ZOD.
• مجموعة بيانات مرجعية: مجموعة بيانات تجريبية منقحة يدوياً مكونة من 2,300 إطار، مما يتيح أول معيار للتجزئة على ZOD.
• التقييم الهيكلي: تحليل مقارن بين البنى القائمة على المحولات (CLFT) والبنى القائمة على الشبكات الالتفافية (DeepLabV3+) عبر ظروف جوية متنوعة (نهار/ليل، صافٍ/مطر/ثلج).
• تخصص الفئات: إثبات أن النماذج المتخصصة والفرق (ensembles) تحسن بشكل كبير أداء التجزئة للفئات النادرة والحرجة للسلامة.
• التحقق عبر مجموعات البيانات: التحقق الناجح على منصة Iseauto وتحليل التعلم بنقل الخبرة ثنائي الاتجاه، مما أظهر تسارعاً في التقارب عند تهيئة النماذج من مجموعة بيانات إلى أخرى.

النتائج

• الأداء على ZOD: حقق نموذج الدمج الهجين CLFT أفضل أداء أساسي بنسبة 48.1% mIoU في ظروف النهار الصافي. أظهرت النماذج القائمة على المحولات استقراراً أكبر في الطقس السيئ مقارنة بـ DeepLabV3+.
• تحسين الفئات النادرة: حققت النماذج المتخصصة مكاسب كبيرة للفئات النادرة. على سبيل المثال، حسّن نموذج "الإشارة فقط" قيمة IoU للإشارات من 29.7% إلى 43.5%. ووصلت مجموعة النماذج المتخصبة (ensemble) إلى 51.3% mIoU، ولكن بسرعة استدلال أقل (10.3 إطار في الثانية مقابل 27.8 إطار في الثانية للنموذج الأساسي).
• تأثير التوسيم: كشفت التقييمات أن استخدام التوسيمات المسقطة من الليدار المتفرقة أدى إلى درجات IoU أقل بكثير مقارنة بالأقنعة الكثيفة المولدة بواسطة SAM، مما يسلط الضة على قيمة الإشراف الكثيف لاستنتاج امتداد الأجسام.
• أداء Iseauto: على منصة Iseauto، حقق نموذج الدمج الهجين CLFT نسبة 77.5% mIoU في ظروف النهار الصافي، متفوقاً على نتائج ZOD بسبب حدود الأجسام الأكثر وضوحاً والمشاهد الأقل تعقيداً.
• التعلم بنقل الخبرة: سرّع التعلم بنقل الخبرة ثنائي الاتجاه من عملية التقارب، حيث وصلت النماذج التي تم تهيئتها من المجموعة المقابلة إلى أداء تنافسي خلال 20-30 حقبة (epochs).

الأهمية والادعاءات
يزعم البحث تقديم أول تحليل شامل للتجزئة متعددة الأنماط الكثيفة على مجموعة بيانات ZOD، محولاً إياها من مورد للكشف فقط إلى معيار للتجزئة. ويؤكد المؤلفون أن التمثيلات المستمدة من SAM تنتقل بفعالية عبر تكوينات المستشعرات ومجموعات البيانات المختلفة، مما يدعم تعلم الميزات القابل للنقل. وبينما يقر البحث بالقيود — مثل معاناة SAM مع الأجسام الصغيرة/البعيدة والتكلفة الحسابية العالية للنماذج المجمعة (ensembles) — فإن هذا العمل يؤسس لقاعدة للبحث القابل لإعادة الإنتاج في الإدراك الكثيف. ويضع المؤلفون نهج التجميع الخاص بهم كأداة "معلم" (teacher) غير متصلة بالإنترنت لغرض التوسيم الآلي أو تقطير المعرفة (knowledge distillation) بدلاً من كونه حلاً للوقت الفعلي، كما يحددون العمل المستقبلي في توسيع المجموعة المنقحة وتحسين تجزئة الأجسام الصغيرة. وقد تم إصدار جميع الأكواد والنماذج ومجموعات البيانات المعالجة لدعم المجتمع البحثي.