Hyperspectral vs. RGB for Pedestrian Segmentation in Urban Driving Scenes: A Comparative Study

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التصوير فائق الطيف مقابل RGB لتجزئة المشاة في مشاهد القيادة الحضرية: دراسة مقارنة."

1. بيان المشكلة

يتمثل التحدي الرئيسي الذي تتناوله هذه الدراسة في مشكلة "التماثل اللوني" (Metamerism) في التصوير القياسي بنظام RGB لأنظمة مساعدة السائق المتقدمة (ADAS) والقيادة الذاتية (AD).

• المشكلة: في البيئات الحضرية، غالبًا ما يرتدي المشاة ملابس تتطابق طيفيًا مع الخلفية (مثل الملابس الداكنة على الأسفلت أو الملابس الخضراء مقابل الغطاء النباتي). وتحت ظروف إضاءة معينة، تصبح هذه الأجسام غير قابلة للتمييز بصريًا بالنسبة لمستشعرات RGB، مما يؤدي إلى فشل عملية التجزئة عند حدود الأجسام الحرجة.
• محدودية الحلول الحالية: بينما يوجد دمج متعدد الوسائط (RGB + LiDAR/Radar/Thermal)، إلا أن مستشعرات LiDAR تعاني في الظروف الجوية السيئة، كما يفتقر الرادار إلى الدقة. وتفشل مستشعرات RGB بطبيعتها في التمييز بين المواد ذات الألوان المتشابهة ولكن ذات التركيبات الكيميائية المختلفة.
• الفجوة: على الرغم من أن التصوير فائق الطيف (HSI) يوفر بصمات طيفية غنية لتمييز المواد، إلا أن اعتماده يعوقه ضخامة حجم البيانات (على سبيل المثال، 128 نطاقًا مقابل 3 في RGB) ونقص الدراسات المقارنة التي تثبت فعاليته فوق RGB لمهام محددة حرجة تتعلق بالسلامة مثل تجزئة المشاة.

2. المنهجية

تستخدم الدراسة مجموعة بيانات H-City v2، وهي مجموعة بيانات متاحة للجمهور تحتوي على مكعبات فائقة الطيف مكونة من 128 قناة وصور RGB قياسية لمشاهد قيادة حضرية. تتضمن المنهجية مقارنة منهجية لأنواع المدخلات عبر ثلاثة نماذج مستقرة للتجزئة الدلالية (SSMs).

أ. أنواع المدخلات

قارن الباحثون بين ثلاثة أنواع متميزة من المدخلات:

1. RGB القياسي: المدخل المكون من 3 قنوات كخط أساس.
2. Pseudo-RGB القائم على PCA: بيانات HSI تم تقليلها إلى 3 قنوات باستخدام تحليل المكونات الرئيسية (PCA) لتعظيم التباين.
3. Pseudo-RGB القائم على CSNR-JMIM: طريقة اختيار النطاقات المثلى لتقليل HSI إلى 3 قنوات. تجمع هذه الطريقة بين:
   • نسبة الإشارة إلى الضوضاء التباينية (CSNR): لاختيار النطاقات ذات التباين العالي.
   • تعظيم المعلومات المتبادلة المشتركة (JMIM): لتعظيم الفصل بين الفئات وتقليل التكرار.
   • النطاقات المختارة: 497 نانومتر، 607 نانومتر، و895 نانومتر.

ب. نماذج التجزئة الدلالية (SSMs)

تم تدريب ثلاثة بنيات متنوعة من الصفر لضمان تقييم عادل:

• U-Net: مشفر-فك تشفير يعتمد على الشبكات العصبية الالتفافية (CNN) مع اتصالات تخطي (skip connections)، وهو معروف بالحفاظ على التفاصيل المكانية الدقيقة.
• DeepLabV3+: نموذج يعتمد على CNN يستخدم التجميع الهرمي الفراغي الخالي من الفتحات (ASPP) لتوفير سياق متعدد المقاييس.
• SegFormer: نموذج يعتمد على المحولات (Transformer) باستخدام متغيرات (MiT-b0, b3, b5) والذي يوازن بين الأداء والكفاءة دون الحاجة إلى ترميزات موضعية معقدة.

ج. الإعداد التجريبي

• البيانات: 1,030 عينة تدريب و300 عينة اختبار من H-City.
• التدريب: 300 حقبة (epoch)، مُحسن AdamW، معدل تعلم 0.0001، وحجم دفعة (batch size) قدره 16.
• القيود: لم يتم تطبيق أي تعزيز للبيانات (data augmentation) أو تنظيم (regularization) لعزل تأثير نوع المدخلات.
• المقاييس: تقاطع الاتحاد (IoU)، درجة F1، الدقة (Precision)، والاستدعاء (Recall)، مع التركيز بشكل خاص على فئتي المشاة (Pedestrian) والراكب (Rider).

3. المساهمات الرئيسية

1. أول درسة مقارنة: يعد هذا أول عمل يقيم كميًا نظام RGB مقابل HSI خصيصًا لتجزئة المشاة في سياقات ADAS/AD.
2. التحقق من التمييز الطيفي: توفر الدراسة دليلًا على أن HSI، حتى عند تقليل أبعاده، يعالج بفعالية تحدي التماثل اللوني حيث يفشل RGB.
3. استراتيجية اختيار النطاق المثلى: تثبت الدراسة أن طريقة CSNR-JMIM تتفوق بشكل كبير على كل من RGB وPCA، مما يثبت أن الحفاظ على المعلومات الطيفية التمييزية أكثر أهمية من الحفاظ على التباين (PCA).

4. النتائج الرئيسية

قيمت الدراسة 15 تكوينًا للنماذج (3 أنواع مدخلات × 3 نماذج).

النتائج الكمية

• تجزئة المشاة والراكب: تفوقت طريقة CSNR-JMIM باستمرار على RGB في جميع النماذج.
  • المشاة: تحسن متوسط قدره 1.44% في IoU و2.18% في درجة F1.
  • الراكب: تحسن متوسط قدره 1.43% في IoU و2.25% في درجة F1.
• أداء PCA: كانت المدخلات القائمة على PCA تتراجع باستمرار مقارنة بكل من RGB وCSNR-JMIM، مما يشير إلى أن تعظيم التباين لا يعني بالضرورة الحفاظ على المعلومات الطيفية ذات الصلة بالمهمة.
• الفئات العامة: بينما حقق RGB عمومًا أعلى متوسط IoU عبر جميع الفئات الـ 19 الدلالية في مجموعة البيانات، إلا أنه كان أدنى أداءً في فئات المشاة والركاب الحرجة للسلامة.

النتائج النوعية

• دقة الحدود: أدت مدخلات CSNR-JMIM إلى حدود أكثر حدة للأجسام وقللت بشكل كبير من الإيجابيات الكاذبة، خاصة في السيناريوهات ذات الإضاءة الصعبة أو الخلفيات المتشابهة في اللون.
• الأجسام الصغيرة: حسنت الطريقة من اكتشاف المشاة الصغار أو المحجوبين جزئيًا.
• المقايضات: بينما تحسن أداء المشاة، أظهرت بعض الفئات مثل إشارات المرور واللوحات تراجعًا في الأداء، مما يشير إلى أن استراتيجيات اختيار النطاق قد تحتاج إلى أن تكون خاصة بكل فئة في المستقبل.

5. الأهمية والخاتمة

تضع هذه الأبحاث أساسًا قويًا للانتقال من أنظمة الإدراك التي يهيمن عليها RGB إلى التصوير فائق الطيف (Hyperspectral Imaging) في سلامة السيارات.

• الأثر على السلامة: من خلال الاستفيد من خصائص المواد الجوهرية بدلاً من مجرد اللون، يمكن لـ HSI التمييز بشكل موثوق بين المشاة والخلفيات حتى عندما يبدون متطابقين بصريًا للعين البشرية أو مستشعرات RGB.
• الجدوى: تثبت الدراسة أن HSI لا يتطلب معالجة المكعب فائق الطيف المكون من 128 قناة في الوقت الفعلي؛ حيث إن اختيار ثلاثة نطاقات مثالية فقط (عبر CSNR-JMIM) يعطي نتائج أفضل من RGB القياسي مع الحفاظ على كفاءة حسابية مماثلة لمعالجة 3 قنوات.
• الاتجاهات المستقبلية: يقترح المؤلفون أن العمل المستقبلي يجب أن يركز على استراتيجيات التنفيذ في الوقت الفعلي والتحقق من الأداء تحت ظروف جوية متنوعة (الضباب، السديم) لتحقيق الإمكانات الكاملة لـ HSI.