CRUISE: Vision-Language Model-Guided Uncertainty-Aware Cross-Modal Sensor Fusion for Robust Autonomous Driving

تخيل أنك تقود سيارة تمتلك قدرات خارقة: يمكنها رؤية العالم من خلال العيون (الكاميرات)، والشعور بأشكال الأشياء عبر موجات صوتية غير مرئية (ليدار - LiDAR)، واستشعار الحركة من خلال إشارات الراديو (الرادار). هذا هو حلم السيارات ذاتية القيادة. لكن هنا تكمن المشكلة: هذه الحواس الخارقة ليست مثالية. فقد تتعرض الكاميرا لعمى مفاجئ بسبب وهج شديد أو ضباب، بينما قد يرتبك الرادار بسبب صدى غريب من جسر ما. في العالم الحقيقي، تتغير الظروف بسرعة، وأحياناً تبدأ "حواس" السيارة في الكذب على عقلها.

ولإصلاح ذلك، يستخدم المهندسون حيلة تسمى "دمج المستشعرات" (sensor fusion). فكر في الأمر كأنه فريق من المحققين يحل لغزاً؛ إذا كان أحد المحققين مهتزاً وغير متأكد، فإن قائد الفريق يستمع أكثر إلى الواثقين منهم. ولكن عادةً ما يتلقى قائد الفريق مجرد ملاحظة بسيطة تقول "أنا لست متأكداً" من كل محقق. الأمر يشبه سؤال صديق: "هل تمطر؟" فيجيبك بكلمة غامضة مثل "ربما"، دون أن يوضح لك أين تمطر أو مدى شدة المطر. يحتاج الفريق إلى معرفة أي جزء من الطريق بالضبط يسوده الضباب وأي جزء يكون صافياً لاتخاذ قرار آٍمن. هذا هو اللغز الكبير الذي يحاول العلماء حله: كيف نجعل السيارة ذاتية القيادة تعرف بالضبط أين تشعر بالارتباك، حتى تتمكن من الثقة في المستشعرات الصحيحة في الوقت المناسب؟

هنا يأتي دور CRUISE، وهي طريقة جديدة اقترحها الباحثون لمساعدة السيارات ذاتية القيادة لتصبح أفضل بكثير في التعامل مع المواقف الصعبة. لقد بنى الفريق نظاماً يعمل بمثابة مشرف فائق الذكاء لمستشعرات السيارة. فبدلاً من مجرد سؤال المستشعرات عما إذا كانت غير متأكدة، يستخدم CRUISE "نموذج رؤية ولغة" (VLM) — وهو ببساطة ذكاء اصطناعي فائق الذكاء قرأ ملايين الكتب ورأى ملايين الصور — ليعمل كدليل للمحقق.

إليك كيف يعمل CRUISE في الواقع: تخيل أن السيارة تسير عبر ضباب كثيف. ترى الكاميرا مشهداً ضبابياً، ويرى الليدار (مستشعر الموجات الصوتية) سحابة ضبابية. قد يقوم نظام عادي بالتخمين فقط، ولكن مشرف الـ VLM في نظام CRUISE ينظر إلى صورة الكاميرا الضبابية وبيانات الليدار غير الواضحة ويقول: "مهلاً، الجانب الأيسر من الطريق يبدو غريباً جداً وغير مؤكد، لكن الجانب الأيمن يبدو جيداً". إنه ينشئ "خريطة حرارية" تفصيلية لعدم اليقين، حيث يحدد بدقة أي بكسلات (نقاط صغيرة في الصورة) غير موثوقة. إنه يشبه امتلاك خريطة تتوهج باللون الأحمر حيث تشعر المستشعرات بالارتباك وتتوهج باللون الأخضر حيث تكون واثقة.

تشير الورقة البحثية إلى أن هذا النهج يعد تغييراً جذرياً لأنه لا يكتفي بالتخمين؛ بل يستخدم المعرفة العميقة للذكاء الاصطناعي بالعالم للاستنتاج حول سبب فشل مستشعر ما. على سبيل المثال، إذا كانت الكاميرا ضبابية، فإن الـ VLM يعرف أن الضبابية تعني عادةً انخفاض مستوى الثقة، لذا يخبر نظام الدمج بتجاهل ذلك الجزء من بيانات الكاميرا والاعتماد أكثر على الليدار.

ولضمان عمل المستشعرات معاً بشكل مثالي، يستخدم CRUSE أيضاً آلية "التكيف الديناميكي". فكر في هذا كأنه قائد أوركسترا يقود الفرقة؛ إذا بدأ قسم الكمان (الكاميرا) في العزف خارج الإيقاع، فإن القائد لا يوقف الموسيقى، بل يعطي إشارة لقسم الترومبيت (الرادار) ليعزف بصوت أعلى ويغطي الفجوة. يقوم CRUISE باستمرار بتعديل مقدار الثقة في كل مستشعر بناءً على الخريطة الحرارية للـ VLM، مما يضمن أن السيارة تستخدم دائماً أفضل المعلومات المتاحة.

اختبر الباحثون CRUSE في بعض السيناريوهات الصعبة للغاية، بما في ذلك القيادة ليلاً، وفي المطر الغزير، ومع أعطال مستشعرات محاكات مثل ضبابية الحركة أو الضجيج. كانت النتائج مبهرة. ففي الاختبارات الخاصة برصد الأجسام في الفضاء ثلاثي الأبعاد (مثل العثور على السيارات الأخرى أو المشاة)، حسن CRUSE الدقة بمتوسط 4.87% مقارنة بأفضل الطرق الموجودة. وفي فهم سطح الطريق (التقسيم الدلالي)، تحسن بنسبة 4.23%. والأهم من ذلك، عندما واجهت السيارة مواقف "خارج التوزيع" (out-of-distribution) — أي ظروف غريبة وغير مرئية لم يتم تدريبها عليها، مثل الضباب المفاجئ أو الوهج الشديد — ظل CRUSE يتفوق بشكل ملحوظ، مما يشير إلى أنه أكثر قوة وموثوقية من الأنظمة السابقة.

كما تظهر الورقة البحثية أيضاً أن هذا النظام الذكي لا يبطئ حركة السيارة كثيراً. فوقت التفكير الإضافي الذي يضيفه مشرف الـ VLM ضئيل جداً، حيث يزيد وقت اتخاذ القرار بنحو 0.01 إلى 0.02 ثانية فقط. وهذا يعني أن السيارة تظل آمنة وسريعة، حتى عندما يكون الطقس سيئاً.

باختاً، يشير CRUSE إلى أنه من خلال منح السيارات ذاتية القيادة "مشرفاً ذكياً" يمكنه فهم السياق وتحديد مكان فشل المستشعرات بدقة، يمكننا جعل المركبات ذاتية القيادة أكثر أماناً وموثوقية في العالم الحقيقي الفوضوي وغير المتوقع. الأمر لا يتعلق فقط بامتلاك المزيد من المستشعرات؛ بل يتعلق بامتلاك عقل يعرف كيف يستمع إليها بحكمة.