ملخص تقني: DriveSafe

بيان المشكلة

تعد الوعي الموقفي الشامل أمراً بالغ الأهمية للمركبات ذاتية القيادة لتحديد المخاطر والتخفيف من حدتها في البيئات الحرجة للسلامة. وبينما أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) نجاحاً في مهام الرؤية واللغة العامة، وجد المؤلفون أن نماذج (MLLMs) التي تعمل بنظام "التعلم الصفري" (zero-shot) تقصر عن الأداء في التقييم الدقيق والمكاني للمخاطر في سياق القيادة. وتحديداً، تميل النماذج العامة الحالية إلى توليد أوصاف عامة ووصفية تفشل في تحديد المخاطر المحتملة أو تقديم إرشادات سلامة قابلة للتنفيذ. علاوة على على ذلك، تركز النهج السابقة المتخصصة في هذا المجال غالباً على التنبؤ بالمخاطر أو التنبؤ بالمسار، لكنها تهمل توليد مقترحات سلامة صريحة ومفهومة بشرياً، وهي ضرورية للنشر العملي. كما يوجد نقص في مجموعات البيانات التي تربط صراحةً بين الكائنات الحرجة والكلمات المفتاحية المتعلقة بالسلوك والمقترحات المتعلقة بالسلامة.

المنهجية

يقترح المؤلفون DriveSafe، وهو إطار عمل مصمم للفهم الواعي بالمخاطر للمشاهد، والذي يستفيد من الأوصاف اللغوية الطبيعية المهيكلة بدلاً من الضبط الدقيق المباشر لنموذج (MLLM) ضخم على الفيديو الخام. يعمل الإطار عبر مرحلتين رئيسيتين:

1. توليد الوصف مع السياق متعدد الوسائط

بدلاً من الاعتماد فقط على مشفرات الرؤية، يقوم DriveSafe بإثراء فهم المشهد من خلال دمج إشارات سياقية محددة:

• السياق المكاني ($S_t$): مستمد من أقنعة تقسيم الطريق والمسارات لتحديد المناطق القابلة للقيادة.
• سياق الحركة ($M_t$): مستخرج عبر التدفق البصري (optical flow) لتسليط الضوء على الحركات النسبية للوكلاء (المركبات، راكبي الدراجات، المشاة).
• سياق العمق ($D_t$): يتم حسابه على مستوى الكائن لتقدير القرب المكاني من المركبة (ego-vehicle).
• وصف الفيديو ($d_v$): ملخص دلالي رفيع المستوى يتم توليده بواسطة نموذج (MLLM).

يتم دمج هذه الوسائط في مدخل موحد ($X_v$) ويتم تغذيتها في نموذج لغوي كبير (LLM) عبر مطالبة (prompt) مهيكلة. وتنتج هذه العملية وصفاً مدركاً للهندسة ($C_v$) يتضمن صراحةً مناورات المركبة، وسلوكيات الوكلاء المحيطين، ومواضع المسارات، وصناديق الإحاطة (bounding boxes) مع إشارات العمق والحركة.

2. تقييم المخاطر واقتراح السلامة

يتم معالجة الوصف المولد ($C_v$) بواسطة نموذج (LLM) لاستنتاج ما يلي:

• تسمية مخاطر ثنائية ($\hat{r}$: نعم/لا).
• وصف مخاطر منقح ($C_r$) يشرح الخطر.
• كلمات مفتاحية متعلقة بالمخاطر ($\hat{K}$) تلتقط السلوك.
• صناديق الإحاطة ($\hat{b}$) للكائن الخطير.

اشتقاق اقتراح السلامة: يتم ربط الكلمات المفتاحية المستخرجة بتسعة فئات محددة مسبقاً لاقتراحات السلامة (مثل "خفف السرعة"، "توقف"، "أعطِ الأولوية") باستخدام دالة رسم (mapping function) قائمة على القواعد ($g(\cdot)$) مستمدة من مجموعة بيانات DRAMA.

استراتيجية التدريب:

• التعلم الصفري (Zero-Shot): يمكن للإطار العمل دون ضبط دقيق عبر توجيه النموذج (LLM) مباشرة.
• الضبط الدقيق للمهايئ (Adapter Fine-Tuning): لتحسين الأداء، يستخدم المؤلفون وحدة مهايئ خفيفة الوزن (LLaMA-Adapter) يتم تدريبها على ثلاثيات (الوصف-التعليمات-الاستجابة). وهذا يربط النموذج (LLM) بالاستدلال الخاص بالمخاطر في هذا المجال دون الحاجة لتدريب مسبق كامل على الفيديو. يهدف هدف التدريب إلى تقليل الاحتمالية السالبة للوغاريتم (negative log-likelihood) للاستجابة المهيكلة (تسمية المخاطر، الوصف، الكلمات المفتاحية، وصندوق الإحاطة).

المساهمات الرئيسية

1. إطار عمل DriveSafe: مسار مبتكر يتجنب الضبط الدقيق المباشر لـ (MLLM) على الفيديو. بدلاً من ذلك، يدمج إشارات متعددة الوسائط (التدفق البصري، التقسيم، العمق) مع أوصاف الفيديو لإنتاج أوصاف خاصة بالقيادة، والتي تتم معالجتها بعد ذلك بواسطة (LLM) للتنبؤ بالمخاطر واقتراحات السلامة.
2. توسيع مجموعة البيانات: يوسع المؤلفون مجموعة بيانات DRAMA من خلال ربط السلوكات الخطرة بالكائنات الحرجة صراحةً وإدخال تسميات توضيحية لاقتراحات السلامة. وقد استخدموا نموذج (LLM) للترميز التلقائي لمجموعة التدريب مع الاحتفاظ بالترميز اليدوي لمجموعة الاختبار لضمان الموثوقية.
3. إرشادات سلامة قابلة للتنفيذ: على عكس الأعمال السابقة التي تركز فقط على الكشف، يقوم DriveSafe صراحةً بتوليد اقتراحات سلامة مرتبطة بالمخاطر المكتشفة.

النتائج التجريبية

أُجريت التجارب على معيار DRAMA، مع مقارنة DriveSafe بنماذج تقييم المخاطر الحالية (LCP, VTS, HoP) ونماذج (MLLMs) العامة (Qwen2.5-VL, LLaVA-NeXT, VideoLLaMA3).

• توليد الوصف: تفوق DriveSafe-Finetuned بشكل كبير على كل من نماذج (MLLMs) التي تعمل بنظام التعلم الصفري والنماذج المتخصصة الأخرى. على سبيل المثال، حقق درجة 60.38 في مقياس BLEU-4 مقارنة بـ ~56 لنموذج HoP وأقل من 30 لنماذج (VLs) العامة.
• تحديد موقع الكائن الخطير (Grounding): حقق النموذج المضبوط بدقة 74.8 في Acc@0.5 ومتوسط IoU قدره 59.8، متفوقاً بمراحل على نماذج (VLs) العامة التي عانت في تحديد المواقع (على سبيل المثال، سجل Qwen2.5-VL نسبة 0.0 في Acc@0.5). لاحظ المؤلفون أن مقياس IoU وحده قد يكون مضللاً للنماذج التي تعمل بنظام التعلم الصفري، حيث يمكن أن تنتج درجات IoU عالية عن مطابقات صحيحة نادرة بينما يتم تجاهل معظم المخاطر؛ بينما يحافظ DriveSafe على دقة عالية وIoU مرتفع في آن واحد.
• التنبؤ باقتراح السلامة: حقق DriveSafe-Finetuned دقة بنسبة 52.85% ودرجة F1 موزونة بنسبة 37.15%، وهو ما يعادل ضعف أداء نظيره الذي يعمل بنظام التعلم الصفري (23.49% دقة) ويتفوق بشكل كبير على جميع النماذج المرجعية (التي تراوحت دقتها بين 13-19%).
• التحليل النوعي: تظهر دراسات الحالة أن DriveSafe-Finetuned يقلل من الهلوسة والمبالغات الشائعة في نماذج التعلم الصفري، مما يوفر تفسيرات مستندة إلى الواقع (على سبيل المثال، تحديد مركبة متوقفة مقابل مركبة متحركة بشكل صحيح) واقتراحات مناسبة للسياق.

الأهمية والادعاءات

يدعي البحث أن DriveSafe يعالج فجوة حرجة في القيادة الذاتية من خلال الربط بين فهم المخاطر وإرشادات السلامة القابلة للتنفيذ. ومن خلال جعل تقييم المخاطر مشروطاً بتمثيلات مشهد لغوية صريحة ومعززة بإشارات هندسية وحركية، يحقق الإطار أداءً يمثل أحدث ما توصل إليه العلم (state-of-the-art) في كشف المخاطر وتوليد اقتراحات السلامة.

يؤكد المؤلفون أن نهجهم يوفر الشفافية من خلال الربط الصريح بين المخاطر المحددة وتوصيات السلامة المحددة، وهو أمر ضروري لبناء الثقة في الأنظمة ذاتية القيادة. ويضعون هذا العمل كخطوة تأسيسية، مشيرين إلى أنه بينما يعد الربط الحالي بين المخاطر والسلامة ثابتاً، فإنه يؤسس لإطار عمل جديد للاستدلال في حالات السلامة الحرجة. ويخلص البحث إلى أن التكيف المتخصص في المجال (عبر المهايئات خفيفة الوزن والسياق متعدد الوسائط) ضروري للتغلب على قيود نماذج (VLs) العامة في سيناريوهات القيادة الحرجة للسلامة.