A Semantic Observer Layer for Autonomous Vehicles: Pre-Deployment Feasibility Study of VLMs for Low-Latency Anomaly Detection

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "طبقة مراقب دلالي للمركبات ذاتية القيادة: دراسة جدوى ما قبل النشر لنماذج الرؤية واللغة (VLMs) للكشف عن الشذوذ بإنتاجية منخفضة التأخير."

1. بيان المشكلة

تعتمد المركبات ذاتية القيادة (AVs) حالياً على كواشف تعتمد على مستوى البكسل، والتي تواجه صعوبة في التعامل مع الشذوذ الدلالي (Semantic Anomalies) — وهي مخاطر تعتمد على السياق وتتطلب استنتاجاً بدلاً من مجرد اكتشاف الأجسام (مثل التمييز بين كرة منفوخة من ظل، أو إساءة تفسير إشارات المرور الموجودة على شاحنة).

• الفجوة: الكواشف الحالية للشذوذ هشة تجاه الأجسام الخارجة عن التوزيع (out-of-distribution) وتفتقر إلى الاستنتاج الزمني أو الدلالي. وبينما توفر النماذج اللغوية الكبيرة (LLMs) ونماذج الرؤية واللغة (VLMs) قدرات الاستنتاج اللازمة، إلا أنها عادة ما تكون بطيئة جداً (زمن تأخير مرتفع) للنشر الفعلي على المركبة في الوقت الفعلي.
• التحدي: تطوير إطار عمل يدمج الاستنتاج الدلالي عالي المستوى في حلقة التحكم للمركبات ذاتية القيادة دون انتهاك ميزانيات زمن التأخير الصارمة التي تقل عن ثانية واحدة، وتحديداً من خلال العمل كـ "مراقب" موازٍ وليس كمتحكم أساسي.

2. المنهجية المقترحة

يقترح المؤلفون بنية "طبقة مراقب دلالي" (Semantic Observer Layer) تعمل جنباً إلى جنب مع حلقة التحكم الأساسية للمركبة.

• البنية:

  • الدور: منسق يعمل بتردد 1-2 هرتز لمراقبة الحالات الحدية الدلالية التي تفقدها المنظومة الأساسية. عند اكتشاف شذوذ عالي الثقة، يقوم بتفعيل عملية انتقال سلسة إلى منظومة "الوضع الآمن" (fail-safe stack).
  • النموذج: يستخدم Cosmos-Reason1-7B (وهو نموذج رؤية ولغة متخصص في الروبوتات يعتمد على Qwen2.5-VL).
  • المدخلات: نوافذ فيديو RGB مجمعة زمنياً (على سبيل المثال، 5 إطارات) ومطالبات نصية مهيكلة تحدد قيود السلامة.
  • المخرجات: قرار ثنائي {طبيعي، شذوذ} مع مسوغ نصي، يتم تحويله إلى محفز ثنائي.

• تقنيات التحسين لتقليل زمن التأخير:

  • الكمية (Quantization): تم تطبيق كمية NVFP4 (بـ 4 بت) لأوزان هيكل الـ Transformer لتقليل بصمة الذاكرة وتكاليف عمليات ضرب المصفوفات.
  • تسريع الانتباه (Attention Acceleration): تم تنفيذ FlashAttention2 لتحسين عرض نطاق الذاكرة وتقليل التعقيد التربيعي للانتباه الذاتي.
  • هندسة المطالبات (Prompt Engineering): تم استخدام مطالبات مفصلة ومهيكلة (تتضمن هيكلية XML) لضمان مخرجات حتمية ومنع "الهلوسة" أو النصوص غير القابلة للتحليل، وهو أمر بالغ الأهمية لاستقرار الكمية منخفضة البت.
  • تحديد ميزانية الرموز (Token Budgeting): تم تقييد الرموز المولدة بحد أقصى 3 رموز لتقليل زمن تأخير فك التشفير التكراري (autoregressive decoding).

3. المساهمات الرئيسية

1. بنية المراقب الدلالي: صياغة طبقة استقلالية متميزة تفصل الاستنتاج الدلالي عالي المستوى عن حلقة التحكم الأساسية، مما يسمح بمراقبة غنية دلالياً ولكن بتردد أقل (1-2 هرتز).
2. التقييم المنهجي: تقديم أول تقييم شامل لنموذج Cosmos-Reason1-7B لاكتشاف شذوذ المركبات عبر الصور الثابتة وتدفقات الفيديو، مع مقارنة مستويات الكمية المختلفة (BF16, INT8, NF4) واستراتيجيات المطالبات.
3. النتيجة السلبية الحرجة (انهيار NF4): تحديد قيد نشر صعب حيث تسبب كمية NF4 في انهيار كارثي في الاستدعاء (Recall) (انخفض إلى 10.6%) في استنتاج الفيديو، رغم أدائه التنافسي في الصور الثابتة.
4. تحليل السلامة: ربط مقاييس أداء النظام بأهداف السلامة ISO 26262 (HARA)، مع تحديد قيود محددة للدقة والاستدعاء وزمن التأخير لضمان التكامل الآمن.

4. النتائج التجريبية

أ. مقارنة النماذج (الإحصائي مقابل الدلالي)

• FCDD (على مستوى البكسل): حقق ROC-AUC شبه مثالي (~1.0) في مجموعات بيانات أضرار الطريق، لكنه فشل في تقديم تسميات قابلة للتنفيذ (مثل التمييز بين حفرة وظل) أو الاستنتاج الزمني.
• Cosmos (الدلالي): حقق انفصالاً إحصائياً خاماً أقل، ولكنه قدم تصنيفات دلالية قابلة للتنفيذ واستنتاجاً بلغة طبيعية، وهو أمر ضروري لاتخاذ قرارات السلامة.

ب. تأثير الكمية والمطالبات (الصور الثابتة)

• أفضل تكوين: NF4 + مطالبات مفصلة (Verbose Prompts).
• الأداء: حقق F1 بنسبة 60.0%، دقة (Precision) بنسبة 82.8%، واستدعاء (Recall) بنسبة 47.0% مع زمن تأخير 0.80 ثانية.
• الملاحظة: أدت المطالبات المختصرة إلى انهيار F1 إلى 0% بسبب المخرات غير القابلة للتحليل. كانت المطالبات المفصلة ضرورية وغير قابلة للتفاوض لضمان الاستقرار في الكمية منخفضة البت.

ج. استنتاج الفيديو وانهيار NF4

• الإعداد: تم التقييم باستخدام مجموعة اختبار إدراك المخاطر (224 مقطعاً، نوافذ مدتها 5 ثوانٍ).
• النتيجة الحرجة: فشلت كمية NF4 بشكل كارثي في وضع الفيديو، حيث انخفض الاستدعاء إلى 10.6% وF1 إلى 15.4%.
• التكوينات القابلة للتطبيق: حافظت BF16 و INT8 على أداء مستقر:
  • BF16: استدعاء ~77.3%، F1 بنسبة 50.8%، زمن تأخير 0.485 ثانية.
  • INT8: استدعاء ~75.8%، F1 بنسبة 50.8%، زمن تأخير 0.787 ثانية.
• الاستنتاج: NF4 غير آمن لمراقبي الدلالة القائمين على الفيديو؛ يجب استخدام BF16 أو INT8 لتلبية أهداف استدعاء السلامة.

د. أداء زمن التأخير

• حققت المنظومة المحسنة (NVFP4 + FlashAttention2) زمن استنتاج ~500 مللي ثانية لكل إطار، وهو ما يمثل تسريعاً بنحو 50 ضعفاً مقارنة بأساس FP16 غير المحسن (~25 ثانية)، مما يلبي ميزانية المراقب (1-2 هرتز).

5. الأهمية والعمل المستقبلي

• إثبات الجدوى: تثبت الدراسة أن نماذج الرؤية واللغة (VLMs) المكممة يمكن أن تعمل كمراقب دلالي في الوقت الفعلي للمركبات، مما يسد الفجوة بين الكشف على مستوى البكسل والاستنتاج الشبيه بالبشر.
• قيود السلامة: توضح الورقة أنه بينما يلبي النظام أهداف دقة ASIL-B (≥80%)، فإنه لا يزال يقصر عن تحقيق أهداف استدعاء ASIL-D (≥90%) في وضع الفيديو (حالياً ~77%).
• خارطة طريق النشر:
  • فوري: لا تستخدم NF4 لمسارات الفيديو. استخدم BF16/INT8.
  • الخطوات التالية: تنفيذ ضبط LoRA (rank-16/32)، وتجميع الـ logits متعدد الإطارات، وضبط عتبة المعايرة بناءً على الثقة لسد فجوة الاستدعاء.
  • التكامل: لا ينبغي للمراقب أن يعمل كطبقة سلامة وحيدة حتى يتم استيفاء أهداف الاستدعاء؛ يجب دمجه مع طبقة "مناورة الحد الأدنى من المخاطر" (MRM) المعتمدة.

الملخص: تثبت هذه الورقة أنه من خلال تحسينات معمارية محددة (FlashAttention2، والمطالبات المهيكلة) واختيار دقيق للكمية (تجنب NF4 للفيديو)، يمكن نشر نماذج الرؤية واللغة (VLMs) كمراقب دلالي منخفض التأخير لاكتشاف مخاطر القيادة المعقدة التي تفشل الكواشف التقليدية في رصدها، مما يوفر مساراً قابلاً للتطبيق نحو قيادة ذاتية أكثر أماناً وإدراكاً للسياق.