💻 computer science

InterFuserDVS: Event-Enhanced Sensor Fusion for Safe RL-Based Decision Making

تقترح هذه الورقة البحثية InterFuserDVS، وهي بنية محسنة لدمج المستشعرات تدمج مستشعرات الرؤية الديناميكية (DVS) مع بيانات RGB وLiDAR عبر استراتيجية مبتكرة قائمة على الرموز (token-based) لتحسين متانة وسلامة وكلاء القيادة الذاتية القائمين على التعلم التعزيزي (RL)، محققةً معدل إكمال مسار بنسبة 100% في لوحة صدارة CARLA.

المؤلفون الأصليون: Mustafa Sakhaia, Kaung Sithua, Min Khant Soe Okea, Maciej Wielgosza

نُشر 2026-05-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mustafa Sakhaia, Kaung Sithua, Min Khant Soe Okea, Maciej Wielgosza

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا قيادة سيارة عبر مدينة مزدحمة. يحتاج الروبوت إلى "رؤية" العالم لاتخاذ قرارات آمنة. عادةً، نحن نمنح الروبوتات نوعين رئيسيين من العيون:

الكاميرات القياسية (RGB): تشبه عيون البشر أو كاميرات الهواتف. تلتقط الصور بوتيرة ثابتة (مثل كتاب الصور المتتابعة). ولكن إذا تحركت السيارة بسرعة كبيرة، تصبح الصور ضبابية. وإذا قاد الروبوت خارج نفق مظلم إلى ضوء شمس ساطع، فإن الكاميرا تصاب بـ "العمى" بسبب التوهج، تمامًا كما يحدث لأعيننا.
ليدار (LiDAR): يشبه الخفاش الذي يستخدم السونار. يطلق أشعة ليزر لقياس المسافة. هو رائع في معرفة مدى بُعد الأشياء، ولكنه قد يرتبك في المطر الغزير أو الضباب، ولا يرى الألوان أو التفاصيل بشكل جيد.

قرر مؤلفو هذه الورقة البحثية، InterFuserDVS، منح الروبوت "زوجًا ثالثًا من العيون" يسمى مستشعر الرؤية الديناميكية (DVS)، أو "كاميرا الأحداث".

تشبيه "كاميرا الأحداث"

فكر في الكاميرا القياسية كأنها مصور فوتوغرافي يلتقط صورة كل ثانية. إذا تحرك شيء بسرعة بين الصور، فإنه يظهر كضبابية.

الآن، فكر في كاميرا الأحداث (DVS) كأنها حارس أمن لا يتحدث إلا عندما يحدث تغيير.

إذا كانت الغرفة ساكنة، لا يقول الحارس شيئًا.
إذا طار عصفور عبر الغرفة، يصرخ الحارس فورًا: "حركة عند الساعة 2!"
إذا مرت سيارة مسرعة، يصرخ الحارس: "حركة سريعة!"

هذا "الحارس" (DVS) لا يهتم بسطوع الغرفة (فهو يعمل في الظلام الدامس أو تحت الشمس الساطعة) ويستجيب في أجزاء من المليون من الثانية. هو يبلغ فقط عن التغييرات في المشهد، مثل السيارات المتحركة أو مشاة يخطون إلى الطريق.

كيف يجمعون كل ذلك معًا

أخذ الباحثون نظام قيادة ذكيًا يسمى InterFuser (كان يستخدم بالفعل الكاميرات القياسية والليدار) وأضافوا هذا "الحارس الحدثي" الجديد إلى الفريق.

لقد بنوا ترانسفورمر (Transformer) (نوع من أنواع الذكاء الاصطناعي) يعمل مثل قائد الأوركسترا.

الكاميرات القياسية تعزف اللحن الأساسي (الألوان، إشارات المرور، واللوحات).
الليدار يعزف الإيقاع المنخفض (المسافة، وشكل الطريق).
كاميرا الأحداث تعزف الإيقاع (الحركة السريعة، والتغيرات المفاجئة).

القائد (الترانسفورمر) يستمع إلى جميع الآلات الثلاث في وقت واحد. إذا تعرضت الكاميرا القياسية للعمى بسبب الشمس، فإن القائد يعتمد بقوة على كاميرا الأحداث لرؤية السيارات المتحركة. إذا كانت كاميرا الأحداث مليئة بالضجيج، يستمع القائد إلى الليدار لمعرفة المسافة. إنهم يعملون معًا لاتخاذ قرار واحد آمن بشأن كيفية التوجيه والسرعة التي يجب السير بها.

شبكة الأمان

حتى مع وجود ذكاء اصطناعي فائق الذكاء، أضاف المؤلفون متحكم سلامة (Safety Controller). فكر في هذا كأنه مشرف بشري صارم يجلس بجانب سائق الروبوت.

إذا حاول الروبوت تجاوز إشارة حمراء، يقوم المشرف بالضغط على المكابح.
إذا خطط الروبوت لمسار يبدو أنه سيصطدم بمشاة، يقوم المشرف بإلغاء أمر الروبوت ويوقف السيارة فورًا.
حتى أن لديهم قاعدة: إذا علق الروبوت عند إشارة حمراء لفترة طويلة جدًا (أكثر من 50 ثانية)، يسمح له المشرف بعبور التقاطع بحذر لتجنب العلوق للأبد.

النتائج

اختبر الفريق هذا الروبوت في مدينة افتراضية صعبة للغاية (تسمى CARLA) مليئة بحركة المرور والمشاة والتقاطعات المعقدة.

الهدف: إنهاء المسار دون الاصطدام أو كسر القواعد.
النتيجة: أنهى الروبوت الخاص بهم 100% من المسارات دون أن يعلق. وقد سجل درجات عالية جدًا في السلامة والموثوقية.
لماذا نجح الأمر: ساعدت "كاميرا الأحداث" الروبوت على رؤية الناس والسيارات المتحركة بشكل أسرع بكثير من الكاميرات القياسية، خاصة في ظروف الإضاءة الصعبة أو عند التحرك بسرعة.

ما التالي؟

تقترح الورقة أيضًا ترقية مستقبلية. حاليًا، يقوم الروبوت بتحويل "أحداث" الصراخ إلى تنسيق يمكنه قراءته بسهولة (مثل تحويل صرخات الحارس إلى تقرير مكتوب). في المستقبل، يريدون بناء عقل يمكنه الاستماع إلى الصرخات مباشرة دون تحويلها أولاً. هذا سيجعل الروبوت أسرع وأكثر كفاءة في استهلاك الطاقة، مثل رد فعل الإنسان الفطري بدلاً من التفكير فيه أولاً.

باختصار: من خلال إضافة "كاميرا أحداث" فائقة السرعة وحساسة للحركة إلى عيون الروبوت، ومنحه مشرف سلامة صارم، ابتكر المؤلفون وكيلًا ذاتي القيادة بارعًا جدًا في التنقل عبر شوارع المدن المزدحمة والمعقدة دون أن يضل طريقه أو يصطدم.

ملخص تقني: InterFuserDVS

بيان المشكلة

تواجه أنظمة القيادة الذاتية تحديات كبيرة في المشاهد ذات النطاق الديناميكي العالي (HDR) والسيناريوهات عالية السرعة بسبب القيود المتأصلة في مجموعات الاستشعار التقليدية. تعاني كاميرات RGB القياسية من ضبابية الحركة (motion blur) والنطاق الديناميكي المحدود، مما يؤدي غالباً إلى الفشل في ظروف مثل الخروج من نفق مظلم إلى ضوء شمس ساطع. وبينما يوفر الـ LiDAR عمقاً دقيقاً، إلا أنه يتسم بالندرة ويتدهور أداؤه في الظروف الجوية القاسية (المطر، الضباب). كما تعاني نهج التعلم من "النهاية إلى النهاية" (end-to-end) الحالية من مشكلة "الارتباك السببي" (causal confusion) وتفتقر إلى المتانة الهندسية المطلوبة للمناورات الحرجة للسلامة في حركة المرور الكثيفة. هناك حاجة ماسة لهيكلية دمج مستشعرات يمكنها الاستفيد من الوسائط المتكاملة لضمان الإدراك القوي واتخاذ القرار الآمن تحت ظروف الإضاءة والظروف الديناميكية القاسية.

المنهجية

تقترح الورقة البحثية InterFuserDVS، وهي بنية ممتدة لنموذج InterFuser المتطور الذي يدمج مستشعرات الرؤية الديناميكية (DVS)، أو كاميرات الأحداث (event cameras)، كوسيط أساسي إلى جانب كاميرات RGB وLiDAR.

1. نظرة عامة على البنية

يستخدم النظام هيكلاً خلفياً عالمياً يعتمد على الـ Transformer لدمج الميزات المقطعة (tokenized features) من ثلاثة أنواع متميزة من المستشعرات:

كاميرات RGB: مدخلات متعددة الرؤية (أمامي، يسار، يمين) مقصوصة بدقة 800×600.
LiDAR: سحب نقاط (point clouds) يتم تحويلها إلى صورة زيفة بنظام "عين الطائر" (BEV) ثنائية الحاويات (224×224).
DVS (كاميرات الأحداث): أحداث غير متزامنة خام $(x, y, t, p)$ يتم تجميعها في نوافذ زمنية ثابتة لتوليد "إطارات أحداث". تمثل هذه الإطارات أحادية القناة عدد الأحداث المعياري أو مجموعات القطبية، وهي تلتقط الديناميكيات الحركية والحواف بدقة ميكروثانية.

2. استخراج الميزات والدمج

الهياكل الخلفية (Backbones): تتم معالجة مدخلات RGB وDVS بواسطة متغيرات ResNet (مثل ResNet-18/50)، بينما يستخدم LiDAR نموذج PointNet++ معدل لـ BEV.
النقل عبر الوسائط (Cross-Modal Transfer): أحد الخيارات التصميمية الرئيسية هو تهيئة أوزان مشفر DVS باستخدام هيكل RGB مدرب مسبقاً. يستفيد هذا من الارتباط المكاني بين الحواف السطوعية (RGB) والحواف الزمنية (DVS) لتسهيل التقارب السريع واستقرار التدريب المبكر.
الدمج القائم على الرموز (Token-Based Fusion): يتم تسطيح الميزات وإسقاطها في رموز ذات أبعاد $D$ . تُضاف تضمينات موضعية ثنائية الأبعاد قابلة للتعلم للحفاظ على السياق المكاني. تُجمع جميع الرموز في تسلسل واحد ويتم معالجتها بواسطة Transformer Encoder مكون من 6 طبقات و8 رؤوس انتباه. يسمح هذا للنموذج بإجراء استدلال عالمي، وتوزين أهمية المستشعرات ديناميكياً بناءً على السياق البيئي (على سبيل المثال، استخدام DVS للحركة وLiDAR للعمق).

3. المخرجات والتخطيط

يتنبأ الـ Transformer Decoder بـ:

نقاط المسار (Waypoints): تسلسل من الإحداثيات ثنائية الأبعاد لتخطيط المسار.
حالة إشارة المرور: تصنيف حالة الضوء (أحمر، أخضر، أصفر).
خرائط كثافة الأجسام: شبكة BEV مكونة من 7 قنوات تتنبأ بوجود الأجسام، والإزاحة، والحجم، والاتجاه، والسرعة.

4. وحدة التحكم الهجينة للسلامة

لضمان السلامة، يدمج النظام وحدة تحكم سلامة قائمة على القواعد تقوم بإلغاء أوامر PID الخاصة بالنموذج (من النهاية إلى النهاية) عند الضرورة:

الامتثال لإشارات المرور: تتعامل "آلة الحالة" (state machine) مع اكتشاف الأضواء الحمراء/الصفراء. وتمنع آلية "العبور القسري" (Forced Crossover) حدوث حالات الجمود إذا ظل المركب عالقاً لأكثر من 50 ثانية.
تجنب الاصطدام: تستخدم وحدة التحكم خرائط كثافة الأجسام المتوقعة لإنشاء شبكة إشغال محلية. وتقوم بفحص المسار المخطط له مقابل هذه الشبكة في عدة خطوات زمنية مستقبلية ( $t=0.5s$ إلى $2.0s$ ). إذا انخفضت مسافة الأمان عن حد يعتمد على السرعة، يقوم النظام بتفعيل الكبح الطارئ.
تنفيذ التحكم: يتم توليد أوامر التوجيه، والتدفق (throttle)، والمكابح النهائية عبر وحدات تحكم PID عرضية وطولية، مع تعديل السرعات المستهدفة ديناميكياً بناءً على انحناء المسار وقرب العوائق.

المساهمات الرئيسية

البنية المعززة بالأحداث: دمج هيكل معالجة DVS مخصص في إطار عمل InterFuser، باستخدام استراتيجية تعلم نقل من RGB إلى DVS للتغلب على ندرة البيانات وعدم استقرار التدريب.
استراتيجية الدمج القائمة على الرموز: Transformer Encoder موحد يدمج الميزات المكانية من RGB/LiDAR مع الميزات الزمنية عالية التردد من DVS، مما يسمح بتوزين ديناميكي للمستشعرات.
سياسة السلامة الهجينة: وحدة تحكم قوية تجمع بين تنبؤات المسار (من النهاية إلى النهاية) والتحقق الاستدلالي (آلات حالة إشارة المرور وفحص الاصطدام القائم على النموذج باستخدام خرائط الإشغال).
الأداء المتفوق: إثبات الموثوقية الاستثنائية على CARLA Leaderboard، وتحقيق إكمال مثالي للمسار في البيئات الحضرية الصعبة.

النتائج التجريبية

تم تقييم الطريقة على CARLA Leaderboard (Town05 Long Routes)، وهو اختبار مرجعي يتضمن ملاحة معقدة، وتغيير مسارات، وحركة مرور كثيفة.

درجة القيادة (DS): حققت 77.20، وهي درجة تنافسية بين الطرق الحديثة.
إكمال المسار (RC): حققت 100%، مما يشير إلى أن الوكيل لم يعلق أو يفقد المسار أو يتأخر في الوقت. وهذا يتفوق على العديد من الطرق المعاصرة (مثل InterFuser بنسبة 88.23%، وReasonNet بنسبة 89.89%) من حيث موثوقية الإكمال.
مقاييس السلامة:
- معدل الاصطدام: معدل اصطدام بالمشاة منخفض للغاية (0.008/كم) ومعدل تنافسي لاصطدام المركبات (0.036/كم).
- المخالفات: معدل مخالفة الإشارة الحمراء 0.01/كم (يُعزى إلى منطق "العبور القسري" لضمان إكمال المسار).
التحليل النوعي: أظهرت دراسات الحالة أن DVS يحسن الأداء بشكل كبير في:
- الالتفاف يساراً دون حماية: اكتشاف الحركة الجانية السريعة لحركة المرور القادمة عبر كثافة الأحداث العالية.
- التجاوز: التحقق من "الخلوص" (clearance) في المسارات المقابلة عبر اكتشاف غياب الأحداث عالية التردد (السيارات المقتربة).
- الكبح الطارئ: الاستجابة للمشاة الذين يظهرون من خلف العوائق (مثل الشاحنات المتوقفة) بشكل أسرع من النماذج التي تعتمد على RGB فقط عبر اكتشاف تباين حركة الأطراف قبل وضوح الميزات البصرية الثابتة.

الأهمية والادعاءات

تدعي الورقة أن InterFusterDVS يثبت أن الرؤية القائمة على الأحداث هي وسيط حيوي وليست مجرد مستشعر متخصص للجيل القادم من المركبات ذاتية القيادة. يوفر دمج DVS ميزتين حرجتين:

نطاق ديناميكي عالٍ: يضمن المتانة في السيناريوهات ذات الظلال القاسية أو وهج الشمس حيث تفشل كاميرات RGB.
دقة زمنية عالية: يلتقط الأجسام سريعة الحركة بشكل صريح، مما يسمح للنموذج بالاعتماد على بيانات الأحداث أثناء التخطيط للحركة خلال المناورات الديناميكية.

يخلص المؤلفون إلى أنه بينما تقوم التطبيقات الحالية بتحويل الأحداث إلى إطارات، فإن المستقبل يكمن في الدمج غير المتزامن للأحداث باستخدام الشبكات العصبية النبضية (SNN) وTransformer للدمج غير المتزامن (AFT) للاستفادة الكاملة من معلومات الحركة بمستوى الميكروثانية وكفاءة الطاقة في الأجهزة العصبية. يعد العمل الحالي خطوة تأسيسية، حيث يثبت أن التعامل مع تدفقات الأحداث كمدخلات زمنية عالية الدقة يعزز بشكل كبير سلامة وموثوقية سياسات القيادة الذاتية من النهاية إلى النهاية.