MTA-RL: Robust Urban Driving via Multi-modal Transformer-based 3D Affordances and Reinforcement Learning
تقدم هذه الورقة MTA-RL، وهو إطار عمل مبتكر يعزز القيادة الذاتية الحضرية القوية من خلال دمج بيانات RGB وLiDAR عبر محول متعدد الوسائط (Multi-modal Transformer) لتوليد تمثيلات إمكانات ثلاثية الأبعاد (3D affordance) صريحة، والتي تعمل كفضاء ملاحظة مدمج لسياسة التعلم المعزز لتحقيق أداء متفوق، وكفاءة في أخذ العينات، وتعميم صفري مقارنة بالنماذج المرجعية الحالية.
تخيل أنك تعلم سيارة ذاتية القيادة كيفية التنقل في مدينة فوضوية. لديك طريقتان رئيسيتان للقيام بذلك:
الطريقة "التركيبية" (Modular): تقوم بتعيين فريق من المتخصصين. شخص واحد ينظر إلى الطريق ويصرخ: "هناك ضوء أحمر!". وآخر يقيس المسافة إلى السيارة التي أمامه. وثالث يقرر ما إذا كان يجب الضغط على المكابح. المشكلة؟ إذا ارتكب الشخص الأول خطأً بسيطاً، فإن سلسلة القيادة بأكملها تنهار، وقد تصطدم السيارة.
طريقة "من البداية إلى النهاية" (End-to-End): تعطي السيارة دماغاً ينظر إلى الكاميرا ويضغط فوراً على دواسة البنزين أو المكابح. المشكلة؟ إنها تشبه "الصندوق الأسيود" (Black Box). لا تعرف لماذا اتخذت قراراً، وإذا وقع حادث، لا يمكنك إصلاح المنطق بسهولة. بالإضافة إلى ذلك، يستغەرك الأمر وقتاً طويلاً للتعلم لأنها تضطر لتخمين كل شيء من الصفر.
MTA-RL هو نهج جديد يحاول الجمع بين أفضل ما في العالمين. إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:
تعتمد معظم السيارات ذاتية القيادة بشكل كبير على الكاميرات (مثل عيون البشر) أو تقنية ليدار (LiDAR) (مثل سونار الخفافيش الذي يقيس المسافة).
المشكلة: الكاميرات رائعة في رؤية الألوان واللافتات ولكنها سيئة في تقدير المسافة بدقة. أما "ليدار" فهو رائع في قياس المسافات ولكنه لا يستطيع قراءة لافتة "قف" أو رؤية ضوء أحمر.
حل MTA-RL: يستخدم البحث نموذج "ترانسفورمر" (Transformer) (وهو نوع من أنواع الذكاء الاصطناعي الشهير بفهم السياق) لدمج هاتين الحاستين معاً. فكر في الأمر كأنه مترجم فائق الذكاء يأخذ "الصورة" من الكاميرا و"الخريطة ثلاثية الأبعاد" من الليدار ويمزجهما في فهم واحد مثالي للعالم. إنه لا يرى مجرد كتلة حمراء فحسب؛ بل يرى "ضوء مرور أحمر على بعد 20 متراً".
2. "لوحة القيادة" (الإمكانيات ثلاثية الأبعاد - 3D Affordances)
بدلاً من تغذية الدماغ المسؤول عن اتخاذ القرار ببيانات خام وفوضوية (ملايين البكسلات والنقاط)، يقوم MTA-RL بإنشاء "لوحة قيادة" منظمة ونظيفة تسمى "الإمكانيات ثلاثية الأبعاد" (3D Affordances).
ما هي "الإمكانية" (Affordance)؟ تخيل أنك تقود سيارة. أنت لا تفكر في كل بكسل من الطريق، بل تفكر من حيث الإمكانيات والقيود: "يمكنني السير للأمام"، "يجب أن أتوقف من أجل ذلك المشاة"، "أنا على بُعد 5 أمتار من خط المسار".
السحر: يقوم الذكاء الاصطناعي بترجمة بيانات الاستشعار الفوضوية إلى هذه الحقائق المحددة وسهلة الفهم (مثلاً: "المسافة إلى علامة التوقف: 15م"، "خطر مشاة: نعم").
لماذا يساعد ذلك؟ يعمل هذا كنسخة "مضغوطة" من الواقع. إنه يشبه إعطاء السائق قائمة مرجعية واضحة بدلاً من بث فيديو بدقة 4K. هذا يجعل عملية التعلم أسرع بكثير وأكثر استقراراً.
بمجرد أن تمتلك السيارة "لوحة القيادة" النظيفة هذه من الحقائق، يتولى وكيل "التعلم المعزز" (RL) زمام الأمور.
التشبيه: فكر في هذا الوكيل كطالب يقود سيارة تحت إشراف مدرب صارم.
التدريب: يحاول الطالب القيادة. إذا بقي في مساره، يحصل على نقطة صغيرة "عمل جيد". إذا زاد من السرعة، يحصل على عقوبة. إذا تجاوز الإشارة الحمراء، يحصل على عقوبة كبيرة وتنتهي الحصة التدريبية.
الابتكار: لأن الطالب ينظر إلى "لوحة القيادة" النظيفة (الإمكانيات) بدلاً من الفوضى الخام، فإنه يتعلم قواعد الطريق بشكل أسرع بكثير. لا يحتاج لتخمين كيف يبدو الضوء الأحمر؛ فلوحة القيادة تخبره ببساة: "تم رصد ضوء أحمر".
4. النتائج: سائق ماهر
اختبر الباحثون هذا النظام في محاكاة تسمى CARLA (وهي لعبة فيديو للسيارات ذاتية القيادة) في ثلاث "بلدات" مختلفة بمستويات حركة مرور متفاوتة (من الشوارع الفارغة إلى الازدحام المروري مع 60 سيارة أخرى).
الادعاء: تفوق MTA-RL باستمرار على الأساليب الرائدة الأخرى.
خدعة "الصفر المعرفي" (Zero-Shot): قاموا بتدريب السيارة فقط في البلدة رقم 3. ثم وضعوها في البلدة رقم 1 والبلدة رقم 2 (اللذين لم ترهما من قبل). لم تصطدم، بل قادت بشكل أفضل من الخبراء.
الإحصائيات:
أكملت مسافة أكبر من المسار (بنسبة تصل إلى 9% أكثر).
قادت لمسافات أطول دون كسر القواعد (تحسن يصل إلى 83% في "المسافة لكل مخالفة").
تعاملت مع حركة المرور الكثيفة بشكل أفضل من المنافسين.
الملخص
MTA-RL يشبه منح سيارة ذاتية القيادة زوجاً من الحواس الفائقة التي تجمع بين الرؤية والعمق، ولوحة قيادة واضحة تترجم تلك البيانات إلى قواعد قيادة بسيطة، ومدرباً ذكياً يتعلم القيادة بأمان من خلال التركيز على تلك القواعد. والنتي نتيجة ذلك هي سيارة أكثر أماناً، تتعلم بشكل أسرع، ويمكنها التعامل مع شوارع المدينة الجديدة والمربكة دون الحاجة إلى إعادة تدريبها من الصفر.
ملخص تقني: MTA-RL
بيان المشكلة تتطلب القيادة الذاتية الحضرية القوية فهماً ثلاثي الأبعاد للمشهد وإدراكاً مستقراً للقرارات تحت التفاعلات الكثيفة والديناميكية. تواجه النهج الحالية حالة من الازدواجية: حيث توفر المسارات البرمجية المجزأة (modular pipelines) قابلية للتفسير ولكنها تعاني من انتشار الأخطاء عبر الواجهات الهشة، بينما تفتقر نماذج التعلم من طرف إلى طرف (end-to-end) غالباً إلى قابلية التفسير وتواجه صعوبة في كفاءة العينات عند معالجة الملاحظات الخام عالية الأبعاد. علاوة على ذلك، تعتمد طرق تعلم الإمكانات (affordance learning) الحالية عادةً على مدخلات الكاميرا أحادية العدسة، مما يقيد التمثيلات في المستوى الصوري ثنائي الأبعاد ويحد من التعبير الهندسي، مما يؤدي إلى سياسات غير مستقرة في حركة المرور المعقدة. بالإضافة إلى ذلك، غالباً ما يفتقر التعلم التعزيزي (RL) الصرف من طرف إلى طرف إلى الاستدلال المكاني الصريح، مما يجعل تحليل الفشل صعباً ويجعل ضمانات السلامة في البيئات الجديدة أمراً صعب التحقق.
المنهجية يقترح البحث إطار عمل MTA-RL، وهو إطار موحد يربط بين الإدراك والتحكم من خلال ربط "الإمكانات ثلاثية الأبعاد" (3D Affordances) القائمة على المحولات متعددة الوسائط (Multi-modal Transformer) بالتعلم التعزيزي. تتكون البنية من مرحلتين أساسيتين:
التنبؤ بالإمكانات متعدد الوسائط القائم على المحولات (Transformer):
دمج المدخلات: يقوم النظام بدمج مدخلات المستشعرات غير المتجانسة: ثلاث كاميرات RGB مواجهة للأمام (توفر إشارات دلالية مثل إشارات المرور والمشاة) وسحب نقاط ليدار (LiDAR) (توفر قياسات هندسية دقيقة).
البنية: تقوم شبكة دمج قائمة على المحولات بمعالجة هذه المدخلات في مساحة رؤية من منظور عين الطائر (BEV). تتم معالجة صور RGB عبر عمود فقري من نوع ResNet-34، بينما يتم إسقاط نقاط ليدار على شبكة BEV بمساحة 32م × 32م.
المخرجات: تتنبأ الشبكة بإمكانات ثلاثية الأبعاد مهيكلة وواعية هندسياً. وتُصنف هذه الإمكانات إلى:
إمكانات منفصلة (Discrete Affordances): تنبؤات فئوية لقواعد المرور والسلامة (مثل: إشارة مرور حمراء، علامة قف، توقف خطر).
تشكل هذه الإمكانات متجهاً كامناً مدمجاً ومهيكلاً دلالياً يعمل كفضاء للملاحظات.
التعلم التعزيزي الموجه بالإدراك (SAC):
السياسة: يعمل وكيل "التعلم من خلال سياسة التباين المستمر" (Soft Actor-Critic - SAC) حصرياً على الإمكانات المتوقعة وحالة المركبة، بدلاً من البيانات الحسية الخام.
تشكيل المكافأة: يتم تشكيل دالة المكافأة بكثافة لتحسين أهداف متعددة: الحفاظ على المسار، تتبع السرعة، سلاسة التحكم، التقدم في المسار، والأهم من ذلك، الامتثال لقواعد المرور. يقوم مصطلح الامتثال للقواعد بمعاقبة الكبح المتأخر بالقرب من القيود (الأضواء، العلامات) بشكل صريح ويكافئ التوقف الكامل، مما يضمن الالتزام الصارم بحدود السلامة.
الإنهاء: تنتهي الحلقات عند حدوث انتهاكات للسلامة (اصطدامات، خرق القواعد) أو عدم إحراز تقدم، مع تحديد عقوبات محددة لهذه الأحداث.
المساهمات الرئيسية
التنبؤ بالإمكانات ثلاثية الأبعاد في مساحة BEV: يقترح المؤلفون أول بنية متعددة الوسائط قائمة على المحولات مع رؤوس تنبؤ صريحة للمسافة إلى القيود للتنبؤ بإمكانات مدمجة وواعية هندسياً مباشرة في مساحة BEV، مما يتغلب على قيود الثنائية الأبعاد للطرق المعتمدة على الكاميرا فقط.
التعلم التعزيزي على الإمكانات المهيكلة: يتيح إطار العمل لسياسة التعلم التعزيزي العمل حصرياً على الدلالات المتوقدة للقيادة. يوفر هذا الفصل فضاء ملاحظات مهيكلاً يحسن كفاءة العينات، والاستقرار، وقابلية التفسير مقارنة بالمدخلات الحسية الخام.
الأداء القوي: تُظهر التقييمات المكثفة أن MTA-RL يتفوق باستمرار على النماذج المرجعية (baselines) في كل من دقة التنبؤ بالإمكانات وأداء القيادة عبر مختلف المدن والازدحامات المرورية.
النتائج التجريبية أُجريت التقييمات في محاكي CARLA في Town01 وTown02 وTown03 مع كثافات مرورية متفاوتة (20-60 مركبة خلفية).
التنبؤ بالإمكانات: حقق MTA-RL دقة فائقة مقارنة بالنماذج المرجعية (DeepDriving, CAL, Affordance-RL). حيث سجل أعلى نسبة تقاطع فوق الاتحاد (IoU) للمهام الفئوية (مثل 99.13% لإشارات المرور الحمراء) وأقل متوسط خطأ مطلق (MAE) لتنبؤات المسافة المستمرة (مثل 0.011م لمسافة المركبة المستهدفة). كما كان الطريقة الوحيدة التي قدرت المسافات إلى إشارات المرور، وعلامات القف، والمشاة بشكل موثوق.
أداء القيادة:
التعميم: بعد التدريب حصرياً على Town03، أظهر النموذج قدرة قوية على التعميم الصفري (zero-shot generalization) إلى Town01 وTown02.
المقاييس: في حركة المرور الكثيفة (60 مركبة)، حقق MTA-RL أعلى معدل لإكمال المسار (RC) وإجمالي المسافة (TD) عبر جميع المدن. فعلى سبيل المثال، في Town01، حقق RC قدره 0.764 مقارنة بـ 0.630 لنموذج VLM-RL و0.599 لنموذج Roach.
السلامة: أظهرت الطريقة تحسينات كبيرة في مقاييس السلامة، حيث حققت تحسناً بنسبة 83.7% في المسافة لكل انتهاك (DPV) مقارنة بالنماذج المرجعية في سيناريوهات معينة. كما حافظت على سرعات اصطدام منخفضة ودرجة عالية من DPV، مما يشير إلى مخالفات أقل وأقل حدة.
دراسات الاستئصال (Ablation Studies):
الدمج متعدد الوسائط: أدى استبدال المحول بالدمج الهندسي أو إزالة هندسة ليدار الصريحة (Latent TransFuser) إلى تدهور دقة التنبؤ بالإمكانات، مما يؤكد ضرورة الدمج متعدد الوسائط القائم على الانتباه والمدخلات الهندسية الصريحة.
تشكيل المكافأة: أدى إزالة تشكيل قواعد المرور الكثيفة والاعتماد فقط على العقوبات النهائية المتفرقة إلى تباطؤ في التقارب وانخفاض في قيم RC وTD وDPV، مما يسلط الضوء على الدور الحاسم للتغذية الراجعة المتوسطة لصقل السياسة.
الأهمية يزعم البحث أن MTA-RL يوفر توازناً مبدئياً بين التعلم من طرف إلى طرف والتصميم المجزأ للقيادة الذاتية في المناطق الحضرية. ومن خلال استخدام الإمكانات ثلاثية الأبعاد متعددة الوسائط كتمثيل وسيط، ينجح إطار العمل في فصل الإدراك عن التحكم. يعزز هذا النهج من قابلية التفسير والمتانة مع السماح لسياسة التعلم التعزيزي بالاستفادة من الاستدلال المكاني الصريح وقواعد المرور. وتشير النتائج إلى أن هذا التمثيل المهيكل ضروري لتحقيق اتخاذ قرار مستقر وآمن وفعال في البيئات الحضرية شديدة التفاعل وغير المستقرة، مما يعالج قيود كل من المسارات المجزلة التقليدية والتعلم التعزيزي الخام من طرف إلى طرف.