PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان "PALCAS: نظام توجيه ذكي لتغيير المسار مدرك للأولوية للمركبات ذاتية القيادة باستخدام التعلم المعزز الاتحادي."

1. بيان المشكلة

يعد تغيير المسارات في الطرق السريعة الحضرية، لا سيما تلك التي تتميز بكثرة المداخل والمخارج، مهمة معقدة لاتخاذ القرار تتضمن تنسيق التحكم الجانبي والطولي للمركبة. تواجه النهج الحالية عدة تحديات:

• السلامة والكفاءة: تساهم عمليات تغيير المسار غير السليمة في أكثر من 10% من حوادث الطرق السريعة و10% من الازدحام المروري. غالبًا ما يفشل السائقون البشر في اتخاذ القرارات الحاسمة بسبب أخطاء الإدراك.
• محدودية أنظمة الذكاء الاصطناعي الحالية:
  • الأنظمة أحادية الوكيل (Single-Agent Systems): تركز غالبًا على كفاءة المركبة الفردية (ego vehicle)، متجاهلة التنسيق المروري العالمي.
  • الأنظمة متعددة الوكلاء المركزية (MARL): رغم أنها تحسن التنسيق، إلا أنها تعاني من مخاطر خصوصية البيانات، والعبء الحسابي العالي، والافتقار إلى القابلية للتوسع في الشبكات المتغايرة الكبيرة.
  • فجوات التعلم الاتحادي (Federated Learning): تركز تطبيقات التعلم الاتحادي الحالية في القيادة الذاتية بشكل أساسي على التحكم في الحركة منخفض المستوى (مثل تجنب الاصطدام) بدلاً من اتخاذ قرارات تغيير المسار متعددة الوكلاء المتكاملة وعالية المستوى التي توازن بين المناورات الإلزامية والاختيارية.

2. المنهجية: إطار عمل PALCAS

يقترح المؤلفون PALCAS، وهو نظام توجيه لتغيير المسار مدرك للأولوية مبني على إطار عمل التعلم المعزز الاتحادي متعدد الوكلاء (Fed-MARL).

بنية النظام

• البنية التحتية: يتم تقسيم الطريق السريع إلى مجموعات (clusters)، تدير كل منها وحدة طريق جانبية (RSU). تعمل وحدات الـ RSU كوكلاء ينسقون بين المركبات المتصلة والمؤتمتة (CAVs) ضمن نطاق تغطيتهم.
• الاتصال:
  • V2X (المركبة إلى كل شيء): تتواصل المركبات (CAVs) مع وحدة الـ RSU المحلية الخاصة بها.
  • I2I (البنية التحتية إلى البنية التحتية): تتواصل وحدات الـ RSU مع بعضها البعض لمشاركة إحصائيات حركة المرور العالمية.
  • التعلم الاتحادي (Federated Learning): تقوم وحدات الـ RSU بتدريب النماذج المحلية باستخدام البيانات المحلية وترفع المعاملات دوريًا إلى خادم مركزي للتجميع (FedAvg)، ثم تقوم بتحميل النموذج العالمي المحدث. هذا يحافظ على خصوصية البيانات مع تمكين مشاركة المعرفة.

الصيغة الرياضية

• نوع المشكلة: يتم صياغة النظام كعملية ماركوف لاتخاذ القرار تحت ملاحظة جزئية لامركزية (Dec-POMDP).
• الخوارزمية: يستخدم النظام شبكات Q العميقة ذات المعاملات (PDQN) للتعامل مع فضاء إجراءات هجين:
  • الإجراءات المنفصلة (Discrete Actions): تغيير المسار يسارًا، تغيير المسار يمينًا، أو البقاء في المسار الحالي.
  • الإجراءات المستمرة (Continuous Actions): أوامر التسارع أو التباطؤ.
• فضاء الحالة (State Space): تمثيل هرمي يدمج بين:
  • المستوى المجهري (Microscopic): حالة المركبة الفردية (الموقع، السرعة، التسارع) وحالات المركبات المحيطة.
    గా المستوى الكلي (Macroscopic): كثافة المرور في المجموعة ومتوسط السرعة.
  • المستوى العالمي (Global): إحصائيات حركة المرور الإجمالية التي يتم مشاركتها عبر اتصال I2I.

تصميم دالة المكافأة

الابتكار الجوهري هو دالة مكافأة موجهة بالأولوية ($R_k$) مصممة لموازنة السلامة، الكفاءة، الراحة، وإلحاح الوجهة:
$$R(t)_k = \sum (\iota r_e + \zeta r_s + \xi r_c + \lambda r_{lc} + \psi r_d)$$

1. مكافأة الكفاءة ($r_e$): تشجع على الحفاظ على سرعات قريبة من الحد الأقصى وتحسين التدفق على مستوى المجموعة.
2. مكافأة السلامة ($r_s$): تعتمد على نموذج المسؤولية الحساسة للسلامة (RSS)، حيث تحسب المسافات الطولية والجانبية الآمنة الدنيا لمنع الاصطدامات.
3. مكافأة الراحة ($r_c$): تعاقب التسارع/التباطؤ الذي يتجاوز عتبات الراحة ($1.47 m/s^2$).
4. مكافأة تغيير المسار الموجهة بالأولوية ($r_{lc}$): وهي المكون المبتكر، حيث تزن قرارات تغيير المسار ديناميكيًا بناءً على:
   • الإلحاح ($u_t$): المركبات التي تقترب من مخرجها تتلقى مكافآت سالبة إذا لم تكن في المسار الصحيح، ويُحسب ذلك باستخدام (الوقت المتبقي للمخرج مقابل الوقت المطلوب لتغيير المسار).
   • عقوبة التمركز المبكر ($p_{stage}$): تثبط المركبات عن احتلال مسار المخرج في وقت مبكر جدًا، للحفاظ على المسارات السريعة مفتوحة لحركة المرور العابرة.
5. عقوبة الجمود ($r_d$): تمنع مركبات المداخل من العلوق عند نهاية مسارات التسارع.

3. المساهمات الرئيسية

1. إطار عمل فريد من نوعه: يعد PALCAS أول عمل يعالج مجتمعيًا عمليات تغيير المسار الإلزامية والاختيارية باستخدام نموذج التعلم الاتحادي لاتخاذ قرار تعاوني واسع النطاق.
2. تمثيل حالة هرمي: يدمج بيانات المركبات المجهرية مع المعلومات المرورية الكلية على مستوى المجموعة والمستوى العالمي، مما يعزز الوعي بالموقف.
3. آلية مكافأة موجهة بالأولوية: توحد بين جدوى المناورة وإلحاح الوجهة، مما يسمح للنظام بتحديد أولويات المركبات ديناميكيًا بناءً على قربها من المخارج وظروف حركة المرور الحالية.
4. بنية قابلة للتوسع وتحفظ الخصوصية: يقدم نهجًا اتحاديًا يمكّن الوكلاء من التعميم من سيناريوهات غير مرئية دون مشاركة البيانات الخام، وهو ما يناسب بيئات المرور المتغايرة.

4. نتائج المحاكاة

تم تقييم النظام باستخدام SUMO (محاكاة حركة المرور) و Eclipse MOSAIC (اتصالات V2X) في سيناريو طريق سريع بطول 2.4 كم و5 مسارات. تمت مقارنته مع:

• الأساس-1 (Baseline-1): تعلم معزز متعدد الوكلاء مركزي (وكيل واحد يتحكم في الجميع).
• الأساليب-2 (Baseline-2): تعلم معزز متعدد الوكلاء لامركزي بدون تعلم اتحادي (لا توجد مشاركة معرفة).

مقاييس الأداء الرئيسية (عند نسبة انتشار CAV بنسبة 60%):

• كفاءة حركة المرور: حقق PALCAS أعلى متوسط سرعة (30.03 m/s)، متفوقًا على Baseline-1 بنسبة 3.12% وعلى Baseline-2 بنسبة 6.86%.
• السلامة (معدل الاصطدام): خفض PALCAS معدل الاصطدام بنسبة 19.67% مقارنة بـ Baseline-1 وبنسبة 75.5% مقارنة بـ Baseline-2.
• راحة القيادة: كانت مسارات التسارع أكثر سلاسة بشكل ملحوظ، حيث بقيت ضمن نطاق $[-1, 1] m/s^2$، بينما تذبذبت النماذج الأخرى بين $[-4.5, 2.6] m/s^2$.
• معدل نجاح الوصول للوجهة (DSR): حسن PALCAS معدل DSR بنسبة 132.94% فوق Baseline-1 وبنسبة 113.9% فوق Baseline-2 عند نسبة انتشار 60%، مما منع تفويت المخارج بفعالية.
• معدل نجاح الاندماج (MSR): حقق PALCAS نسبة نجاح تزيد عن 93%، وهي مقاربة للنماذج الأساسية، رغم أن Baseline-2 تفوق قليًا في MSR بسبب طبيعته الموضعية (قصير المدى) في التحسين المحلي.

دراسة الاستئصال (Ablation Study):
أدى إزالة مكون المكافأة الموجهة بالأولوية إلى انخفاض حاد في الأداء، مما يؤكد دوره الحاسم في تنسيق المناورات المعقدة لعدة مركبات ومنع الازدحام.

5. الأهمية

• القابلية للتطبيق في العالم الحقيقي: يعالج النظام تحديات محددة للطرق السريعة الحضرية ذات المداخل والمخارج المتكررة، وهو سيناريو تعاني فيه الأنظمة المركزية أو أحادية الوكيل الحالية.
• الخصوصية والقابلية للتوسع: من خلال استخدام التعلم الاتحادي، يقدم PALCAS مسارًا قابلًا للتطبيق لنشر أنظمة القيادة التعاونية دون المساس بخصوصية البيانات أو الحاجة إلى قدرات حوسبة مركزية ضخمة.
• التوازن بين السلامة والكفاءة: نجحت دالة المكافأة المدركة للأولوية في حل المقايضة بين الحفاظ على تدفق المرور (البقاء في المسارات السريعة) وضمان وصول المركبات إلى وجهاتها (الانتقال إلى مسارات المخرج)، مما قلل بشكل كبير من الازدحام والحوادث.
• الجدوى في الوقت الفعلي: تم قياس أوقات الاستدلال بأقل من 100 مللي ثانية لـ 90% من القرارات، مما يشير إلى أن النظام مناسب للنشر في الوقت الفعلي.

في الختام، يثبت PALCAS أن الجمع بين التعلم الاتحادي والتعلم المعزز المدرك للأولوية يخلق إطارًا قويًا وقابلًا للتوسع وآمنًا لإدارة تغيير المسار في الجيل القادم من القيادة الذاتية.