GNN-based Multi-Agent Control of Traffic Shockwaves in Sparse Vehicular Ad-hoc Networks
تقترح هذه الورقة إطار عمل لتعلم تعزيزي متعدد الوكلاء يعتمد على الشبكات العصبية الرسومية اللامركزية، والذي يُمكّن المركبات المتصلة والمستقلة من التخفيف من حدة موجات الصدمة المرورية بشكل تعاوني باستخدام المعلومات المحلية فقط، محققاً خفضاً يصل إلى 80% في انتشار موجات الصدمة بنسبة اختراق للمركبات تبلغ 10% فقط.
تخيل الطريق السريع كنهر عملاق حي من المعدن. أحياناً، يتدفق هذا النهر بسلاسة، ولكن في أحيان أخرى، ينسد بتموج غريب غير مرئي. سيارة واحدة تضغط على المكابح بقوة قليلاً، وفجأة، تضغط السيارة التي خلفها على المكابح بقوة أكبر، والسيارة التي خلفها تتوقف تماماً. تنتقل موجة الذعر هذه إلى الخلف عبر حركة المرور، مما يخلق موجة "توقف وانطلاق" تجعل الجميع يتأخرون، وتُهدر الوقود، وتزيد من خطر الحوادث. يسمي العلماء هذه التموجات "موجات صدمة المرور". لفترة طويلة، اعتقد الخبراء أن الطريقة الوحيدة لإيقافها هي أن تكون كل سيارة على الطريق روبوتاً يمكنه التحدث مع كل الروبوتات الأخرى فوراً. لكن هذا ليس واقعياً بعد؛ فمعظم سياراتنا لا تزال يقودها بشر، والتكنولوجيا لربطها جميعاً بدأت للتو في الظهور. وهنا يأتي دور فرع جديد من علوم الحاسوب يسمى "التعلم التعزيزي متعدد الوكلاء". فكر في الأمر كتعليم مجموعة من الروبوتات كيفية تعلم التصرف من خلال اللعب معاً، حيث يحصلون على نقاط لكونهم سلسين ويخسرون نقاطاً بسبب الاصطدام. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكن لعدد قليل من السيارات الذكية والمتصلة أن تتعلم تهدئة نهر كامل من حركة المرور، حتى لو لم يكن بإمكانها سوى الهمس لجيرانها المباشرين ولا تعرف ما يحدث على بعد أميال؟
تقترح هذه الورقة البحثية حلاً ذكياً لهذه المشكلة تحديداً. يقترح المؤلفون، وهم فريق من الباحثين من مايكروسوفت، وجامعة جيتام، ومجموعة نات ويست، ومعهد NIT روركلا، طريقة جديدة لهذه السيارات المتصلة لكي "تفكر". فبدلاً من مجرد النظر إلى السيارة الموجودة أمامها مباشرة، يستخدمون نوعاً خاصاً من الذكاء الاصطناعي يسمى "الشبكة العصبية الرسومية" (GNN). يمكنك تخيل الشبكة العصبية الرسومية كشبكة اجتماعية فائقة القوة للسيارات؛ فهي لا تنظر فقط إلى جار واحد، بل تنظر إلى المجموعة الصغيرة الكاملة من السيارات القريبة، وتفهم كيف يرتبطون ببعضهم البعض، وتحدد أفضل طريقة للتحرك كفريق. قام الباحثون ببناء محاكاة حاسوبية ضخمة لطريق سريع لاختبار هذه الفكرة. لقد ملؤوا المحاكاة بـ 50 مركبة، حيث كانت 10% فقط منها هي الروبوتات الذكية والمتصلة (CAVs)، والباقي سيارات عادية يقودها بشر. ثم خلقوا "موجة صدمة" من خلال جعل السيارة القائدة تضغط على المكابح فجأة.
كانت نتائج هذه المحاكاة واعدة للغاية. فعندما استخدموا طريقة قياسية حيث تنظر السيارات فقط إلى بياناتها الخاصة، انتشرت فوضى المرور، واستمرت السيارات في التسارع والتباطؤ في رقصة فوضوية. ومع ذلك، عندما استخدموا طريقتهم الجديدة القائمة على "الشبكة العصبية الرسومية"، تصرفت السيارات الذكية مثل فرقة رقص متناسقة للغاية. لقد استخدموا قدرتهم المحدودة على التحدث إلى الجيران القريبين لتنعيم التموجات. أظهرت المحاكاة أن هذا النهج الجديد يمكنه تقليل تقلبات السرعة الجامحة (تذبذبات المرور) بنسبة تصل إلى 80%، حتى عندما كانت 10% فقط من السيارات متصلة. تعافت حركة المرور بشكل أسرع، وارتفع متوسط السرعة من 16 متراً في الثانية إلى 20 متراً في الثانية، مع عدم حدوث اصطدامات تقريباً.
توضح الورقة البحثية بحذر أن هذه النتائج هي من محاكاة حاسوبية، وليست اختباراً في العالم الحقيقي على طريق سريع فعلي. ويجادل المؤلفون بأنه بينما تفترض الطرق الحالية غالباً أن كل سيارة يمكنها التحدث مع كل السيارات الأخرى أو أن لدينا خريطة مثالية للطريق بأكمله، فإن طريقتهم تعمل حتى عندما تكون الشبكة "متفرقة" (بمعنى أن العديد من السيارات لا يمكنها التحدث مع بعضها البعض) والسيارات تعرف فقط ما هو بجانبها مباشرة. إنهم يستبعدون صراحة فكرة أننا بحاجة إلى معلومات عالمية أو اتصال بنسبة 100% لإصلاح حركة المرور. بدلاً من ذلك، يقترحون أنه من خلال استخدام هذه الشبكة الاجتماعية القائمة على الرسوم للسيارات، يمكننا تعلم استراتيجيات تعاونية تجعل تدفق حركة المرور أكثر استقراراً. وبينما تقتصر الدراسة على هذه البيئة المحاكية وتفترض ظروف اتصال مثالية، فإن النتائج تشير إلى أن هذا النهج يمكن أن يكون أداة قوية لإدارة حركة المرور في المستقبل القريب، حتى قبل أن تكون كل سيارة على الطريق متصلة بالكامل.
ملخص تقني: التحكم متعدد الوكلاء القائم على الشبكات العصبية الرسومية (GNN) للتحكم في موجات الصدمات المرورية في شبكات (VANET) المتناثرة
بيان المشكلة تُعد موجات الصدمة المرورية — وهي موجات التوقف والتحرك التي تنتشر عكس اتجاه تدفق المركبات — سبباً رئيسياً للازدحام، وعدم كفاءة استهلاك الوقود، وزيادة معدلات الحوادث في أنظمة النقل الحديثة. غالباً ما تنجم هذه الظواهر عن اضطرابات بسيطة في القيادة وتفاوت سلوك السائقين البشر، حتى في غياب الاختناقات المادية. وبينما توفر المركبات المتصلة والمستقلة (CAVs) حلاً محتملاً، تواجه استراتيجيات التحكم الحالية عوائق كبيرة في النشر؛ حيث تعتمد العديد من الأساليب الحالية على معلومات حالة المرور العالمية أو تفترض معدلات انتشار عالية للمركبات المتصلة، مما يجعلها غير عملية لمرحلة النشر المبكرة لشبكات السيارات المتنقلة (VANETs) حيث تكون الاتصالية متناثرة والمعلومات متاحة محلياً فقط.
المنهجية يقترح المؤلفون إطار عمل للتعلم التعزيزي متعدد الوكلاء (MARL) لامركزي، معزز بالشبكات العصبية الرسومية (GNN) للتخفيف من حدة موجات الصدمة في بيئات المرور المختلطة (التي تحتوي على مركبات يقودها بشر ومركبات ذاتية القيادة CAVs).
نموذج النظام: يتم نمذجة السيناريو المروري كطريق سريع متعدد الحارات حيث تعمل المركبات ذاتية القيادة (CAVs) كوكلاء ضمن عملية ماركوف لاتخاذ القرار تحت الملاحظة الجزئية اللامركزية (Dec-POMDP). يعمل الوكلاء تحت ملاحظة جزئية، معتمدين على بيانات الاستشعار المحلية واتصالات (V2V) محدودة ضمن نطاق محدد.
تكامل الشبكات العصبية الرسومية (GNN): على عكس أساليب (MARL) التقليدية التي تستخدم ميزات اتصال مصممة يدوياً، يستخدم هذا الإطار الشبكات العصبية الرسومية لتعلم التمثيلات العلاقاتية من الطوبولوجيا الشبكية المتناثرة. لكل وكيل، يتم إنشاء رسم بياني اتصالي محلي حيث تمثل العقد المركبة "الأنا" (ego vehicle) والمركبات ذاتية القيادة المجاورة، وتمثل الحواف التقارب المكاني.
ميزات العقد: الحالات الحركية (السرعة، التسارع).
ميزات الحواف: المسافة النسبية، الفاصل الزمني بين المركبات، واختلاف المسارات.
الترميز: تقوم الشبكة العصبية الرسومية (GNN) بتجميع معلومات الجوار لإنتاج تمثيل كامن (hit) يلتقط السياق المكاني والزماني، والذي يتم تغذيته بعد ذلك في شبكة السياسة (policy network).
إطار التعلم: يستخدم النظام بنية "التدريب المركزي مع التنفيذ اللامركزي" (CTDE). أثناء التدريب، يتشارك الوكلاء الخبرات لتعلم سياسة مشتركة باستخدام خوارزمية تحسين السياسة القريبة (PPO). وأثناء التنفيذ، يعمل الوكلاء بشكل مستقل بناءً على ملاحظاتهم المشفرة رسومياً محلياً.
دالة المكافأة: صُممت دالة المكافأة لتعزيز تدفق المرور بسلاسة من خلال تعظيم متوسط السرعة المحلية، وتقليل تباين السرعة (لثني التذبذبات)، ومعاقبة التصادمات.
المساهمات الرئيسية
إطار عمل لامركزي مبتكر: يقدم البحث إطار عمل (MARL) حيث يدمج كل وكيل شبكة عصبية رسومية (GNN) في بنية السياسة الخاصة به، مما يمكن المركبات ذاتية القيادة من اتخاذ قرارات تكيفية بناءً على جيرانها المروريين المحليين دون الحاجة إلى معرفة عالمية بالحالة.
التعامل مع الاتصالية المتناثرة: يعالج هذا النهج تحديداً تحدي شبكات (VANET) المتناثرة. فمن خلال استخدام تمرير الرسائل القائم على (GNN)، يتعلم النظام التمثيلات العلاقاتية بفعالية حتى عندما يكون جزء صغير فقط من المركبات متصلاً، متجاوزاً بذلك قيود الأساليب التي تتطلب اتصالاً عالياً أو ملاحظة شاملة.
بيئة محاكاة قابلة للتوسع: طور المؤلفون بيئة محاكاة تنمذج حركة المرور في طريق سريع متعدد الحارات بواقعية مع مراعاة الملاحظة الجزئية واتصالات (V2V) محدودة للتحقق من فعالية النهج تحت معدلات انتشار منخفضة للمركبات ذاتية القيادة.
النتائج التجريبية تم تقييم الطريقة المقترحة مقابل نهج (MARL) مرجعي (باستخدام سياسات خطية مشتركة بدون GNN) في محاكاة مجهرية لـ 50 مركبة مع نطاق اتصال قدره 100 متر. تم إدخال اضطراب كبح لمحاكاة توليد موجة صدمة.
تخفيف موجات الصدمة: أظهر النهج القائم على (GNN) انخفاضاً كبيراً في انتشار الموجات المرورية. وتحديداً، حقق انخفاضاً بنسبة 80% في تباين السرعة (انخفض من 9 إلى 3) مقارنة بمنهج (MARL) المرجعي، الذي حقق انخفاضاً بنسبة ~35% فقط.
الاستقرار المروري: أشارت الخرائط الحرارية للسرعة إلى أنه بينما سمح متحكم (MARL) المرجعي للاضطرابات بالانتشار عكس اتجاه السير كأحزمة توقف وتحرك مستمرة، فإن المتحكم المعزز بـ (GNN) حصر الاضطرابات مكانياً وسهل العودة السريعة إلى ملفات سرعة موحدة.
مقاييس الأداء: حقق الإطار المقترح سرعة متوسطة أعلى (20 م/ث مقابل 16 م/ث)، ومعدل تصادم أقل (0.0 مقابل 0.2)، ومكافأة تراكمية أعلى بكثير (14 مقابل -3) مقارنة بالنهج المرجعي.
فعالية نسبة الانتشار المنخفضة: أكدت النتائج فعالية الإطار حتى عندما كانت 10% فقط من المركبات متصلة، مما يسلط الضوء على إمكاناته للنشر في المراحل المبكرة لشبكات (VANET).
الأهمية والادعاءات يزعم البحث أن دمج الشبكات العصبية الرسومية (GNN) في (MARL) اللامركزي يسمح للمركبات ذاتية القيادة بتعلم استراتيجيات تحكم تعاونية باستخدام التفاعلات المحلية فقط، مما يلغي الحاجة إلى معلومات حالة المرور العالمية غير الواقعية. ويؤكد المؤلفون أن هذا النهج يقلل بفعالية من موجات التوقف والتحرك ويحسن كفاءة تدفق المرور في ظروف الشبكة المتناثرة.
ومع ذلك، يحافظ المؤلفون على موقف متواضع فيما يتعلق بالنطاق الحالي لعملهم؛ حيث يقرون بأن الدراسة تقتصر على بيئات المحاكاة مع افتراضات اتصال مثالية. كما يشيرون صراحة إلى أن النشر في العالم الحقيقي يجب أن يأخذ في الاعتبار التحديات العملية مثل تأخير الاتصال، وفقدان الحزم، وقيود عرض النطاق الترددي، والتي لم يتم معالجتها بعد في النموذج الحالي. وقد اقتُرح عمل مستقبلي لدمج نماذج اتصال عشوائية وتقييم المتانة تحت كثافات مرورية ونسب انتشار متغيرة.