Deep Reinforcement Learning-Based Dynamic Mode Selection and Power allocation for Clustered Vehicular Networks

تخيل عالماً لا تكتفي فيه سيارتك بالقيادة الذاتية فحسب، بل تتحدث أيضاً مع كل السيارات، وإشارات المرور، واللوحات الإرشادية من حولها. هذا هو مستقبل "الشبكات المركبة" (Vehicular Networks)، وهو عبارة عن محادثة رقمية عالية السرعة تحدث على طرقاتنا لمنع الحوادث وإدارة حركة المرور. لكن الجزء الصعب هنا هو أن هذه السيارات تتحرك بسرعة، والطرق مزدحمة، و"الأمواج الهوائية" التي تستخدمها للتواصل تشبه طريقاً سريعاً مزدحماً يحتوي على عدد قليل فقط من المسارات. فإذا صرخ الجميع في وقت واحد، فلن يسمع أحد شيئاً. ولحل هذه المشكلة، يستخدم المهندسون تقنية "التجميع" (Clustering)، وهي تشبه تجميع السيارات في فرق صغيرة يقودها "قائد فريق" (رأس العنقود - Cluster Head) لتنظيم المحادثة. والسؤال الكبير الذي يحاول الباحثون الإجابة عليه هو: كيف يقرر هذا القبطان أفضل طريقة للتحدث؟ هل يجب على الفريق أن يصرخ مباشرة لبعضهم البعض (وضع اتصال مباشر قصير المدى أو ما يعرف بـ "sidelink" أو "D2D")، أم يجب عليهم الاتصال ببرج مركزي (وضع خلوي أو "C-V2X") لنقل الرسالة؟ وكيف يجب أن يكون مستوى صراخهم؟ إذا صرخوا بصوت عالٍ جداً، فسيطغى صوتهم على الجيران؛ وإذا صرخوا بصوت منخفض جداً، فستضيع رسالتهم.

يغوص هذا البحث في هذه المشكلة تحديداً، متسائلاً كيف يمكن لقادة السيارات هؤلاء اتخاذ قرارات ذكية في أجزاء من الثانية للحفاظ على موثوقية الشبكة دون إهدار الطاقة. يقترح المؤلفون حلاً باستخدام "التعلم التعزيزي العميق" (Deep Reinforcement Learning)، وهو في الأساس برنامج كمبيوتر يتعلم من خلال التجربة والخطأ، تماماً مثل شخصية في لعبة فيديو تتحسن في اجتياز المستويات عبر لعبها آلاف المرات. وبدلاً من اتباع كتاب قواعد صارم، يتعلم هذا الذكاء الاصطناعي التكيف مع فوضى حركة المرور، والتداخل، والمسافات المتغيرة. وتشير الدراسة إلى أنه من خلال ترك هؤلاء القادة من الذكاء الاصطناعي يتعلمون من بيئتهم، يمكنهم اتخاذ قرارات أفضل من الطرق التقليدية القائمة على القواعد، مما يضمن وصول رسائل السلامة بسرعة وموثوقية مع توفير طاقة البطارية.

قادة الفرق الأذكياء على الطريق

في هذه الدراسة، أعد الباحثون محاكاة لطريق سريع افتراضي لاختبار فكرتهم. فقد تخيلوا امتداداً للطريق بطول كيلومترين حيث تنطلق السيارات بسرعات تصل إلى 31 متراً في الثانية (حوالي 70 ميلاً في الساعة). في هذا العالم الرقمي، لا تكتفي السيارات بالقيادة فحسب؛ بل تشكل وتفكك مجموعات، أو "عناقيد"، بناءً على من هو قريب ممن. ولكل عنقود قائد، وهو "رأس العنقود"، الذي تتمثل مهمته في تحديد كيفية تواصل المجموعة.

لقد علم الباحثون هؤلاء القادة طريقة جديدة للتفكير باستخدام نوع محدد من الذكاء الاصطناعي يسمى تحسين السياسة القريبة (PPO). فكر في (PPO) كطالب منضبط جداً يتعلم من خلال تجربة استراتيجيات مختلفة والحصول على ملاحظات. في هذه الحالة، "الطالب" هو رأس العنقود. في كل مرة يتخذ فيها قراراً، يحصل على درجة (مكافأة). إذا اختار وضع الاتصال ومستوى الطاقة الصحيح لإيصال رسالة بسرعة وموثوقية، فإنه يحصل على درجة عالية. وإذا تسبب في تأخير أو أهدر الطاقة، فإنه يحصل على درجة منخفضة. ومع مرور الوقت، يتعلم الذكاء الاصطناعي التوازن المثالي، متكيفاً مع حقيقة أن السيارات تتحرك دائماً وأن "الضجيج" الناتج عن المركبات الأخرى يتغير باستمرار.

المواجهة الكبرى للاتصالات

لمعرفة ما إذا كانت طريقة تعلم الذكاء الاصطنا هذه تعمل حقاً، وضع الباحثون طالب الـ (PPO) في مواجهة خمس استراتيجيات أخرى، أو "نماذج أساسية"، تمثل كيفية حل المشكلة بدون عقل متعلم:

1. مخمنو المسافة: هذه الاستراتيجيات تنظر فقط إلى مدى بعد السيارات عن بعضها البعض. فإذا كانت متوسط المسافة أقل من 400 متر، فإنهم يصرخون مباشرة لبعضهم البعض؛ وإلا، فيتصلون بالبرج. إنهم لا يهتمون بجودة الاتصال الفعلية أو التداخل.
2. مجدولو الطاقة: هؤلاء يشبهون مخمني المسافة ولكنهم يحاولون أن يكونوا أكثر ذكاءً قليلاً بشأن مدى قوة صراخهم بناءً على المسافة.
3. فريق "الاتصال بالبرج دائماً": هذه الاستراتيجية تتجاهل الاتصال المباشر تماماً وتقوم دائماً بتوجيه الرسائل عبر الشبكة الخلوية.
4. الثرثرة العشوائية: تختار هذه الاستراتيجية وضع الاتصال ومستوى الطاقة بشكل عشوائي تماماً، فقط لترى ما سيحدث.

كانت نتائج هذا السباق الرقمي كاشفة للغاية. لم يكتفِ ذكاء (PPO) الاصطناعي بالفوز فحسب، بل أظهر طريقة مختلفة تماماً في اللعب.

الموثوقية: شبكة الأمان
أهم وظيفة لهذه الشبكات هي السلامة. قام البحث بقياس "الموثوقية"، وهي نسبة الرسائل التي وصلت بنجاح. كان الذكاء الاصطناعي (PPO) بطلاً في هذا المجال. ففي عمليات المحاكاة مع 25 سيارة، حقق موثوقية بنسبة 100.0%. وحتى مع وجود 100 سيارة على الطريق، ظلت النسبة مرتفعة للغاية عند 99.750%.
في المقابل، عانت استراتيجيات "مخمني المسافة" (الأساليب غير المتعلمة). فمع وجود 50 سيارة، انخفضت موثوقيتهم إلى 87.297%، ومع 100 سيارة، كانت حوالي 94.971%. أما استراتيجية "الاتصال بالبرج دائماً" فقد كانت أسوأ حالاً، حيث انخفضت إلى 67.469% مع 100 سيارة. وكانت الاستراتيجية العشوائية هي الأسوأ على الإطلاق. تشير الورقة البحثية إلى أن الذكاء الاصطناعي تعلم تجنب "المناطق الميتة" حيث يفشل الصراخ المباشر، و"الازدحام" حيث يكون الاتصال بالبرج بطيئاً جداً، ليجد نقطة التوازن المثالية التي فاتت القواعد البسيطة.

الطاقة: موفر البطارية
هنا تصبح القصة مثيرة للاهتمام حقاً. عادةً، للحصول على موثوقية أفضل، يجب عليك الصراخ بصوت أعلى (استخدام طاقة أكبر). لقد استخدم "مخمنو المسافة" واستراتيجية "الاتصال بالبرج دائماً" صوتاً ثابتاً وعالياً قدره 18 dBm (وحدة محددة للطاقة) لمحاولة تمرير رسائلهم بالقوة.
ومع ذلك، تعلم ذكاء (PPO) الاصطناعي كيف يهمس. فقد حقق موثوقيته شبه الكاملة مع استخدام طاقة أقل بكثير. فبالنسبة لـ 25 سيارة، استخدم متوسط 10.013 dBm. ومع 100 سيارة، انخفض إلى 9.612 dBm. هذا توفير هائل—يصل إلى 8.39 dB أقل من النماذج الأساسية ذات الطاقة الثابتة. تُظهر الورقة أن الذكاء الاصطناعي لم يحالفه الحظ فحسب، بل تعلم أن الصراخ بصوت عالٍ ليس هو الحل دائماً. فمن خلال اختيار الوضع المناسب في الوقت المناسب، وفر الطاقة دون التضحية بالسلامة.

السرعة والكفاءة: المقايضة
نظرت الورقة أيضاً في "زمن الاستجابة" (Latency - وهو الوقت الذي تستغرقه الرسالة للوصول) و"الكفاءة الطيفية" (Spectral Efficiency - أي مقدار البيانات التي يمكن ضغطها في الموجات الهوائية). هنا، كانت للقواعد البسيطة أفضلية طفيفة. فاستراتيجيات المسافة كانت أسرع قليلاً (حوالي 7.45 مللي ثانية مقابل 8.702 مللي ثانية للذكاء الاصطناعي عند 100 سيارة) وضغطت قدراً أكبر من البيانات.
ومع ذلك، يشير المؤلفون إلى أن هذه السرعة جاءت بتكلفة باهظة: موثوقية أقل بكثير واستهلاك طاقة أعلى بكثير. كانت القواعد البسيطة مثل العداء الذي يركض بسرعة ولكنه يتعثر في قدميه، بينما كان الذكاء الاصطناعي مثل عداء الماراثون الذي يحافظ على وتيرة ثابتة وموثوقة. وتخلص الورقة إلى أنه بالنسبة للتطبيقات الحرجة للسلامة، فإن قدرة الذكاء الاصطناعي على ضمان وصول الرسالة (الموثوقية) مع توفير الطاقة هي أمر أكثر قيمة بكثير من توفير جزء من الملي ثانية في السرعة.

ماذا يعني هذا للمستقبل على الطريق

تشير الدراسة إلى أن مستقبل حركة المرور الذكية لا يتعلق باتباع قواعد جامدة مثل "إذا كنت قريباً، فاصرخ؛ وإذا كنت بعيداً، فاتصل بالبرج". بل يتعلق بمنح الشبكة عقلاً يمكنه الشعور بالبيئة. لقد تعلم ذكاء (PPO) الاصطناعي كيفية التعامل مع الفوضى الواقعية المتمثلة في السيارات المتحركة والتداخل بطريقة لا تستطيع المعادلات الرياضية البسيطة القيام بها.

وعلى الرغم من أن النتائج تعتمد على محاكاة الكمبيوتر وليس اختبارات القيادة في العالم الحقيقي بعد، إلا أن النتائج قوية. تثبت الورقة أن السياسات التكيفية القائمة على التعلم يمكن أن تفوق الطرق التقليدية القائمة على المسافة فقط. وهي تثبت أنه من خلال تعليم الشبكة موازنة الموثوقية والسرعة والطاقة، يمكننا بناء مستقبل أكثر أماناً وكفاءة لطرقنا. ويشير المؤلفون إلى أنه بينما تعد طريقتهم خطوة كبيرة للأمام، فإن العمل المستقبلي سيحتاج إلى اختبار هذه الأفكياء في سيناريوهات أكثر تعقيداً، مثل شبكات المدن المتعددة ومع وجود معلومات ناقصة، لضمان جاهزيتها للعالم الحقيقي. ولكن في الوقت الحالي، يبدو نهج "قائد الفريق الذكي" استراتيجية رابحة للحفاظ على تواصل سياراتنا المتصلة بأمان وكفاءة.