Joint UAV Flight and Opportunistic Routing under Reinforcement Learning for Delay-Tolerant Networks

تخيل عالماً لا توجد فيه شبكة إنترنت، أو على الأقل، ليس من النوع الذي يبقي هاتفك متصلاً بخادم كل ثانية. في أماكن مثل مناطق الكوارث، أو الغابات النائية، أو حتى المدن المزدحمة بالإشارات المشوشة، لا يمكن للرسائل أن "تطير" ببساطة من المرسل إلى المستقبل بشكل فوري. بدلاً من ذلك، يتعين عليها لعب لعبة "النقاط الساخنة" (hot potato). هذا هو عالم الشبكات المتحملة للتأخير (DTNs). فكر في الأمر كأنه لعبة "الاستغماية" أو "المطاردة" حيث اللاعبون هم سيارات وطائرات بدون طيار متحركة. الرسالة هي "الوسم" الذي يتم تناوله. إذا أمسكت بالوسم، فإنك تحتفظ به حتى تصطدم بشخص آخر يمكنه حمله لمسافة أبعد. أنت تخزنه، وتحمله، وتمرره فقط عندما تقترب بما يك suficiente من شخص آخر. وهذا ما يسمى بـ "التخزين، الحمل، ثم التمرير" (store-carry-forward).

الجزء الصعب هو أن هذه الشبكات غالباً ما تكون متفرقة وفوضوية. "اللاعبون" (السيارات والأشخاص) يتحركون على طرق ثابتة، و"الوسم" (الرسالة) له مهلة زمنية قبل أن تنتهي صلاحيته. إذا لم يلتقِ اللاعبون ببعضهم البعض بشكل متكرر، أو إذا أصبحوا مزدحمين جداً لدرجة نفاد "الجيوب" المتاحة لحمل الأوسمة، فستضيع الرسالة. ولحل هذه المشكلة، بدأ العلماء في استخدام المركبات الجوية غير المأهولة (UAVs)، أو الطائرات بدون طيار (الدرونز)، لتعمل كرسل طائرة. يمكن للدرونز الطيران فوق حركة المرور، والوصيد إلى مسافات أبعد، واختيار وجهتها بدقة. ولكن السؤال الكبير هنا هو: كيف تخبر الدرونز إلى أين تطير، وتخبر السيارات الأرضية متى تمرر الرسالة، في آن واحد، دون وجود مدير مركزي يملي على الجميع ما يجب فعله؟ إذا طارت الدرونز في الاتجاه الخاطئ، فقد لا تلتقي السيارات ببعضها أبداً. وإذا مرت السيارات الرسائل للأشخاص الخطأ، فقد تطير الدرونز إلى أماكن فارغة.

هذا هو بالضبط اللغز الذي عالجه الباحثان "شياو وانغ" و"شون رين يانغ" في ورقته البحثية حول نظام JUROR (التوجيه المشترك للطيران والمسارات الانتهازية). لم يعتمدوا على التخمين فحسب؛ بل بنوا نظاماً ذكياً باستخدام نوع من الذكاء الاصطناعي يسمى "التعلم التعزيزي" (Reinforcement Learning). تخيل فريقاً من الدرونز والسيارات يلعب لعبة فيديو معاً. ليس لديهم خريطة للمستقبل، لكنهم يتعلمون من خلال التجربة والخطأ. إذا مرروا رسالة بنجاح، يحصلون على "نقطة". وإذا انتهت صلاحية الرسالة أو اصطدمت درون بأخرى في زحام، يخسرون نقاطاً. تقوم الورقة البحثية بمحاكاة هذا السيناريو آلاف المرات لتعليم الدرونز والسيارات كيفية التعاون.

النتيجة الرئيسية هي أنه عندما تتعلم الدرونز والسيارات العمل معاً كفريق واحد، بدلاً من مجرد اتباع قواعد ثابتة، فإنها تسلم عدداً أكبر بكثير من الرسائل. اكتشف الباحثون أن الدرونز تحتاج إلى أن تكون "قابلة للتحكم" — بمعنى أن النظام يقرر أين تطير بناءً على مكان ازدحام حركة المرور. كما وجدوا أنه بينما يمكن للدرونز استخدام "دليل مرجعي" (معلومات عالمية شاملة) أثناء التعلم في المحاكي، إلا أنه يجب عليها اتخاذ قراراتها الخاصة باستخدام ما تراه محلياً فقط عندما تكون في حالة العمل الفعلية في العالم الحقيقي. هذا النهج، المسمى "التدريب المركزي والتنفيذ اللامركزي" (CTDE)، كان هو "الخلطة السرية".

في عمليات المحاكاة التي أجروها، تفوق نظام JUROR بشكل كبير على الطرق التقليدية القديمة. على سبيل المثال، في سيناريو اختبار تم فيه إرسال 69 رسالة، نجحت الطرق القديمة في تسليم حوالي نصفها، بينما سلم نظام JUROR أكثر من 57 رسالة (أي حوالي 83%). تشير الورقة البحثية إلى أن مجرد إضافة الدرونز ليس كافياً؛ بل يجب توجيه الدرونز بنشاط لخلق نقاط التقاء جديدة للمركبات الأرضية، ويجب على المركبات أن تقرر متى تمرر الرسائل بناءً على ما تفعله الدرونز. إنه رقص دقيق حيث يجب أن يتحرك الطائرون والماشون بتناغم للحفاظ على تدفق المعلومات، حتى عندما تكون الشبكة مكسورة أو متفرقة.

قصة المراسيل الطائرة

إذن، كيف يعمل نظام JUROR فعلياً؟ تخيل شارعاً مزدحماً في مدينة. لديك مجموعة من السيارات (العقد الأرضية) عالقة في زحام مروري، وبعض الطائرات بدون طيار (UAVs) تحوم في الأعلى. لدى السيارات رسائل تحتاج لإيصالها إلى وجهات محددة، لكنها لا تستطيع التواصل مع السيارات الأخرى أو الدرونز إلا إذا كانت قريبة منها. إذا علقت السيارات في زحام مروري، فلن تتمكن من الوصول إلى أي شخص آخر. وإذا طارت الدرونز في دوائر عشوائية، فقد تفوت الزحام تماماً.

أدرك الباحثون أن المشكلة هي وضع "البيضة والدجاجة"؛ فالسيارات تحتاج إلى الدرونز لتطير نحوها لإخراج الرسائل، والدرونز تحتاج إلى معرفة أين تزدحم السيارات لتعرف أين تطير. ولحل ذلك، يعامل JUROR الشبكة بأكملها كفريق من الزملاء. كل سيارة وكل درون هي "وكيل" (agent) يمتلك عقلاً خاصاً به.

عملية التعلم: التجربة والخطأ
يستخدم النظام طريقة تسمى "تحسين السياسة القريبة" (Proximal Policy Optimization - PPO). تخيل أنك تعلم جروًا كيف يجلب الكرة. أنت لا تخبر الجرو بالضبط كيف يركض، بل ترمي الكرة وتقول "جرو جيد!" عندما يعيدها إليك. بمروة الوقت، يتعلم الجرو أي الحركات تؤدي إلى الحصول على المكافأة. يفعل JUROR الشيء نفسه، ولكن باستخدام الرياضيات.

1. المحاكاة: أنشأ الباحثون عالماً افتراضياً (محاكياً) يحتوي على 70 عقدة: 65 سيارة و5 درونز. وضعوا سيناريوهات مرورية مختلفة، مثل حدوث طفرة مفاجئة في الرسائل أو تدفق مستمر لحركة المرور.
2. مكافأة الفريق: بدلاً من مكافأة درون واحدة أو سيارة واحدة، يمنح النظام "درجة للفريق". إذا تم تسليم رسالة، يحصل الجميع على نقطة. وإذا انتهت صلاحية الرسالة أو امتلأت الذاكرة (buffer) وسقطت رسالة، يخسر الجميع نقاطاً. هذا يجبر الدرونز والسيارات على التعاون. إذا طارت درون إلى مكان لا توجد فيه سيارات، فهي لا تساعد في درجة الفريق. وإذا احتفظت سيارة برسالة لفترة طويلة جداً، يخسر الفريق.
3. "الدليل المرجعي" مقابل الحياة الواقعية: هذا هو الجزء الذكي. عندما يكون النظام في مرحة التدريب (التعلم)، يستطيع "المعلم" (الناقد/critic) رؤية اللوحة بأكملها. هو يعرف بالضبط مكان كل سيارة وكل درون، وكم تبلغ سعة ذاكرتهم، وأين توجد الاختناقات المرورية. يستخدم هذه "الرؤية العالمية" ليخبر الوكلاء: "مهلاً، لقد قمت بحركة جيدة!" أو "كانت تلك حركة سيئة!". ولكن عندما يتم نشر النظام (استخدامه في العالم الحقيقي)، لا يمكن للدرونز والسيارات إلا رؤية ما هو أمامهم مباشرة. لا يمكنهم رؤية المدينة بأكملها، بل يعرفون فقط من يتواصلون معه في تلك اللحظة. توضح الورقة أنه حتى مع هذه الرؤية المحدودة، يمكن للوكلاء الأداء بشكل رائع لأنهم تدربوا بمساعدة "الدليل المرجعي".

وظيفة الدرونز الجديدة
في الأنظمة القديمة، قد تطير الدرونز في نمط محدد مسبقاً، مثل آلة قص العشب التي تتحرك ذهاباً وإياباً. لكن JUROR يعلم الدرونز أن تكون ذكية. إنها تنظر إلى "حقول الإجهاد" (stress fields). تخيل أن المدينة تحتوي على خرائط حرارية غير مرئية تظهر أين تتراكم الرسائل. إذا كانت مجموعة من السيارات عالقة في منطقة واحدة مع الكثير من الرسائل، فإن تلك المنطقة ستتوهج باللون الأحمر. تتعلم الدرونز الطيران نحو المناطق الحمراء لالتقاط الرسائل وحملها بعيداً.

اختبرت الورقة أيضاً ما إذا كان ينبغي للدرونز محاولة التنبؤ بمكان حركة المرور في المستقبل (باستخدام أداة تسمى LSTM، وهي بمثابة ذاكرة قصيرة المدى للأنماط). ووجدوا أنه بينما يمكن لهذا أن يساعد في بعض الحالات، إلا أنه ليس ضرورياً دائماً. في بعض الأحيان، يكون مجرد الاستجابة للازدحام الحالي كافياً. في الواقع، في بعض سيناريوهات حركة المرور الكثيفة، جعل محاولة التنبؤ بالمستقبل النظام أسوأ قليلاً لأن التنبؤات كانت مشوشة وربكت الدرونز.

ماذا وجدوا؟
كانت النتائج واضحة. في عمليات المحاكاة، كان نظام JUROR بمثابة تغيير لقواعد اللعبة.

• بدون درونز: إذا كان لديك سيارات فقط وبدون درونز قابلة للتحكم، فإن النظام يعاني. في أحد الاختبارات، تم تسليم حوالي 13 رسالة فقط من أصل 69.
• مع الدرونز (التعلم): إضافة درون واحدة فقط قابلة للتحكم أحدث فرقاً كبيراً، حيث سلمت أكثر من 45 رسالة. وعندما تعلمت الدرونز والسيارات العمل معاً كفريق كامل، ارتفع معدل التسليم بشكل هائل ليصل إلى أكثر من 57 رسالة.
• المقارنة بالطرق القديمة: سلم JUROR رسائل أكثر بكثير من الطرق القديمة في معظم السيناريوهات، خاصة عندما كانت حركة المرور كثيفة. ومع ذلك، تشير الورقة إلى أنه في السيناريوهات ذات الحركة المنتظمة والمتوقعة، لا تزال بعض الطرق التقليدية مثل PRoPHET تعمل بشكل جيد، مما يظهر أن ميزة JUROR تبرز بوضوح في البيئات المعقدة أو المزدحمة أو الفوضوية.

كما استبعدت الورقة بعض الأفكار. وجدوا أنه لا يمكنك معاملة الدرونز كشيء منفصل عن السيارات؛ بل يجب تحسينهما معاً. إذا حاولت تحسين مسار طيران الدرون بشكل منفصل عن توجيه الرسائل، فإن النظام لن يصل إلى إمكاناته الكاملة. وجدوا أيضاً أن التنبؤ بـ "النقاط الساخنة" (توقع مكان الازدحام) ليس حلاً سحرياً؛ فهو يعتمد بشدة على نوع حركة المرور. أحياناً يساعد، وأحياناً يضر. الإعداد الأكثر موثوقية كان الذي تتفاعل فيه الدرونز والسيارات مع الوضع الحالي باستخدام ملاحظاتهما المحلية، بعد التدريب بمساعدة معلم عالمي.

لماذا يهم هذا؟
الأمر لا يتعلق فقط بإرسال رسائل البريد الإلكتروني بشكل أسرع. بل يتعلق بما يحدث عندما ينقطع الإنترنت. فكر في كارثة طبيعية حيث تعطلت أبراج الاتصالات. أنت بحاجة لإيصال رسالة من ناجٍ إلى فريق إنقاذ. قد يكون الناجي في سيارة، وفريق الإنقاذ في درون. إذا لم تعرف الدرون أين تطير، أو إذا لم تعرف السيارة متى تمرر الرسالة، فستضيع الرسالة. يوضح JUROR طريقة لجعل هذه الشبكات قوية ومقاومة للأعطال. إنه يثبت أنه من خلال السماح للأجزات الطائرة والأرضية في الشبكة بأن "تتعلم الرقص معاً"، يمكننا الحفاظ على خطوط الاتصال مفتوحة حتى عندما ينهار العالم من حولنا.

لم يكتف الباحثون ببناء نظرية، بل اختبروا الأرقام. لقد اختبروا النظام ضد خمس طرق شهيرة أخرى (مثل PRoPHET و MaxProp)، وفاز JUROR عموماً، خاصة عندما أصبحت حركة المرور كثيفة. وتخلص الورقة إلى أن هذا النهج "المشترك" — حيث يتم اتخاذ قرار مسار الطيران ومسار الرسالة معاً — هو المفتاح لإطلاق الإمكانات الكاملة للشبكات المتحملة للتأخير. إنه تذكير بأنه في عالم فوضوي، فإن أفضل طريقة للبقاء على اتصال هي العمل كفريق، سواء كنت على الأرض أو في السماء.