Scaling up Energy-Aware Multi-Agent Reinforcement Learning for Mission-Oriented Drone Networks with Individual Reward

ملخص تقني: توسيع نطاق التعلم المعزز متعدد الوكلاء المدرك للطاقة للشبكات المسيرة الموجهة بالمهام مع مكافأة فردية

بيان المشكلة
تتناول الورقة البحثية تحدي تنفيذ المهام التعاونية في الشبكات المسيرة (الدرونز) حيث تتسم المهام بمواقع ديناميكية، وأطوال غير ثنائية (تتطلب عدة خطوات زمنية للإكمال)، وقيود صارمة على الطاقة بسبب سعة البطارية المحدودة. وبينما تم تطبيق التعلم المعزز متعدد الوكلاء (MARL) على تخطيط مسار الطائر المسيرة، فإن النهج القائمة تواجه صعوبات في مشكلة "تخصيص الائتمان" (credit assignment) في البيئات التعاونية. ففي نماذج التعلم المعزز متعدد الوكلاء ذات المكافأة المشتركة التقليدية، يتلقى الوكلاء مكافآت متطابقة بناءً على النتائج العالمية، مما قد يؤدي إلى ضبابية المساهمات الفردية ويسبب عدم الكفاءة. علاوة على ذلك، تفشل الخوارزميات القياسية غالبًا في التوسع بفعالية عند زيادة حجم البيئة أو عدد الوكلاء، كما أنها تتجاهل بشكل متكرر قيود الطاقة المحددة المطلوبة للعودة الآمنة إلى محطات القاعدة.

المنهجية
يقترح المؤلفون نموذجًا للتعلم المعزز متعدد الوكلاء (MARL) مدركًا للطاقة باستخدام شبكات Q العميقة (DQN) مع دالة مكافأة فردية مصممة خصيصًا للشبكات المسيرة الموجهة بالمهام.

• نموذج النظام: تتكون بيئة المحاكاة من شبكة من نقاط المسار مع محطة قاعدة مركزية. يتم توزيع المهام عشوائيًا عبر هذه النقاط، وتتطلب كل مهمة عددًا محددًا من الخطوات الزمنية ($T_i \geq 1$) للإكمال. تستهلك الطائرات المسيرة الطاقة في ثلاثة أنماط: الطيران للأمام، التحليق، وتنفيذ المهمة (والذي يشمل تشغيل المرافق الموجودة على متنها مثل المستشعرات أو الشبكات العصبية). لا تعتبر المهمة ناجحة إلا إذا اكتملت جميع المهام وامتلكت جميع الطائرات المسيرة طاقة كافية للعودة إلى محطة القاعدة.
• الخوارزمية: تعمل كل طائرة مسيرة بنظام DQN خاص بها، يتميز بشبكة سياسة وشبكة مستهدفة. تتكون مساحة الحالة من خمسة أبعاد، تشمل مواقع المهام، مواقع الطائرات، الإجراءات المتخذة، الأطوال المتبقية للمهام، ومستويات البطارية. وتشمل مساحة الإجراءات الانتقال إلى نقاط الشبكة المجاورة، التحليق، وتنفيذ المهام.
• صياغة المكافأة: الابتكار الجوهري هو نمط المكافأة الفردية. بخلاف نماذج المكافأة المشتركة حيث يتلقى جميع الوكلاء نفس التغذية الراجعة، يحسب هذا النموذج المكافآت بناءً على إجراء كل طائرة مسيرة وتأثيره على الحالة العالمية. يتم توجيه دالة المكافأة ($R_{t+1,k}$) من خلال:
  1. تقدم تنفيذ المهمة: تقليل الخطوات الزمنية المتبقية للمهمة ($E(t, k)$).
  2. حالة البطارية: معامل ($\mu$) يمثل النسبة المئوية للطاقة المتبقية.
  3. القيود: تُطبق عقوبات في حال فشل المهمة بسبب عدم كفاية الطاقة للعودة (المعادلة 5) أو إذا ظلت المهام غير مكتملة (المعادلة 4).
• التدريب: يستخدم النموذج إعادة تشغيل الخبرة (experience replay) ومحسن Adam. يتضمن التدريب مقايضة بين الاستكشاف والاستغلال باستخدام استراتيجية $\epsilon$-greedy، مع ضبط المعلمات الفائقة (حجم الدفعة، تردد تحديث الشبكة المستهدفة، وقطع الاستكشاف) عبر محاكاة مكثفة.

المساهمات الرئيسية

1. نمذجة السيناريوهات الواقعية: تقدم الدراسة إطار عمل للمحاكاة حيث تمتلك المهام أطوالًا غير ثنائية وتتطلب خطوات زمنية متعددة، مما يختلف عن مسائل توجيه المركبات (VRP) القياسية التي تفترض مواقع ثابتة وإكمال مهام ثنائي.
2. تصميم مكافأة مدركة للطاقة: تصيغ الورقة دالة مكافأة DQN مدفوعة صراحةً بتقدم المهمة ومستويات البطارية، مما يمثل أحد أولى المحاولات لدمج قيود سعة البطارية مباشرة في هيكل مكافأة التعلم المعزز متعدد الوكلاء لشبكات الدرونز.
3. تحليل تخصيص الائتمان: تقارن الدراسة بشكل منهجي بين نمطي المكافأة الفردية والمكافأة المشتركة. وتوضح أن المكافآت الفردية توفر إشارات أهداف أكثر وضوحًا للوكلاء، مما يقلل من مشكلة تخصيص الائتمان ويحسن القدرة على التوسع.
4. القابلية للتوسع والمتانة: تم تقييم النموذج المقترح مقابل كثافات مهام، وأطوال مهام، ومواقع، وأحجام شبكات متفاوتة، مما أظهر متانة فائقة مقارنة بالنماذج المرجعية ذات المكافأة المشتركة.

النتائج
أسفرت عمليات المحاكاة المكثفة على شبكة 5x5 (والتوسع إلى 8x8) عن النتائج التالية:

• معدل النجاح: حقق نموذج المكافأة الفردية المقترح معدل نجاح لا يقل عن 80% عبر مختلف البيئات الديناميكية. وعندما كانت كثافة المهام عالية (تقترب من 40% من نقاط الشبكة)، وصل معدل النجاح إلى ما يقرب من 100%.
• الكفاءة: تطلب النموذج خطوات تنفيذ أقل لإكمال المهام مقارنة بالنموذج المرجعي ذي المكافأة المشتركة، مما يشير إلى كفاءة أعلى في استهلاك الطاقة.
• القابلية للتوسع: مع زيادة حجم الشبكة (من 5x5 إلى 8x8)، تدهور أداء نموذج المكافأة المشتركة بشكل ملحوظ، حيث انخفضت معدلات النجاح واقتربت خطوات التنفيذ من عتبة الفشل. في المقابل، حافظ نموذج المكافأة الفردية على معدل نجاح مستقر قريب من 100% وأظهر زيادة طفيفة فقط في الخطوات المطلوبة، مما أثبت متانته تجاه التوسع البيئي.
• كثافة المهام: أدت كثافة المهام الأعلى عمومًا إلى تحسين كفاءة التعلم لكلا النموذجين، لكن نمط المكافأة الفردية تفوق باستمرار على نمط المكافأة المشتركة، لا سيما في السيناريوهات التي تحتوي على 6 و8 مهام.

الأهمية والادعاءات
تدعي الورقة أن أهميتها الأساسية تكمن في سد الفجوة بين التعلم المعزز متعدد الوكلاء (MARL) النظري وعمليات الطائرات المسيرة العملية المقيدة بالطاقة. ومن خلال التحول من نموذج المكافأة المشتركة إلى نموذج المكافأة الفردية، يثبت المؤلفون أن الوكلاء يمكنهم تعلم استراتيجيات تعاونية أكثر فعالية دون غموض إشارات المكافأة العالمية. وتؤكد الدراسة أن هذا النهج حيوي بشكل خاص لتوسيع نطاق الشبكات المسيرة، لأنه يمنع انهيار الأداء الذي يحدث غالبًا في أنظمة المكافأة المشتركة مع نمو عدد الوكلاء أو حجم البيئة.

يقر المؤلفون بتواضع بوجود بعض القيود، مشيرين إلى أن الأداء يمكن أن يتذبذب في سيناريوهات معينة (مثل المواقع العشوائية ذات الأطوال الثابتة) وأن المحاكاة الحالية تقتصر على بيئة ثنائية الأبعاد. ويقترحون أن العمل المستقبلي يجب أن يستكشف البيئات ثلاثية الأبعاد، والنشر في العالم الحقيقي، ودمج تقنيات تجنب الاصطدام والاتصال الأكثر تقدمًا، مع الحفاظ على بساطة الإطار الحالي للتوافق مع الأنظمة المدمجة.