ملخص تقني: تخطيط مسار الطائرات بدون طيار المتعددة في الأبعاد الثلاثية بناءً على APF-MADDPG

1. بيان المشكلة

تتناول الورقة البحثية تحدي تخطيط مسار الطائات بدون طيار المتعددة (Multi-UAV) في بيئات مجهولة ثلاثية الأبعاد. وتتميز هذه المشكلة بمساحة عمل عالية الأبعاد، وقيود صارمة لتجنب الاصطدام (سواء بين الطائرات أو مع العوائق)، وطبيعة حسابية معقدة من نوع NP-hard.

وتشمل التحديات المحددة ما يلي:

• التعاون مقابل الفردية: على عكس تخطيط الطائرة الواحدة الذي يركز على المثالية الفردية، يتطلب تخطيط الطائرات المتعددة موازنة التعاون، وتجنب الاصطدام، وإتمام المهمة بشكل متزامن (التجميع).
• قصور الطرق التقليدية: تعاني الطرق الهندسية (مثل Voronoi) من صعوبة التعامل مع التغيرات الديناميكية؛ وتواجه طرق مجال الجهد الاصطناعي (APF) مشكلة السقوط في النهايات الصغرى المحلية (local minima)؛ بينما تواجه الخوارزميات الاستدلالية (مثل الخوارزميات الجينية وPSO) غالباً مشاكل في بطء التقارب أو الوصول إلى الأمثلية المحلية في المساحات عالية الأبعاد.
• قصور نهج التعلم التعزيزي الحالي: بينما يعمل خوارزم (DDPG) بشكل جيد للوكلاء المنفردين، فإنه يتجاهل الاختلافات الاستراتيجية بين الوكلاء، مما يؤدي إلى الاصطدامات. أما خوارزم (MADDPG) فيعالج مسألة التعاون ولكنه يعاني غالباً من مشكلة المكافآت الشحيحة (sparse rewards)، مما يجعل تصميم دالة المكافأة أمراً صعباً ويؤدي إلى بطء التقارب في البيئات المعقدة.

2. المنهجية

يقترح المؤلفون خوارزمية مبتكرة، APF-MADDPG، والتي تدمج إطار عمل (Multi-Agent Deep Deterministic Policy Gradient) مع آلية مكافأة محسنة تعتمد على مجال الجهد الاصطناعي (APF).

2.1 نمذجة المشكلة

• نموذج المهمة: تم تعريفها كمهمة تجميع حيث تنطلق $N$ من الطائرات بدون طيار من مواقع متفرقة ويجب أن تصل إلى منطقة هدف مشتركة في وقت واحد مع تجنب مناطق التهديد، ومناطق حظر الطيران، والعوائق.
• نموذج الحركة: يُستخدم نموذج حركي ثلاثي الأبعاد حيث تتحكم الطائرات في التسارع الخطي، والتسارع الزاوي للارتفاع (pitch)، والتسارع الزاوي للانحراف (yaw). وتُطبق قيود على السرعة، والتسارع، والزوايا.
• نموذج العوائق: تُنمذج العوائق كأجسام محدبة (كرات أو أسطوانات) محددة بمعايير هندسية.
• صياغة نظرية الألعاب: تمت صياغة المشكلة كـ لعبة ماركوف جزئية الملاحظة (POMG).
  • فضاء الحالة ($S_i$): يتضمن الموقع، والسرعة، وزوايا الارتفاع (pitch) والانحراف (yaw).
  • فضاء الفعل ($A_i$): التسارع الخطي، والتسارع الزاوي للارتفاع، والتسارع الزاوي للانحراف.
  • فضاء الملاحظة ($o_i$): ملاحظات محلية تشمل حالة الطائرة الخاصة، والحالات النسبية للطائرات الأخرى، والمواقع النسبية للعوائق.

2.2 الخوارزمية الأساسية: APF-MADDPG

تستخدم الخوارزمية إطار عمل التنفيذ الموزع والتدريب المركزي.

1. آلية تدريب هرمية: تم تقديم هيكل ثنائي الطبقات:
   • طبقة تخطيط المسار: لكل طائرة شبكة (actor-critic) مستقلة. يأخذ الـ (actor) الملاحظات المحلية لتوليد الأفعال مع ضجيج الاستكشاف.
   • طبقة تنفيذ الفعل: تنفذ الطائرات الأفعال في البيئة، مما يولد ملاحظات ومكافآت جديدة.
2. دالة المكافأة الكثيفة (الابتكار الرئيسي): للتغلب على المكافآت الشحيحة، صمم المؤلفون دالة مكافأة مركبة ($R_{sum}$) بناءً على مبادئ APF:
   • الجذب ($R_{ut}$): يشجع على الحركة نحو الهدف باستخدام دالة اضمحلال أسي بناءً على المسافة الإقليدية.
   • التنافر ($R_{uu}$): يعاقب على القرب بين الطائرات لمنع الاصطدام.
   • التنافر مع العوائق ($R_{uo}$): يعاقب على القرب من العوائق باستخدام دالة أسية.
   • مكافأة المغادرة ($R_{depart}$): يكافئ التقدم نحو الهدف عن طريق حساب الفرق بين المسافة السابقة والمسافة الحالية للهدف ($d(p_{last}, p_{target}) - d(p_{now}, p_{target})$). صُممت هذه الآلية لحل مشكلة الأهداف التي لا يمكن الوصول إليها في APF ومنع الوكيل من التجول بالقرب من الهدف لتجميع أقصى قدر من المكافآت دون الوصول إليه فعلياً.
   • إجمالي المكافأة: $R_{sum} = w_1R_{ut} + w_2R_{uu} + w_3R_{uo} + w_4R_{depart}$.

2.3 عملية التدريب

تستخدم الخوارزمية قواعد تحديث MADDPG القياسية مع شبكات مستهدفة (target networks) لضمان الاستقرار.

• تحديث الـ Critic: يقلل الخسارة بين قيمة Q المتوقدة وقيمة الهدف ($y_i$)، والتي تتضمن المكافأة الفورية وقيمة Q المستقبلية المخصومة من الشبكات المستهدفة.
• تحديث الـ Actor: يعظم العائد المتوقع باستخدام تدرج السياسة (policy gradient).
• التحديثات الناعمة (Soft Updates): يتم تحديث بارامترات الشبكة المستهدفة عبر تحديثات ناعمة ($\tau \ll 1$) لضمان استقرار التدريب.

3. المساهمات الرئيسية

تدعي الورقة صراحةً مساهمتين رئيسيتين:

1. دالة مكافأة كثيفة: دمج دالة مكافأة كثيفة قائمة على APF في إطار عمل MADDPG. يعالج هذا مشكلات المكافآت الشحيحة وبطء التقارب الموجودة في التعلم التعزيزي متعدد الوكلاء التقليدي لتخطيط المسار.
2. آلية تدريب هرمية: إنشاء هيكل تعلم تعزيزي عميق هرمي يتكون من طبقة تخطيط المسار وطبقة تنفيذ الفعل لتدريب الاستراتيجيات المثلى بكفاءة.

4. النتائج التجريبية

تم تقييم الطريقة المقترحة في بيئة محاكاة ثلاثية الأبعاد (10 كم $\times$ 10 كم $\times$ 10 كم) مع ثلاث طائرات بدون طيار وثلاثة عوائق (كرتان وأسطوانة واحدة). تمت مقارنتها بـ MADDPG (باستخدام المكافآت الشحيحة التقليدية) و ILDDPG (المتعلم المستقل DDPG).

• سرعة التقارب: تُظهر منحنيات مكافأة الحلقات (الشكل 4) أن APF-MADDPG يتقارب بشكل أسرع بكثير من كل من MADDPG و ILDDPG.
• جودة السياسة:
  • ILDDPG: فشل في تجنب العوائق في المحاكاة (اصطدمت الطائرتان 1 و 2)، مما يجعله غير مناسب لهذا السيناريو متعدد الوكلاء.
  • MADDPG: نجح في تجنب العوائق ولكن أدى ذلك إلى طول إجمالي للمسار.
  • APF-MADDPG: نجح في تجنب جميع العوائق وحقق أقصر إجمالي طول مسار.
• مقارنة طول المسار:
  • إجمالي طول مسار MADDPG: 25.9426 كم
  • إجمالي طول مسار APF-MADDPG: 24.7056 كم
  • قللت خوارزمية APF-MADDPG من إجمالي طول المسار مقارنة بخوارزمية MADDPG القياسية.

5. الأهمية والادعاءات

تخلص الورقة إلى أن خوارزمية APF-MADDPG تتفوق على كل من ILDDPG و MADDPG القياسي من حيث:

• كفاءة تعلم السياسة: تقارب أسرع نحو الاستراتيجية المثلى.
• مثالية تخطيط المسار: توليد مسارات أقصر وأكثر كفاءة.
• السلامة: تجنب الاصطدامات مع العوائق والطائرات الأخرى بفعالية في بيئة ثلاثية الأبعاد.

يؤكد المؤلفون أن الجمع بين المكافأة الكثيفة القائمة على APF وآلية التدريب الهرمية يحل بفعالية تحديات المكافآت الشحيحة والنهايات الصغرى المحلية في تخطيط مسار الطائرات بدون طيار المتعددة في الأبعاد الثلاثية، مما يوفر حلاً قوياً للمهام التعاونية في البيئات المجهولة.