Deep Reinforcement Learning Framework for Multi-UAV Collision-Free Navigation and Cooperative Control

أصبحت السماء فوق مدننا مزدحمة بشكل متزايد. فلم تعد طائرات التوصيل بدون طيار، وطائرات المراقبة، والتاكسي ذاتي القيادة مجرد مفاهيم من الخيال العلمي؛ بل أصبحت تتحول بسرعة إلى جزء من واقعنا اليومي. ولكي تعمل هذه الآلات بأمان، يجب أن تمتلك مستوى من الذكاء يتجاوز بكثير مجرد التحكم عن بعد البسيط. فهي بحاجة إلى التنقل في مساحات ثلاثية الأبعاد معقدة مليئة بالمباني، والطائرات الأخرى، والعقبات غير المتوقعة دون الاصطدام. تقليديًا، اعتمد المهندسون على صيغ رياضية جامدة لتوجيه هذه المركبات، حيث يقومون بحساب كل حركة محتملة مسبقًا. ومع ذلك، غالبًا ما تواجه هذه الأساليب صعوبة عندما تتغير البيئة فجأة أو عندما تحاول العديد من الآلات التنسيق في وقت واحد. فهي تتطلب معرفة مثالية بالعالم مسبقًا، وهو أمر نادر الحدوث في الواقع الفوضوي لمدينة مزدحمة.

هناك نهج جديد يبرز من المعهد الوطني للتكنولوجيا في كاليكوت بالهند، حيث يقوم الباحثون بتعليم الطائرات بدون طيار التعلم من الخبرة بدلاً من اتباع كتاب قواعد مكتوب مسبقًا. فبدلاً من برمجة الطائرة بدون طيار بكل سيناريو محتمل قد تواجهه، استخدم الفريق طريقة تسمى "التعلم المعزز العميق". في هذا النظام، تعمل الطائرة بدون طيار مثل طالب في فصل دراسي افتراضي واسع؛ حيث تجرب حركات مختلفة، وترتكب أخطاء، وتتلقى تعليقات. فعندما تطير بأمان نحو هدف ما، تتلقى إشارة إيجابية؛ وعندما تصطدم بجدار أو تتجول بلا هدف، تتلقى إشارة سلبية. ومن خلال آلاف المحاولات، تتعلم الطائرة بدون طيار الربط بين ملاحظاتها للعالم والإجراءات التي تؤدي إلى النجاح. وقد استخدم الباحثون تحديدًا خوارزمية تُعرف باسم "تحسين السياسة القريبة" (Proximal Policy Optimization)، وهي أداة متطورة تساعد عملية التعلم على البقاء مستقرة وفعالة، مما يمنع الطائرة بدون طيار من القيام بقفزات عشوائية ومضطربة في اتخاذ قراراتها.

وضع الفريق هدفًا لمعرفة ما إذا كان هذا النهج القائم على التعلم يمكنه التعامل مع المهمة الصعبة المتمثلة في توجيه طائرات متعددة عبر مشهد حضري مزدحم في آن واحد. قاموا بإنشاء محاكاة رقمية لمدينة، كاملة بمبانٍ شاهقة تعمل كعقبات ونقاط محددة تحتاج الطائرات للوصول إليها. في اختبارهم الأول، كُلفت طائرة واحدة بالتحليق من نقطة انطلاق إلى موقع مستهدف مع تجنب عشرة عوائق مستطيلة منتشرة في مستوًى ثنائي الأبعاد. بدأت الطائرة بدون طيار دون أي معرفة بالمخطط. ومن خلال تجارب متكررة في المحاكاة، تعلمت كيف تنسل عبر الفجوات، وتعدل مسارها في الوقت الفعلي لتجنب الاصطدامات. وأظهرت النتائج أن الطائرة استطاعت الوصول إلى وجهتها بنجاح في كل مرة، بعد أن تعلمت استراتيجية كانت آمنة وفعالة في آن واحد.

أصبح التحدي أصعب بكثير عندما أدخل الباحثون طائرات متعددة في بيئة ثلاثية الأبعاد. فقد قاموا بمحاكاة مدينة تضم سبعة مبانٍ متفاوتة الارتفاع والعرض، مما خلق متاهة معقدة من الفولاذ والخرسانة. تم إطلاق طائرتين من نفس نقطة الانطلاق، ولكن تم تخصيص وجهة مختلفة لكل منهما. كان الهدف هو وصول كلتاهما إلى أهدافهما دون الاصطدام بالمباني أو بالاصطدام ببعضهما البعض. في هذا السيناريو، كان على الطائرات ليس فقط تعلم كيفية التنقل عبر العقبات الثابتة، بل أيضًا تعلم كيفية توقع تحركات زميلاتها من الطائرات. أظهرت المحاكاة أن الطائرات نسقت مسارات طيرانها بنجاح؛ حيث طارت إحدى الطائرات إلى هدفها الأول ثم انتقلت إلى هدف ثانٍ، بينما اتبعت الأخرى مسارًا مختلفًا تمامًا نحو أهدافها الخاصة. وطوال الرحلة، حافظت الطائرات على مسافات آمنة، مما أثبت أن خوارزمية التعلم يمكنها التعامل مع تعقيد تعدد الوكلاء الذين يتشاركون نفس المجال الجوي.

ولاختبار النظام في ظروف أكثر ديناميكية، أدخل الباحثون أهدافًا متحركة. في هذه التجربة، كُلفت طائرتان بتتبع هدفين منفصلين يتحركان عبر مسارات غير خطية وغير متوقعة عبر المدينة. لم تكن الأهداف نقاطًا ثابتة، بل كانت أجسامًا متحركة يمكنها تغيير اتجاهها، مما أجبر الطائرات على تحديث استراتيجياتها باستمرار. كان على الطائرات تعلم تتبع هذه الأهداف المتحركة مع الاستمرار في تجنب المباني الثابتة وبعضها البعض. أشارت نتائج المحاكاة إلى أن الطائرات تمكنت من اعتراض أهدافها بنجاح، والتوقف عن حركتها بمجرد وصولها إلى نقطة الاعتراض. كانت عملية التعلم قوية؛ فمع استمرار التدريب، تحسن أداء الطائرات وأصبحت مسارات طيرانها أكثر سلاسة ومباشرة. أثبت النظام قدرته على التكيف مع الظروف المتغيرة، وهو مطلب حيوي للنشر في العالم الحقيقي حيث لا تكون الحركة والعقبات ثابتة أبدًا.

قارن الباحثون نتائجهم بطرق التحكم التقليدية، مثل "التحكم التنبؤي بالنموذج" (Model Predictive Control)، الذي يعتمد على حسابات معقدة للتنبؤ بالحالات المستقبلية. وبينما تعمل تلك الطرق التقليدية بشكل جيد في البيئات البسيطة والمتوقعة، وجدت الدراسة أنها تعاني عند مواجهة السرعة وعدم اليقين في السيناريوهات الديناميكية متعددة الوكلاء. وفي المقابل، لم يتطلب النهج القائم على التعلم نموذجًا مثاليًا للمدينة، بل تعلم قواعد الملاحة من خلال التفاعل. وتشير النتائج من عمليات المحاكاة إلى أن هذه الطريقة توفر حلاً ذكيًا وقابلاً للتوسع للطيران المستقل. لقد تمكنت الطائرات من تعميم تعلمها، مما يعني أنه يمكنها تطبيق ما تعلمته في بيئة ما للتنقل بنجاح في بيئات أخرى مختلفة قليلاً، وهي خطوة رئيسية نحو التطبيق في العالم الحقيقي.

على الرغم من هذه النتائج الواعدة، لا تزال الدراسة مجرد محاكاة. فقد تم اختبار الطائرات في عالم افتراضي، وليس على أجهزة مادية في السماء الفعلية. ويقر المؤلفون بأن الانتقال من نموذج حاسوبي إلى طائرة حقيقية ينطوي على عقبات كبيرة، مثل القيود المادية، وضجيج المستشعرات، وعدم القدرة على التنبؤ بالطقس والرياح الحقيقية. ويشيرون إلى أن العمل المستقبلي سيحتاج إلى التحقق من صحة هذه النتائج على طائرات فعلية واستكشاف كيفية توسيع النظام لإدارة أسراب أكبر من الطائرات بدون طيار. ومع ذلك، تقدم الدراسة برهاناً واضحاً على أن التعلم المعزز العميق يمكن أن يعلم الآلات كيفية التنقل في المساحات المشتركة والمعقدة بأمان. ومن خلال السماح للطائرات بدون طيار بالتعلم من تجاربها الخاصة، يوفر هذا النهج مسارًا قابلاً للتطبيق نحو التكامل الآمن والفعال للمركبات الجوية ذاتية القيادة في مناظرنا الحضرية.