Hybrid Reinforcement Learning and Search for Flight Trajectory Planning

إن الطيران بطائرة من مدينة إلى أخرى نادراً ما يكون مجرد رسم خط مستقيم على الخريطة. فبينما كوكب الأرض مستدير، فإن الغلاف الجوي ليس متجانساً؛ بل هو محيط ثلاثي الأبعاد متغير من الرياح ودرجة الحرارة والضغط يتغير باستمرار. ولإيجاد المسار الأكثر كفاءة عبر هذه البيئة، يجب على الطيارين والأنظمة الآلية حساب مسار يقلل استهلاك الوقود إلى أدنى حد مع التنقل عبر هذه التيارات غير المرئية. هذا تحدٍ رياضي معقد لأن الطائرة نفسها هي آلة ذات تعقيد هائل، حيث يتفاعل كل تغيير في السرعة أو الارتفاع مع الطقس بطرق تتطلب عمليات محاكاة حاسوبية قوية للتنبؤ بها. وعندما يتم تخطيط رحلة قبل أيام، تمتلك الحواسيب متسعاً من الوقت لإجراء هذه الحسابات الثقيلة. ومع ذلك، في حالات الطوارئ، مثل تعرض راكب لوعكة صحية حرجة واضطرار الطائرة للتحول إلى أقرب مستشفى، يجب إجراء نفس الحسابات في ثوانٍ معدودة. والنظام الذي يتسم بالدقة ولكنه بطيء لا يكون ذا فائدة في الأزمات، ومع ذلك، فإن النظام الذي يتسم بالسرعة ولكنه غير دقيق قد يؤدي إلى نقص خطير في الوقود أو تفويت الوجهات المقصودة.

لقد طور باحثون في جامعة بولونيا، بالتعاون مع نماذج أداء شركة إيرباص، طريقة جديدة لحل هذه المشكلة من خلال الجمع بين نوعين مختلفين من الذكاء الاصطناعي. النوع الأول، المعروف باسم "التعلم التعزيزي"، يعمل مثل طيار خبير حلق في آلاف المسارات ويمكنه التعرف فوراً على المسار الجيد بناءً على الشكل العام للرحلة والطقس. أما النوع الثاني، فهو خوارزمية بحث تقليدية، تعمل مثل مهندس دقيق، يفحص كل تغيير ممكن لضمان العثور على المسار الأفضل على الإطلاق. وقد وجد الباحثون أنه من خلال السماح لذكاء "الطيار" برسم مسار أولي سريع، يمكنهم بعد ذلك توجيه ذكاء "المهندس" للبحث فقط في المسارات القريبة من ذلك الرسم. هذا النهج، الذي اختبروه على جهاز كمبيوتر مكتبي قياسي، سمح للنظام بإيجاد حل أسرع بنسبة تصل إلى 50 بالمائة من استخدام البحث الدقيق وحده، مع استهلاك نفس كمية الوقود تقريباً.

يكمن جوهر هذه الطريقة الجديدة في كيفية تواصل نظامي الذكاء الاصطناعي مع بعضهما البعض. فالنظام الأول، وهو وكيل التعلم التعزيزي، تم تدريبه على آلاف سيناريوهات الطيران العشوائية عبر أوروبا. ومهمته ليست إيجاد المسار المثالي، بل إيجاد مسار جيد جداً بسرعة كبيرة. فهو ينظر إلى نقطة الانطلاق، والوجهة، والطقس، ثم يرسم خطاً بسيطاً يربط بينهما مع عدد قليل فقط من المنعطفات. وهو يتجاهل التفاصيل الدقيقة لتغيرات الارتفاع للحفاظ على سرعة حساباته، مركزاً بدلاً من ذلك على الاتجاه العام والرياح. وتستغرق هذه العملية من الوكيل حوالي ثانية ونصف فقط لإكمالها، بغض النظر عن طول الرحلة. وبمجرد رسم هذا المسار الأولي، يتولى النظام الثاني المهمة. هذا هو المخطط التقليدي، الذي يقضي عادة وقتاً طويلاً في فحص كل مسار ممكن في شبكة واسعة من الخيارات. وفي هذا الإعداد الهجين الجديد، يُعطى المخطط تعليمات صارمة: يُسمح له فقط بالبحث عن المسار النهائي المثالي ضمن ممر ضيق يحيط بالمسار الأولي الذي رسمه الوكيل الأول.

من خلال تقييد منطقة البحث، نجح الباحثون فعلياً في تحويل مشكلة ضخمة ومستهلكة للوقت إلى مشكلة أصغر بكثير ويمكن إدارتها. تخيل عملية بحث تتطلب عادةً فحص مليون احتمال مختلف؛ باستخدام الرسم الأولي لتوجيه البحث، قد يحتاج النظام فقط إلى فحص بضعة آلاف. وأظهرت نتائج اختباراتهم، التي تضمنت محاكاة رحلات بين نقاط عشوائية على الأرض، أن هذا الاختصار لم يأتِ بتكلفة عالية. ففي كل حالة تقريباً، كان استهلاك الوقود في النظام الهجين مطابقاً للنظام البطيء والشامل. وعندما كانت هناك اختلافات، كانت ضئيلة، وعادة ما تكون أقل من واحد بالمائة. وهذا يعني أن الطائرة لم تحرق وقوداً أكثر بشكل ملحوظ باتباع هذا الاختصار، لكن الكمبيوتر وفر قدراً هائلاً من الوقت.

اختبر الباحثون أيضاً مدى صمود هذه الطريقة تحت ظروف مختلفة، مثل تغيير كثافة شبكة البحث أو طول الرحلة. ووجدوا أن الطريقة كانت أكثر فعالية عندما كانت شبكة البحث كبيرة ومعقدة، وهو بالضبط الوقت الذي تكون فيه الحاجة إلى حل سريع في أوجها. في هذه السيناريوهات الصعبة، قلل النظام الهجين وقت الحوسبة بنسبة تقارب النصف. ومع ذلك، اكتشفوا أيضاً حداً لمدى إمكانية تقليص منطقة البحث؛ فإذا تم جعل الممر حول المسار الأولي ضيقاً جداً، فقد يفتقد النظام المسار الأفضل، مما يؤدي إلى استهلاك أعلى قليلاً للوقود. وقد علمهم هذا أن التوازن بين السرعة والدقة يعتمد على حجم شبكة البحث المحددة، ولكن مع الإعدادات الصحيحة، يمكن للنظام تقديم نتائج سريعة وعالية الجودة باستمرار.

إن تداعيات هذا العمل تمتد إلى ما هو أبعد من مجرد توفير الوقت على شاشة الكمبيوتر. ففي العالم الحقيقي، يمكن أن تكون القدرة على إعادة حساب مسار الرحلة في ثوانٍ مسألة حياة أو موت أثناء حالة طبية طارئة أو حدث جوي مفاجئ. وأشار الباحثون إلى أنه بينما تعاملت اختباراتهم الحالية مع الطقس كعامل ثابت ومعلوم، فإن هيكل نظامهم مصمم للتعامل مع عدم اليقين في المستقبل. ولأن وكيل التعلم التعزيزي مدرب على التعرف على الأنماط، فمن الممكن تكييفه للتعامل مع تغيرات الطقس غير المتوقعة، مثل العواصف المفاجئة، من خلال تعلم كيفية تجنبها قبل حدوثها حتى. وفي الوقت الحالي، تثبت هذه الدراسة أن الجمع بين تخمين حدسي سريع وفحص دقيق ومفصل هو وسيلة قوية لحل مشكلات التخطيط المعقدة. وهي تثبت أنه في عالم الطيران عالي المخاطر، لا تحتاج دائماً إلى فحص كل احتمال ممكن للعثور على المسار الأفضل؛ فأحياناً، معرفة أين تبحث هي كل ما تحتاجه.