RL-Assisted A-Teams for Adaptive Algorithm Selection in UGV-UAV Route Optimization
تقترح هذه الورقة إطار عمل "A-Teams" هجين (hyper-heuristic) مدعوم بالتعلم التعزيزي، يعمل على تسريع تحسين المسارات في الوقت الفعلي لأنظمة الطائرات بدون طيار والمركبات الأرضية ذاتية القيادة التعاونية بشكل كبير، مما يوفر حلولاً قريبة من المثالية أسرع بنسبة 30-70% من الطرق الحالية مع التكيف بفعالية مع التغيرات البيئية الديناميكية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تكون فيه الطائرات بدون طيار الصغيرة التي تعمل بالبطارية هي عيون فريق المراقبة، حيث تحلق عالياً لمراقبة مساحات شاسعة، بينما تعمل المركبات الأرضية القوية كشاحن حياة متنقل لها. تتميز الطائرات بدون طيار بمرونة فائقة ورؤية بعيدة المدى، لكنها مقيدة بحد فيزيائي بسيط: نفاد بطارياتها بسرعة. وفي المقابل، تحمل المركبات الأرضية طاقة أكبر بكثير ولكنها تتحرك ببطء ولا تستطيع الوصول إلى الأماكن المرتفعة. وعندما يعمل هذان النوعان من الآلات معاً، يمكن للمركبة الأرضية أن تعمل كمحطة شحن متنقلة، مما يسمح للطائرة بدون طيار بالهبوط، وإعادة الشحن، ثم الإقلاع مجدداً لمواصلة مهمتها. وتعمل هذه الشراكة على توسيع نطاق المراقبة الجوية إلى ما هو أبعد بكثير مما يمكن لطائرة واحدة بدون طيار تحقيقه بمفردها. ومع ذلك، فإن تنسيق حركاتهما يمثل لغزاً معقداً للغاية؛ إذ يجب على المركبة الأرضية أن تقرر أين تسير، ويجب على الطائرة بدون طيار أن تقرر أين تطير، كل ذلك مع ضمان التقائهما في الوقت والمكان المناسبين قبل نفاد طاقة الطائرة. وإذا كانت الخطة بطيئة جداً في الحساب، فلن يتمكن الفريق من التفاعل مع التغيرات في البيئة، مثل ظهور منطقة جديدة تحتاج للمراقبة فجأة أو انسداد طريق ما.
لقد طور باحثون في جامعة إلينوي شيكاغو ومختبر تطوير البحث في الجيش الأمريكي (DEVCOM) طريقة جديدة لحل لغز التنسيق هذا، وهي طريقة تسمح للنظام بالتفكير بشكل أسرع والتكيف في الوقت الفعلي. فبدلاً من الاعتماد على مجموعة واحدة جامدة من القواعد لتخطيط المسارات، ابتكروا نظاماً ذكياً يتعلم كيفية اختيار أفضل أدوات التخطيط للمهمة المطلوبة. تخيل عملية التخطيط كصندوق أدوات يحتوي على طرق مختلفة، بعضها جيد لإيجاد مسار عام وبعضها الآخر جيد لتحسين تفصيل محدد. في الماضي، كان اختيار الأدوات من صندوق الأدوات لكل مشكلة يخضع لاستراتيجيات محددة مسبقاً بدلاً من التطور بطريقة ذكية، مما أدى إلى هدر الوقت. أما النظام الجديد فيستخدم "وكيل تعلم" (learning agent)، تم تدريبه من خلال عملية تسمى "التعلم التعزيزي"، ليعمل كمشرف. يراقب هذا المشرف سير عملية التخطيط ويقرر، لحظة بلحظة، أي أداة محددة سيستخدمها تالياً. لقد تعلم كيف يتخطى الأدوات التي لا تقدم فائدة ويركز على الأدوات التي تجعل الخطة أفضل، مما يعلم الكمبيوتر فعلياً كيف يكون كفؤاً دون التضحية بجودة المسار.
اختبر الفريق هذا النهج من خلال محاكاة مهام تتطلب من مركبة أرضية وطائرة أو طائرتين بدون طيار مراقبة منطقة واسعة لأكثر من ساعتين. وقارنوا نظامهم الجديد القائم على التعلم بثلاث طرق شائعة أخرى: الخوارزمية الجينية القياسية، التي تحاكي الانتقاء الطبيعي لإيجاد الحلول؛ وإطار عمل متعدد الوكلاء تقليدي يستخدم جميع أدواته في وقت واحد؛ ونسخة من هذا الإطار تتضمن "متنبئاً" لتخمين الخطط التي قد تفشل. وفي السيناريوهات التي تتضمن نقاطاً كثيرة للزيارة، أثبت النظام الجديد أنه أسرع بشكل ملحوظ؛ فقد وجد مسارات تضاهي، وأحياناً تفوق، الطرق الأخرى، لكنه فعل ذلك في وقت أقل بنسبة تتراوح بين 30 إلى 70 بالمائة. على سبيل المثال، في أحد الاختبارات ذات الكثافة العالية لنقاط المهام، أكمل النظام الجديد حساباته في حوالي 12 دقيقة، بينما استغرقت الخوارزمية الجينية ما يقرب من 40 دقيقة للوصول إلى نتيجة مماثلة. وهذه السرعة أمر بالغ الأهمية لأنها تعني أن الفريق يمكنه إعادة تخطيط مساره بسرعة إذا تغير الموقف، مثل ظهور نقطة تفتيش جديدة بشكل غير متوقع.
ولإثبات قدرة النظام على التعامل مع ظروف العالم الحقيقي، طبق الباحثون هذا النهج في دراسة حالة تتعلق بفحص شبكة جسور بالقرب من شيكاغو. تضمنت المهمة قيام مركبة أرضية بالتحرك على طول الجسر بينما تحلق طائرات بدون طيار فوقه للتحقق من المشكلات الهيكلية. استمرت المحاكاة لمدة 150 دقيقة، وكان على النظام خلالها مراعاة عمر بطارية الطائرات المحدود والحاجة للقاء المركبة الأرضية لإعادة الشحن. وأظهرت النتائج أن استخدام طائرتين بدون طيار مع مركبة أرضية واحدة كان أكثر فعالية من استخدام طائرة واحدة ومركبة واحدة، حيث سمحت الطائرة الإضافية للفريق بزيارة نقاط التفتيش بشكل أكثر تكراراً. كما نجح النظام في التكيف مع التغييرات الديناميكية؛ فعندما أُدخلت نقاط تفتيش جديدة عشوائياً أثناء المهمة، قام "وكيل التعلم" بإعادة حساب المسارات في حوالي ثلاث دقائق. وكان وقت إعادة التخطيط هذا ضمن نافذة دورات شحن الطائرات، مما أثبت أن النظام يمكنه التعامل مع الأحداث غير المتوقعة دون أن يفقد مساره.
تسلط هذه الدراسة الضوء على أن مفتاح هذه الكفاءة يكمن في الاختيار الذكي للخوارزميات. فـوكيل التعلم لا يختار أداة عشوائياً، بل يراقب الحالة الراهنة لعملية التحسين، مثل مقدار التحسن في الخطة في الخطوة الأخيرة، ويختار الإجراء الذي يقدم أفضل توازن بين السرعة والتحسين. فإذا كانت أداة البحث المحلي تقوم بعمل جيد في تحسين المسار الحالي، فقد يستمر الوكيل في استخدامها. أما إذا تعثرت الخطة، فقد ينتقل الوكيل إلى أداة بحث عالمي لاستكشاف احتمالات جديدة. هذا اتخاذ القرار الديناميكي يسمح للنظام بتجنب إضاعة الوقت في الأدوات التي لا تساهم في الحل. وبينما تعتمد هذه الطريقة على عمليات المحاكاة ولديها قيود فيما يتعلق بقدرتها على التعميم على أنواع مختلفة تماماً من المشكلات دون إعادة تدريب، إلا أن النتائج تشير إلى مسار واعد للمستقبل. فمن خلال تعليم الآلات كيفية اختيار استراتيجياتها الخاصة، يتحرك الباحثون نحو مستقبل يمكن فيه للفرق الروبوتية العمل بشكل مستقل في بيئات معقدة ومتغيرة، مما يضمن السلامة والكفاءة في مهام مثل مراقبة البنية التحتية والاستجابة للكوارث.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.