Global State-Guided Reinforcement Learning-Assisted Differential Evolution for Multi-Objective Optimization
تقترح الورقة البحثية خوارزمية GSG-RLDE، وهي خوارزمية التطور التفاضلي بمساعدة التعلم المعزز الموجه بالحالة العالمية، والتي تدمج معلومات التقارب والتوزيع والاتجاه في حالة مدمجة لتمكين الأفراد من اختيار استراتيجيات الطفرة التكيفية ومعلمات التحكم بشكل مستقل، مما أظهر أداءً فائقاً في كل من مشكلات الأمثلة متعددة الأهداف وسيناريوهات تخطيط مسار الطائرات بدون طيار في العالم الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الواسع لعلوم الحاسوب، هناك تحدٍ مستمر يُعرف باسم "التحسين متعدد الأهداف". تخيل مسافراً يحاول إيجاد المسار المثالي الذي يكون في آن واحد الأقصر، والأكثر أماناً، والأكثر كفاءة في استهلاك الوقود. في العالم الحقيقي، غالباً ما تتصادم هذه الأهداف؛ فقد يكون المسار الأسرع هو الذي يمر عبر عاصفة خطيرة، بينما قد يكون المسار الأكثر أماناً عبارة عن طريق طويل ومتعرج. وخلافاً للمشكلات البسيطة التي يكون لها "إجابة مثلى" واحدة، تتطلب هذه السيناريوهات المعقدة إيجاد مجموعة من الحلول، يمثل كل منها توازناً مختلفاً بين الاحتياجات المتضاربة. ولحل ذلك، يستخدم الباحثون الخوارزميات التطورية، التي تحاكي عملية الانتقاء الطبيعي. تبدأ هذه الخوارقات بمجموعة كبيرة من التخمينات العشوائية، أو ما يسمى بـ "المجتمع"، ثم تقوم بخلطها وطفراتها بشكل متكرر، مع الاحتفاظ بالأفضل منها لإنشاء الجيل التالي. ومع مرور الوقت، تطور هذه العملية مجموعة من الخيارات عالية الجودة. ومع ذلك، فإن توجيه هذا التطور بفعالية أمر صعب؛ إذ يجب على الخوارزمية أن تقرر باستمرار ما إذا كانت ستستكشف مناطق جديدة غير مستكشفة أم ستعمل على صقل أفضل الحلول التي وجدتها بالفعل، وهو توازن دقيق يتطلب غالباً ضبطاً يدوياً من قبل خبراء بشريين.
لقد طور فريق من الباحثين من جامعة شيان التكنولوجية وجامعة كونشان دوك طريقة جديدة لأتمتة هذا التوجيه، مما يسمح للحاسوب بتعلم كيفية توجيه عملية البحث بنفسه. وقد أطلقوا على نهجهم اسم GSG-RLDE، وهو نظام يجمع بين "التطور التفاضلي" — وهو نوع محدد من الخوارزميات التطورية — وبين "التعلم التعزيزي"، وهو فرع من فروع الذكاء الاصطناğı حيث يتعلم الحاسوب من خلال التجربة والخطأ. وبدلاً من الاعتماد على قواعد ثابتة أو حدس بشري لتعديل البحث، يقوم هذا النظام الجديد بمراقبة الحالة العامة للمجتمع واتخاذ قرارات في الوقت الفعلي. فهو ينظر إلى مدى قرب الحلول الحالية من المقايضات المثالية، ومدى انتشارها، وما إذا كانت المجموعة تتحسن أم تعاني من الركود. وبناءً على هذه "الحالة العالمية"، يخصص النظام استراتيجية محددة لكل فرد في المجتمع، مما يوجه بعضهم لاتخاذ مخاطر جريئة بينما يقوم آخرون بتعديلات دقيقة وحذرة.
يكمن الابتكار الجوهري في كيفية إدراك النظام للمشكلة. فبدلاً من معاملة كل عضو في المجتمع بشكل متماثل، تقوم الخوارزمية ببناء ملخص مكثف لحالة المجموعة بأكملها. فهي تحسب نسبة الحلول الأفضل أداءً، وتقيس مدى عدم انتظام توزيعها، وتتتبع ما إذا كانت هذه النسبة تنمو أو تتقلص من خطوة إلى أخرى. يعمل هذا الملخص كخريطة مشتركة للمجموعة بأكملها. وباستخدام ذاكرة رقمية تُعرف باسم "جدول Q" (Q-table)، يتعلم النظام أي مجموعات من استراتيجيات البحث وإعدادات الضبط تعمل بشكل أفضل في مواقف معينة. فإذا أشارت الخريطة إلى أن البحث عالق أو أصبح مزدحماً للغاية، فقد يوجه النظام الأفراد لتجربة استراتيجية طفرة أكثر عدوانية. أما إذا كان البحث يتقدم بشكل جيد ولكن الحل كانت تتكتل معاً، فقد يقترح نهجاً أكثر لطفاً لنشرها. ومن الأهمية بمكان أنه بينما يستخدم النظام ذاكرة مشتركة للتعلم من الخبرة الجماعية للمجموعة، فإن كل فرد في المجتمع يعمل بشكل مستقل، حيث يأخذ استراتيجيته الخاصة من هذه المعرفة المشترกัน. وهذا يسمح بنطاق متنوع من السلوكيات داخل جيل واحد، مما يمنع المجموعة من الوقوع في فخ محلي مع الاستمرار في التحرك نحو هدف مشترك.
لاختبار ابتكارهم، أخضع الباحثون نظام GSG-RLDE لسلسلة صارمة من التجارب ضد خمس خوارزميات رائدة أخرى. وقد استخدموا واحد وثلاثين مسألة رياضية معيارية مصممة لاختبار أنواع مختلفة من الصعوبة، بدءاً من سيناريوهات الهدفين البسيطة وصولاً إلى المشاهد المعقدة متعددة الأبعاد ذات الأشكال غير المنتظمة. وأظهرت النتائج أن الطريقة الجديدة تفوقت باستمرار على منافسيها؛ فقد حققت أفضل التصنيفات الإجمالية من حيث جودة الحلول الموجودة ومدى تغطيتها لنطاق المقايضات الممكنة. وأثبت النظام كفاءة خاصة في التنقل في التضاريس الصعبة حيث تعثرت الخوارزميات الأخرى في الحفاظ على التوازن بين إيجاد أفضل الإجابات والحفاظ على تنوع الحلول. وبالإضافة إلى هذه المعايير الرياضية، طبق الفريق الطريقة على تحدٍ هندسي عملي: تخطيط مسارات الطيران للطائرات بدون طيار (الدرونز). في هذا السيناريو، يجب على الطائرة بدون طيار الطيران من نقطة البداية إلى الوجهة مع تجنب العوائق، والبقاء ضمن حدود ارتفاع آمنة، وتقليل استهلاك الطاقة. نجحت الخوارمة الجديدة في توليد مسارات طيران كانت أقصر، وأكثر سلاسة، وأكثر أماناً مما أنتجته الطرق الأخرى، مما أظهر قدرتها على التعامل مع القيود الواقعية حيث يجب موازنة السلامة والكفاءة مع بعضهما البعض.
تشير الدراسة إلى أنه من خلال منح الخوارزميات التطورية وسيلة لإدراك تقدمها وتكييف سلوكها وفقاً لذلك، يمكننا حل المشكلات المعقدة بشكل أكثر موثوقية دون تدخل بشري. ووجد الباحثون أن هذا النهج يعمل بشكل جيد عبر مجموعة واسعة من أنواع المشكلات، من الألغاز الرياضية المجردة إلى القيود الفيزيائية لطيران طائرة بدون طيار في فضاء ثلاثي الأبعاد. ورغم أن هذه الطريقة ليست حلاً عالمياً لكل مشكلة تحسين ممكنة، إلا أنها تمثل خطوة كبيرة للأمام في جعل أدوات البحث القوية هذه أكثر استقلالية وفعالية. إن نجاح نهج التوجيه القائم على الحالة العالمية يشير إلى أن مستقبل التحسين قد يكمن في الأنظمة التي يمكنها "تعلم كيف تتعلم"، وتطوير استراتيجياتها باستمرار أثناء استكشافها للمشهد الواسع والمتضارب غالباً لتحديات العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.