A Generative Adversarial Network for Goal Oriented Subgoal Training Exploration and Rewards

في عالم الذكاء الاصطناعي، هناك لغز مستمر يُعرف باسم مشكلة الاستكشاف. تخيل تعليم روبوت المشي عبر غرفة؛ إذا حاول الروبوت ببساطة القيام بحركات عشوائية، فقد يتوصل في النهاية إلى الطريقة الصحيحة لتحريك أرجله، لكن الأمر قد يستغرق ملايين المحاولات، أو قد لا يكتشفها أبداً. وهذا ينطبق بشكل خاص عندما لا يحصل الروبوت على مكافأة إلا بعد نجاحه في عبور الغرفة بأكملة، بدلاً من الحصول على تلميح صغير مقابل كل خطوة صحيحة يتخذها. هذا التأخير يجعل من الصعب للغاية على الآلة فهم أي أفعال محددة أدت إلى النجاح. لسنوات، حاول الباحثون حل هذه المشكلة عن طريق تقسيم المهام الكبيرة إلى أهداف وسيطة أصغر، وهي استراتيجية تسمى التعلم الهرمي. ومع ذلك، غالباً ما تتطلب هذه الأساليب من البشر تحديد ماهية تلك الأهداف الصغيرة يدوياً، مما يحد من قدرة الروبوت على التكيف مع المواقف الجديدة أو المعقدة.

اقترح فريق من الباحثين في جامعة بينغميتون طريقة جديدة للتعامل مع هذا التحدي، وهي طريقة تسمح للآلة باكتشاف أهدافها الوسيطة الخاصة دون تعليمات بشرية. لقد طوروا نظاماً يسمى GANGSTER، وهو اختصار لـ "الشبكة التنافسية التوليدية للأهداف الفرعية الموجهة نحو الهدف، والاستكشاف، والمكافآت" (Generative Adversarial Network for Goal Oriented Subgoal Training, Exploration, and Rewards). الفكرة الجوهرية هي استخدام نوع من الذكاء الاصطناعي الذي يتعلم من خلال التنافس ضد نفسه لتوليد "نقاط مسار" مفيدة للروبوت ليهدف إليها. فبدلاً من التخمين العشوائي، يتعلم النظام اقتراح حالات محددة — مثل وضعية معينة لأرجل الروبوت — من المرجح أن تؤدي إلى درجة عالية، وتكون ممكنة فيزيائياً للوصول إليها من موقع الروبوت الحالي، وتكون مختلفة بما يكفي عن المحاولات السابقة للحفاظ على حيوية عملية التعلم. اختبر الباحثون هذا النظام في بيئات محاكاة معقدة تتضمن كائنات افتراضية مثل الفهود، والنمل، والماشين، ووجدوا أنه ساعد الآلات على التعلم بشكل أسرع وأكثر موثوقية، خاصة في المهام الأكثر صعوبة.

بنى الباحثون نظامهم ليعمل جنباً إلى جنب مع خوارزميات التعلم القوية الموجودة دون تغيير كيفية عمل تلك الخوارزميات بشكل أساسي. فكر في خوارزمية التعلم كطالب يحاول حل مسألة رياضية صعبة، والنظام الجديد كمعلم يقترح خطوة وسيطة مفيدة. لا يزال الطالب يقوم بالعمل ويتعلم القواعد، لكن المعلم يشير نحو مسار واعد. في هذه الحالة، "المعلم" هو نموذج توليدي مدرب على إنشاء أهداف فرعية مرشحة. عندما يبدأ الروبوت محاولة جديدة، يولد النموذج قائمة بالأهداف المحتملة. ثم يقوم بتقييم هذه الأهداف بناءً على ثلاثة معايير: مدى جودة النتيجة إذا وصل الروبوت إليها، ومدى سهولة وصول الروبوت إليها من موقعه الحالي، ومدى اختلاف الهدف عن غيره لضمان استكشاف الروبوت لمناطق جديدة. يختار النظام أفضل هدف ويعطي الروبوت مكافأة صغيرة وفورية للتقرب منه، مما يحول رحلة طويلة ومربكة إلى سلسلة من الخطوات التي يمكن إدارتها.

ولرؤية ما إذا كان هذا النهج قد نجح بالفعل، أجرى الفريق تجارب واسعة النطاق باستخدام مجموعة من محاكيات الروبوت القياسية المعروفة باسم MuJoCo. تتراوح هذه البيئات من مهام بسيطة، مثل موازنة بندول، إلى مهام معقدة للغاية، مثل التحكم في نملة افتراضية بثماني أرجل يجب عليها تنسيق حركاتها للركض للأمام. قارن الباحثون روبوتاتهم المعززة بنظام GANGSTER مقابل الروبوتات القياسية التي تتعلم بدون هذا التوجيه الإضافي. أظهرت النتائج نمطاً واضحاً: كلما زادت تعقيد البيئة، زادت مساعدة النظام الجديد. في المهام الأبسط، كان أداء الروبوتات القياسية جيداً، ولم يقدم النظام الجديد سوى فائدة ضئيلة. ومع ذلك، في البيئات عالية التعقيد، كان الفرق دراماتيكياً. فعلى سبيل المثال، في بيئة Ant-v5، قلل نظام GANGSTER الوقت اللازم لحل المهمة بنحو 31 بالمائة وزاد الأداء النهائي بنسبة 53 بالمائة مقارنة بالطريقة القياسية. وفي اختبار آخر مع فهد افتراضي، حسن النظام اتساق الحل إلى أكثر من 99 بالمائة، مما يعني أن الروبوت نادراً ما يفشل بمجرد تعلم المهمة.

كشفت الدراسة أيضاً أن نجاح النظام يعتمد بشكل كبير على كيفية اختيار الأهداف الوسيطة. اختبر الباحثون طرقاً مختلفة لوزن المعايير الثلاثة — الجودة، وإمكانية الوصول، والتنوع — ووجدوا أن إعطاء الأولوية لـ "جودة" الهدف كان العامل الأكثر أهمية. فالأهداف التي تعد بمكافأة مستقبلية عالية كانت الأكثر فعالية في توجيه الروبوت. ومع ذلك، كانت العاملان الآخران ضروريين للاستقرار؛ فبدون التحقق مما إذا كان الهدف قابلاً للوصول، سيهدف الروبوت إلى أهداف مستحيلة، وبدون ضمان التنوع، سيظل الروبوت عالقاً في محاولة تجربة الشيء نفسه مراراً وتكراراً. أثبت النظام مرونة، حيث عمل بشكل جيد مع نوعين مختلفين من خوارقات التعلم، وتوسعت الفوائد مع زيادة صعوبة المهام. وهذا يشير إلى أنه بينما يواجه الذكاء الاصطناعي تحديات واقعية متزايدة التعقيد، فإن امتلاك آلية لتوليد وترتيب أولويات الأهداف الوسيطة المفيدة تلقائياً يمكن أن يكون مفتاحاً لفتح آفاق تعلم أكثر كفاءة وموثوقية.

بينما أظهر النظام وعداً كبيراً في عمليات المحاكاة، كان الباحثون حذرين في الإشارة إلى حدوده. فعملية توليد وتقييم هذه الأهداف الإضافية تتطلب قوة حوسبة إضافية، مما يجعل عملية التدريب أبطأ من الطرق القياسية. وفي البيئات البسيطة حيث يمكن للروبوت التعلم بسرعة بمفرده، لا تستحق هذه التكلفة الإضافية العناء. علاوة على ذلك، أجريت جميع الاختبارات الحالية في عالم رقمي محاكى. ويقر الباحثون بأن تطبيق هذا على روبوتات العالم الحقيقي سيتطلب معالجة قضايا مثل ضوضاء المستشعرات وقيود السلامة التي لا وجود لها في محاكاة الكمبيوتر. وبالرغم من هذه التحفظات، فإن هذا العمل يمثل خطوة مهمة للأمام في تعليم الآلات كيفية استكشاف البيئات المعقدة بمفردها. فمن خلال توفير طريقة منظمة لتقسيم المهام الصعبة إلى خطوات يمكن تحقيقها، يوفر إطار عمل GANGSTER مساراً عملياً نحو أنظمة ذكاء اصطناعي أكثر قدرة يمكنها التنقل في التحديات الواقعية المعقدة وطويلة الأمد.