ملخص تقني: التعلم التعزيزي النمطي للأسراب التعاونية

بيان المشكلة

تتكون أسراب الروبوتات التعاونية من مجموعات من الروبوتات ذات القدرات الحسابية المحدودة التي تعمل نحو هدف مشترك مع وجود تفاعلات محلية فقط. ويتمثل التحدي الرئيسي في تطبيق التعلم التعزيزي متعدد الوكلاء (MARL) على مثل هذه الأنظمة في مشكلة انفجار الحالة (state explosion problem). لتعلم تجنب الاصطدام والملاحة بفعالية، يجب على الروبوتات تمثيل حالات التفاعل المكاني. إن التمثيل الكامل للعوامل (fully factored representation) لهذه الحالات (على سبيل المثال، وجود أو غياب الجيران في اتجاهات استشعار متعددة) ينمو بشكل توافقي. فبالنسبة لروبوت يحتوي على $k$ من المستشعرات، يؤدي تمثيل الحالة الثنائي إلى $2^k$ من الحالات.

هذا النمو الأسي غير ممكن عملياً للروبوتات السربية الفيزيائية، والتي غالباً ما تمتلك ذاكرة محدودة (مثلاً، أقل من 512 كيلوبايت من ذاكرة الوصول العشوائي RAM) وقدرة معالجة ضعيفة (غالباً ما تفتقر إلى دعم الأجهزة للحسابات بنقطة عائمة). وبناءً على ذلك، فإن مناهج MARL القياسية التي تتطلب شبكات عصبية عميقة أو جداول حالة ضخمة هي مناهج غير عملية. علاوة على ذلك، تعمل الروبوتات كمتعلمين مستقلين دون الوصول إلى حالات السرب العالمية أو أفعال أقرانهم، مما يجعل محاذاة المكافأة أمراً صعباً.

المنهجية

يقترح البحث تمثيلاً نمطياً (مفككاً) للحالة لمعالجة قيود الذاكرة والحوسبة في روبوتات السرب. يتضمن النهج الجوهري ما يلي:

1. تفكيك الحالة: بدلاً من متعلم واحد يعالج حالة مشتركة معقدة، يتم تفكيك الحالة المكانية حسب اتجاه المستشعر. يتم تخصيص عملية تعلم منفصلة ومستقلة لكل مستشعر (أو ميزة مكانية) من الـ $k$ مستشعرات.

   • تقليص مساحة الحالة: بالنسبة لـ $k$ من الميزات، يصبح إجمالي عدد الحالات التي يجب تخزينها خطياً ($O(k)$) بدلاً من أن يكون أسياً ($O(2^k)$). في التجارب، أدى استخدام 8 مستشعرات بحالات ثنائية إلى 16 حالة إجمالية عبر جميع المتعلمين، مقارنة بـ $2^8 = 256$ حالة للمتعلم ذو الحالة الكاملة.
   • عملية التعلم: كل متعلم هو خوارزمية "المتعدد الأذرع" (تحديداً Continuous UCB-1) تقوم بربط قراءة المستشعر المحلية (مثل "اصطدام" أو "خالٍ") بالإجراء الموصى به.

2. مساحة الفعل والدمج (المجلس - The Council):

   • الأفعال المتجهية: لتمكين دمج التوصيات، تم تعريف مساحة الفعل كـ متجهات اتجاه قابلة للتركيب (مثلاً، 8 اتجاهات منفصلة) بدلاً من خوارزميات تجنب الاصطدام الذرية. وهذا يسمح بدمج مخرجات المتعلمين المختلفين رياضياً.
   • آلية التجميع: يقوم إجراء ثابت، يسمى "المجلس" (Council)، بتجميع تفضيلات المتعلمين الـ $k$ المستقلين. حيث يخصص قيم تفضيل عالية للاتجاهات التي يوصي بها المتعلمون وقيمًا أقل للاتجاهات المجاورة بناءً على توزيع غاوسي (Gaussian distribution). يتم اختيار الفعل النهائي عن طريق أخذ عينة من توزيع الاحتمالات المتراكم هذا.
   • تخصيص الائتمان (Credit Assignment): لا يوجد تخصيص للائتمان بين المتعلمين. يتلقى جميع المتعلمين نفس إشارة المكافأة (مكافأة الفرق) بناءً على نتيجة الفعل المدمج.

3. محاذاة المكافأة: يستخدم النظام مكافآت الفرق ($\Delta$)، والتي تقرب المساهمة الهامشية للروبوت في المنفعة الجماعية. وهذا يسمح للمتعلمين المستقلين بمحاذاة أهدافهم الذاتية مع الهدف الجماعي للسرب دون الحاجة إلى تواصل عالمي.

المساهمات الرئيسية

• التمثيل النمطي للحالات المكانية: يقدم البحث تمثيلاً مفككاً للحالة حيث يتم التعامل مع كل ميزة مكانية (اتجاه المستشعر) بواسطة متعلم منفصل. وهذا يقلل من بصمة الذاكرة من نمو أسي إلى نمو خطي بالنسبة لعدد المستشعرات.
• مساحة فعل قابلة للتركيب: يوضح المؤلفون ضرورة وفعالية استخدام مساحات الأفعال المتجهية التي يمكن دمجها، مقارنة بالأفعال الخوارزمية الذرية المستخدمة في أعمال تعلم السرب السابقة، والتي لا يمكن دمجها تعسفياً.
• المتانة تجاه تغيرات المكافأة: أظهر النهج النمطي متانة تجاه تغيرات وظائف المكافأة (مثلاً، الانتقال من مكافآت الفرق إلى المكافآت الذاتية $\Omega$)، بينما غالباً ما تفشل متعلموا الحالة الكاملة في ظل هذه الظروف.

النتائج التجريبية

تم تقييم النهج في عمليات محاكاة عالية الدقة (ARGoS3) باستخدام روبوتات Krembot في مهمة جمع موارد تعاونية عبر ثلاثة تكوينات مختلفة للساحة (تنوع في مواقع القواعد والكثافة).

• الأداء مقابل متعلمي الحالة الكاملة:
  • في سيناريوهات الكثافة المنخفضة، كان النهج النمطي يؤدي بشكل مشابه لخوارزميات الملاحة الثابتة (Dynamic Window) ومتعلمي الحالة الكاملة (R-Learner, Q-Learning).
  • في سيناريوهات الكثافة العالية، تفوق متعلمو الحالة الكاملة (تحديداً R-Learner) في النهاية على النهج النمطي، ويرجع ذلك على الأرجح إلى توفر معلومات حالة أغنى لهم. ومع ذلك، حافظ النهج النمطي على أداء مستقر دون عبء الذاكرة.
  • في البيئات المعقدة (مثل القواعد الموجودة في الزوايا التي تسبب معدلات اصطدام عالية)، طابق النهج النمطي أداء Dynamic Window، لكنه واجه صعوبة في مواكبة متعلمي الحالة الكاملة مع زيادة الكثافة.
• المتانة: عندما تم تغيير دالة المكافأة من مكافأة الفرق المحاذية ($\Delta$) إلى مكافأة ذاتية خام ($\Omega$)، حافظ التمثيل النمطي على أدائه، بينما أظهر R-Learner المرتبط بالحالة انخفاضاً حاداً.
• مقارنة مساحة الفعل: أظهرت التجارب التي قارنت التعلم باستخدام الأفعال المتجهية مقابل خوارزميات تجنب الاصطدام الذرية (Repel, Dynamic Window, Aggression) أن التعلم لاستخدام الأفعال المتجهية أدى إلى نتائج محسنة.

الأهمية والادعاءات

يدعي البحث أن التمثيل النمطي يقدم حلاً عملياً لنشر التعلم التعزيزي متعدد الوكلاء (MARL) على روبوتات السرب ذات الموارد المحدودة. وبينما لا يتفوق دائماً على خوارزميات تعلم الحالة الكاملة من حيث الأداء الخام في السيناريوهات عالية الكثافة، إلا أنه يوفر توفيراً هائلاً في الذاكرة ومتانة حيث تفشل أو تستحيل طرق الحالة الكاملة.

يؤكد المؤلفون أن هذا النهج مناسب بشكل خاص للحالات المكانية لأنه يحاكي هيكل حقول الجهد (potential fields) ويسمح بطبيعته بمساحة فعل قابلة للتركيب. يشير العمل إلى أن هذا النهج مناسب جداً للأسراب الفيزيائية ذات الذاكرة المحدودة (غالباً <200 كيلوبايت)، حيث تكون المقايضة بين انخفاض طفيف في المثالية في السيناريوهات الكثيفة وبين القدرة على التعلم أصلاً أمراً جوهرياً. ويخلص البحث إلى أن التمثيل النمطي يسمح بالتعلم في الإعدادات التي قد تجعل مشكلات انفجار الحالة التقليدية التعلم التعزيزي غير ذي صلة.