Learning When to Cooperate Under Heterogeneous Goals

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعلم متى تتعاون في ظل وجود أهداف متباينة" (Learning When to Cooperate Under Heterogeneous Goals) من تأليف ماكس تايلور-ديفيز، ونيل براملي، وكريستوفر ج. لوكاس.

1. تعريف المشكلة

تتناول الورقة البحثية فجوة حرجة في أبحاث العمل الجماعي المرتجل (Ad Hoc Teamwork - AHT). يفترض البحث التقليدي في الـ AHT أن جميع الوكلاء في البيئة يتشاركون هدفاً تعاونياً مشتركاً، ويختلفون فقط في سياساتهم السلوكية أو "أساليبهم". ومع ذلك، في السيناريوهات الواقعية، غالباً ما يكون لدى الوكلاء أهداف متباينة قد تتداخل أو لا تتداخل.

صاغ المؤلفون هذه المشكلة ضمن إطار الألعاب العشوائية ذات الملاحظة الجزئية (POSG) حيث:

• تباين الأهداف: يتشارك الوكلاء مهمة عالية المستوى (مثل البحث عن الطعام)، لكنهم يسعون وراء متغيرات محددة (مثل جمع التفاح مقابل جمع البرتقال).
• سيناريوهات تداخل الأهداف:
  1. التداخل الكامل: جميع أهداف الوكيل (ego-agent) يشاركها الزملاء.
  2. التداخل الجزئي: بعض الأهداف مشتركة، والبعض الآخر غير مشترك.
  3. عدم التداخل: لا توجد أهداف مشتركة.
• التحدي الجوهري: يجب على الوكيل تعلم سياسة على مستوى الميتا (meta-level policy) لتقرير متى يتعاون (يسعى وراء الأهداف المشتركة) ومتى يعمل بشكل مستقل (يسعى وراء الأهداف الفردية). فالافتراض الأعمى بأن التعاون هو الأمثل يؤدي إلى الفشل في سيناريوهات عدم التداخل.

2. المنهجية: GRILL

يقترح المؤلفون GRILL (Goal selection by RL with Imitation for Low-Level control)، وهو إطار هرمي مبتكر يفصل بين اختيار الهدف وتنفيذ الإجراء.

البنية الهيكلية

يعمل GRILL على مستويين:

1. سياسة المستوى المنخفض ($\pi_{action}$): سياسة مشروطة بالهدف تتعلم كيفية تحقيق هدف معين.
2. السياسة عالية المستوى ($\pi_{goal}$): سياسة تتعلم أي هدف تسعى وراءه بناءً على الحالة الحالية وملاحظات الزملاء.

عملية التدريب (على مرحلتين)

• المرحلة الأولى: التعلم بالتقليد غير المتصل (Offline Imitation Learning - Behavioral Cloning)

  • يقوم النظام بجمع مجموعة بيانات من المسارات من وكلاء يعتمدون على القواعد (heuristics).
  • يتم تدريب نموذج مشفر-فك تشفير (encoder-decoder model) لإعادة بناء الإجراءات والملاحظات من هذه المسارات دون تسميات صريحة للأهداف.
  • ينتج المشفر تسمية هدف منفصلة ($\hat{g}$).
  • يتنبأ أحد فكاكي التشفير بأفعال الزملاء، بينما يتنبأ الآخر بالملاحظات المستقبلية.
  • النتيجة: يتم الاحتفاظ بفك تشفير الإجراءات كسياسة للمستوى المنخفض $\pi_{action}$، مشروطة بتسمية الهدف المتعلمة. هذه السياسة تكون عالمية عبر جميع الوكلاء.

• المرحلة الثانية: التعلم التعزيزي المتصل (Online Reinforcement Learning - PPO)

  • يتم تدريب سياسة عالية المستوى ($\pi_{goal}$) باستخدام تحسين السياسة القريبة (PPO).
  • المدخل: الملاحظة الحالية.
  • المخرج: تسمية هدف منفصلة.
  • مخرج $\pi_{goal}$ يشترط سياسة المستوى المنخفض المجمدة $\pi_{action}$.

نسخة GRILL-M

قدم المؤلفون GRILL-M، والتي تتضمن مكوناً مساعداً لنمذجة الزميل (مستوحى من LIAM).

• تضيف نموذج مشفر-فك تشفير (LSTM) للتنبؤ بأفعال الزميل بناءً على ملاحظات وأفعال الوكيل نفسه.
• يتم تغذية هذا التمثيل الكامن في السياسة عالية المستوى لتحسين اتخاذ القرار عندما تكون أهداف الزملاء غامضة.

3. المساهمات الرئيسية

1. صياغة المشكلة: قاموا بتعريف وصياغة إعداد الـ AHT مع أهداف متباينة وغير متداخلة، متجاوزين افتراض التعاون الشامل.
2. توسيع البيئة: قاموا بتوسيع اثنين من معايير الـ AHT القياسية (Cooperative Reaching و Level-Based Foraging) لدعم تباين الأهداف، مما خلق سيناريوهات بالتداخل الكامل، والجزئي، وعدم التداخل.
3. خوارزمية مبتكرة (GRILL): قدموا طريقة هرمية تجمع بين التعلم بالتقليد (للمستوى المنخفض) والتعلم التعزيزي (للمستوى العالي) والتي تفوقت على النماذج المرجعية الحالية.
4. رؤية حول المعلومات: أثبتوا أن قيمة نمذجة الزميل المساعدة (GRILL-M) تتناسب عكسياً مع وضوح إشارات الزميل الملحوظة. النمذجة تساعد أكثر عندما تكون الملاحظة المباشرة للأهداف ضوضائية أو غائبة.

4. النتائج التجريبية

تم تقييم الطرق مقابل النماذج المرجعية: PPO (التعلم التعزيزي القياسي)، LIAM (نمذجة الزميل)، و OMG (نمذجة الأهداف الفرعية)، بالإضافة إلى Oracle (المعرفة المثالية).

• الأداء (العوائد):

  • تفوقت GRILL و GRILL-M بشكل كبير على جميع النماذج المرجعية في جميع السيناريوهات وفي كلتا البيئتين.
  • في Cooperative Reaching، أدت جميع الطرق أداءً جيداً في سيناريوهات التداخل، لكن نسخ GRILL كانت متفوقة في سيناريو عدم التداخل (حيث يكون تجنب التعاون أمراً أساسياً).
  • في Level-Based Foraging (وهي بيئة أصعب)، أظهرت GRILL "فجوة صارخة" في الأداء، حيث حققت عوائد أقرب بكثير إلى الـ Oracle من أي نموذج مرجعي.

• تحليل اختيار الأهداف:

  • أنماط الفشل: حلل المؤلفون ثلاثة أنماط للفشل: (1) السعي وراء أهداف غير مجزية، (2) الإفراط في التعاون (السعي وراء أهداف مشتركة غير قابلة للتحقيق)، (3) نقص التعاون (تجاهل الأهداف المشتركة القابلة للتحقيق).
  • النتائج: تجنبت GRILL نمط الفشل رقم (1) تماماً، والنمط رقم (2) بالكامل تقريباً. لقد اختارت الأهداف "المجدية" بنسبة تزيد عن 90% من الوقت.
  • المرونة: أظهرت GRILL أعلى فرق في التعاون ($\Delta_{coop}$)، مما يعني أنها نجحت في تكييف استراتيجيتها للسعي وراء التعاون في سيناريوهات التداخل والعمل بشكل مستقل في سيناريوهات عدم التداخل، بينما كانت النماذج المرجعية (خاصة PPO) تميل إلى الجمود.

• دراسة الاستئصال حول الضوضاء (GRILL مقابل GRILL-M):

  • عندما كانت إشارات أهداف الزميل ($\phi$) ضوضائية أو غائبة، تفوقت GRILL-M بشكل كبير على GRILL (بزيادة تصل إلى 142% في العائد عند إزالة الإشارات).
  • عندما كانت الإشارات واضحة (ضوضاء منخفضة)، تلاشت الفجوة في الأداء بين النسختين، مما يؤكد أن النمذلة الصريحة ضرورية فقط عندما تكون الملاحظة المباشرة غير كافية.

5. الأهمية والخاتمة

ينقل هذا العمل نموذج العمل الجماعي المرتجل (Ad Hoc Teamwork) من "كيفية التعاون مع أساليب مختلفة" إلى "متى تتعاون مع أهداف مختلفة".

• القدرة على التكيف الشبيهة بالبشر: يحاكي النظام الحدس البشري من خلال إدراك أن التعاون ليس دائماً هو الأمثل؛ فهو يتعلم التمييز بين فرص التعاون المثمرة وغير المثمرة.
• القابلية للتوسع: يفصل النهج الهرمي بين الميكانيكا "العالمية" لتنفيذ الإجراء وبين الاستراتيجية "المعتمدة على السياق" لاختيار الهدف، مما يوفر حلاً قابلاً للتوسع للبيئات المعقدة متعددة الوكلاء.
• الاتجاهات المستقبلية: يشير المؤلفون إلى أن هذا الإطار ينطبق على المجالات التنافسية (مثل الاختيار بين أهداف متنازع عليها عالية القيمة مقابل أهداف آمنة منخفضة القيمة) ويخططون لاستكشاف الروابط مع تعلم السلوك البشري والبيئات ذات الملاحظة الجزئية التي تضم أكثر من وكيلين.