ملخص تقني: CooT: تعلم التنسيق في سياق التعلم مع محولات التنسيق (Coordination Transformers)

1. بيان المشكلة

تتناول الورقة مشكلة العمل الجماعي المرتجل (Ad-hoc Teamwork - AHT) في الأنظمة متعددة الوكلاء، حيث يجب على الوكيل التنسيق بفعالية مع شركاء لم يسبق لهم رؤيتهم. تواجه النهج الحالية قيوداً كبيرة:

• اللعب الذاتي (Self-Play): غالباً ما يتقارب نحو اصطلاحات محددة تفشل عند التفاعل مع متعاونين غير مألوفين.
• الأساليب القائمة على السكان (Population-Based Methods): رغم أنها تحسن المتانة من خلال التنوع (مثل HSP و MEP)، إلا أنها تفتقر إلى آليات للتكيف عبر الإنترنت (online adaptation) بكفاءة خارج نطاق توزيع التدريب.
• الضبط الدقيق (Fine-Tuning): التكيف القائم على التدرج (gradient-based adaptation) غير عملي في حالات التعلم من أمثلة قليلة (few-shot) بسبب تكاليف التفاعل العالية والحاجة إلى آلاف المسارات لتعلم استراتيجيات فعالة.
• التعلم المعزز الميتا القائم على السياق (Context-Based Meta-RL): تعتمد الطرق السابقة (مثل PACE و PECAN) غالباً على تمثيلات كامنة مضغوطة لسلوك الشريك. يمكن لهذه التمثيلات أن تعاني في التقاط السلوكيات الغنية ذات البنية الزمنية، وقد تفشل عندما تنحرف سلوكيات وقت الاختبار عن بيانات التدريب.

التحدي الجوهري هو تمكين الوكيل من التكيف مع سلوكيات الشركاء المتنوعة في الوقت الفعلي بأقل قدر من التفاعل (few-shot)، دون الحاجة إلى تحديثات للمعلمات (parameters) أو تواصل صريح.

2. المنهجية: محول التنسيق (CooT)

يقترح المؤلفون CooT، وهو إطار عمل يستفيد من التعلم داخل السياق (In-Context Learning - ICL) لمعالجة تكيف الشريك كمسألة تعلم. بدلاً من التعميم عبر المهام، يقوم CooT بالتعميم عبر سلوكيات الشركاء المتنوعة.

2.1 الصياغة: لعبة ماركوف ذات المنفعة الخفية (Hidden-Utility Markov Game - HU-MG)

تتم صياغة المشكلة كـ HU-MG. يعمل الوكلاء في بيئة مشتركة ولكنهم مدفوعون بـ دوال مكافأة خفية ($r_w$) لا يراها إلا الشريك. هذه المنفعات الخفية تستحث تفضيلات سلوكية متنوعة (اصطلاحات) حتى ضمن بيئات متطابقة. الهدف هو استنتاج هذه التفضيلات الخفية من خلال الملاحظة ومواءمة الأفعال وفقاً لذلك.

2.2 توليد بيانات التدريب

يتم تدريب CooT على مجموعة بيانات من مسارات التفاعل بين أزواج من الوكلاء:

1. الوكلاء المفضلون للسلوك ($\pi^p_i$): وكلاء تم تدريبهم باستخدام دوال مكافأة خفية محددة (تركيبات خطية من الأحداث البيئية) لإظهار أنماط سلوكية متنوعة.
2. وكلاء الاستجابة المثلى ($\pi^{br}_i$): وكلاء تم تدريبهم عبر خوارزمية MAPPO لتعظيم العوائد مقابل شركائهم المفضلين للسلوك المقابلين لهم.
3. بناء مجموعة البيانات: يتعلم النموذج من أزواج $(s_h, C, \hat{a})$، حيث:
   • $C$ هو نافذة سياق لمسارات التفاعل الماضية بين وكيل مفضل للسلوك واستجابته المثلى.
   • $s_h$ هو حالة استعلام (query state) يتم أخذ عينة منها بشكل مستقل من السياق (لمنع مجرد استمرار المسار).
   • $\hat{a}$ هو فعل الاستجابة المثلى الحقيقي الذي اتخذه $\pi^{br}_i$ عند الحالة $s_h$.

2.3 بنية النموذج والتدريب

• البنية: يستخدم CooT بنية محول القرار المدرب مسبقاً (Decision-Pretrained Transformer - DPT) (تحديداً GPT-2).
• الهدف: يتم تدريب النموذج عبر التعلم الخاضع للإشراف للتنبؤ بتوزيع فعل الاستجابة المثلى $\hat{p}_h(\cdot) = M_\theta(\cdot | s_h, C)$. دالة الخسارة هي الإنتروبيا المتقاطعة (cross-entropy) بين الفعل المتوقع وفعل الاستجابة المثلى الحقيقي.
• التمييز الرئيسي: على عكس نماذج "Decision Transformers" القياسية التي تشترط أهداف المهمة أو المكافآت، يشترط CooT تاريخ تفاعل الشريك لاستنتاج نمط الشريك الكامن والتنبؤ بالاستجابة التعاونية المثلى.

2.4 النشر عبر الإنترنت (Online Deployment)

في وقت الاختبار، يعمل Coot مع بروتوكول عدم وجود معرفة مسبقة صارم:

1. يبدأ بذاكرة سياق فارغة.
2. يتفاعل مع شريك غير مرئي خلال حلقة (episode) واحدة.
3. يتم إلحاق المسار الناتج بذاكرة السياق (FIFO)، مما يؤدي لإخراج أقدم البيانات.
4. يتنبأ النموذج بالأفعال بناءً على الحالة الحالية والسياق المتراكم $C$، مما يسمح بالتكيف المستمر وغير القائم على التدرج مع سلوك الشريك.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم CooT، الذي يعيد صياغة تكيف الشريك كمسألة تعلم داخل السياق، مما يتيح تنسيقاً سريعاً من أمثلة قليلة دون تحديث المعلمات.
2. نموذج التدريب: طريقة لتدريب المحولات على مسارات "الاستجابة المثلى" المشروطة بسياقات الشريك، مما يعلم النموذج بفعالية كيفية ربط أنماط الشريك الملحوظة باستراتيجيات التعاون المثلى.
3. التحقق التجريبي: تقييم شامل على معيارين:
   • Overcooked: عالم شبكي منفصل يتطلب تنسيقاً وثيقاً.
   • Google Research Football (GRF): بيئة مستمرة عالية الأبعاد مع فرق أكبر (3 ضد 1).
4. التقييم البشري: دراسة مستخدم توضح أن البشر يدركون CoO T كوكيل أكثر تكيفاً وموثوقية مقارلة بالنماذج المرجعية المتطورة.

4. النتائج التجريبية

تم تقييم CooT مقابل مجموعة واسعة من النماذج المرجعية، بما في ذلك محاكاة السلوك (BC)، والأساليب القائمة على السكان (HSP, MEP)، والضبط الدقيق القائم على التدرج (HSP-ft)، والتعلم الميتا القائم على السياق (HSP-meta, PACE).

• الأداء: تفوق CooT باستمرار على جميع النماذج المرجعية عبر تخطيطات Overcooked المتنوعة وسيناريو GRF. حقق أعلى قرب من الاستجابة المثلى (BR-prox) ومتوسط عوائد، خاصة في التخطيطات التي تتطلب تنسيقاً عالياً (مثل Coord. Ring Multi-recipe) حيث يكون التكيف الخاص بالشريك أمراً حاسماً.
• سرعة التكيف: أظهر CooT تكيفاً سريعاً من أمثلة قليلة، حيث أظهر تحسينات كبيرة في الأداء خلال أول 15 حلقة واستقر بسرعة. في المقابل، أظهر الضبط الدقيق القائم على التدرج (HSP-ft) عدم استقرار وبطء في التقارب، بينما أخفقت طرق السياق الأخرى (PACE, HSP-meta) أو لم تتحسن بمرور الوقت.
• المتانة: في الإعدادات غير المستقرة حيث يغير الشركاء استراتيجياتهم في منتصف المهمة، أعاد CooT معايرة استراتيجيته في متوسط 3.67 حلقة، بينما كافحت الطرق الأخرى للتعافي.
• الدراسة البشرية: في دراسة شملت 36 مشاركاً، حقق CooT أعلى متوسط عائد وتم اختياره كمتعاون مفضل من قبل 50% من المشاركين. أكد التحليل النوعي أن البشر نظروا إلى CooT كوكيل متكيف صراحةً، مشيرين إلى قدرته على تحسين التنسيق بمرور الوقت.

5. الأهمية والادعاءات

تدعي الورقة أن CooT يقدم حلاً عملياً للتعاون بين الإنسان والذكاء الاصطنا الاصطناعي في العالم الحقيقي حيث يكون الضبط الدقيق عبر الإنترنت غير ممكن. من خلال معاملة تكيف الشريك كمسألة تعلم عبر التعلم داخل السياق، يحقق CoO T ما يلي:

• الكفاءة: التوافق الفعال مع الشركاء الجدد باستخدام عدد قليل فقط من التفاعلات.
• الاستقرار: المتانة ضد التغيرات المفاجئة في سلوك الشريك دون خطر النسيان الكارثي أو عدم الاستقرار المرتبط بتحديثات التدرج.
• التعميم: القدرة على التعميم عبر سلوكيات الشركاء المتنوعة التي لم تُشاهد صراحةً أثناء التدريب، بشرط وقوعها ضمن نطاق فضاء المنفعة الخفية.

يضع المؤلفون هذا العمل كتحول من "التعميم عبر المهام" إلى "التعميم عبر الشركاء"، موضحين أن الشرط على تاريخ التفاعل الكامل يمكن أن يدعم التكيف الفعال من أمثلة قليلة في بيئات متعددة الوكلاء معقدة.

6. القيود

تقر الورقة بعدة قيود:

• لا يوجد تواصل صريح: تعتمد الطريقة فقط على تاريخ الأفعال ولا تستخدم قنوات تواصل صريحة.
• نطاق المعيار: تُجرى التجارب في بيئات محاكاة (Overcooked, GRF) بدلاً من البيئات المجسدة ذات الإدراك والتحكم الغني.
• البداية الباردة (Cold-Start): بروتوكول عدم وجود معرفة مسبقة الصارم يعني أن الوكيل يبدأ بدون سياق؛ قد يستكشف العمل المستقبلي استخدام سياقات مسبقة التعبئة لشركاء مشابهين لتقليل تكاليف التفاعل المبكر.
• السلامة: يشير المؤلفون إلى أن آليات التكيف قد تُستخدم بشكل خاطئ لاستغلال الشركاء المتوقعين أو تعزيز العادات غير الآمنة، مما يؤكد الحاجة إلى قيود السلامة في عمليات النشر المستقبلية.