ملخص تقني: فشل GAE في اللعب الذاتي ذي المعلومات الناقصة

بيان المشكلة

يتطلب التعلم المعزز متعدد الوكلاء التنافسي (MARL) في ألعاب المعلومات الناقصة أن يعمل الوكلاء تحت ملاحظة جزئية ضد خصوم عدائيين، مما يستلزم سياسات عشوائية (stochastic policies). وبينما حقق التعلم باللعب الذاتي باستخدام تحسين السياسة القريبة (PPO) نجاحاً تجريبياً، فإنه يواجه عقبة حرجة في تعلم التوازن: تباين تقدير الميزة (advantage-estimation variance).

تعتمد تطبيقات PPO القياسية على تقدير الميزة المعمم (GAE) لتجميع بقايا الفروق الزمنية (TD residuals) متعددة الخطوات. في بيئات الوكيل الواحد، يوازن GAE بفعالية بين الانحياز والتباين. ومع ذلك، في اللعب الذاتي ذي المعلومات الناقصة، تكون سياسات التوازن عشوائية بطبيعتها. يرث GAE العشوائية من أخذ عينات من الأفعال المستقبلية ضمن تتبعه متعدد الخطوات. ولأن سياسات التوازن تخصص قيماً مختلفة لأفعال مختلفة، فإن أخذ عينات الأفعال المستقبلية يُدخل ضجيجاً جوهرياً. ويتضخم هذا التباين في سيناريوهات اللعب الذاتي ويستمر حتى عندما يكون ناقد قيمة الحالة ($V$-critic) دقيقاً تماماً. نتيجة لذلك، ينتج Gage القياسي تقديرات تدرج عالية التباين تحديداً في الأنظمة التي يكون فيها استقرار التعلم في غاية الأهمية، مما يعيق التقارب نحو توازنات عالية الجودة.

المنهجية

مُقدّر تعزيز Q (Q-Boosting Estimator)

لمعالجة التباين الناتج عن أخذ عينات الأفعال، يقترح المؤلفون تعزيز Q (Q-boosting)، وهو مُقدّر للميزة يقلل التباين. الابتكار الجوهري هو استبدال تتبع الـ TD متعدد الخطوات المأخوذ من العينات والمستخدم في GAE بتتبع Expected SARSA($\lambda$) متعدد الخطوات يتم حسابه من ناقد قيمة الفعل المركزي ($Q$-critic).

• الآلية: بدلاً من التنبؤ (bootstrapping) عبر الأفعال المأخوذة من العينات (مما يُدخل الضجيج)، يقوم تعزيز Q بحساب توقعات السياسة عند كل خطوة رجعية. فهو يعمل على متوسط الضجيج الناتج عن الأفعال العشوائية المستقبلية من خلال أخذ التوقع على توزيع الأفعال المحدد بواسطة السياسة الحالية.
• الصياغة: بالنظر إلى $Q$-critic مركزي $Q_i(s, a)$ وسياسة مشتركة $\pi$، يتم حساب قيمة الحالة كالتالي: $V^\pi_i(s) = \sum_a \pi(a|s) Q_i(s, a)$. ويُعرف تقدير ميزة تعزيز Q بـ $\hat{A}^{boost}_{i,\tau}$ كالتالي:
  $$\hat{A}^{boost}_{i,\tau} \triangleq Q_i(s_\tau, a_\tau) - V^\pi_i(s_\tau) + \sum_{\tau' \ge \tau} (\lambda\gamma)^{\tau'-\tau} \cdot \delta^+_{i,\tau'}$$
  حيث أن بقايا TD لـ Expected SARSA هي $\delta^+_{i,\tau'} \triangleq r_{i}(s_{\tau'}, a_{\tau'}) + \gamma V^\pi_i(s_{\tau'+1}) - Q_i(s_{\tau'}, a_{\tau'})$.
• الضمان النظري: يثبت المؤلفون أنه بالنسبة للمسارات المتوافقة مع السياسة (on-policy) وعندما تكون $\lambda=1$، فإن مُقدّر تعزيز Q يوفر تقديراً غير منحاز لعنصر تدرج دالة النتيجة (score-function policy-gradient). علاوة على ذلك، إذا كان $Q$-critic دقيقاً بما يكفي، فإن متوسط مربع الخطأ لمُقدّر تعزيز Q يكون أقل بوضوح من خطأ GAE مع وجود $V$-critic دقيق، بشرما إذا كانت الأفعال المستقبلية تظهر تبايناً غير صفري في قيم أفعالها.

تحسين السياسة لتقليل التباين (VRPO)

يدمج المؤلفون تعزيز Q في خوارزمية تتبع نمط PPO تسمى تحسين السياسة لتقليل التباين (VRPO).

• البنية: تتبع VRPO نموذج التدريب المركزي مع التنفيذ اللامركزي (CTDT). فهي تستخدم ممثلين (actors) لامركزيين للتنفيذ و $Q$-critic مركزياً للتدريب.
• الهدف: تحتفظ VRPO بهدف البديل المقصوص (clipped surrogate objective) وتحديثات منطقة الثقة الخاصة بـ PPO، ولكنها تعدل إجراءات تقدير الميزة وتعلم الناقد.
• إجراء التدريب:
  1. تحديث الممثل (Actor Update): يتم تحديث الممثلين باستخدام تقديرات ميزة تعزيز Q. وللحفاظ على خصائص توافق السياسة (on-policy)، يتم إعادة حساب حدود توقع السياسة في حساب الميزة باستخدام احتمالات الممثل الحالية مع إبقاء قيم الناقد ثابتة.
  2. تحديث الناقد (Critic Update): يتم تدريب $Q$-critics المركزية عن طريق تقليل خسارة الانحدار المربعة مقابل هدف تعزيز Q (وهو تتبع Expected SARSA متعدد الخطوات).
  3. التنظيم (Regularization): تُضاف عقوبة تباعد KL صريحة بالنسبة للتوزيع الموحد إلى هدف السياسة لتعزيز الاستكشاف وتشجيع التقارب في المحاولة الأخيرة (last-iterate convergence).
• التعامل مع مساحات الأفعال الكبيرة: بالنسبة للألعاب ذات مجموعات الأفعال الضخمة (مثل Dou Dizhu)، يقوم المؤلفون بتفكيك القرارات المعقدة إلى عدة خطوات زمنية. يقلل هذا من عدد الأفعال المتاحة لكل خطوة إلى حجم يمكن إدارته، مما يسمح بالحصر المطلوب لحساب توقع السياسة في تتبع تعزيز Q.

المساهمات الرئيسية

1. تحديد مصدر التباين: حددت الورقة أن أخذ عينات الأفعال المستقبلية في GAE يُدخل تبايناً إضافياً في اللعب الذاتي العشوائي، وهو ما يستمر حتى مع وجود دوال قيمة دقيقة.
2. مُقدّر تعزيز Q: استنتج المؤلفون تعزيز Q، وهو مُقدّر متوافق مع PPO يطبق تتبع Expected SARSA($\lambda$) على $Q$-critic مركزي لمتوسط ضجيج أخذ عينات الأفعال المستقبلية.
3. خوارزمية VRPO: اقتراح VRPO، وهي خوارزمية تتبع نمط PPO تستفيد من تعزيز Q لتحقيق استقرار وأداء محسنين.
4. التحقق التجريبي: إثبات أن تقليل تباين تقدير الميزة يؤدي إلى مكاسب كبيرة في جودة التوازن عبر ألعاب بمقاييس متفاوتة.

النتائج التجريبية

الألعاب متوسطة الحجم (الاستغلال الدقيق)

قام المؤلفون باختبار VRPO على ألعاب متوسطة الحجم حيث يمكن حساب الاستغلال الدقيق: Abrupt Phantom Tic-Tac-Toe (APTTT)، و Abrupt Dark Hex 3 (ADH3)، و Liar's Dice with 2 Dice and 5 Faces (LiDi 2D5F).

• الأداء: حققت VRPO باستمرار انخفاضاً في الاستغلال بأكثر من 15% مقارنة بالنماذج المرجعية المختلفة القائمة على PPO (مثل IPPO، MAPPO، MMD، PPG) تحت جدول تدريب مشترك.
• الدراسة الاستبعادية (Ablation): أكدت التجارب أن مكاسب الأداء قوية عبر مختلف معاملات التتبع ($\lambda$)، ومعاملات التنظيم ($\alpha$)، ومعاملات قص PPO ($\epsilon$).

الألعاب واسعة النطاق

قيم المؤلفون VRPO في مجالات واسعة النطاق حيث يصعب حساب الاستغلال الدقيق.

• Dou Dizhu: تم تدريب VRPO ضد أفضل وكيل سابق، PerfectDou. وتحت ميزانية تدريب متطابقة ($\approx 2.65 \times 10^9$ خطوة زمنية)، تفوقت VRPO على PerfectDou بعد 40% فقط من خطوات التدريب. وفي التقييمات المباشرة عبر 100,000 صفقة، حققت VRPO مكاسب إيجابية ضد PerfectDou و DouZero وضد نفسها (في مواجهات تبادل الأدوار)، مما أرسى معياراً جديداً للأفضل حالياً.
• Heads-Up No-Limit Texas Hold'em (HUNL): تم تدريب VRPO على HUNL برصيد 200 عمولة كبيرة (big-blind stack). مقارنة بـ IPPO و MAPPO، قللت VRPO بشكل كبير من الانحراف المعياري لتقديرات الميزة أثناء التدريب. ضد النموذج المرجعي القوي Slumbot، حقق وكيل VRPO متوسط ربح قدره $33 \pm 19$ mBB/hand على مدار 1,000,000 يد. ومن الجدير بالذكر أن هذا الأداء تحقق دون استخدام البحث عبر الإنترنت (online search)، أو حل السبل الفرعية (subgame solving)، أو تحديد حجم الرفع بناءً على المخطط (blueprint-based raise sizing).

الأهمية والنطاق

تدعي الورقة أن المساهمة الأساسية هي تحديد تباين تقدير الميزة كعقبة في اللعب الذاتي للمعلومات الناقصة، وإثبات أن تعزيز Q يخفف من هذه المشكلة بفعالية. تشير النتائج إلى أن تقليل التباين في تقدير الميزة يمكن أن يحقق مكاسب كبيرة في جودة التوازنات المتعلمة.

يحافظ المؤلفون على نطاق متواضع فيما يتعلق بادعاءاتهم:

• تم التحقق من النهج للألعاب ذات مجموعات الأفعال المنفصلة الكبيرة (عبر التفكيك) ولكنه لا يتناول مساحات الأفعال المستمرة عالية الأبعاد.
• التركيز التجريبي هو على اللعب الذاتي العشوائي مع نقاد مركزيين؛ ولا يدعي المؤلفون تحسينات واسعة النطاق على GAE في معايير التعلم المعزز للوكيل الواحد القياسية.
• تعتمد الطريقة على القدرة على حساب توقعات السياسة عبر الأفعال، وهو أمر ممكن في المجالات المختبرة ولكنه قد يتطلب اعتبارات معمارية محددة لمجموعات الأفعال الكبيرة جداً.

في الختام، تمثل VRPO خطوة مهمة للأمام في تطبيق طرق تدرج السياسة في ألعاب المعلومات الناقصة من خلال معالجة مصدر محدد للتباين لم يكن معروفاً سابقاً في تعلم التوازن العشوائي.