ملخص تقني: إزالة الإجراءات العدائية في التعلم التعزيزي عبر اللعب الذاتي

تعريف المشكلة

تبحث هذه الورقة في سطح هجوم عدائي جديد وشديد الخطورة في التعلم التعزيزي متعدد الوكلاء (MARL): قناع الإجراءات العدائي (adversarial action masking). بخلاف الأعمال السابقة التي ركزت على اضطرابات الملاحظة (إضافة ضجيج إلى المدخلات) أو التلاعب بالمكافآت، تدرس هذه الدراسة وتصيغ هجوماً يقوم فيه الخصم بإزالة إجراءات قانونية بشكل انتقائي من مجموعة إجراءات الوكيل الضحية قبل اتخاذ الوكيل لقراره.

يتم تأطير المشكلة كتحسين ثنائي المستوى (bi-level optimization):

• الحلقة الداخلية: يتعلم الوكيل الضحية (اللاعب 0) عبر اللعب الذاتي تحت فضاء إجراءات مقيد بواسطة القناع.
• الحلقة الخارجية: يتعلم خصم (اللاعب 1) سياسة لاختيار الإجراءات التي سيتم إزالتها في حالات معلوماتية محددة لتقليل القيمة المتوقعة للضحية.

يعمل الخصم تحت قيد ميزانية $k$، مما يحد من عدد الحالات المعلوماتية التي يمكن فيها إزالة الإجراءات، ولكن يجب عليه الاحتفاظ بإجراء قانوني واحد على الأقل في كل حالة. الفرضية الأساسية هي أن إزالة خيارات القرار (التقليص الهيكلي) تختلف نوعياً وأكثر ضرراً من الاضطرابات المحدودة، حيث يمكنها تحويل نقاط القرار إلى إجراءات أحادية (singleton actions)، مما يلغي قدرة الوكيل على الاختيار.

المنهجية

الإطار الرسمي

يصيغ المؤلفون البيئة كلعبة ذات شكل ممتد (extensive-form game) بين لاعبين بصفر مجموع (zero-sum). يتم تعريف الخصم كدالة خرائط $M: I_0 \to 2^A$ تختار مجموعة فرعية من الإجراءات للاحتفاظ بها عند كل مجموعة معلومات للضحية $h$. هدف الخصم هو تقليل قيمة الضحية $V_0(\pi^*_M)$.

التحليل الآلي:
تقدم الورقة مقياسين لتفسير آلية الهجوم:

1. السعة الإجرائية الطارئة الموزونة بالوصول ($CAC_w$): تقيس سعة القرار متعددة الإجراءات المتبقية في حالات المعلومات التي تم الوصول إليها، والموزونة باحتمالية الوصول $\rho(h)$.
2. التنقيح الموزون بالقيمة ($CAC_v$): مقياس أكثر دقة يزن السعة بفجوة القيمة $\delta(h)$ بين الإجراء الأمثل للضحية والإجراء المفروض: $CAC_v = \sum \rho(h) \cdot \delta(h) \cdot \mathbb{1}[|M(h)| > 1]$.

تشير الاقتراحات النظرية إلى أن الخصم الجشع يستهدف الحالات ذات $\rho(h) \cdot \delta(h)$ العالية، مما يؤدي فعلياً إلى خفض $CAC_w$ و $CAC_v$. وتحت ظروف محددة (مثل $\epsilon$-greedy Q-learning)، يثبت المؤلفون أنه إذا تم دفع $CAC_w$ إلى الصفر، فإن سياسة الضحية تتقارب نحو إجراء مفروض فريد، مما يؤدي إلى نقطة ثابتة مستقرة ولكنها دون المستوى الأمثل.

الإعداد التجريبي

تقيم الدراسة الهجوم عبر:

• الخوارزميات: خمس خوارزميات تعلم متميزة تشمل Tabular Q-Learning، وTabular PPO، وTabular NFSP، وNeural NFSP، وDQN.
• المجالات:
  • بوكر: Kuhn Poker (6 حالات)، Leduc Poker (50 حالة)، ومتغيرات موسعة Leduc-5 (389)، Leduc-10 (1,496)، وLeduc-20 (5,531 حالة).
  • غير البوكر: Competitive Gridworld (149 حالة) وResource Collection (18,604 حالة).
• المقارنات المرجعية (Baselines): مقارنات مع إزالة الإجراءات العشوائية، وإزالة الإجراءات الثابتة، وهجمات الاضطراب المتعلمة (على طراز RARL).

يتضمن بروتوكول التدريب التناوب بين 500 حلقة تدريب للضحية وخطوة تدرج واحدة للخصم (باستخدام REINFORCE) عبر 20-25 دورة خارجية.

النتائج الرئيسية

1. تفوق قناع الإجراءات العدائي

يتسبب قناع الإجراءات العدائي المتعلم في ضرر أكبر بكثير من القناع العشوائي أو الاضطراب المتعلم.

• في Leduc Poker، يعد الإزالة المتعلمة أكثر ضرراً بمقدار 4.8 ضعفاً من القناع العشوائي عند مستويات دعم مماثلة.
• مقارنة بالاضطراب المتعلم (على طراز RARL) مع ميزانيات تدريب متساوية، فإن إزالة الإجراءات العدائية أكثر ضرراً بمقدار 4 أضعاف في Kuhn Poker.
• يستمر الهجوم حتى عندما يكون الخصم مقيداً بالمعلومات العامة فقط، رغم أن الوصول إلى المعلومات الخاصة يعطي نتائج أقوى.

2. التوسع مع التعقيد

تزدادة ميزة الخصم المتعلم مع نمو تعقيد اللعبة.

• في عائلة Leduc، تتوسع نسبة الضرر (العدائي/العشوائي) من 2.2× (عند ~50 حالة) إلى 4.8× (عند 5,531 حالة).
• يشير هذا إلى أن الألعاب الأكبر والأكثر تعقيداً توفر المزيد من "التباين الاستراتيجي" (strategic heterogeneity) ليقوم الخصم باستغلاله.

3. عدم التغير بتغير الخوارزمية والمجال

الضعف ليس خاصاً بخوارزمية أو مجال معين:

• الخوارزميات: جميع الوكلاء المختبرين (QL, PPO, NFSP, DQN) ينهارون تحت قناع الإجراءات العدائي. حتى Neural NFSP، وهي طريقة قوية لحل الألعاب، تتدهور بشكل كبير (من -0.13 إلى -1.89 في Lmed-5).
• المجالات: تظل الظاهرة قائمة في بيئات غير البوكر. في Competitive Gridworld، تسبب قناع الإجراءات العدائي ضرراً أكبر بمقدار 1.9× من القناع العشوائي. وفي Resource Collection، كانت الفجوة 1.4×.

4. غياب التعافي

لا يتعافى الضحايا حتى مع استمرار التدريب مع وجود القناع.

• عندما يستمر التدريب تحت قناع عدائي ثابت، تستقر مكافأة الضحية عند مستوى أقل بكثير مقارنة بالمرجع الأساسي غير المقنع.
• إعادة التدريب من البداية باستخدام القناع المتعلم النهائي يؤدي أيضاً إلى خسائر كبيرة، مما يشير إلى أن الضرر الهيكلي لا يمكن معالجته بسهولة عبر التكيف.

5. الارتباط الآلي

هناك ارتباط تجريبي قوي بين انخفاض $CAC_w$ و $CAC_v$ وبين تدهور أداء الضحية.

• يرتبط $CAC_w$ بمكافأة الضحية عند $r = 0.80$.
• يرتبط $CAC_v$ عند $r = 0.81$، مما يشير إلى أن استهداف الحالات ذات فجوات القيمة العالية هو المحرك الرئيسي لنجاح الهجوم.

الأهمية والادعاءات

تجادل الورقة بأن توافر الإجراءات يشكل سطح متانة متميزاً في التعلم التعزيزي عبر اللعب الذاتي، منفصلاً عن متانة الملاحظة أو المكافأة.

• الهشاشة الهيكلية: تظهر النتيات أن وكلاء اللعب الذاتي هشون تجاه التغييرات الهيكلية المستهدفة في فضاء الإجراءات. بخلاف الاضطرابات التي تضيف ضجيجاً، فإن الإزالة تلغي خيارات القرار، مما يؤدي إلى انهيار المرونة الاستراتيجية للوكيل.
• محدودية الدفاعات الحالية: إن دفاعات MARL القوية الحالية (مثل التدريب ضد الاضطرابات أو استخدام تنوع الجمهرة) غير كافية لأنها تفترض أن فضاء الإجراءات المشترك يظل سليماً. تشير الورقة إلى أن متوسط الاستراتيجيات أو الحفاظ على تنوع الجمهرة لا يمكنه استعادة الأبعاد الاستراتيجية الملغاة.
• الآثار المترتبة على النشر: في الأنظمة الواقعية حيث يمكن للخصوم تعطيل قدرات محددة (مثل واجهات برمجة التطبيقات، أو المشغلات الميكانيكية)، قد تعاني الوكلاء من فشل كارثي. يقترح المؤلفون أن الدفاعات الفعالة يجب أن تركز على الحفاظ على المرونة الاستراتيجية عند نقاط قرار عالية الوصول وعالية القيمة ($CAC_v$) بدلاً من التحسين من أجل المتانة الموحدة تجاه عدم توافر الإجراءات التعسفي.

يظل المؤلفون متواضعين بشأن ادعاءاتهم النظرية، مشيرين إلى أن حدود الضرر محلية وإضافية، وأن اتجاه التوسع تجريبي (بناءً على أربعة أحجام للألعاب) وليس قانون توسع مثبت. كما يقرون بأن التحقق عند مقياس البوكر الكامل ($10^5+$ حالة) وفي مجالات الإجراءات المستمرة يظل عملاً مستقبلياً.