ملخص تقني: RuleSmith – نماذج اللغات الكبيرة متعددة الوكلاء لموازنة الألعاب آلياً

بيان المشكلة

تعد موازنة ألعاب الاستراتيجية غير المتماثلة تحدياً مستمراً في تصميم الألعاب وفي تعلم الوكلاء المتعددين. تعتمد النهج التقليدية على خبراء بشريين يكررون دورات من الضبط اليدوي، والتعديلات الاستدلالية، واختبار اللعب الذاتي الخاضع للتقدير الشخصي. هذه العملية بطيئة، ومكلفة، ويصعب توسيع نطاقها، لا سيما مع الألعاب الحديثة التي تتميز بمساحات عمل تركيبية، وأهداف طويلة المدى، وأنظمة قواعد غنية بالمعلمات. علاوة على ذلك، تمتد المشكلة إلى ما وراء الترفيه لتشمل مجالات مثل المحاكاة الاقتصادية، وتصميم السياسات، والأمن السيبراني، حيث يعد تقييم كيفية انتشار التغييرات الصغيرة في المعلمات عبر التفاعلات متعددة الخطوات أمراً بالغ الأهمية. وبينما أظهرت نماذج اللغات الكبيرة (LLMs) القدرة على العمل كأنظمة محاكاة "صفرية الاستباق" (zero-shot) للأنظمة متعددة الوكلاء، فإن تسخيرها لـ تحسين قواعد تلك البيئات لا يزال غير مستكشف إلى حد كبير.

المنهجية

يقدم المؤلفون RuleSmith، وهو إطار عمل يعمل على أتمتة موازنة الألعاب من خلال الربط بين محرك لعبة، واللعب الذاتي لنماذج لغوية كبيرة متعددة الوكلاء، والتحسين البايزي (Bayesian optimization) عبر مساحة قواعد متعددة الأبعاد.

1. بيئة الاختبار: CivMini

للتحقق من صحة إطار العمل، أنشأ المؤلفون CivMini، وهي لعبة استراتيجية غير متماثلة مبسطة ومعلمية (parameterized)، تعتمد على الأدوار، ومستوحاة من ميكانيكيات ألعاب 4X.

• الفصائل: فصيلان غير متماثلان، هما الإمبراطورية (Empire) والرحالة (Nomads).
  • الإمبراطورية: اقتصاد متخصص مع وحدات متميزة: المزارع (لجمع الموارد فقط) والجندي (للقتال فقط).
  • الرحالة: وحدات خيالة متعددة الاستخدامات تتميز بحركية عالية وتكتسب الموارد عن طريق قتل وحدات العدو، مما يستلزم أسلوب لعب هجومي.
• المعلمات: تكشف اللعبة عن 12 معلمة قابلة للضبط ($\theta$) تتحكم في الاقتصاد (الموارد الأولية، كفاءة الجمع)، والقتال (الضرر، نقاط الحياة)، والإنتاج (تكاليف الوحدات)، والتسجيل (أوزان الموارد، المعارك، الوحدات الناجية).
• الهدف: تحسين $\theta$ لتقليل دالة خسارة الموازنة $L(\theta) = |w_E - 0.5| + |w_N - 0.5| + 0.5 \cdot w_D$، حيث $w_E$ و $w_N$ هما معدلات الفوز، و $w_D$ هو معدل التعادل.

2. اللعب الذاتي للنماذج اللغوية الكبيرة كمقيم

يستخدم RuleSmith وكيلين من النماذج اللغوية الكبيرة (واحد لكل فصيل) للعب اللعبة بناءً على كتب قواعد مكتوبة بلغة طبيعية وحالات لعبة مهيكلة.

• المدخلات: يتلقى الوكلاء مؤشر الدور، وملخصات الفصائل، ومواقع الأعداء، وأدلة الاستراتيجية، وقائمة بالإجراءات القانونية.
• المخرجات: يولد الوكلاء كائناً مهيكلاً بتنسيق JSON يحتوي على إجراءات متزامنة لجميع الوحدات.
• آليات الموثوقية:
  • التوليد المعزز بالاسترجاع (RAG): نظام خفيف الوزن يسترجع القواعد ذات الصلة من كتاب القواعد بناءً على سياق اللعبة لتقليل الهلوسة.
  • المخرجات المهيكلة: فرض مخرجات JSON مع أمثلة صريحة يقلل من أخطاء التحليل وأعباء اكتشاف الحركات غير القانونية.
• التقييم: بالنسبة لمجموعة معلمات معينة $\theta$، يتم تشغيل $N$ من ألعاب اللعب الذاتي لتقدير معدلات الفوز التجريبية ومقاييس الموازنة.

3. التحسين البايزي مع أخذ العينات التكيفي

البحث المباشر في مساحة القواعد المنفصلة أمر مستعصٍ بسبب الانفجار التركيبي. يستخدم RuleSmith التحسين البايزي (BO) عبر استرخاء مستمر لمساحة القواعد.

• النموذج البديل: يقوم "العملية الغاوسية" (Gaussian Process) بنمذجة خسارة الموازنة $L(\theta)$.
• الإسقاط المنفصل: يتم إسقاط المرشحين المستمرين المقترحين من قبل المُحسن بشكل حتمي إلى تكوينات لعبة منفصلة صالحة (مثل تقريب نقاط الحياة إلى أعداد صحيحة).
• أخذ العينات التكيفي القائم على الاستحواذ: لمعالجة التكلفة الحسابية العالية والضجيج في تقييمات النماذج اللغوية الكبيرة، يقوم إطار العمل بتخصيص ميزانية التقييم ($N_t$) ديناميكياً.
  • المرشحون ذوو التحسين المتوقع (EI) العالي (النقاط الواعدة) يحصلون على المزيد من الألعاب ($N_{max}$) لتقييم أكثر دقة.
  • المرشحون الاستكشافيون ذوو الـ EI المنخفض يحصلون على عدد أقل من الألعاب ($N_{min}$).
  • تركز هذه الاستراتيجية الموارد على التكوينات الحرجة مع الحفاظ على استكشاف فعال.

المساهمات الرئيسية

1. اللعب الذاتي القابل للتنفيذ بصفر استباق: أثبت أن الوكلاء المتعددين من النماذج اللغوية الكبيرة يمكنهم القيام بلعب ذاتي صفري الاستباق في لعبة استراتيجية قابلة للتنفيذ وغير متماثلة، باستخدام كتب قواعد بلغة طبيعية وحالات مهيكلة فقط، مما ينتج إجراءات قانونية وقابلة للتحقق دون تدريب.
2. خط إنتاج الموازنة الآلية: قدم إطار عمل عام يدمج اللعب الذاتي للنماذج اللغوية الكبيرة مع التحسين البايزي وأخذ العينات التكيفي القائم على الاستحواذ. يقوم هذا الخط بضبط معلمات القواعد تلقائياً لتحقيق نتائج متوازنة، مما يحسن كفاءة العينات من خلال تخصيص ميزانية أكبر للمرشحين الواعدين.
3. التحقق التجريبي الشامل: تم التحقق من صحة RuleSmith على CivMini عبر أحجام نماذج مختلفة (2B و 8B بارامتر) وتكوينات فصائل مختلفة. حقق النظام باستمرار نتائج متوازنة تقريباً (معدلات فوز ضمن نطاق $50\% \pm 5\%$) وأظهر أن المعلمات المتوازنة تنتقل عبر إعدادات التقييم عندما تتطابق قدرات النماذج.

النتائج التجريبية

• التقارب: نجح RuleSmith في التقارب نحو تكوينات متوازنة للغاية، مما قلل تفاوتات معدل الفوز إلى 0% حتى من البدايات غير المتوازنة عمداً.
• تأثيرات قدرة النموذج: أظهرت التجارب أن زيادة حجم النموذج لأحد الفصائل ينقل توزيع الفوز لصالحه. ومن الجدير بالذكر أن فجوات الأداء كانت أكثر أهمية عندما تم تقييم نموذج أكبر مقابل نظير أصغر باستخدام معلمات تم تحسينها لنموذج أصغر، مما يسلط الض الضوء على قدرة الوكيل "الأذكى" على استغلال المزايا الاستراتيجية.
• دراسات الاستئصال (Ablation Studies):
  • طرق التحسين: بالمقارنة مع البحث العشوائي واستراتيجية (1+1)-التطور، كان التحسين البايزي لـ RuleSmith مع أخذ العينات التكيفي هو الطريقة الوحيدة التي تقترب باستمرار من معدلات الفوز المتساوية (51%|49%). فشلت طرق أخرى مثل BO ذات العينات الثابتة والأساليب المرجعية في تحقيق التوازن.
  • تصاميم الألعاب: حافظ إطار العمل على نتائج متوازنة عبر أحجام خرائط متنوعة (5×5 إلى 11×11) وحدود زمنية مختلفة، مما أظهر المتانة تجاه التغييرات في التكوينات المكانية والزمانية.
• القابلية للتفسير: وفرت المعلمات المكتشفة رؤى قابلة للتفسير حول كيفية تحديد مقياس الصحة، وكفاءة الموارد، وإيقاع الإنتاج للعدالة بشكل مشترك. وجد النظام معلمات متنوعة تحقق التوازن، بدلاً من التقارب نحو إعداد واحد معياري.

الأهمية والادعاءات

يزعم البحث أن RuleSmith يمثل تحولاً من استخدام النماذج اللغوية الكبيرة كمجرد أدوات لاختبار اللعب إلى استخدامها كآليات فعالة لـ تحسين البيئات المعقدة والمحكومة بالقواعد والمتعددة الوكلاء. من خلال معاملة اللعبة نفسها كبيئة معلمية غير متماثلة وتحسين مساحة القواعد مباشرة، يقدم إطار العمل نهجاً قابلاً للتوسع وقابلاً للتفسير للموازنة.

يفترض المؤلفون أن هذا النموذج له تطبيقات أوسع تتجاوز تصميم الألعاب لتشمل مجالات مثل تصميم السياسات، والنمذجة الاقتصادية، والأمن السيبراني، واتخاذ القرارات الطبية، حيث تكون التفاعلات غير المتماثلة القائمة على القواعد هي السائدة. ويؤكدون أن إطار العمل مصمم كأداة للتحليل في مرحلة التصميم (offline)، تهدف إلى دعم تصميم أكثر أماناً وشفافية ومنهجية للأنظمة القائمة على القواعد، وليس كمنظومة تنفيذ قرارات في الوقت الفعلي. ويقر العمل بوجود قيود، مشيراً إلى أن اللعب الذاتي للنماذج اللغوية الكبيرة في البيئات المبسطة قد لا يجسد السلوك البشري بشكل كامل أو يوفر ضمانات رسمية في ظل تغير التوزيعات.