तकनीकी सारांश: RuleSmith – स्वचालित गेम बैलेंसिंग के लिए मल्टी-एजेंट LLMs

समस्या विवरण

असममित रणनीति खेलों (asymmetric strategy games) को संतुलित करना गेम डिज़ाइन और मल्टी-एजेंट लर्निंग में एक निरंतर चुनौती है। पारंपरिक दृष्टिकोण मानव विशेषज्ञों पर निर्भर करते हैं जो मैनुअल ट्यूनिंग, ह्यूरिस्टिक समायोजन और व्यक्तिपरक प्लेटेस्टिंग के चक्रों के माध्यम से पुनरावृत्ति करते हैं। यह प्रक्रिया धीमी, महंगी और कठिन है, विशेष रूप से जब आधुनिक खेलों में कॉम्बिनेटोरियल एक्शन स्पेस, लॉन्ग-होरिज़न ऑब्जेक्टिव्स और समृद्ध पैरामीटराइज्ड नियम प्रणालियाँ शामिल होती हैं। इसके अलावा, यह समस्या केवल मनोरंजन तक ही सीमित नहीं है, बल्कि आर्थिक सिमुलेशन, नीति डिजाइन और साइबर सुरक्षा जैसे डोमेन तक भी विस्तृत है, जहाँ यह आकलन करना महत्वपूर्ण है कि छोटे पैरामीटर परिवर्तन मल्टी-स्टेप इंटरैक्शन के माध्यम से कैसे प्रसारित होते हैं। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने मल्टी-एजेंट सिस्टम के लिए "जीरो-शॉट" सिम्युलेटर के रूप में कार्य करने की क्षमता प्रदर्शित की है, उन्हें उन वातावरणों के नियमों को ऑप्टिमाइज़ करने के लिए उपयोग करना काफी हद तक अनछुआ रहा है।

कार्यप्रणाली

लेखक RuleSmith पेश करते हैं, जो एक गेम इंजन, मल्टी-एजेंट LLM सेल्फ-प्ले और मल्टी-डायमेंशनल रूल स्पेस पर बेयसियन ऑप्टिमाइज़ेशन को जोड़कर गेम बैलेंसिंग को स्वचालित करता है।

1. टेस्टबेड: CivMini

फ्रेमवर्क को मान्य करने के लिए, लेखकों ने CivMini का निर्माण किया, जो 4X मैकेनिक्स से प्रेरित एक सरलीकृत, पैरामीटराइज्ड, टर्न-बेस्ड एसिमेट्रिक स्ट्रैटेजी गेम है।

• गुट (Factions): दो असममित गुट, Empire और Nomads।
  • Empire: विशिष्ट फार्मर (संसाधन एकत्र करने वाला) और सोल्जर (केवल युद्ध करने वाला) यूनिट्स के साथ विशिष्ट अर्थव्यवस्था।
  • Nomads: उच्च गतिशीलता वाली वर्सटाइल कैवेलरी यूनिट्स जो दुश्मन की इकाइयों को मारकर संसाधन प्राप्त करती हैं, जिससे एक आक्रामक खेल शैली आवश्यक हो जाती है।
• पैरामीटर्स: गेम 12 ट्यूनेबल पैरामीटर्स ($\theta$) को उजागर करता है जो अर्थव्यवस्था (प्रारंभिक संसाधन, एकत्रण दक्षता), युद्ध (डैमेज, HP), उत्पादन (यूनिट लागत), और स्कोरिंग (संसाधनों, युद्धों, जीवित इकाइयों के लिए वेटेज) को नियंत्रित करते हैं।
• उद्देश्य: बैलेंस लॉस फंक्शन $L(\theta) = |w_E - 0.5| + |w_N - 0.5| + 0.5 \cdot w_D$ को कम करने के लिए $\theta$ को ऑप्टिमाइज़ करना, जहाँ $w_E$ और $w_N$ जीत की दरें हैं और $w_D$ ड्रॉ की दर है।

2. इवैल्यूएटर के रूप में LLM सेल्फ-प्ले

RuleSmith दो LLM एजेंटों (एक प्रति गुट) का उपयोग करता है जो प्राकृतिक भाषा वाले रूलबुक्स और स्ट्रक्चर्ड गेम स्टेट्स के आधार पर गेम खेलते हैं।

• इनपुट: एजेंटों को टर्न इंडेक्स, गुट का सारांश, दुश्मन की स्थिति, स्ट्रैटेजी गाइड और वैध क्रियाओं (legal actions) की एक सूची प्राप्त होती है।
• आउटपुट: एजेंट सभी यूनिट्स के लिए समवर्ती क्रियाओं (simultaneous actions) के साथ एक स्ट्रक्चर्ड JSON ऑब्जेक्ट जेनरेट करते हैं।
• विश्वसनीयता तंत्र:
  • RAG (रिट्रीवल-ऑगमेंटेड जनरेशन): एक लाइटवेट सिस्टम गेम कॉन्टेक्स्ट के आधार पर रूलबुक से प्रासंगिक नियमों को रिट्रीव करता है ताकि हैलुसिनेशन को कम किया जा सके।
  • स्ट्रक्चर्ड आउटपुट: स्पष्ट उदाहरणों के साथ JSON आउटपुट को लागू करना पार्सिंग त्रुटियों और अवैध मूव डिटेक्शन के बोझ को कम करता है।
• इवैल्यूएशन: दिए गए पैरामीटर सेट $\theta$ के लिए, एम्पिरिकल विन रेट्स और बैलेंस मेट्रिक्स का अनुमान लगाने के लिए $N$ सेल्फ-प्ले गेम्स चलाए जाते हैं।

3. अडैप्टिव सैंपलिंग के साथ बेयसियन ऑप्टिमाइज़ेशन

डिस्क्रीट रूल स्पेस को सीधे खोजना कॉम्बिनेटोरियल विस्फोट के कारण अव्यावहारिक है। RuleSmith रूल स्पेस के कंटीन्यूअस रिलैक्सेशन पर बेयसियन ऑप्टिमाइज़ेशन (BO) का उपयोग करता है।

• सरोगेट मॉडल: एक गॉसियन प्रोसेस बैलेंस लॉस $L(\theta)$ को मॉडल करता है।
• डिस्क्रीट प्रोजेक्शन: ऑप्टिमाइज़र द्वारा प्रस्तावित कंटीन्यूअस कैंडिडेट्स को वैध डिस्क्रीट गेम कॉन्फ़िगरेशन (जैसे, HP को पूर्णांकों में राउंड करना) में नियत रूप से प्रोजेक्ट किया जाता है।
• एक्विजिशन-बेस्ड अडैप्टिव सैंपलिंग: LLM इवैल्यूएशन की उच्च कम्प्यूटेशनल लागत और शोर को संबोधित करने के लिए, फ्रेमवर्क डायनामिक रूप से इवैल्यूएशन बजट ($N_t$) आवंटित करता है।
  • उच्च एक्सपेक्टेड इम्प्रूवमेंट (EI) (प्रॉमिसिंग पॉइंट्स) वाले कैंडिडेट्स को अधिक गेम्स ($N_{max}$) मिलते हैं ताकि सटीक मूल्यांकन हो सके।
  • कम EI वाले एक्सप्लोरेटरी कैंडिडेट्स को कम गेम्स ($N_{min}$) मिलते हैं।
  • यह रणनीति कुशल अन्वेषण बनाए रखते हुए महत्वपूर्ण कॉन्फ़िगरेशन पर संसाधनों को केंद्रित करती है।

मुख्य योगदान

1. एक्सेक्यूटेबल जीरो-शॉट सेल्फ-प्ले: यह प्रदर्शित किया गया कि मल्टी-एजेंट LLMs केवल प्राकृतिक भाषा वाले रूलबुक्स और स्ट्रक्चर्ड स्टेट्स का उपयोग करके एक एक्सेक्यूटेबल, एसिमेट्रिक स्ट्रैटेजी गेम में जीरो-शॉट सेल्फ-प्ले कर सकते हैं, जो बिना ट्रेनिंग के वैध और सत्यापन योग्य क्रियाएं उत्पन्न करते हैं।
2. स्वचालित बैलेंसिंग पाइपलाइन: मल्टी-एजेंट LLM सेल्फ-प्ले को बेयसियन ऑप्टिमाइज़ेशन और एक्विजिशन-बेस्ड अडैप्टिव सैंपलिंग के साथ एकीकृत करने वाला एक सामान्य फ्रेमवर्क प्रस्तुत किया गया। यह पाइपलाइन संतुलित परिणाम प्राप्त करने के लिए नियमों के पैरामीटर्स को स्वचालित रूप से समायोजित करती है, जो बेहतर सैंपल एफिशिएंसी के लिए बजट आवंटित करके काम करती है।
3. व्यापक एम्पिरिकल वैलिडेशन: CivMini पर विभिन्न मॉडल साइज (2B और 8B पैरामीटर्स) और गुट कॉन्फ़िगरेशन के माध्यम से RuleSmith को मान्य किया गया। सिस्टम लगातार संतुलित परिणामों (जीत की दर 50% $\pm$ 5% के भीतर) तक पहुँचता है और यह भी दिखाता है कि संतुलित पैरामीटर्स मूल्यांकन सेटिंग्स में ट्रांसफर होते हैं जब मॉडल क्षमताएं मैच करती हैं।

प्रयोगात्मक परिणाम

• कन्वर्जेंस: RuleSmith सफलतापूर्वक अत्यधिक संतुलित कॉन्फ़िगरेशन की ओर अभिसरित हुआ, जिससे जानबूझकर असंतुलित इनिशियलाइजेशन से भी विन-रेट डिस्पैरिटी को 0% तक कम किया गया।
• मॉडल कैपेसिटी इफेक्ट्स: प्रयोगों ने दिखाया कि एक गुट के मॉडल साइज को बढ़ाने से उसकी जीत का वितरण उसके पक्ष में शिफ्ट हो जाता है। विशेष रूप से, प्रदर्शन अंतराल तब सबसे महत्वपूर्ण था जब एक बड़े मॉडल का मूल्यांकन एक छोटे मॉडल के विरुद्ध किया गया, जिसे छोटे मॉडल के लिए ऑप्टिमाइज़ किए गए पैरामीटर्स का उपयोग करके, जो "स्मार्टर" एजेंट की रणनीतिक लाभ का फायदा उठाने की क्षमता को उजागर करता है।
• एब्लेशन स्टडीज:
  • ऑप्टिमाइज़ेशन मेथड्स: रैंडम सर्च और (1+1)-इवोल्यूशन स्ट्रैटेजी के मुकाबले, अडैप्टिव सैंपलिंग के साथ RuleSmith का बेयसियन ऑप्टिमाइज़ेशन एकमात्र तरीका था जिसने लगातार लगभग समान विन-रेट (51%|49%) तक अभिसरण किया। फिक्स्ड-सैंपलिंग BO और अन्य बेसलाइन्स संतुलित होने में विफल रहे।
  • गेम डिज़ाइन्स: फ्रेमवर्क ने अलग-अलग मैप साइज़ (5×5 से 11×11) और टर्न लिमिट्स के बीच संतुलित परिणामों को बनाए रखा, जो स्थानिक और टेम्पोरल कॉन्फ़िगरेशन परिवर्तनों के प्रति मजबूती प्रदर्शित करता है।
• इंटरप्रिटेबिलिटी: खोजे गए पैरामीटर्स ने अंतर्दृष्टि प्रदान की कि कैसे हेल्थ स्केलिंग, रिसोर्स एफिशिएंसी और प्रोडक्शन टेम्पो संयुक्त रूप से निष्पक्षता निर्धारित करते हैं। सिस्टम ने एक एकल कैनोनिकल सेटिंग के बजाय संतुलन प्राप्त करने के लिए विविध पैरामीटराइजेशन खोजे।

महत्व और दावे

पेपर का दावा है कि RuleSmith LLMs को केवल प्लेटेस्टिंग टूल्स के रूप में उपयोग करने के बजाय उन्हें जटिल, नियम-शासित मल्टी-एजेंट वातावरणों को ऑप्टिमाइज़ करने के प्रभावी तंत्र के रूप में उपयोग करने की दिशा में एक बदलाव का प्रतिनिधित्व करता है। गेम को एक पैरामीटराइज्ड एसिमेट्रिक एनवायरनमेंट के रूप में मानकर और सीधे रूल स्पेस को ऑप्टिमाइज़ करके, यह फ्रेमवर्क एक स्केलेबल और इंटरप्रिटेबल दृष्टिकोण प्रदान करता है।

लेखक तर्क देते हैं कि इस प्रतिमान (paradigm) की गेम डिज़ाइन से परे नीति डिजाइन, आर्थिक मॉडलिंग, साइबर सुरक्षा और मेडिकल डिसीजन-मेकिंग जैसे डोमेन में व्यापक प्रयोज्यता है, जहाँ नियम-आधारित असममित इंटरैक्शन सामान्य हैं। वे इस बात पर जोर देते हैं कि फ्रेमवर्क को एक ऑफलाइन एनालिसिस और डिज़ाइन-टाइम टूल के रूप में डिज़ाइन किया गया है, जिसका उद्देश्य नियम-आधारित सिस्टम के सुरक्षित, अधिक पारदर्शी और व्यवस्थित डिज़ाइन का समर्थन करना है, न कि रियल-टाइम निर्णय निष्पादन प्रणाली के रूप में कार्य करना। यह कार्य सीमाओं को स्वीकार करता है, जिसमें उल्लेख है कि सरलीकृत वातावरण में LLM सेल्फ-प्ले पूरी तरह से मानव व्यवहार को कैप्चर नहीं कर सकता है या डिस्ट्रीब्यूशन शिफ्ट के तहत औपचारिक गारंटी प्रदान नहीं कर सकता है।