तकनीकी सारांश: सोशल जिम (Social Gym) और स्पार्टन (SPARTAN)

समस्या विवरण

मल्टी-एजेंट सामाजिक परिवेश में सहयोग, बातचीत और अनुकूलन की आवश्यकता वाले मल्टी-एजेंट सोशल सेटिंग्स में लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को तेजी से तैनात किया जा रहा है। हालांकि, मौजूदा मूल्यांकनों में सामाजिक कौशल को मापने और सुधारने में तीन महत्वपूर्ण सीमाएं हैं:

1. स्थिर बेंचमार्क (Static Benchmarks): कई मूल्यांकन स्थिर थ्योरी-ऑफ-माइंड प्रश्नावली (जैसे, FANToM, ToMi) पर निर्भर करते हैं जो पुनरुत्पादक स्कोर तो देते हैं लेकिन निरंतर मल्टी-टर्न व्यवहार का परीक्षण करने में विफल रहते हैं।
2. व्यक्तिपरक निर्णय (Subjective Judging): ओपन-एंडेड इंटरैक्टिव मूल्यांकन (जैसे, SOTOPIA) मल्टी-टर्न कौशल का आकलन करते हैं लेकिन LLM-एज़-जज स्कोरिंग पर निर्भर करते हैं, जो पोजीशन, वर्बोसिटी (शब्दों की अधिकता) और आत्म-संवर्धन पूर्वाग्रहों के प्रति संवेदनशील है, जिससे परिणाम शोरपूर्ण और व्यक्तिपरक हो जाते हैं।
3. संकीर्ण दायरा (Narrow Scope): सत्यापन योग्य पुरस्कारों (verifiable rewards) का उपयोग करने वाले हालिया कार्य अक्सर अलग-थलग एकल खेलों या डोमेन को लक्षित करते हैं, जो विभिन्न अंतःक्रिया संरचनाओं में सामाजिक बुद्धिमत्ता के विस्तार को कैप्चर करने में विफल रहते हैं।

एक ऐसे मूल्यांकन ढांचे की आवश्यकता है जो एक साथ मल्टी-टर्न हो, डोमेन कवरेज में व्यापक हो, और सत्यापन योग्य (विषयपरक निर्णय के बजाय अंतःक्रिया नियमों द्वारा निर्धारित) हो। इसके अलावा, यह स्पष्ट नहीं है कि क्या LLMs बिना पैरामीटर अपडेट (वेट परिवर्तन) के अपनी सामाजिक तर्क क्षमताओं में सुधार कर सकते हैं।

कार्यप्रणाली (Methodology)

सोशल जिम: एक सत्यापन योग्य बेंचमार्क

लेखक सोशल जिम पेश करते हैं, जिसमें पांच श्रेणियों में सामाजिक तर्क का परीक्षण करने के लिए डिज़ाइन किए गए 21 मल्टी-एजेंट सामाजिक खेल शामिल हैं:

1. नॉर्मल-फॉर्म गेम्स (6): पूर्ण जानकारी वाले और बिना संचार के इटरेटेड मैट्रिक्स गेम्स (जैसे, प्रिजनर्स डिलेमा, चिकन)।
2. आर्थिक गेम्स (3): रणनीतिक तर्क की आवश्यकता वाले मल्टी-राउंड रिसोर्स एलोकेशन (जैसे, पब्लिक गुड्स, सेंटीपीड)।
3. ब्लफिंग गेम्स (4): छिपी हुई स्थिति वाले गेम्स जिनमें गलत प्रस्तुति या अनुमान की आवश्यकता होती है (जैसे, लियार्स डाइस, कूप)।
4. हिडन-रोल डडक्शन (6): गुप्त भूमिका असाइनमेंट वाले गेम्स जिनमें सहयोगियों/दुश्मनों की पहचान के लिए संवाद-आधारित पहचान की आवश्यकता होती है (जैसे, वेयरवोल्व्स, रेसिस्टेंस, स्पाईफॉल)।
5. सोशल स्ट्रैटेजी (2): गठबंधन निर्माण और प्रतिष्ठा पर आधारित पूर्ण-सूचना वाले खेल (जैसे, सर्वाइवर)।

प्रमुख वास्तुशिल्प विशेषताएं:

• सत्यापन योग्य परिणाम: प्रत्येक खेल का परिणाम एल्गोरिदम द्वारा निर्धारित होता है (जीत/हार/स्कोर), जिससे LLM जजों की आवश्यकता समाप्त हो जाती है।
• आंशिक दृश्यता (Partial Observability): एक विजिबिलिटी लेयर संदेशों को पब्लिक, टीम-प्राइवेट, या प्राइवेट स्कोप में फ़िल्टर करती है, जो एजेंटों को थ्योरी-ऑफ-माइंड तर्क करने के लिए मजबूर करती है।
• एकीकृत एलो टूर्नामेंट (Unified Elo Tournament): एक ब्रैडली-टेरी मैक्सिमम-लाइक्लीहुड फिट प्रति-खेल जीत-दर टेबल और एक क्रॉस-गेम लीडरबोर्ड उत्पन्न करता है, जिससे विविध सामाजिक संरचनाओं में मॉडलों की वस्तुनिष्ठ रैंकिंग संभव होती है।

स्पार्टन (SPARTAN): ट्रेनिंग-फ्री सेल्फ-इम्प्रूवमेंट

यह जांचने के लिए कि क्या LLMs वेट अपडेट के बिना सुधार कर सकते हैं, लेखक SPARTAN (सेल्फ-प्ले एंड रिफ्लेक्ट-ट्रांसफर) प्रस्तावित करते हैं, जो एक तीन-चरणीय लूप है:

1. प्ले (Play): मॉडल एक विशिष्ट गेम $G$ के $N$ सेल्फ-प्ले गेम्स खेलता है, जिससे ट्रेजेक्टरीज (trajectories) उत्पन्न होती हैं।
2. रिफ्लेक्ट (Reflect): मॉडल अपनी स्वयं की ट्रेजेक्टरीज और परिणामों का विश्लेषण करता है ताकि एक फर्स्ट-पर्सन, ट्रांसफ़रेबल स्ट्रैटेजिक प्लेबुक (धोखाधड़ी, पहचान, अनुनय आदि को कवर करने वाली) तैयार की जा सके। महत्वपूर्ण रूप से, प्लेबुक को गेम-अज्ञेय (game-agnostic) होने का निर्देश दिया गया है (कोई विशिष्ट गेम संदर्भ नहीं)।
3. ट्रांसफर (Transfer): जनरेट की गई प्लेबुक को बाद के खेलों के लिए एजेंट के सिस्टम प्रॉम्प्ट के साथ प्रीपेंड (prepend) किया जाता है।

यह दृष्टिकोण "इन-कॉन्टेक्स्ट फाइन-ट्यूनिंग" के रूप में कार्य करता है जहाँ "ट्रेनिंग डेटा" का मॉडल का अपना गेमप्ले है और "सीखे गए वेट्स" प्राकृतिक भाषा के नियम हैं।

प्रमुख परिणाम

बेंचमार्किंग परिणाम (सोशल जिम)

• लीडरबोर्ड इन्वर्जन: जबकि GPT-5-mini समग्र लीडरबोर्ड (1110 Elo) में शीर्ष पर है, कोई भी मॉडल सभी खेलों या भूमिकाओं में समान रूप से उत्कृष्ट नहीं है। रैंकिंग तेजी से उलट जाती है; उदाहरण के लिए, Qwen3-32B विशिष्ट गेम "चिकन" (1328 Elo) में प्रथम स्थान पर है लेकिन सात मूल्यांकित मॉडलों में "वेयरवोल्व्स" (817 Elo) में सबसे अंत में आता है।
• भूमिका विषमता (Role Asymmetry): हिडन-रोल गेम्स में, मॉडल अक्सर अल्पसंख्यक/धोखाधड़ी वाली भूमिकाओं (Alt) बनाम बहुसंख्यक/सहयोगी भूमिकाओं (Main) पर अलग तरह से प्रदर्शन करते हैं। आम तौर पर, मिश्रित विरोधियों के विरुद्ध अल्पसंख्यक भूमिका संरचनात्मक रूप से जीतने में आसान होती है, लेकिन मजबूत मॉडलों के लिए मैच की गई क्षमता वाले सेल्फ-प्ले में यह लाभ उलट जाता है।
• मॉडल सीमाएं: छोटे मॉडल (जैसे, Qwen2.5-3B) "पैरोटिंग प्रभाव" (parroting effect) प्रदर्शित करते हैं, जो स्वतंत्र तर्क उत्पन्न करने के बजाय पिछले वक्ता के शब्दों को पैराफ्रेस (paraphrase) करते हैं, जिससे प्रदर्शन कम होता है।

स्पार्टन मूल्यांकन परिणाम

लेखकों ने चार अक्षों पर SPARTAN का मूल्यांकन किया: इन-गेम इटरेशन, क्रॉस-गेम ट्रांसफर, मल्टीगेम ट्रांसफर, और क्रॉस-मॉडल डिस्टिलेशन।

1. इन-गेम इटरेशन (GPT-5-mini):

   • एक प्लेबुक ($R_1$) इंजेक्ट करने से असंतुलित खेलों में संरचनात्मक रूप से कमजोर पक्ष (Alt) की जीत दर में उल्लेखनीय वृद्धि होती है (जैसे, वेयरवोल्व्स Alt जीत दर 23% से बढ़कर 36% हो गई)।
   • इसके विपरीत, उसी प्लेबुक के साथ मजबूत पक्ष (Main) अक्सर प्रदर्शन में गिरावट देखता है।
   • लाभ गैर-मोनोटोनिक (non-monotonic) हैं; अधिकांश सुधार $R_1$ पर होता है, और बाद के दौर ($R_2$–$R_4$) लाभ को संचित करने के बजाय पुनर्वितरित करते हैं।

2. क्रॉस-गेम और मल्टीगेम ट्रांसफर:

   • एक गेम (जैसे, वेयरवोल्व्स) से जनरेट की गई प्लेबुक अन्य हिडन-रोल गेम्स (जैसे, स्पाईफॉल, रेसिस्टेंस) के कमजोर पक्ष में प्रभावी ढंग से ट्रांसफर होती है, जिससे जीत दर में +7 से +27 प्रतिशत अंक तक सुधार होता है।
   • मल्टीगेम प्लेबुक (कई स्रोतों पर प्रशिक्षित) सिंगल-गेम प्लेबुक की तुलना में लगातार बेहतर प्रदर्शन नहीं करती है, जो बताता है कि ट्रांसफर के लिए एक संबंधित सिंगल-गेम सिग्नल पर्याप्त है।

3. क्रॉस-मॉडल डिस्टिलेशन:

   • GPT-5-mini द्वारा जनरेट की गई प्लेबुक कमजोर स्टूडेंट मॉडल्स (जैसे, Qwen3-4B, GPT-4o-mini) में सफलतापूर्वक डिस्टिल होती है, जिससे स्ट्रक्चरल कमजोर भूमिकाओं (जैसे, रेसिस्टेंस में जासूस) पर उनका प्रदर्शन +13 से +24 प्रतिशत अंक बढ़ जाता है।
   • यह प्रभाव रोल-डिपेंडेंट है, न कि स्टूडेंट-डिपेंडेंट: प्लेबुक उस मॉडल की मदद करती है जो वंचित भूमिका निभा रहा है, चाहे स्टूडेंट की बेस कैपेबिलिटी कुछ भी हो।

4. कैपेसिटी डिपेंडेंस (Qwen3-32B):

   • जब Qwen3-32B पर लागू किया गया, तो SPARTAN जटिल सोशल डडक्शन गेम्स (वेयरवोल्व्स, स्पाईफॉल) में प्रदर्शन सुधारने में काफी हद तक विफल रहा।
   • एकमात्र अपवाद प्रिजनर्स डिलेमा है, जहाँ प्लेबुक एक डिस्क्रीट एक्शन (अंतिम दौर में डिफेक्ट करना) निर्धारित करती है जिसे मॉडल निष्पादित कर सकता है।
   • चर्चा-प्रधान खेलों में, Qwen3-32B अपने पैरोटिंग व्यवहार को तोड़ने में विफल रहता है; रिफ्लेक्शन प्रक्रिया अक्सर पैरोटिंग को खत्म करने के बजाय उसे प्लेबुक में ही कोडिफाई कर देती है।

महत्व और दावे

पेपर दो प्राथमिक योगदान का दावा करता है:

1. सोशल जिम एक पुनरुत्पादक, सत्यापन योग्य आधार प्रदान करता है जो व्यक्तिपरक LLM जजों पर निर्भर हुए बिना LLM सामाजिक तर्क को मापने में सक्षम है। यह प्रकट करता है कि सामाजिक क्षमता एक एकल स्केलर क्षमता नहीं है बल्कि यह अंतःक्रिया संरचना, भूमिका और गेम श्रेणी पर अत्यधिक निर्भर है।
2. SPARTAN यह प्रदर्शित करता है कि LLMs बिना पैरामीटर अपडेट के सेल्फ-प्ले से ट्रांसफ़रेबल रणनीतियों को निकालकर सामाजिक प्रदर्शन में सुधार कर सकते हैं। हालांकि, यह सुधार कैपेसिटी-डिपेंडेंट और स्ट्रक्चर-डिपेंडेंट है: यह उच्च-क्षमता वाले मॉडलों के लिए जटिल खेलों में संरचनात्मक रूप से कमजोर भूमिकाओं को प्रभावी ढंग से ऊपर उठाता है, लेकिन उन मॉडलों के लिए विफल रहता है जिनमें लंबे समय तक चलने वाले सामाजिक प्रक्षेपवक्र (social trajectories) को प्रोसेस करने या पैरोटिंग पैटर्न को तोड़ने की तर्क क्षमता की कमी होती है।

लेखक निष्कर्ष निकालते हैं कि सोशल जिम और स्पार्टन मॉडल-विशिष्ट विफलताओं (जैसे, कमजोर धोखा, खराब गठबंधन ट्रैकिंग) से सामाजिक सेटिंग्स के संरचनात्मक गुणों को अलग करने के लिए एक ढांचा प्रदान करते हैं। वे सुझाव देते हैं कि यह वातावरण भविष्य के 'रिनफोर्समेंट लर्निंग विद वेरिफिएबल रिवार्ड्स' (RLVR) अनुसंधान के लिए एक स्वाभाविक टेस्टबेड है।

स्वीकृत सीमाएं:

• एक्सटर्नल वैलिडिटी: सभी खेलों के नियम और जीत/हार के मानदंड निश्चित हैं, जो दीर्घकालिक विश्वास निर्माण जैसे वास्तविक दुनिया के सामाजिक इंटरैक्शन को पूरी तरह से कैप्चर नहीं कर सकते हैं।
• सैंपल साइज: परिणाम लगभग 30 गेम प्रति कंडीशन पर आधारित हैं, जिससे आत्मविश्वास अंतराल (confidence intervals) लगभग ±18 प्रतिशत अंक का है।
• नो प्लेसबो कंट्रोल: अध्ययन में कंटेंट प्रभावों को जेनेरिक प्रॉम्प्ट बदलावों से पूरी तरह अलग करने के लिए प्लेसबो-प्लेबुक कंट्रोल की कमी है।
• रिफ्लेक्शन कंस्ट्रेंट्स: रिफ्लेक्शन सिस्टम प्रॉम्प्ट के भीतर नेचुरल लैंग्वेज प्रोस (prose) तक सीमित है, जिसमें बाहरी रिट्रीवल या स्ट्रक्चर्ड रीजनिंग टूल्स का अभाव है।