MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs
यह शोध पत्र माइंडगेम्स (Mindgames) को प्रस्तुत करता है, जो एक मल्टी-गेम मूल्यांकन एरिना और डेटासेट है जिसमें 2025 की एक प्रतियोगिता से 29,571 इंटरैक्शन शामिल हैं, जिसे बड़े भाषा मॉडलों (LLMs) की सामाजिक और रणनीतिक तर्क क्षमताओं का आकलन करने के लिए डिज़ाइन किया गया है, साथ ही यह नियमों के पालन में भंगुरता और पर्यावरण-विशिष्ट लीडरबोर्ड वैधता जैसी महत्वपूर्ण सीमाओं को भी उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक विशाल, डिजिटल खेल के मैदान की, जहाँ आर्टिफिशियल इंटेलिजेंस (AI) एजेंट केवल अकेले सोलिटेयर नहीं खेलते, बल्कि उन्हें वास्तविक समय में एक-दूसरे के साथ बातचीत करने, झूठ बोलने, सौदेबाजी करने और एक-दूसरे के खिलाफ रणनीति बनाने के लिए मजबूर किया जाता है। यह MINDGAMES है, एक नई प्रतियोगिता और शोध परियोजना जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि बड़े भाषा मॉडल (LLMs) दूसरे लोगों के दिमाग को कितनी अच्छी तरह समझ सकते हैं—एक ऐसा कौशल जिसे मनोवैज्ञानिक "थ्योरी ऑफ माइंड" (Theory of Mind) कहते हैं।
यहाँ इस शोध पत्र की कहानी सरल अवधारणाओं में दी गई है।
1. समस्या: AI परीक्षणों में अच्छा है, लेकिन लोगों के मामले में बुरा है
अब तक, हम AI का परीक्षण उन्हें स्थिर पहेलियाँ या एकल-प्रश्नों (जैसे "यदि एलिस सोचती है कि बॉब झूठ बोल रहा है, तो वह क्या करती है?") के माध्यम से करते रहे हैं। यह शोध पत्र तर्क देता है कि यह एक तैराक का परीक्षण करने जैसा है जिसमें उसे पूल में खड़ा करके पैर चलाने के लिए कहा जाता है। यह आपको यह नहीं बताता कि क्या वह वास्तव में उफनते समुद्र में तैर सकता है।
वास्तविक जीवन अव्यवस्थित होता है। इसमें शामिल है:
- छिपी हुई जानकारी: यह न जानना कि दूसरा व्यक्ति क्या जानता है।
- छल (Deception): आगे बढ़ने के लिए झूठ बोलना।
- सहयोग: जब आपके लक्ष्य अलग-अलग हों तब मिलकर काम करना।
- अनुकूलन (Adaptation): अपनी रणनीति बदलना क्योंकि आपके प्रतिद्वंद्वी ने अपनी बदल ली है।
लेखकों ने MINDGAMES को उसी "उफनते समुद्र" के रूप में बनाया है। यह एक जीवंत अखाड़ा है जहाँ 76 विभिन्न टीमों के 944 AI एजेंट चार विशिष्ट खेलों में प्रतिस्पर्धा कर रहे थे।
2. अखाड़ा: चार खेल, चार अलग कौशल
इन खेलों को चार अलग-अलग जिम के रूप में सोचें, जिनमें से प्रत्येक सामाजिक बुद्धिमत्ता की एक अलग मांसपेशी को प्रशिक्षित करता है:
- कर्नल ब्लोटो (द चेस मैच): दो खिलाड़ी तीन युद्धक्षेत्रों में सैनिकों की एक निश्चित संख्या को विभाजित करते हैं। आप यह नहीं जानते कि प्रतिद्वंद्वी अपने सैनिक कहाँ लगा रहा है।
- परीक्षित कौशल: प्रतिद्वंद्वी मॉडलिंग (Opponent Modeling)। क्या आप अनुमान लगा सकते हैं कि दूसरा व्यक्ति क्या सोच रहा है और बिना बात किए उन्हें मात दे सकते हैं?
- इटरेटेड प्रिज़नर्स डिलेमा (द ट्रस्ट एक्सरसाइज): तीन खिलाड़ी स्वतंत्र रूप से चैट करते हैं, फिर अंकों के लिए सहयोग या विश्वासघात करने का निर्णय लेते हैं।
- परीक्षित कौशल: विश्वास और विश्वासघात। क्या आप एक प्रतिष्ठा बना सकते हैं, झूठे का पता लगा सकते हैं, और वादे पर टिके रह सकते हैं?
- कोडेनेम्स (द सीक्रेट हैंडशेक): दो खिलाड़ियों की दो टीमें। एक व्यक्ति (स्पाइमास्टर) अपने साथी को बोर्ड पर गुप्त शब्दों का अनुमान लगाने में मदद करने के लिए एक-शब्द का संकेत देता है, बिना गलती से "असासिन" (Assassin) शब्द को उजागर किए।
- परीक्षित कौशल: साझा समझ (Shared Understanding)। क्या आप छोटे, सीमित संकेतों के माध्यम से जटिल विचारों को संप्रेषित कर सकते हैं?
- सीक्रेट माफिया (द डिटेक्टिव गेम): छह खिलाड़ी। कुछ "माफिया" हैं (जो गुप्त रूप से एक-दूसरे को जानते हैं), और कुछ "विलेजर" (ग्रामीण) हैं (जो माफिया को खोजने की कोशिश कर रहे हैं)। वे संदिग्धों को बाहर करने के लिए बहस करते हैं और वोट देते हैं।
- परीक्षित कौशल: छल और निष्कर्ष (Deception and Deduction)। क्या आप सफलतापूर्वक झूठ बोल सकते हैं जबकि यह पता लगा रहे हैं कि कौन झूठ बोल रहा है?
3. परिणाम: "एरर-सर्वाइवल" ट्रैप (त्रुटि-उत्तरजीविता जाल)
प्रतियोगिता डेटा एकत्र करने (लगभग 30,000 खेल!) में एक बड़ी सफलता थी, लेकिन इसने यह भी उजागर किया कि हम आमतौर पर AI को रैंक कैसे देते हैं, उसमें एक आश्चर्यजनक खामी है।
"साफ" खेल:
कर्नल ब्लोटो और प्रिज़नर्स डिलेमा जैसे खेलों में, रैंकिंग समझ में आती थी। जिस AI ने सबसे अच्छी रणनीति खेली, वही जीता। यह एक स्पष्ट दौड़ की तरह था।
"अव्यवस्थित" खेल:
सीक्रेट माफिया और कोडेनेम्स में, चीजें अजीब हो गईं। शोध पत्र ने एक प्रमुख समस्या पाई जिसे "एरर-सर्वाइवल कॉन्फाउंड" (Error-Survival Confound) कहा गया।
कल्पना कीजिए कि म्यूजिकल चेयर्स का एक खेल चल रहा है, संगीत रुकता है, और सभी को बैठना होता है। यदि आप एक बेहतरीन डांसर हैं लेकिन आप लड़खड़ाकर गिर जाते हैं, तो आप हार जाते हैं। लेकिन इन AI खेलों में, कई खिलाड़ी नियमों का पालन करने में इतने खराब थे कि वे लगातार लड़खड़ा रहे थे।
- सीक्रेट माफिया में, "विजेता" जरूरी नहीं कि सबसे अच्छे झूठे या जासूस थे। वे बस वे थे जो दूसरों की तुलना में कम अपने ही पैरों में फंसकर लड़खड़ाए थे।
- क्योंकि खेल बहुत जटिल है, कई AI ने "घातक गलतियाँ" (जैसे अपनी गुप्त भूमिका प्रकट करना या अवैध रूप से वोट देना) कीं और जल्दी ही बाहर हो गए। जो एजेंट केवल क्रैश न होने के कारण जीवित रहे, उन्हें उन एजेंटों की तुलना में उच्च रैंक दी गई जो वास्तव में स्मार्ट थे लेकिन एक छोटी सी गलती कर बैठे।
सबक: जटिल सामाजिक खेलों में, लीडरबोर्ड केवल यह नहीं माप रहा होता कि "कौन सबसे कम अनाड़ी है," बल्कि यह भी कि "कौन सबसे बुद्धिमान है।"
4. विजेता कैसे जीते
शीर्ष प्रदर्शन करने वाली टीमों का विश्लेषण करते हुए शोधकर्ताओं ने पाया कि वे केवल "बड़े दिमाग" (अधिक कंप्यूटिंग पावर) पर निर्भर नहीं थे। इसके बजाय, उन्होंने चतुर इंजीनियरिंग ट्रिक्स का उपयोग किया:
- "स्कैफोल्डिंग" दृष्टिकोण: AI से केवल यह पूछने के बजाय कि "आप क्या करते हैं?", विजेताओं ने AI को एक चेकलिस्ट, एक मेमोरी नोटबुक और एक कोड इंटरप्रेटर दिया। यह एक छात्र को केवल पाठ्यपुस्तक देने के बजाय कैलकुलेटर और अध्ययन मार्गदर्शिका देने जैसा है।
- ट्रेनिंग बनाम प्रॉम्प्टिंग: छोटे AI मॉडलों के लिए, पिछले गेम डेटा पर उन्हें ट्रेन (Training) करना सबसे अच्छा काम करता है। सबसे बड़े, सबसे शक्तिशाली मॉडलों के लिए, चतुर निर्देशों के साथ उन्हें प्रॉम्प्ट (Prompting) करना बेहतर काम करता है (बिना पुन: प्रशिक्षण के)।
- "झूठ न बोलने" की समस्या: AI एजेंटों को झूठ बोलने में संघर्ष करना पड़ा। क्योंकि वे मददगार और सत्यवादी होने के लिए प्रशिक्षित होते हैं, वे अक्सर ब्लफ (धोखा देने) की कोशिश करते समय अनजाने में यह प्रकट कर देते थे कि वे "माफिया" हैं। सर्वश्रेष्ठ एजेंटों को इस "सत्यवादी" आदत को तोड़ने के लिए स्पष्ट रूप से सिखाया जाना आवश्यक था।
5. भविष्य के लिए टूलकिट
लेखकों ने केवल परिणाम ही प्रकाशित नहीं किए; उन्होंने सबको खेल के मैदान की चाबियाँ भी सौंप दीं। उन्होंने जारी किया:
- डेटासेट: 29,000 खेलों का एक विशाल पुस्तकालय जिसमें हर चाल और विचार दर्ज है, ताकि अन्य शोधकर्ता अध्ययन कर सकें कि AI कैसे सोचता है (या विफल होता है)।
- MG-Ref (रेफरेंस सेट): प्रतियोगिता के सबसे अच्छे, सबसे स्थिर खिलाड़ियों का एक "फ्रीज" किया हुआ समूह। नए AI एजेंट अब बिना लाइव सर्वर की आवश्यकता के ऑफलाइन इस विशिष्ट समूह के खिलाफ खेल सकते हैं ताकि एक निष्पक्ष स्कोर प्राप्त किया जा सके।
- मापने का एक नया तरीका: वे सुझाव देते हैं कि भविष्य के परीक्षणों में केवल अंतिम स्कोर नहीं देखना चाहिए। उन्हें यह भी रिपोर्ट करना चाहिए कि AI ने कितनी त्रुटियां (Errors) कीं। यदि कोई AI इसलिए जीतता है क्योंकि बाकी सब क्रैश हो गए, तो वह वास्तविक जीत नहीं है।
सारांश
MINDGAMES एक वास्तविकता की जांच (Reality Check) है। यह दिखाता है कि हालांकि AI खेल खेलने में बेहतर हो रहा है, लेकिन यह अभी भी बहुत नाजुक है। यह मानव सामाजिक संपर्क की अव्यवस्थित, दीर्घकालिक और धोखेबाज प्रकृति के साथ संघर्ष करता है। शोध पत्र यह निष्कर्ष निकालता है कि "सामाजिक बुद्धिमत्ता" को वास्तव में मापने के लिए, हमें केवल यह देखना बंद करना होगा कि कौन खेल जीतता है और यह देखना शुरू करना होगा कि उन्होंने कैसे खेला, उन्होंने कितनी गलतियाँ कीं, और क्या वे इसलिए जीवित रहे क्योंकि वे स्मार्ट थे या सिर्फ इसलिए क्योंकि बाकी सब अनाड़ी थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।