MafiaScope: Non-Invasive, Time-Resolved Belief Probing for LLM Agents in Social Deduction Games
MafiaScope एक खुला टेस्टबेड है जो सोशल डिटेक्शन गेम्स के दौरान LLM एजेंटों के निजी विश्वासों की गैर-आक्रामक, समय-समाधान प्रोबिंग को सक्षम बनाता है, जो महत्वपूर्ण कैलिब्रेशन त्रुटियों को प्रकट करता है और एजेंट तर्क प्रक्षेपवक्रों (reasoning trajectories) को विज़ुअलाइज़ करने और प्रतितथ्यात्मक रूप से पुन: खेलने के लिए उपकरण प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि AI एजेंटों का एक समूह माफिया (Mafia) का एक उच्च-दांव वाला खेल खेल रहा है। इस खेल में, कुछ खिलाड़ी गुप्त "माफिया" सदस्य होते हैं जो एक-दूसरे को जानते हैं और रात में निर्दोष "ग्रामीणों" (Villagers) को मारने की कोशिश करते हैं, जबकि ग्रामीण दिन के दौरान हत्यारों का पता लगाने की कोशिश करते हैं। आमतौर पर, जब हम AI को खेलते हुए देखते हैं, तो हमें केवल अंतिम स्कोरबोर्ड दिखाई देता है: कौन जीता, किसे वोट देकर बाहर निकाला गया, और किसने झूठ बोला। यह एक जादू के शो को देखने जैसा है जहाँ आप केवल अंतिम ट्रिक देखते हैं, लेकिन यह नहीं जानते कि जादूगर के हाथ कैसे चले।
MafiaScope एक नया टूल है जो इन AI एजेंटों के लिए एक जादुय "मन पढ़ने वाले हेडसेट" की तरह काम करता है। लेकिन इसमें एक पेच है: यह खेल को बदलता नहीं है। यह गैर-आक्रामक (non-invasive) है। हर बार जब एक AI एजेंट समूह के सामने कुछ बोलता है, तो सिस्टम चुपचाप रुक जाता है, एजेंट से एक गुप्त प्रश्न पूछता है कि वह वास्तव में क्या मानता है, और फिर उस उत्तर को तुरंत हटा देता है ताकि वह कभी भी खेल को प्रभावित न कर सके।
इसे एक रियलिटी शो की तरह समझें जहाँ, हर नाटकीय स्वीकारोक्ति के बाद, कैमरा प्रतियोगी के पास एक निजी कमरे में जाता है और पूछता है, "ठीक है, तुम्हें वास्तव में अभी क्या लगता है कि हत्यारा कौन है?" प्रतियोगी उत्तर देता है, कैमरा उसे रिकॉर्ड करता है, और फिर उस उत्तर को एक तिजोरी में बंद कर दिया जाता है। प्रतियोगी अपना स्वयं का गुप्त उत्तर कभी नहीं सुन पाता, इसलिए वह उसके आधार पर अपना व्यवहार नहीं बदल सकता। यह शोधकर्ताओं को एजेंट के वास्तविक विचारों बनाम उसके सार्वजनिक झूठ को देखने की अनुमति देता है।
उन्होंने वास्तव में क्या पाया?
शोधकर्ताओं ने एक विशिष्ट AI मॉडल (DeepSeek) का उपयोग करके 32 खेल चलाए और 13,800 से अधिक ये गुप्त उत्तर एकत्र किए। इस डेटा ने क्या खुलासा किया:
- "स्पॉटलाइट" का भ्रम (The "Spotlight" Delusion): निर्दोष एजेंट यह अनुमान लगाने में बहुत खराब हैं कि दूसरे उनके बारे में क्या सोचते हैं। वे वास्तव में होने वाली तुलना में 1.5 गुना अधिक संदिग्ध होने का अनुभव करते हैं। यह एक पार्टी में जाने और यह महसूस करने जैसा है कि हर कोई आपके अजीब हेयरकट को देख रहा है, जबकि वास्तव में, किसी ने ध्यान भी नहीं दिया। यह एक "मशीन संस्करण" है जिसे मानव मनोवैज्ञानिक विशेषता "स्पॉटलाइट इफेक्ट" कहा जाता है। दिलचस्प बात यह है कि वास्तविक माफिया एजेंट इस मामले में बहुत बेहतर थे; वे जानते थे कि वे कब सुरक्षित थे और कब वे मुसीबत में थे।
- आत्मविश्वास एक दिखावा है (Confidence is a Bluff): जब एजेंटों ने कहा कि वे अपने अनुमानों में "बहुत आश्वस्त" थे, तो वे अक्सर गलत थे। शोधकर्ताओं ने इसे एक्सपेक्टेड कैलिब्रेशन एरर (Expected Calibration Error) नामक मीट्रिक का उपयोग करके मापा, जो 0.17 आया। सरल शब्दों में, यदि कोई एजेंट कहता है, "मुझे पूरा यकीन है कि यह व्यक्ति माफिया है," तो वे केवल 54.6% बार सही होते हैं। वे अत्यधिक आत्मविश्वासी दिखावा करने वाले हैं, सटीक भविष्यवक्ता नहीं।
- सत्य एक रोलरकोस्टर है: एजेंटों के विश्वास स्थिर सत्य में नहीं बदले। इसके बजाय, उनका संदेह स्तर अस्थिर था। औसतन, एक एजेंट का "मुख्य संदिग्ध" गुप्त जांचों के 48.7% मामलों में बदल गया। वे सत्य की ओर बढ़ने के बजाय उसके इर्द-गिर्द घूम रहे थे।
- झूठ बोलना काम आता है (कभी-कभी): इस विशिष्ट अध्ययन में माफिया एजेंटों ने 32 में से 31 खेल जीते। टूल ने दिखाया कि माफिया ने ग्रामीणों को भ्रमित रखने में सफलता प्राप्त की, भले ही ग्रामीण अनुमान लगाने में बेहतर हो रहे थे (उनकी सटीकता राउंड 0 में 47.6% से बढ़कर राउंड 3 में 75.4% हो गई)।
उन्होंने स्पष्ट रूप से किन बातों को खारिज किया
शोध पत्र इन परिणामों को बढ़ा-चढ़ाकर पेश न करने के प्रति बहुत सावधान है।
- यह एक "हल की गई" (Solved) समस्या नहीं है: लेखक स्पष्ट रूप से कहते हैं कि ये निष्कर्ष इस विशिष्ट सेटअप और इस विशिष्ट AI मॉडल का वर्णन करते हैं। वे यह दावा नहीं करते हैं कि सभी AI एजेंट अत्यधिक आत्मविश्वासी हैं या सभी AI माफिया खिलाड़ी इतने अच्छे हैं।
- यह दार्शनिक अर्थ में "मन पढ़ना" नहीं है: पेपर इस विचार के विरुद्ध तर्क देता है कि इन एजेंटों के पास गहरे, मानव जैसे "विश्वास" हैं। इसके बजाय, वे उत्तरों को "ऑपरेशनल रिपोर्ट" के रूप में देखते हैं—मूल रूप से, AI केवल यह भविष्यवाणी कर रहा है कि यदि पूछा जाए तो वह क्या कहेगा, न कि अनिवार्य रूप से एक आत्मा को प्रकट कर रहा है।
- यह सत्य की गारंटी नहीं है: पेपर नोट करता है कि चूंकि एजेंट स्वयं रिपोर्ट कर रहे हैं, इसलिए वे जांच (probe) से भी झूठ बोल सकते हैं। हालांकि, उन्होंने पाया कि एजेंटों के गुप्त उत्तर उनके सार्वजनिक मतदान व्यवहार के साथ निकटता से मेल खाते थे (निर्दोष वोटों में से 64.9% मामलों में, एजेंट ने अपने शीर्ष गुप्त संदिग्ध को वोट दिया था), जिससे पता चलता है कि रिपोर्ट कम से कम उनके कार्यों के अनुरूप हैं।
हम कितने निश्चित हैं?
पेपर "सुझाव देता है" (suggests) शब्द का काफी उपयोग करता है, विशेष रूप से इस संबंध में कि एजेंट ऐसा व्यवहार क्यों करते हैं।
- "पिवोटल मोमेंट" प्रयोग: शोधकर्ताओं ने यह देखने की कोशिश की कि क्या खेल में केवल एक वाक्य बदलने से परिणाम बदल जाएगा। उन्होंने एक सिमुलेशन चलाया जहाँ उन्होंने खेल को "फोर्क" (30 समानांतर टाइमलाइन बनाईं) किया ताकि यह देखा जा सके कि क्या होता यदि एक विशिष्ट खिलाड़ी ने एक विशिष्ट बात न कही होती।
- उन्होंने पाया कि एक विशिष्ट झूठ (फिनली नामक खिलाड़ी द्वारा) को ठीक करने से यह सुझाव मिला कि इससे परिणाम बदल सकता था, जिससे एक ग्रामीण के बाहर निकाले जाने की संभावना 0.4 से बढ़कर 0.8 हो गई।
- हालांकि, पेपर स्वीकार करता है कि यह सांख्यिकीय रूप से सिद्ध नहीं है। केवल 5 पुनरावृत्तियों (reruns) के साथ, अंतर इतना बड़ा नहीं था कि 100% निश्चित हुआ जा सके (सांख्यिकीय p-वैल्यू लगभग 0.52 थी, जो महत्वपूर्ण नहीं है)। वे यह दिखा रहे हैं कि टूल इन क्षणों को खोजने में काम करता है, न कि उन्होंने उस विशिष्ट खेल के रहस्य को निश्चित रूप से सुलझा लिया है।
बड़ी तस्वीर
MafiaScope कोई जादुई छड़ी नहीं है जो AI को ठीक करती है। यह एक सूक्ष्मदर्शी (microscope) है। इससे पहले, हम केवल AI का अंतिम वोट देखते थे। अब, हम वोटों के बीच चल रही उलझी हुई, भ्रमित, अत्यधिक आत्मविश्वासी और कभी-कभी शानदार विचार प्रक्रिया को देख सकते हैं।
यह टूल शोधकर्ताओं को "बलीफ ट्रेजेक्टरी" (belief trajectory) देखने की अनुमति देता है—कैसे एक एजेंट का मन सेकंड-दर-सेकंड बदलता है। यह दिखाता है कि हालांकि AI खेल खेल सकता है, लेकिन वह अक्सर यह नहीं "जानता" कि वह क्या जानता है। वह अनुमान लगाता है, अत्यधिक आत्मविश्वासी हो जाता है, और कभी-कभी उसे लगता है कि हर कोई उसे देख रहा है जबकि वास्तव में ऐसा नहीं होता।
पेपर निष्कर्ष निकालता है कि वह इंजन, विज़ुअलाइज़र और डेटा को खेलने के लिए खुला छोड़ रहा है। यह AI के मन को वास्तविक समय में देखने के लिए एक खुला निमंत्रण है, जो यह साबित करता है कि AI की दुनिया में, आप जो कहते हैं और आप जो सोचते हैं, वे अक्सर दो बहुत अलग चीजें होती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।