Deceive, Detect, and Disclose: Large Language Models Play Mini-Mafia
यह शोध पत्र "मिनी-माफिया" प्रस्तुत करता है, जो एक सरलीकृत सोशल डिटेक्शन गेम और बेंचमार्क है जो यह प्रदर्शित करता है कि कैसे अंतर्निहित धोखे (deception), पहचान (detection) और प्रकटीकरण (disclosure) मापदंडों पर आधारित एक संक्षिप्त विश्लेषणात्मक सूत्र, विविध मॉडल संयोजनों के बीच लार्ज लैंग्वेज मॉडल इंटरैक्शन और सामूहिक परिणामों की सटीक भविष्यवाणी कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि माफिया (जिसे वेअरवोल्फ भी कहा जाता है) का एक खेल चल रहा है, लेकिन इसे पूरी तरह से उसके मूल तत्वों तक सीमित कर दिया गया है। यह शोध पत्र यही पेश करता है: मिनी-माफिया।
मूल खेल को एक जटिल, अराजक शहर के रूप में सोचें जहाँ सैकड़ों लोग, गुप्त बैठकें और लंबी रातें होती हैं। शोधकर्ताओं ने महसूस किया कि एआई (AI) एजेंटों के बीच वास्तविक बातचीत को समझने के लिए, उन्हें एक सरल "प्रयोगशाला" की आवश्यकता थी। इसलिए, उन्होंने चार खिलाड़ियों वाला एक छोटा संस्करण बनाया, जिसके नियम निश्चित हैं, रात का चरण स्वचालित है, और पूरा खेल दिन के दौरान होने वाली एक महत्वपूर्ण बातचीत पर केंद्रित है।
यहाँ इसका सरल विवरण दिया गया है कि उन्होंने क्या किया और क्या पाया:
1. सेटअप: तीन लोगों का मुकाबला
इस मिनी-गेम में केवल चार खिलाड़ी हैं, लेकिन केवल तीन ही जीवित बचते हैं:
- माफियोसो (The Mafioso): झूठा। उसका काम सबको यह विश्वास दिलाना है कि वह निर्दोष है।
- डिटेक्टिव (The Detective): सच बोलने वाला। उसे पता है कि माफिया कौन है और उसे दूसरों को उसे बाहर निकालने के लिए राजी करना है।
- विलेजर (The Villager): निर्णायक। उसके पास कोई गुप्त जानकारी नहीं होती; उसे बस अन्य दोनों की बातें सुननी होती हैं और तय करना होता है कि किस पर भरोसा किया जाए।
खेल बातचीत के एक दौर और एक वोट के बाद समाप्त हो जाता है। यदि विलेजर माफिया के लिए वोट देता है, तो शहर जीत जाता है। यदि वह डिटेक्टिव (या टाई) के लिए वोट देता है, तो माफिया जीत जाता है।
2. बड़ी खोज: एक सरल गणितीय सूत्र
शोधकर्ताओं ने इस खेल को हजारों बार खेला, जिसमें 10 अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) को खिलाड़ी के रूप में इस्तेमाल किया गया। उन्हें उम्मीद थी कि परिणाम एक उलझा हुआ 'ब्लैक बॉक्स' होगा जहाँ आप केवल जीत और हार देखेंगे।
इसके बजाय, उन्हें एक सरल गणितीय रेसिपी मिली जो परिणामों की लगभग पूरी तरह से भविष्यवाणी करती है।
कल्पना कीजिए कि खेल का परिणाम एक रस्साकशी (tug-of-war) द्वारा निर्धारित होता है:
- धोखाधड़ी (Deception - ): माफिया झूठ बोलने में कितना अच्छा है।
- प्रकटीकरण (Disclosure - ): डिटेक्टिव सच बताने में कितना अच्छा है।
- पहचान (Detection - ): विलेजर अंतर पहचानने में कितना कुशल है।
उनके द्वारा पाया गया सूत्र है: जीत की दर (Win Rate) = (Deception − Disclosure) × Detection.
इसे एक रासायनिक प्रतिक्रिया की तरह सोचें:
- यदि माफिया एक महान झूठा है और डिटेक्टिव सच बताने में खराब है, तो माफिया जीतता है।
- यदि डिटेक्टिव महान है और माफिया खराब है, तो डिटेक्टिव जीतता है।
- लेकिन विलेजर यहाँ गुणक (multiplier) है। यदि विलेजर "सो रहा" है (कम डिटेक्शन), तो दूसरा चाहे कितना भी अच्छा क्यों न हो, परिणाम रैंडम होगा। यदि विलेजर "जागा हुआ" है (उच्च डिटेक्शन), तो झूठे और सच बोलने वाले के बीच का अंतर तुरंत विजेता तय कर देता है।
3. बेंचमार्क: AI "व्यक्तित्वों" का परीक्षण
इस सूत्र का उपयोग करते हुए, शोधकर्ताओं ने 10 अलग-अलग AI मॉडल्स के लिए एक "रिपोर्ट कार्ड" बनाया। उन्होंने केवल यह नहीं पूछा, "कौन सबसे स्मार्ट है?" बल्कि उन्होंने पूछा: "कौन सबसे अच्छा झूठा है? कौन सबसे अच्छा सच बोलने वाला है? कौन सबसे अच्छा जज है?"
परिणाम आश्चर्यजनक थे:
- दबे हुए खिलाड़ी जीते: छोटे, सस्ते मॉडल अक्सर विशाल, महंगे "फ्लैगशिप" मॉडल्स को हरा देते हैं।
- Grok 3 Mini सबसे अच्छा "जज" (विलेजर) था। वह झूठे को पकड़ने में अविश्वसनीय रूप से अच्छा था।
- GPT-5 Mini सबसे अच्छा "सच बोलने वाला" (डिटेक्टिव) था। वह सच प्रकट करने में सबसे प्रभावी था।
- दिग्गज संघर्ष करते रहे: कुछ सबसे प्रसिद्ध, शक्तिशाली मॉडल्स का प्रदर्शन खराब रहा।
- Claude Sonnet 4 सबसे खराब "जज" था। वह झूठे को पहचानने में इतना बुरा था कि वह लगभग तुक्का मार रहा था, भले ही वह एक शीर्ष-स्तरीय मॉडल है।
4. यह क्यों मायने रखता है (शोध पत्र के अनुसार)
शोध पत्र का तर्क है कि हम आमतौर पर AI इंटरैक्शन को एक रहस्यमयी बॉक्स की तरह देखते हैं: हम एक सिमुलेशन चलाते हैं और देखते हैं कि क्या होता है। यह शोध दिखाता है कि हम वास्तव में सरल गणित का उपयोग करके विशिष्ट कौशल (झूठ बोलना, सच बोलना, निर्णय लेना) को माप सकते हैं।
उन्होंने AI में कुछ मज़ेदार, मानवीय व्यवहार भी पाए:
- नाम का पूर्वाग्रह (Name Bias): AI ने "Bob" नाम पर "Diana" की तुलना में थोड़ा अधिक भरोसा किया, जिससे अगर Bob झूठा था, तो उसे वोट देकर बाहर निकालना कठिन हो गया।
- हालिया प्रभाव (Recency Effect): यदि डिटेक्टिव ने वोट से ठीक पहले बात की, तो उसे बहुत बड़ा लाभ मिला। यदि उसने पहले बात की, तो लोग उसकी बात भूल गए।
सारांश
यह शोध पत्र AI एजेंटों के बीच बातचीत का अध्ययन करने के लिए मिनी-माफिया नामक एक छोटा, सरलीकृत खेल पेश करता है। उन्होंने खोजा कि इन अंतःक्रियाओं का परिणाम यादृच्छिक अराजकता नहीं है; यह तीन कौशलों पर आधारित एक स्पष्ट, अनुमानित गणितीय सूत्र का पालन करता है: धोखाधड़ी (Deception), प्रकटीकरण (Disclosure), और पहचान (Detection)।
इन कौशलों को मापकर, उन्होंने पाया कि छोटे AI मॉडल सामाजिक स्थितियों में कभी-कभी विशाल मॉडल्स से बेहतर प्रदर्शन कर सकते हैं, और यहाँ तक कि AI भी बोलने के क्रम या उपयोग किए जाने वाले नामों जैसी सरल चीजों से प्रभावित हो सकता है। यह शोधकर्ताओं को अनंत, जटिल सिमुलेशन चलाने के बिना AI व्यवहार का परीक्षण करने और समझने का एक नया, स्पष्ट तरीका देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।