Triadic Werewolf: A Jester Role for Multi-Hop Theory of Mind in LLMs

तकनीकी सारांश: ट्रायडिक वेयरवोल्फ (Triadic Werewolf): LLMs में मल्टी-हॉप थ्योरी ऑफ माइंड के लिए एक जेस्टर भूमिका

समस्या विवरण
सोशल-डिडक्शन गेम्स (जैसे वेयरवोल्फ, एवलॉन) में थ्योरी ऑफ माइंड (ToM) के मूल्यांकन के लिए वर्तमान बेंचमार्क मुख्य रूप से डायडिक (द्वि-पक्षीय) हैं। ये खेल खिलाड़ियों को दो विरोधी गुटों (जैसे विलेजर बनाम वेयरवोल्फ) में विभाजित करते हैं, जिससे एक ऐसी स्थिति बनती है जहाँ प्रत्येक दृश्य संकेत एक ही छिपे हुए पक्ष की ओर इशारा करता है। इसके परिणामस्वरूप, एक मॉडल सतही संकेतों (जैसे "हिचकिचाहट का अर्थ वेयरवोल्फ होना है") का लाभ उठाकर उच्च स्कोर प्राप्त कर सकता है, बिना वास्तव में विरोधियों के उद्देश्यों या छिपी हुई मानसिक अवस्थाओं के बारे में तर्क किए। इसे क्यू-सफिशिएंसी (संकेत-पर्याप्तता) समस्या कहा जाता है: डायडिक स्थितियों में उच्च स्कोर अनिवार्य रूप से वास्तविक मल्टी-हॉप ToM तर्क का संकेत नहीं देता है, क्योंकि इष्टतम नीति और एक शुद्ध संकेत-पठन नीति अक्सर एक ही क्रिया का चयन करती हैं।

कार्यप्रणाली
इस संयोग को तोड़ने के लिए, लेखक ट्रायडिक वेयरवोल्फ पेश करते हैं, जो एक 10-खिलाड़ी वाला बेंचमार्क है जिसमें एक तीसरा गुट जोड़ा गया है: जेस्टर (Jester)।

• गेम आर्किटेक्चर: इस खेल में 6 विलेजर, 2 वेयरवोल्फ, 1 डॉक्टर और 1 जेस्टर शामिल हैं। जेस्टर का उपयोगिता फलन (utility function) उल्टा है: वह तभी जीतता है जब उसे दिन के दौरान बहुमत द्वारा वोट देकर निकाला (निर्वासित) जाता है। इसके विपरीत, वेयरवोल्फ विलेजर को खत्म करके जीतते हैं, और विलेजर वेयरवोल्फ को खत्म करके जीतते हैं।
• प्रोत्साहन संघर्ष (The Incentive Conflict): यह संरचना संकेत अस्पष्टता (cue ambiguity) पैदा करती है। एक खिलाड़ी जो अत्यधिक संदेह उत्पन्न कर रहा है, वह एक संदिग्ध साक्ष्य है: वह एक वेयरवोल्फ हो सकता है (जिसे विलेजर को निर्वासित करना चाहिए) या एक जेस्टर हो सकता है (जिसे विलेजर को निर्वासित नहीं करना चाहिए, क्योंकि निर्वासित करने से विलेजर की हार होती है)। वेयरवोल्फ को भी यह तर्क देना होगा कि उच्च-संदेह वाले खिलाड़ी को निर्वासित करना एक जेस्टर हो सकता है, जो वेयरवोल्फ की हार में गेम समाप्त कर देगा।
• प्रायोगिक डिजाइन: यह अध्ययन तीन फ्रंटियर मॉडल्स (GPT-4.1, DeepSeek-V3.1, Llama-3.3-70B) का 60 खेलों (प्रत्येक मॉडल के लिए 10 खेल प्रति स्थिति) में मूल्यांकन करता है।
  • स्थितियाँ: एक जेस्टर सेल्फ-लर्निंग लूप को ON/OFF किया गया है। ON स्थिति में, जेस्टर मॉडल गेम का सारांश देता है, सबक निकालता है (रणनीतियाँ, क्या करना है, क्या करने से बचना है), और उन्हें एक निरंतर सीखने वाली फ़ाइल में जोड़ता है जिसे बाद के खेलों के लिए सिस्टम प्रॉम्प्ट में वापस फीड किया जाता है।
  • मेट्रिक्स: परिणाम गुट की जीत दर, वोटिंग डायनेमिक्स (विशेष रूप से डे 1 वोट) और धोखे के प्रकारों एवं संदेह स्कोर के व्यवहारिक विश्लेषण के माध्यम से मापे जाते हैं।
  • कंट्रोल: डायडिक प्रभाव को अलग करने के लिए GPT-4.1 पर एक डायडिक कंट्रोल (जेस्टर को हटाकर छठा विलेजर जोड़ना) चलाया गया है।

मुख्य योगदान

1. ट्रायडिक बेंचमार्क: 10-खिलाड़ी वाला वेयरवोल्फ वेरिएंट जहाँ जेस्टर की उल्टी उपयोगिता मानक डायडिक डिडक्शन गेम्स की क्यू-सफिशिएंसी को तोड़ देती है, जो एजेंटों को तीन प्रतिस्पर्धी उपयोगिता कार्यों के बीच तर्क करने के लिए मजबूर करती है।
2. नियंत्रित मूल्यांकन: एक भ्रामक संदर्भ में सेल्फ-लर्निंग लूप के व्यवस्थित मूल्यांकन का अध्ययन, जो जेस्टर के लिए प्रथम-क्रम के लाभ और अन्य गुटों पर द्वितीय-क्रम के प्रभावों को मापता है।
3. मैकेनिस्टिक विश्लेषण: 141 संचित जेस्टर लेसन्स का एक डिडक्टिव कोडिंग, जो उन्हें रणनीति और थ्योरी ऑफ माइंड ऑर्डर द्वारा वर्गीकृत करता है (1st-order: केवल आदेश; 2nd-order: दूसरों के धारणाओं का संदर्भ देना; 3rd-order: दो गुटों की धारणाओं के बीच स्पष्ट अंतर, जैसे "विलेजर के रूप में दिखने के बजाय वुल्फ की तरह दिखना")।

परिणाम

• जेस्टर का प्रभुत्व: सभी मॉडल्स में, जेस्टर 55-70% खेल जीतता है, जबकि वेयरवोल्फ शायद ही कभी 20% से अधिक होते हैं। यह सुझाव देता है कि मॉडल्स संकेत अस्पष्टता को हल करने में विफल रहते हैं, और अनजाने में जेस्टर की मदद करते हुए उच्च-संदेह वाले खिलाड़ियों को वेयरवोल्फ मानकर निर्वासित कर देते हैं।
• स्व-विनाश (Self-Sabotage): वेयरवोल्फ अक्सर डे 1 पर जेस्टर के लिए वोट करते हैं (GPT-4.1 के लिए 60-70%), जो एक स्पष्ट रूप से आत्म-घाती क्रिया है जो वुल्फ गुट की हार में गेम समाप्त कर देती है। यह जेस्टर को एक अलग तीसरे पक्ष के रूप में मॉडल करने में विफलता को दर्शाता है जिसके अलग प्रोत्साहन हैं।
• प्रतिस्थापन प्रभाव (Substitution Effect): जब सेल्फ-लर्निंग लूप जेस्टर की जीत दर में सुधार करता है, तो नुकसान लगभग पूरी तरह से विलेजरों द्वारा सहा जाता है, न कि वेयरवोल्फ द्वारा। वेयरवोल्फ पहले से ही इन्फरेंस कार्य में विफल हो रहे थे; जेस्टर की बढ़त विलेजर के विश्वास-अपडेटिंग का फायदा उठाने से आती है।
• मॉडल-विशिष्ट लर्निंग:
  • DeepSeek-V3.1: सेल्फ-लर्निंग से सबसे बड़ा लाभ (+40% जीत दर) दिखाता है। यह एकमात्र मॉडल है जो विश्वसनीय रूप से 3rd-order ToM प्रविष्टियाँ (15.4% लेसन्स) उत्पन्न करता है, जो स्पष्ट रूप से वुल्फ की नकल करने और विलेजर संरेखण से बचने के लिए सीखता है।
  • GPT-4.1: एक सीलिंग इफेक्ट (सीमा प्रभाव) दिखाता है; यह 70% की उच्च जेस्टर जीत दर से शुरू होता है और सेल्फ-लर्निंग से बहुत कम सुधार या कुछ मेट्रिक्स में मामूली गिरावट आती है। यह सूक्ष्म कंट्रास्टिव रीजनिंग के बजाय अनियमित व्यवहार और आक्रामकता पर निर्भर करता है।
  • Llama-3.3-70B: मध्यम लाभ (+20%) दिखाता है लेकिन 1st और 2nd-order रीजनिंग (केवल आदेश या सरल धारणा संदर्भ) पर निर्भर करता है, बिना किसी स्पष्ट त्रिपक्षीय कंट्रास्ट के।
• धोखा एक मॉडल प्रॉपर्टी के रूप में: धोखे की शैलियाँ (जैसे फैब्रिकेशन बनाम डिस्टॉर्शन) एक दिए गए मॉडल के लिए भूमिकाओं में सुसंगत रहती हैं, जो यह सुझाव देती है कि मॉडल्स प्रतिद्वंद्वी के प्रोत्साहनों के आधार पर रणनीतियों को अनुकूलित करने के बजाय एक निश्चित "धोखा सौंदर्य" (deception aesthetic) लागू करते हैं।

महत्व और दावे
पेपर का दावा है कि त्रिपक्षीय प्रोत्साहन संरचनाएं (triadic incentive structures) मल्टी-एजेंट तर्क की एक ऐसी परत को उजागर करती हैं जो डायडिक गेम्स में अदृश्य रहती है। परिणाम संकेत देते हैं कि वर्तमान फ्रंटियर LLMs उस मल्टी-हॉप ToM इन्फरेंस को विश्वसनीय रूप से करने में सक्षम नहीं हैं जो एक "संदिग्ध विलेजर/जेस्टर" और एक "संदिग्ध वेयरवोल्फ" के बीच अंतर करने के लिए आवश्यक है, जब सही क्रिया छिपी हुई भूमिका की उपयोगिता पर निर्भर करती है।

अध्ययन तर्क देता है कि डायडिक बेंचमार्क्स में उच्च स्कोर वास्तविक मानसिक-अवस्था तर्क के बजाय क्यू-सफिशिएंसी के आर्टिफैक्ट्स हो सकते हैं। मॉडल्स द्वारा जेस्टर की जीत को रोकने में विफलता—विशेष रूप से वेयरवोल्फ का स्व-विनाश और विलेजर की जेस्टर को वुल्फ से अलग करने में अक्षमता—उनके इस सीमित बोध का एक व्यवहारिक हस्ताक्षर है। इसके अतिरिक्त, पेपर यह भी प्रदर्शित करता है कि सेल्फ-लर्निंग लूप मॉडल्स को जटिल, कंट्रास्टिव रणनीतियाँ हासिल करने में मदद कर सकते हैं (जैसा कि DeepSeek-V3.1 में देखा गया है) लेकिन वे उन मॉडल्स में प्रदर्शन को कम भी कर सकते हैं जो पहले से ही कार्य की सीमा तक पहुँच चुके हैं या विभिन्न ह्यूरिस्टिक्स पर निर्भर हैं (जैसा कि GPT-4.1 में देखा गया है)।

लेखक निष्कर्ष निकालते हैं कि जेस्टर की जीत दर मल्टी-हॉप ToM विफलता का एक सीधा माप के रूप में कार्य करती है, और ट्रायडिक सेटअप यह मूल्यांकन करने के लिए एक आवश्यक संरचनात्मक परिवर्तन है कि क्या LLMs सतह-स्तर के पैटर्न मिलान से परे प्रतिस्पर्धी प्रोत्साहनों के बारे में वास्तव में तर्क कर सकते हैं।