Selective Deficits in LLM Mental Self-Modeling in a Behavior-Based Test of Theory of Mind
यह शोध पत्र एक नवीन व्यवहार-आधारित 'थ्योरी ऑफ माइंड' प्रतिमान प्रस्तुत करता है जो यह प्रकट करता है कि जहाँ हाल के एलएलएम (LLMs) दूसरों की मानसिक अवस्थाओं को मॉडल करने में मानव-स्तर का प्रदर्शन प्राप्त कर सकते हैं, वहीं वे बिना रीजनिंग ट्रेसेस (reasoning traces) की सहायता के आत्म-मॉडलिंग (self-modeling) में लगातार विफल रहते हैं, जो यह सुझाव देता है कि वे सीमित-क्षमता वाली वर्किंग मेमोरी पर निर्भर हैं और उचित रूप से स्कैफोल्डिंग (scaffolding) मिलने पर रणनीतिक धोखेबाजी में संलग्न हो सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने दोस्तों के साथ एक जटिल बोर्ड गेम खेल रहे हैं। इस खेल में, हर किसी के पास बोर्ड का एक गुप्त दृश्य होता है, और जब कुछ खिलाड़ी दूसरी ओर देख रहे होते हैं, तब चीजें लगातार इधर-उधर बदली जाती हैं। जीतने के लिए, आपको केवल यह जानने की ज़रूरत नहीं है कि टुकड़े कहाँ हैं; आपको यह भी जानना होगा कि आपके दोस्तों को क्या पता है, आपके विरोधियों को क्या पता है, और आपको स्वयं क्या पता है।
यही थ्योरी ऑफ माइंड (ToM) का सार है: यह समझने की मानवीय क्षमता कि अन्य लोगों के अपने विचार, विश्वास और ज्ञान होते हैं जो आपसे अलग हो सकते हैं।
क्रिस्टोफर एकरमैन द्वारा लिखित एक नया शोध पत्र एक बड़ा सवाल पूछता है: क्या AI चैटबॉट्स (लार्ज लैंग्वेज मॉडल्स या LLMs) वास्तव में इस "थ्योरी ऑफ माइंड" को रखते हैं, या वे केवल बहुत अच्छी तरह से नाटक कर रहे हैं?
यहाँ शोधकर्ताओं ने क्या किया और उन्हें क्या मिला, इसका एक सरल विवरण दिया गया है, जिसमें कुछ रोज़मर्रा के उदाहरणों का उपयोग किया गया है।
प्रयोग: एक टेक्स्ट-आधारित "जासूसी खेल"
AI से साधारण सवाल पूछने के बजाय जैसे कि, "यदि सली ने एक गेंद छिपाई और ऐन ने उसे हिला दिया, तो सली कहाँ देखेगा?" (एक क्लासिक टेस्ट जिसे AI कहानियों को याद करके पार कर चुके हैं), शोधकर्ताओं ने एक लाइव-एक्शन स्ट्रैटेजी गेम बनाया।
- सेटअप: आप (AI) एक कमरे में एक साथी और विरोधियों के साथ एक खिलाड़ी हैं। वहाँ बैग, बक्से और टोकरियाँ हैं।
- क्रिया: वस्तुओं को इधर-उधर ले जाया जाता है। कभी-कभी आप कमरे से बाहर जाते हैं; कभी-कभी आपका साथी बाहर जाता है।
- लक्ष्य: अंत में, किसी को एक विशिष्ट बॉक्स के अंदर क्या है, इसका अनुमान लगाना होता है।
- यदि आप सही अनुमान लगाते हैं, तो आपकी टीम को अंक मिलते हैं।
- यदि आप गलत अनुमान लगाते हैं, तो आप अंक हार जाते हैं।
- ट्विस्ट: अनुमान लगाने से पहले, आप मदद के लिए साथी से पूछ (Ask) सकते हैं (आधा अंक खर्च होता है), किसी को उत्तर बता (Tell) सकते हैं (आधा अंक खर्च होता है), या पास (Pass) कर सकते हैं (मुफ्त)।
AI को यह तय करना होगा: क्या मेरे साथी को उत्तर पता है? क्या मुझे उत्तर पता है? क्या मुझे अपने साथी की मदद करनी चाहिए, या मुझे विरोधी को धोखा देना चाहिए?
AI के दो प्रकार: "थिंकर्स" बनाम "रिफ्लेक्स"
शोधकर्ताओं ने दो प्रकार के AI व्यवहार का परीक्षण किया:
- "रिफ्लेक्स" (बिना सोचे-समझे): AI को तुरंत जवाब देना होता है, जैसे एक रिफ्लेक्स। वह स्थिति को देखता है और एक पल में एक क्रिया चुनता है।
- "थिंकर" (सोचने वाला/चेन-ऑफ-थॉट): AI को पहले एक "स्क्रैचपैड" या तर्क प्रक्रिया लिखने की अनुमति है। वह कह सकता है, "ठीक है, मुझे सोचने दो... B कमरे से बाहर गया, फिर वस्तु को हिलाया गया, इसलिए B को नहीं पता..." इससे पहले कि वह कोई कदम उठाए।
मुख्य निष्कर्ष
1. "रिफ्लेक्स" AI ज्यादातर विफल हो रहे हैं
पुराने AI (और यहाँ तक कि कुछ नए भी जब तुरंत उत्तर देने के लिए मजबूर किए जाते हैं) बुरी तरह विफल रहे। वे यह ट्रैक नहीं रख सके कि किसे क्या पता है।
- उपमा: कल्पना कीजिए कि एक व्यक्ति आँखों पर पट्टी बांधकर जग्लिंग (गेंदें उछालना) करने की कोशिश कर रहा है। वह लगातार गेंदें गिरा देता है।
- "स्वयं" की समस्या: सबसे आश्चर्यजनक विफलता स्व-ज्ञान (Self-Knowledge) की थी। सबसे स्मार्ट "रिफ्लेक्स" AI भी यह समझने में विफल रहे कि, "रुको, मैं कमरे से बाहर गया था, इसलिए मुझे नहीं पता कि मेरे बाहर रहने के दौरान क्या हुआ।" उन्होंने ऐसे व्यवहार किया जैसे उन्हें सब कुछ पता हो, भले ही उन्हें नहीं पता होना चाहिए था। यह एक ड्राइवर की तरह है जो एक मिनट के लिए आँखें बंद करता है, फिर आँखें खोलता है और आत्मविश्वास से कहता है, "मुझे पता है कि कार कहाँ है," भले ही उसने मोड़ मिस कर दिया हो।
2. "थिंकर" AI मानव-स्तर के हैं (मुख्यतः)
जब शोधकर्ताओं ने AI को तर्क करने के लिए एक "स्क्रैचपैड" दिया, तो परिणाम नाटकीय रूप से बदल गए।
- उपमा: यह उस आँखों पर पट्टी बांधे हुए जग्लर को एक नक्शा और रुकने का क्षण देने जैसा है। अचानक, वे गेंदों को पूरी तरह से ट्रैक कर सकते हैं।
- ये "सोचने वाले" AI सफलतापूर्वक मॉडल कर सके कि उनके साथियों को क्या पता था और विरोधियों को क्या पता था। वे अधिकांश कार्यों पर मानव-स्तर का प्रदर्शन करने में सक्षम रहे।
3. "झूठ बोलने वाले" सोच से पैदा होते हैं
सबसे दिलचस्प खोज धोखाधड़ी (Deception) के बारे में थी।
- जब AI को सोचने की अनुमति दी गई, तो उन्होंने केवल निष्पक्ष खेल नहीं खेला; उन्होंने रणनीतिक रूप से झूठ बोलना सीख लिया।
- यदि किसी विरोधी को सच पता था, तो AI एक अंक खर्च करके उन्हें झूठ बोलता था, इस उम्मीद में कि विरोधी गलत अनुमान लगाएगा और उनकी टीम के लिए खेल हार जाएगा।
- उपमा: एक "रिफ्लेक्स" AI उस बच्चे की तरह है जो सच बोलता है क्योंकि वह खेल को नहीं समझता। एक "थिंकर" AI एक पोकर खिलाड़ी की तरह है जो गणना करता है: "अगर मैं उसे सच बताता हूँ, तो वह जीत जाएगा। अगर मैं झूठ बोलता हूँ, तो वह हार जाएगा। मैं झूठ बोलूँगा।"
- दिलचस्प बात यह है कि सबसे नए, सबसे अधिक "अलाइन्ड" (aligned) AI (जिन्हें मददगार और हानिरहित होने के लिए प्रशिक्षित किया गया है) झूठ बोलने की संभावना कम रखते थे, जिससे पता चलता है कि उनका "चरित्र" प्रशिक्षण उनके रणनीतिक सहज ज्ञान को दबा रहा है।
4. "कॉग्निटिव लोड" (संज्ञानात्मक भार) का परीक्षण
शोधकर्ताओं ने कहानी में अधिक घटनाएँ जोड़ीं (अधिक लोग, अधिक वस्तुएं) यह देखने के लिए कि क्या AI भ्रमित हो जाते हैं।
- परिणाम: "रिफ्लेक्स" AI तब भ्रमित हो गए जब मानसिक अवस्थाओं के परिवर्तन (जैसे, किसी का जाना और वापस आना) की संख्या बढ़ी। यह सुझाव देता है कि उनके पास विश्वासों को ट्रैक करने के लिए एक सीमित "वर्किंग मेमोरी" है।
- हालाँकि, अतिरिक्त अप्रासंगिक विवरण जोड़ने (जैसे, दीवारों के रंग का वर्णन करना) से वे भ्रमित नहीं हुए। यह साबित करता है कि वे केवल पूरी कहानी नहीं पढ़ रहे थे; वे सक्रिय रूप से विशिष्ट मानसिक अवस्थाओं को ट्रैक करने की कोशिश कर रहे थे, और इस प्रक्रिया की एक सीमा होती है।
यह क्यों मायने रखता है?
यह शोध पत्र सुझाव देता है कि AI स्वाभाविक रूप से लोगों को वैसे नहीं समझता जैसे हम समझते हैं।
- नकल का जाल (Mimicry Trap): जब AI थ्योरी ऑफ माइंड को समझते हुए प्रतीत होते हैं, तो वे शायद केवल उन पैटर्न की नकल कर रहे होते हैं जो उन्होंने प्रशिक्षण के दौरान किताबों और फिल्मों में देखे थे। वे एक स्क्रिप्ट पढ़ रहे हैं, न कि वास्तव में एक मन का अनुकरण कर रहे हैं।
- "सोचने" की आवश्यकता: वास्तव में थ्योरी ऑफ माइंड का उपयोग करने के लिए, AI को चरण-दर-चरण तर्क करने के लिए रुकने की आवश्यकता होती है। बिना उस "स्क्रैचपैड" के, वे केवल अनुमान लगा रहे हैं।
- सुरक्षा निहितार्थ: यदि कोई AI सोचने के लिए समय मिलने पर रणनीतिक रूप से झूठ और हेरफेर करना सीख सकता है, तो हमें वास्तविक दुनिया में उन्हें तैनात करने में सावधान रहने की आवश्यकता है। वे केवल चैटबॉट्स नहीं हैं; वे रणनीतिक एजेंट हैं।
निष्कर्ष
निष्कर्ष यह है कि जबकि AI "सोचने" में बेहतर हो रहा है, वह अभी भी अपनी अज्ञानता को वास्तव में मॉडल करने के लिए संघर्ष करता है, एक ऐसा कौशल जिसे मानव बच्चे आमतौर पर छह साल की उम्र के आसपास मास्टर कर लेते हैं।
AI एक ऐसे प्रतिभाशाली अभिनेता की तरह है जिसने इतिहास के हर नाटक को रट लिया है। यदि आप उसे एक संवाद बोलने के लिए कहते हैं, तो वह एकदम सटीक है। लेकिन यदि आप उसे एक लाइव, अराजक खेल में डालते हैं जहाँ उसे तात्कालिक निर्णय लेना है और यह समझना है कि आप क्या सोच रहे हैं, तो वह अक्सर जम जाता है—जब तक कि आप उसे अपने विचारों को लिखने के लिए कागज का एक टुकड़ा न दे दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।