Theory of Mind and Persuasion Beyond Conversation: Assessing the Capacity of LLMs to Induce Belief States via Planning and Action
यह शोध पत्र नॉन-कन्वर्सेशनल प्लानिंग थ्योरी ऑफ माइंड (NCP-ToM) फ्रेमवर्क प्रस्तुत करता है ताकि यह मूल्यांकन किया जा सके कि बड़े भाषा मॉडल (LLMs) बातचीत के बजाय कार्यों के माध्यम से विशिष्ट विश्वास अवस्थाओं (belief states) को प्रेरित करने में कितने सक्षम हैं, जिसमें यह पाया गया कि हालांकि GPT-5 इन कार्यों में सफलता दर के मामले में मनुष्यों से बेहतर प्रदर्शन करता है, फिर भी यह संदर्भों के प्रति कम सुदृढ़ बना हुआ है और मनुष्यों की तरह ही, यह सत्य विश्वासों की तुलना में मिथ्या विश्वासों को प्रेरित करने में अधिक संघर्ष करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: "साइलेंट पपेट मास्टर" (मूक कठपुतली संचालक) परीक्षण
कल्पना कीजिए कि आप शतरंज का खेल खेल रहे हैं, लेकिन आपका लक्ष्य राजा को मात देने के लिए मोहरे चलाना नहीं है, बल्कि आपका लक्ष्य अपने प्रतिद्वंद्वी को वह विश्वास दिलाना है जो सच नहीं है, या उन्हें वह बात जानना है जो सच है, वह भी बिना एक शब्द बोले। आप उनसे बात नहीं कर सकते; आप केवल बोर्ड पर वस्तुओं को इधर-उधर रख सकते हैं या चीज़ों को बक्सों में छिपा सकते हैं।
यह शोध पत्र AI (लार्ज लैंग्वेज मॉडल्स या LLMs) को टेस्ट करने का एक नया तरीका पेश करता है जिसे NCP-ToM (नॉन-कन्वर्सेशनल प्लानिंग थ्योरी ऑफ माइंड) कहा जाता है।
- थ्योरी ऑफ माइंड (ToM): यह मनुष्यों की वह क्षमता है जिससे वे समझ पाते हैं कि दूसरे लोग क्या सोच रहे हैं या क्या मान रहे हैं।
- नॉन-कन्वर्सेशनल (गैर-संवादात्मक): AI को चैट करने, समझाने या किसी को मनाने की अनुमति नहीं है। इसे दूसरों के विश्वास को बदलने के लिए कार्यों (actions) का उपयोग करना होगा।
शोधकर्ता यह देखना चाहते थे कि क्या AI एजेंट एक "मूक कठपुतली संचालक" की तरह काम कर सकते हैं, यानी चीजों को इस तरह व्यवस्थित कर सकते हैं कि अन्य पात्रों के मन में विशिष्ट विश्वास पैदा हो जाएं, सिर्फ चीजों को इधर-उधर रखकर।
सेटअप: "हाइड एंड सीक" (लुका-छिपी) का एक डिजिटल खेल
इसे टेस्ट करने के लिए, शोधकर्ताओं ने एक क्लासिक मनोवैज्ञानिक परीक्षण पर आधारित एक डिजिटल प्लेग्राउंड बनाया जिसे सली-ऐनी (Sally-Anne) टेस्ट कहा जाता है।
- क्लासिक टेस्ट: मूल संस्करण में, आप एक वीडियो देखते हैं जहाँ सली एक टोकरी में मार्बल रखती है और चली जाती है। ऐनी उस मार्बल को एक बॉक्स में रख देती है। आपसे पूछा जाता है, "सली को क्या लगता है कि मार्बल कहाँ है?" (इसका उत्तर टोकरी है, क्योंकि उसने बदलाव नहीं देखा था)। यह एक प्रश्न और उत्तर (Question & Answer) वाला टेस्ट है। आप बस देखते हैं और अनुमान लगाते हैं।
- नया टेस्ट (NCP-ExploreToM): इस पेपर में, AI केवल देख नहीं रहा है; वह खेल के अंदर है। AI को एक लक्ष्य दिया जाता है, जैसे: "सली को यह विश्वास दिलाओ कि मार्बल टोकरी में है, भले ही वह वास्तव में बॉक्स में हो।"
- AI का काम: AI को यह हासिल करने के लिए चरणों (steps) को समझना होगा। उसे शायद ये करना पड़े:
- सली को कमरे से बाहर ले जाना।
- मार्बल को बॉक्स में रखना।
- सली को कमरे से बाहर रखना ताकि वह बदलाव न देख सके।
- सली को वापस अंदर लाना।
यदि AI इसे सही ढंग से करता है, तो सली का एक "गलत विश्वास" (false belief) होगा (उसे लगेगा कि वह टोकरी में है)। यदि AI विफल रहता है, तो सकी बदलाव देख सकती है और उसे सच पता चल जाएगा।
यह खेल किसने खेला?
शोधकर्ताओं ने निम्नलिखित का परीक्षण किया:
- छह शीर्ष-स्तरीय AI मॉडल: जिनमें GPT-5, Gemini 2.5 Pro और Claude के विभिन्न संस्करण शामिल हैं।
- 40 मानव प्रतिभागी: असली लोग जो कंप्यूटर पर वही खेल खेल रहे थे।
उन्होंने अलग-अलग कठिनाई स्तरों, अलग-अलग कमरों (जैसे अस्पताल, होटल, या शादी का स्थान) और अलग-अलग प्रकार के लक्ष्यों (किसी को सच विश्वास दिलाना बनाम किसी को गलत विश्वास दिलाना) के साथ 600 अलग-अलग परिदृश्य (scenarios) चलाए।
परिणाम: स्कोरबोर्ड
यहाँ बताया गया है कि जब उन्होंने खिलाड़ियों की तुलना की तो क्या हुआ:
1. "गलत विश्वास" (False Belief) की चुनौती कठिन है
इंसानों की तरह ही, AI मॉडल्स के लिए किसी को गलत विश्वास दिलाने (उन्हें वह सोचने पर मजबूर करना जो सच नहीं है) में बहुत कठिनाई हुई, बजाय इसके कि वे किसी को सही विश्वास (उन्हें सच जानना कराने) में मदद करें।
- उदाहरण: किसी को बिल्ली की तस्वीर दिखाना ताकि उन्हें पता चले कि वहाँ बिल्ली है (सही विश्वास), बजाय इसके कि बिल्ली को छिपा दिया जाए और उन्हें लगे कि वह कुत्ता है (गलत विश्वास)।
- यह क्यों महत्वपूर्ण है: पेपर नोट करता है कि यह एक "सकारात्मक संकेत" है। यह सुझाव देता है कि AI मददगार कार्यों (सिखाने, सहायता करने) में धोखेबाज कार्यों (धोखा देने) की तुलना में बेहतर हो सकता है।
2. "GPT-5" का सरप्राइज
सबसे नया मॉडल, GPT-5, सुपरस्टार था।
- इसने लगभग 80% कार्यों को हल किया।
- यह एकमात्र मॉडल था जिसने वास्तव में मानव प्रतिभागियों से बेहतर प्रदर्शन किया।
- हालाँकि, इंसान अधिक सुसंगत (consistent) थे। सेटिंग (जैसे, सरकारी इमारत बनाम शादी का माहौल) के आधार पर AI का प्रदर्शन काफी गिर गया। इंसान हर सेटिंग में स्थिर रहे।
3. "प्लानिंग" का अंतर
शोधकर्ताओं ने दो तरीकों से AI का परीक्षण किया:
- "क्विज़" (Q&A): "यहाँ एक कहानी है। सली क्या सोचती है?"
- "एक्शन" (Agentic): "यहाँ एक लक्ष्य है। इसे पूरा करो।"
आमतौर पर, लोग मानते हैं कि "एक्शन" वाला टेस्ट "क्विज़" से बहुत कठिन होता है। अधिकांश AI मॉडल्स के लिए, यह सच था। लेकिन GPT-5 के लिए, यह अंतर समाप्त हो गया। इसने "एक्शन" टेस्ट पर लगभग उतना ही अच्छा प्रदर्शन किया जितना कि "क्विज़" पर। यह सुझाव देता है कि सबसे स्मार्ट मॉडल्स के लिए, वास्तव में योजना बनाना (planning) उतना ही आसान होता जा रहा है जितना कि उसके बारे में बात करना।
4. जटिलता प्रदर्शन को खत्म कर देती है
जैसे-जैसे कार्य अधिक जटिल होते गए (जैसे एक साथ कई लोगों के विश्वासों को ट्रैक करना, या तीन अलग-अलग लोगों को तीन अलग-अलग चीजें विश्वास दिलाना), सभी का स्कोर नीचे गिर गया। यह अधिक गेंदों को उछालने (juggling) जैसा है; अंततः, आप एक गिरा देते हैं।
इसका क्या अर्थ है? (पेपर के अनुसार)
पेपर कुछ मुख्य निष्कर्षों के साथ समाप्त होता है, जो पूरी तरह से उनके द्वारा पाए गए तथ्यों पर आधारित हैं:
- AI "मूक अनुनय" (Silent Persuasion) में अच्छा हो रहा है: आधुनिक AI बिना एक शब्द बोले, भौतिक क्रियाओं के क्रम की योजना बना सकता है ताकि अन्य पात्रों के विश्वास को बदला जा सके।
- सुरक्षा जाँच (Safety Check): तथ्य यह है कि AI "गलत विश्वास" (धोखा देने) के साथ "सही विश्वास" (सच बताने) की तुलना में संघर्ष करता है, यह सुरक्षा के लिए अच्छी खबर है। यह सुझाव देता है कि वे स्वाभाविक रूप से क्रिया के माध्यम से झूठ बोलने या हेरफेर करने के प्रति झुके हुए नहीं हैं, हालांकि वे ऐसा करने के लिए कहे जाने पर कर सकते हैं।
- "संदर्भ" (Context) की समस्या: AI अभी भी थोड़ा नाजुक है। यदि आप कहानी को "अस्पताल" से बदलकर "शादी" कर देते हैं, तो AI भ्रमित हो सकता है। इंसान इन बदलावों से भ्रमित नहीं होते।
- "क्विज़" का जाल: हम यह मानकर नहीं चल सकते कि यदि कोई AI किसी कहानी के बारे में सवालों के जवाब देने में अच्छा है, तो वह उस कहानी को निभाने (act करने) में भी अच्छा होगा। सबसे अच्छे मॉडल्स के लिए, पुराना नियम कि "क्विज़, एक्शन से आसान होते हैं" अब लागू नहीं होता है।
निचोड़ (Bottom Line)
यह पेपर दिखाता है कि AI एक "चैटबॉट" से विकसित होकर एक "एजेंट" बन रहा है जो वास्तविकता को आकार देने के लिए योजना बना सकता है और कार्य कर सकता है। जबकि सबसे स्मार्ट AI वर्तमान में इन विशिष्ट तर्क पहेलियों में मनुष्यों से बेहतर प्रदर्शन कर सकता है, इसमें अभी भी वास्तविक दुनिया की विभिन्न स्थितियों में सुसंगत रहने की मानवीय क्षमता की कमी है। शोधकर्ता चेतावनी देते हैं कि भले ही यह मददगार सहायकों के लिए एक शानदार क्षमता है, लेकिन इसका मतलब यह भी है कि हमें AI सुरक्षा के मूल्यांकन के तरीके के प्रति सावधान रहना होगा, क्योंकि पुराने परीक्षण (केवल प्रश्न पूछना) अब पर्याप्त नहीं हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।