Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points
यह शोध पत्र एपिस्टेमिक एसिमेट्री शेलिंग टास्क (EAST) को प्रस्तुत करता है, जो एक नवीन संवाद-आधारित बेंचमार्क है जो लार्ज लैंग्वेज मॉडल्स की कार्यात्मक थ्योरी ऑफ माइंड और एपिस्टेमिक ट्रैकिंग क्षमताओं में महत्वपूर्ण अंतराल को प्रकट करता है, यह प्रदर्शित करते हुए कि पारंपरिक स्थिर परीक्षणों पर उच्च प्रदर्शन के बावजूद भी फ्रंटियर मॉडल्स गतिशील सामाजिक समन्वय में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप और आपका एक दोस्त टेक्स्ट मैसेज के माध्यम से "सीक्रेट वर्ड" (गुप्त शब्द) का एक हाई-स्टेक्स खेल खेल रहे हैं। आप दोनों को आपस में बात नहीं करनी है, लेकिन आप दोनों को चार शब्दों की एक सूची में से बिल्कुल एक ही शब्द चुनना होगा ताकि आप जीत सकें। ट्विस्ट यह है कि आप दोनों के पास गुप्त "पर्सोना" (जैसे कि एक दर्जी या एक सर्जन) हैं, और आपको यह अनुमान लगाना है कि दूसरा व्यक्ति आपके बारे में जो जानता है, उसके आधार पर वह कौन सा शब्द चुनेगा।
यह सेटअप गूगल के शोधकर्ताओं द्वारा किए गए एक नए अध्ययन का है, जो चाहते थे कि यह देख सकें कि क्या लार्ज लैंग्वेज मॉडेल्स (LLMs) - जो चैटबॉट्स के पीछे के सुपर-स्मार्ट AI दिमाग हैं - वास्तव में यह "सोच" सकते हैं कि दूसरे लोग क्या सोच रहे हैं। इसे "थ्योरी ऑफ माइंड" (Theory of Mind) कहा जाता है।
पुराना तरीका: "सली-ऐन" ट्रैप (The "Sally-Anne" Trap)
लंबे समय से, वैज्ञानिक "सली-ऐन टास्क" नामक एक क्लासिक पहेली का उपयोग करके AI का थ्योरी ऑफ माइंड पर परीक्षण करते आए हैं। यह एक कहानी वाली क्विज़ जैसा है: "सली एक गेंद को एक बॉक्स में रखती है और चली जाती है। ऐन उसे एक टोकरी में रख देती है। सली कहाँ देखेगी?"
शोधकर्ताओं का तर्क है कि यह पुराना तरीका एक वीडियो गेम बॉस की तरह है जिसे खिलाड़ियों ने याद कर लिया है। क्योंकि AI मॉडल इंटरनेट से प्राप्त विशाल मात्रा में टेक्स्ट पर प्रशिक्षित होते हैं, इसलिए उन्होंने संभवतः इस सटीक पहेली को लाखों बार देखा होगा। वे केवल कहानी के पैटर्न के आधार पर उत्तर का अनुमान लगा सकते हैं, न कि इसलिए कि वे वास्तव में समझते हैं कि सली का दृष्टिकोण ऐन से अलग है। यह एक तोते के समान है जो फिल्म में सुनी गई एक वाक्यांश को दोहराता है; वह स्मार्ट लगता है, लेकिन वह नहीं जानता कि उन शब्दों का अर्थ क्या है।
नया खेल: EAST (द "माइंड-रीडिंग" कोऑर्डिनेशन गेम)
इसे ठीक करने के लिए, टीम ने EAST (एपिस्टेमिक एसिमेट्री शेलिंग टास्क) नामक एक नया खेल बनाया। एक कहानी वाली क्विज़ के बजाय, यह एक लाइव समन्वय चुनौती है।
यह इस प्रकार काम करता है:
- सेटअप: दो AI एजेंटों को जोड़ा जाता है। प्रत्येक को एक गुप्त काम (जैसे "बेस्पोक टेलर" या "जनरल सर्जन") दिया जाता है।
- सूची: उन्हें चार शब्द दिखाए जाते हैं। दो शब्द उनके अपने कामों के विशिष्ट होते हैं (जैसे दर्जी के लिए "फैब्रिक" या सर्जन के लिए "स्कैल्पल")। एक शब्द दोनों का मिश्रण होता है (जैसे "स्टिचिंग/टांके")। एक शब्द रैंडम होता है (जैसे "साइकिल")।
- लक्ष्य: उन्हें बिना बात किए एक ही शब्द चुनना है।
- ट्विस्ट: खेल "कौन क्या जानता है" के नियमों को बदल देता है।
- सिमेट्रिक (Symmetric): दोनों एक-दूसरे के काम को जानते हैं।
- एसिमेट्रिक (Asymmetric): एक व्यक्ति दूसरे के काम को जानता है, लेकिन दूसरा व्यक्ति पहले वाले के काम को नहीं जानता।
- जीरो नॉलेज (Zero Knowledge): न तो कोई एक-दूसरे के काम को जानता है।
जीतने के लिए, AI को कुछ ट्रिकी करना होता है: उसे अपने स्वयं के "पसंदीदा" शब्द को दबाना होगा और यह अनुमान लगाना होगा कि दूसरा व्यक्ति क्या सोच रहा है, यह ध्यान में रखते हुए कि उस व्यक्ति को AI के बारेм क्या पता है (या क्या नहीं पता)।
इस खेल ने क्या खुलासा किया
जब शोधकर्ताओं ने 14 अलग-अलग AI मॉडलों (1-बिलियन पैरामीटर वाले छोटे मॉडल से लेकर विशाल, अत्याधुनिक "फ्रंटियर" मॉडलों तक) के साथ यह खेल चलाया, तो परिणाम काफी वास्तविकता का अहसास कराने वाले थे।
1. "बड़े" मॉडल ही इसे समझ पाए
केवल सबसे बड़े, सबसे उन्नत मॉडल (जैसे जेमिनी 3.1 प्रो) ही लगातार जीतने में सफल रहे। वे जटिल "एसिमेट्रिक" और "जीरो नॉलेज" राउंड को सफलतापूर्वक नेविगेट कर सके। छोटे, कम शक्तिशाली मॉडल? वे ज्यादातर विफल रहे। उन्होंने इसे एक साधारण शब्द जुड़ाव परीक्षण (word association test) की तरह माना, अपना काम-संबंधित शब्द चुना और बस उम्मीद की।
2. "माइंड-रीडिंग" ग्लिच
शोधकर्ताओं ने AI के "दिमाग" (इसके रीजनिंग स्टेप्स) के अंदर झाँका कि वह क्यों विफल हुआ। उन्होंने एक विशिष्ट प्रकार की त्रुटि पाई: एपिस्टेमिक ट्रैकिंग एरर (Epistemic Tracking Errors)।
कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि आपका दोस्त दोपहर के भोजन में क्या खाएगा। आप जानते हैं कि उसे पिज्जा पसंद है। लेकिन आप यह भी जानते हैं कि उसे यह नहीं पता कि आपको पिज्जा पसंद है। यदि आप "पिज्जा" इसलिए चुनते हैं क्योंकि आपको वह पसंद है, तो आपने गलती की है। आप भूल गए कि आपके दोस्त को आपकी पसंद का पता नहीं है।
AI मॉडलों ने बिल्कुल यही किया। वे अक्सर अपने निजी ज्ञान को दूसरे खिलाड़ी के ज्ञान के साथ भ्रमित कर देते थे।
- एसिमेट्रिक राउंड में, वह AI जिसने दूसरे खिलाड़ी के काम को जाना था, यह समझने में विफल रहा कि दूसरा खिलाड़ी उसके अपने काम के प्रति "अंधा" था। उसने अपने गुप्त पहचान के आधार पर एक शब्द चुना, यह सोचकर कि दूसरा खिलाड़ी भी उसका अनुमान लगा लेगा।
- जीरो नॉलेज राउंड में, मॉडल "शून्य" को संभालने में असमर्थ थे। वे एक ऐसी दुनिया की कल्पना नहीं कर सके जहाँ उनमें से किसी को भी कोई सुराग नहीं था, इसलिए उन्होंने बस अपना पसंदीदा शब्द उठा लिया।
3. "सोचकर बताना" वाला तरीका (The "Thinking Aloud" Trick)
शोधकर्ताओं ने AI की मदद करने के लिए उसे "चरण-दर-चरण सोचने" (जिसे चेन-ऑफ-थॉट कहा जाता है) के लिए कहकर प्रयास किया। सबसे स्मार्ट मॉडलों के लिए, इससे उन्हें रैंडम अनुमान लगाने के बजाय वास्तविक तर्क का उपयोग करने में मदद मिली। लेकिन कमजोर मॉडलों के लिए, केवल सोचने के लिए कहने से समस्या हल नहीं हुई; वे अभी भी इस बात पर भ्रमित रहे कि किसे क्या पता है।
मुख्य निष्कर्ष
यह पेपर सुझाव देता है कि जबकि AI मॉडल प्रश्नों के उत्तर देने में बहुत अच्छे हो रहे हैं, वे अभी भी मजबूत सामाजिक तर्क (robust social reasoning) के लिए संघर्ष कर रहे हैं। वे सामाजिक बातचीत के शब्दों की नकल तो कर सकते हैं, लेकिन वे अक्सर दूसरों की मानसिक स्थिति को ट्रैक करने में विफल रहते हैं, खासकर जब "कौन क्या जानता है" के नियम जटिल हो जाते हैं।
लेखक यह नहीं कह रहे हैं कि AI "टूटा हुआ" है या यह कभी मनुष्यों को नहीं समझ पाएगा। वे कह रहे हैं कि अभी, "मैं क्या जानता हूँ" और "आप क्या जानते हैं" के बीच एक स्पष्ट मानसिक सीमा बनाए रखने की क्षमता एक बड़ी बाधा है। जब तक AI भरोसेमंद तरीके से अपने स्वयं के रहस्यों को दूसरों पर थोपना बंद नहीं कर देता, तब तक यह वास्तविक मानवीय बातचीत की अव्यवस्थित, अप्रत्याशित दुनिया के लिए तैयार नहीं हो सकता है।
संक्षेप में: AI खेल खेलने के लिए पर्याप्त स्मार्ट है, लेकिन वह अभी यह सीखने की कोशिश कर रहा है कि कैसे यह सोचना बंद किया जाए कि पूरी दुनिया उसके अपने दिमाग के अंदर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।