Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting

यहाँ गेटचेव और सापरोव के शोध पत्र "Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) ने तर्क संबंधी कार्यों (गणित, कोडिंग, तर्क) में महत्वपूर्ण सुधार दिखाया है, लेकिन थ्योरी ऑफ माइंड (ToM)—दूसरों की मानसिक अवस्थाओं, विश्वासों और दृष्टिकोणों को समझने की क्षमता—के बारे में उनकी तर्क करने की क्षमता अनिश्चित बनी हुई है।

• डेटा संदूषण (Data Contamination): मौजूदा ToM बेंचमार्क (जैसे, Sally-Anne टेस्ट, TOMI) आधुनिक LLMs के प्रीट्रेनिंग डेटा में मौजूद होने की संभावना है। फलस्वरूप, मॉडल वास्तविक तर्क करने के बजाय उत्तरों को "याद" (memorizing) कर रहे हैं, जिससे प्रदर्शन के आंकड़े बढ़े हुए दिखाई देते हैं।
• नियंत्रण का अभाव (Lack of Control): पूर्ववर्ती सिंथेटिक बेंचमार्क अक्सर कहानियों को उत्पन्न करने के लिए स्वयं LLMs पर निर्भर करते हैं, जो असंगति पैदा करता है और विशिष्ट चरों (जैसे, चरित्र का दृष्टिकोण बनाम घटना का समय) को अलग करना कठिन बनाता है।
• अंतराल (The Gap): एक ऐसे मजबूत, संदूषण-मुक्त ढांचे की आवश्यकता है जो यह मूल्यांकन कर सके कि क्या LLMs वास्तव में मानसिक अवस्थाओं का मॉडल बना सकते हैं या वे केवल ह्यूरिस्टिक्स (जैसे, हालिया पूर्वाग्रह/recency bias) और याददाश्त पर निर्भर हैं।

2. कार्यप्रणाली: स्टोरीसिम ढांचा (Methodology: The StorySim Framework)

लेखक StorySim पेश करते हैं, जो एक प्रोग्रामेबल, सिंथेटिक ढांचा है जिसे ToM और वर्ल्ड मॉडलिंग (WM) क्षमताओं के मूल्यांकन के लिए नई कहानियाँ उत्पन्न करने के लिए डिज़ाइन किया गया है।

मुख्य घटक (Core Components)

• द स्टोरीबोर्ड (THE STORYBOARD): एक उच्च-स्तरीय, प्रतीकात्मक विनिर्देश (specification) जिसे $D = (C, \phi, G, E, n)$ के रूप में परिभाषित किया गया है, जहाँ:
  • $C$: पात्रों (characters) का सेट।
  • $G$: स्थानों और उनके जुड़ाव को दर्शाने वाला एक निर्देशित ग्राफ (directed graph)।
  • $E$: नियतात्मक (deterministic), टाइमस्टैम्प वाले प्रमुख घटनाओं का एक सेट (जैसे, "पात्र A $t=5$ पर कमरा 2 में जाता है")।
  • $n$: घटनाओं की कुल संख्या।
  • $\phi$: क्रिया प्रकार (जैसे, enter, move)।
• उत्पत्ति प्रक्रिया (Generation Process):
  1. प्रतीकात्मक पीढ़ी (Symbolic Generation): StorySim ऐसी घटनाओं का क्रम उत्पन्न करता है जो STORYBOARD के प्रतिबंधों का कड़ाई से पालन करता है। यह गैर-नियतात्मक विवरणों को यादृच्छिक रूप से भरता है जबकि तार्किक निरंतरता सुनिश्चित करता है (जैसे, पात्र केवल आसन्न स्थानों पर ही जा सकते हैं)।
  2. अनुवाद (Translation): घटनाओं को टेम्पलेट्स का उपयोग करके प्राकृतिक भाषा में परिवर्तित किया जाता है।
  3. पैराफ्रेसिंग (Paraphrasing - वैकल्पिक): भाषाई स्वाभाविकता बढ़ाने के लिए कहानियों को एक LLM (GPT-4o-mini) द्वारा पैराफ्रेस किया जा सकता है, हालांकि मूल तर्क प्रतीकात्मक स्टोरीबोर्ड पर ही आधारित रहता है।
• नवीनता (Novelty): क्योंकि कहानियाँ विशिष्ट बाधाओं के साथ एल्गोरिदम द्वारा उत्पन्न की जाती हैं और उनमें यादृच्छिक भिन्नता होती है, इसलिए किसी भी उत्पन्न कहानी के प्रीट्रेनिंग डेटा में आने की संभावना "अत्यंत कम" है।

प्रयोगात्मक डिजाइन (Experimental Design)

लेखकों ने विभिन्न संज्ञानात्मक क्षमताओं को अलग करने के लिए तीन विशिष्ट प्रॉम्प्ट प्रकार डिज़ाइन किए हैं:

1. ToM प्रॉम्प्ट: किसी अन्य के स्थान के संबंध में एक पात्र के विश्वास के बारे में पूछता है (जैसे, "बॉब को लगता है कि एलिस कहाँ है?")। यह वास्तविकता से भिन्न दृष्टिकोण को मॉडल करने की क्षमता का परीक्षण करता है।
2. WM-Human प्रॉम्प्ट: देखे गए आयोजनों के आधार पर एक पात्र के वस्तुनिष्ठ स्थान के बारे में पूछता है (जैसे, "जब बॉब कमरे में था तब एलिस कहाँ गई थी?")। यह दृष्टिकोण लेने की आवश्यकता के बिना वर्ल्ड मॉडलिंग (WM) का परीक्षण करता है।
3. WM-Inanimate प्रॉम्प्ट: समान WM-Human जैसा ही है, लेकिन इसमें बाहरी बलों द्वारा हिलाए जाने वाले निर्जीव वस्तुओं का उपयोग किया जाता है। यह परीक्षण करता है कि क्या मॉडल का तर्क "सजीव" एजेंटों की प्रकृति के प्रति संवेदनशील है।

हेरफेर किए गए मुख्य चर (Key Variables Manipulated):

• मिस्लीड डिस्टेंस (Mislead Distance): वह समय अंतराल जब किसी पात्र ($S1$) ने दूसरे ($T$) को चलते हुए आखिरी बार देखा था और $T$ का अंतिम स्थान। यह हालिया पूर्वाग्रह (recency bias) का परीक्षण करता है (अंतिम देखे गए स्थान के बजाय सबसे हालिया स्थान की भविष्यवाणी करना)।
• ToM का क्रम (Order of ToM): प्रथम-क्रम (A सोचता है कि B X पर है) बनाम द्वितीय-क्रम (A सोचता है कि B सोचता है कि C X पर है)।
• पात्रों की संख्या (Character Count): सरल, परिचित कहानी संरचनाओं से परे सामान्यीकरण का परीक्षण करने के लिए पात्रों की संख्या को बदलना।

3. मुख्य योगदान (Key Contributions)

1. StorySim ढांचा: एक पूर्णतः नियंत्रणीय, सिंथेटिक बेंचमार्क जो डेटा संदूषण के जोखिमों को समाप्त करता है और कथा चरों (दृष्टिकोण, समय, ग्राफ संरचना) के सटीक हेरफेर की अनुमति देता है।
2. ToM और WM का पृथक्करण: अध्ययन ToM को सामान्य वर्ल्ड मॉडलिंग (WM) से स्वतंत्र रूप से मूल्यांकन करने का एक तरीका प्रदान करता है, जिससे पता चलता है कि मॉडल भौतिक घटनाओं (WM) को ट्रैक करने में तो उत्कृष्ट हैं लेकिन मानसिक अवस्थाओं (ToM) को ट्रैक करने में विफल रहते हैं।
3. ह्यूरिस्टिक की पहचान: ढांचे ने विशिष्ट विफलता मोड की सफलतापूर्वक पहचान की, जैसे कि "प्रथम सामान्य स्थान ह्यूरिस्टिक" (पात्रों के वर्तमान स्थान के बजाय उस स्थान की भविष्यवाणी करना जहाँ वे पहली बार मिले थे) और हालिया पूर्वाग्रह (Recency Bias)।
4. व्यापक बेंचमार्किंग: शोध पत्र ज़ीरो-शॉट और फ्यू-शॉट सेटिंग्स में मॉडल्स के एक विस्तृत समूह (GPT-4, GPT-5.4, Llama 3.1/3.2/3.3, R1, Qwen) का मूल्यांकन करता है।

4. मुख्य परिणाम (Key Results)

• ToM बनाम WM विसंगति: अधिकांश मॉडल्स ने वर्ल्ड मॉडलिंग (WM) कार्यों पर थ्योरी ऑफ माइंड (ToM) कार्यों की तुलना में उच्च सटीकता प्राप्त की। यह सुझाव देता है कि LLMs भौतिक अवस्थाओं को ट्रैक करने में बेहतर हैं, लेकिन दूसरों के व्यक्तिपरक दृष्टिकोणों को सिम्युलेट करने में संघर्ष करते हैं।
• "मानवीय" प्रभाव (The "Human" Effect): मॉडल्स ने निर्जीव वस्तुओं की तुलना में मानव विषयों वाले WM कार्यों पर काफी बेहतर प्रदर्शन किया, जिससे पता चलता है कि "एजेंटों" की उपस्थिति अलग और अधिक सटीक तर्क पथों को सक्रिय करती है।
• मॉडल आकार सहसंबंध (Model Size Correlation):
  • Llama 3.1 परिवार में, मॉडल आकार (पैरामीटर्स) और ToM प्रदर्शन के बीच एक स्पष्ट सकारात्मक सहसंबंध था।
  • DeepSeek R1 ने उच्चतम समग्र ToM सटीकता और ToM एवं WM के बीच सबसे छोटा अंतर दिखाया।
  • GPT-5.4 WM में उत्कृष्ट था लेकिन ToM में संघर्ष करता रहा, जो यह दर्शाता है कि कच्ची तर्क शक्ति स्वचालित रूप से सामाजिक तर्क के बराबर नहीं होती है।
• Sally-Anne टेस्ट विफलता: मानक Sally-Anne सेटअप पर परीक्षण करने पर, मॉडल्स ने 100% सटीकता प्राप्त की। हालाँकि, उसी लंबाई की यादृच्छिक रूप से उत्पन्न कहानियों पर परीक्षण करने पर, सटीकता काफी गिर गई (जैसे, ~75-87%), जो पुष्टि करता है कि क्लासिक टेस्ट डेटा संदूषण के कारण वास्तविक ToM का एक खराब माप है।
• ह्यूरिस्टिक पर निर्भरता:
  • हालिया पूर्वाग्रह (Recency Bias): अध्ययन में इस बात का कोई महत्वपूर्ण प्रमाण नहीं मिला कि मॉडल हालिया पूर्वाग्रह (अंतिम ज्ञात स्थान की भविष्यवाणी करना) को प्राथमिक विफलता मोड के रूप में उपयोग करते हैं; प्रदर्शन "मिस्लीड डिस्टेंस" के विभिन्न स्तरों के बावजूद स्थिर रहा।
  • प्रथम सामान्य स्थान ह्यूरिस्टिक (First Common Location Heuristic): एक प्रमुख त्रुटि पैटर्न पात्रों के वास्तविक आंदोलनों को ट्रैक करने के बजाय उस स्थान की भविष्यवाणी करना था जहाँ वे पहली बार मिले थे।
  • कॉन्टेक्स्ट लेंथ (Context Length) की समस्याएँ: तर्क-प्रधान मॉडल्स (जैसे R1) अक्सर लंबी 'चेन ऑफ थॉट' उत्पन्न करते समय अपर्याप्त कॉन्टेक्स्ट लेंथ के कारण विफल हो जाते, जिससे "प्रॉम्प्ट रिफ्यूज़ल" या भ्रमित त्रुटियाँ (hallucinated errors) उत्पन्न होती थीं।
• जटिलता (Complexity): कहानी में पात्रों की संख्या बढ़ाने से शीर्ष-स्तरीय मॉडल्स के ToM प्रदर्शन में कोई महत्वपूर्ण गिरावट नहीं आई, जो जटिल सामाजिक ग्राफ को संभालने में उनकी मजबूती को दर्शाता है।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

• बेंचमार्क को फिर से परिभाषित करना: यह शोध पत्र तर्क देता है कि क्षेत्र को वास्तविक LLM क्षमताओं का आकलन करने के लिए स्थिर, संभावित रूप से संदूषित डेटासेट (जैसे Sally-Anne) से हटकर StorySim जैसे गतिशील, सिंथेटिक बेंचमार्क की ओर बढ़ना चाहिए।
• सुरक्षा निहितार्थ: ToM की कमी एक गंभीर सुरक्षा चिंता है। यदि एक LLM यह नहीं समझ सकता कि उपयोगकर्ता का एक अलग दृष्टिकोण या छिपा हुआ इरादा है, तो वह हानिकारक परिदृश्यों का पता लगाने या उपयोगकर्ताओं को हेरफेर करने में विफल हो सकता है।
• भविष्य की दिशाएँ: लेखक जटिल परिदृश्यों, जिनमें काउंटरफैक्चुअल रीजनिंग (counterfactual reasoning), लक्ष्य आरोपण (goal attribution), और प्राथमिकता मॉडलिंग (preference modeling) शामिल हैं, को खोजने के लिए StorySim का उपयोग करने का सुझाव देते हैं। वे जटिल ToM कार्यों के लिए आवश्यक गहरी तर्क श्रृंखलाओं का समर्थन करने हेतु मॉडल के कॉन्टेक्स्ट हैंडलिंग में सुधार की आवश्यकता पर भी प्रकाश डालते हैं।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि यद्यपि LLMs में सुधार हो रहा है, वे अभी भी थ्योरी ऑफ माइंड के लिए आवश्यक विशिष्ट संज्ञानात्मक छलांग लगाने में संघर्ष करते हैं, और अक्सर ह्यूरिस्टिक्स पर निर्भर रहते हैं या वस्तुनिष्ठ विश्व अवस्थाओं और व्यक्तिपरक विश्वासों के बीच अंतर करने में विफल रहते हैं। StorySim इन क्षमताओं को कठोरता से मापने और सुधारने के लिए आवश्यक उपकरण प्रदान करता है।