LLMs and their Limited Theory of Mind: Evaluating Mental State Annotations in Situated Dialogue
यह शोध पत्र टीम के संवादों में साझा मानसिक मॉडलों (shared mental models) को एनोटेट करने और विसंगतियों का पता लगाने के लिए लार्ज लैंग्वेज मॉडल्स का उपयोग करने वाले एक दो-चरणीय ढांचे (two-step framework) को प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि LLMs सरल कार्यों पर अच्छा प्रदर्शन करते हैं, वे स्थानिक तर्क (spatial reasoning) या स्वर-लहरी संबंधी अस्पष्टता (prosodic disambiguation) की आवश्यकता वाले परिदृश्यों में व्यवस्थित रूप से विफल हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त के साथ "ब्लाइंडफोल्डेड ट्रेजर हंट" (आंखों पर पट्टी बांधकर खजाना ढूंढने) के एक हाई-स्टेक्स खेल में खेल रहे हैं। आप सर्चर (खोजने वाला) हैं, जो अपनी आंखें खुली रखकर एक वास्तविक इमारत के माध्यम से चल रहे हैं। आपका दोस्त डायरेक्टर (निर्देशक) है, जो एक अलग कमरे में बैठा है जिसके पास एक नक्शा है जो थोड़ा गलत है। वह आपको देख नहीं सकता; वह आपसे केवल फोन पर बात कर सकता है।
सफल होने के लिए, आप दोनों को एक साझा मानसिक मॉडल (Shared Mental Model - SMM) बनाने की आवश्यकता है। यह एक अदृश्य, मानसिक व्हाइटबोर्ड की तरह है जहाँ आप दोनों वह लिखते हैं जो वे जानते हैं: "मैं गलियारे में हूँ," "डिब्बा नीला है," "आप हरे डिब्बे को ढूंढ रहे हैं।" यदि आपके मानसिक व्हाइटबोर्ड मेल नहीं खाते हैं, तो आप खो जाएंगे और टीम हार जाएगी।
यह पेपर एक सरल लेकिन गहरा सवाल पूछता है: क्या एक सुपर-स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल या LLM) आपकी फोन बातचीत को सुनकर आपके मानसिक व्हाइटबोर्ड पर क्या लिखा है, उसे सटीक रूप से ट्रैक करने के लिए एक रेफरी की तरह काम कर सकता है?
प्रयोग: "ब्लाइंड" बनाम "ऑल-सीइंग" (सब कुछ देखने वाला)
शोधकर्ताओं ने इस खेल को खेलने वाले मनुष्यों की पुरानी रिकॉर्डिंग का उपयोग करके एक चतुर परीक्षण तैयार किया। उन्होंने "रेफरी" के तीन समूह बनाए जिन्होंने एक ही बातचीत का विश्लेषण किया:
- नाइव ह्यूमन्स (Naive Humans - अनुभवहीन मनुष्य): सामान्य लोग जिन्होंने केवल ऑडियो सुना। उन्हें केवल बोले गए शब्दों के आधार पर यह अनुमान लगाना था कि सर्चर क्या देख रहा था।
- AI मॉडल्स: तीन अलग-अलग AI (o3-mini, Claude, और Gemma) जिन्होंने भी केवल ऑडियो सुना।
- "गॉड्स आई" व्यू (ग्राउंड ट्रुथ - वास्तविक सत्य): विशेषज्ञों की एक टीम जिसने खेल का वीडियो देखा। वे जानते थे कि हर सेकंड सर्चर कहाँ खड़ा था और वह क्या देख रहा था। यह "सही उत्तर कुंजी" थी।
दो-चरणीय प्रक्रिया
शोधकर्ताओं ने AI का उपयोग दो अलग-अलग भूमिकाओं में किया, जैसे एक लेखक और एक संपादक:
- चरण 1: द राइटर (ट्रेस जनरेशन - लेखक): AI ने बातचीत सुनी और एक "मानसिक मॉडल ट्रेस" लिखने की कोशिश की। उसे अनुमान लगाना था: सर्चर अभी क्या मानता है? उसका लक्ष्य क्या है? उसने क्या वादा किया है?
- चरण 2: द एडिटर (डिस्क्रिपेंसी डिटेक्शन - संपादक): एक अलग AI (जो एक जज के रूप में कार्य करता है) ने "लेखक" के अनुमान की तुलना "गॉड्स आई" वीडियो उत्तर कुंजी से की। इसने गलतियों को गिना।
गलतियाँ: जहाँ AI रास्ता भटक गया
पेपर में पाया गया कि हालांकि AI बुद्धिमान दिखने में अच्छा था, लेकिन वह मानवीय संचार की जटिल वास्तविकता के साथ संघर्ष कर रहा था। यहाँ गलतियों के मुख्य प्रकार दिए गए, जिन्हें उपमाओं (analogies) के साथ समझाया गया है:
"हैलुसिनेटिंग" डायरेक्टर (असमर्थित विश्वास):
- क्या हुआ: AI ने ऐसी बातें बना लीं जो वहां मौजूद ही नहीं थीं।
- उपमा: कल्पना कीजिए कि डायरेक्टर कहता है, "मुझे लगता है कि कमरे में एक बिल्ली है।" AI ने यह सुनकर अपने व्हाइटबोर्ड पर लिखा, "सर्चर का मानना है कि वहां एक बिल्ली है।" लेकिन वीडियो में कोई बिल्ली नहीं थी। AI ने केवल इसलिए एक विश्वास बना लिया क्योंकि शब्द सुनने में तर्कसंगत लग रहे थे।
- परिणाम: AI (विशेष रूप से Claude) ने ऐसा बहुत किया, व्हाइटबोर्ड को काल्पनिक विवरणों से भर दिया।
"मिसिंग" डिटेल्स (विवरणों का छूटना):
- क्या हुआ: AI उन चीजों को भूल गया जो वास्तव में कही गई थीं।
- उपमा: सर्चर कहता है, "मैं बाईं ओर मुड़ रहा हूँ।" AI का व्हाइटबोर्ड खाली रहता है, स्थान को अपडेट करना भूल जाता है।
- परिणाम: AI (विशेष रूप से o3-mini) अक्सर बहुत शांत रहता था, महत्वपूर्ण अपडेट छोड़ देता था।
"स्पेशियल" कन्फ्यूजन (स्थानिक भ्रम):
- क्या हुआ: AI इस बात को लेकर भ्रमित हो गया कि चीजें स्थान में कहाँ थीं।
- उपमा: यदि डायरेक्टर कहता है, "डिब्बा आपके बाईं ओर है," तो AI लिख सकता है, "डिब्बा दाईं ओर है।" वह शब्दों को अपने दिमाग में एक 3D मैप में बदलने में संघर्ष करता है।
"स्टटर" ट्रैप (हकलाहट का जाल):
- क्या हुआ: मनुष्य "अम्म," "अह," और शब्दों पर लड़खड़ाते हैं। AI अक्सर इन हिचकिचाहटों को नई जानकारी मान लेता है।
- उपमा: यदि डायरेक्टर हकलाता है, "वहां एक... अह... दरवाजा है," तो AI सोच सकता है, "आहा! 'अह' का मतलब है कि वे दरवाजे के बारे में अपना विचार बदल रहे हैं!" और अनावश्यक रूप से व्हाइटबोर्ड को अपडेट कर देता है।
फैसला: स्मार्ट लेकिन आधारहीन
पेपर निष्कर्ष निकालता है कि वर्तमान AI उन अभिनेताओं की तरह हैं जो स्क्रिप्ट पढ़ने में बहुत अच्छे हैं लेकिन वास्तविक कमरे में सुधार (improvising) करने में बहुत खराब हैं।
- वे सोचने की भाषा की नकल कर सकते हैं: वे "मेरा मानना है" या "मेरा लक्ष्य है" जैसे शब्दों का उपयोग कर सकते हैं।
- वे सोचने को 'ग्राउंड' (आधारित) नहीं कर सकते: वे उन शब्दों को भौतिक वास्तविकता (वीडियो) से जोड़ने या वास्तविक मानवीय भाषण की बिखरी हुई प्रकृति को संभालने में सक्षम नहीं हैं।
दिलचस्प बात यह है कि "नाइव ह्यूमन्स" (जिन्होंने भी वीडियो नहीं देखा था) ने भी AI के समान गलतियाँ कीं। यह साबित करता है कि बिना वीडियो देखे यह कार्य वास्तव में कठिन है। हालांकि, AI (मनुष्यों की तुलना में) "हैलुसिनेशन" (चीजें बनाना) से बचने में अधिक खराब था।
निचोड़
यह अध्ययन यह नहीं कहता कि AI का उपयोग टीमों में नहीं किया जा सकता। यह कहता है कि यदि आप चाहते हैं कि एक AI केवल उनकी बातचीत सुनकर एक टीम की साझा मानसिक स्थिति को समझे, तो वर्तमान में उसमें वह "कॉमन सेंस" की कमी है जिससे वह जान सके कि क्या वास्तविक है और क्या केवल एक अनुमान है। इसे केवल शब्दों के आधार पर अनुमान लगाने के बजाय, वास्तव में क्या हो रहा है इसे समझने के लिए "वीडियो" (वास्तविक दुनिया के संदर्भ) की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।