Belief Without Behavior: Measuring the Translation of Theory of Mind into Coordinated Social Action in Vision-Language Models
यह शोधपत्र MOSAIC प्रस्तुत करता है, जो एक मल्टीमॉडल बेंचमार्क है जो यह प्रकट करता है कि वर्तमान विजन-लैंग्वेज मॉडल 'थ्योरी ऑफ माइंड' (Theory of Mind) तर्क को समन्वित सामाजिक कार्यों में अनुवादित करने में विफल रहते हैं क्योंकि वे सुसंगत गैर-मौखिक संकेतों को उत्पन्न करने और दूसरों के व्यवहार की व्याख्या करने में बाधाओं का सामना करते हैं, जबकि स्पष्ट विश्वास-क्रिया युग्मन (belief-action coupling) वाले मॉडल सफल होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मानवीय जुड़ाव एक मौन, तीव्र आदान-प्रदान पर निर्भर करता है जो शब्दों से कहीं आगे जाता है। जब हम बोलते हैं, तो हम अपनी दृष्टि बदलते हैं, अपनी मुद्रा (पोस्चर) को समायोजित करते हैं और अपने चेहरे के भावों को बदलते हैं, और यह सब करते हुए हम यह अनुमान लगाने की कोशिश करते हैं कि दूसरा व्यक्ति क्या सोच रहा है और क्या महसूस कर रहा है। दूसरे व्यक्ति के मन को समझने की यह क्षमता और फिर उस समझ का उपयोग करके अपने स्वयं के कार्यों को निर्देशित करने की इस योग्यता को 'थ्योरी ऑफ माइंड' (मन का सिद्धांत) कहा जाता है। दशकों तक, वैज्ञानिकों ने इस क्षमता का अध्ययन किया है, अक्सर लोगों से कहानियों के बारे में प्रश्न पूछकर या यह देखकर कि वे सरल सामाजिक पहेलियों के प्रति कैसी प्रतिक्रिया देते हैं। लक्ष्य यह देखना रहा है कि क्या आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) भी ऐसा कर सकती है। लेकिन एक महत्वपूर्ण अंतर बना हुआ है: यह जानना कि कोई व्यक्ति क्या सोच रहा है, उस ज्ञान पर वास्तविक समय में कार्य करने से भिन्न है। एक प्रणाली सही ढंग से अनुमान लगा सकती है कि कोई व्यक्ति कोई रहस्य छिपा रहा है, लेकिन क्या वह फिर यह तय कर सकती है कि उसे नज़रें हटानी चाहिए, मुस्कुराना चाहिए, या अपने शरीर को इस तरह से हिलाना चाहिए जो सूक्ष्म रूप से उस व्यक्ति को उसे प्रकट करने के लिए प्रोत्साहित करे? अब तक, कोई भी परीक्षण यह मापने में सक्षम नहीं रहा है कि क्या एक एआई (AI) एक मानसिक अनुमान को एक समन्वित, भौतिक सामाजिक संकेत में बदल सकता है।
यूनिवर्सिटी पेरिस-सैक्ले और सोरबोन यूनिवर्सिटी के शोधकर्ताओं ने MOSAIC नामक एक नए प्रयोग के साथ इस अंतर को पाटने का प्रयास किया। उन्होंने एक आभासी दुनिया बनाई जहाँ दो डिजिटल एजेंट खजाने की खोज के खेल में एक-दूसरे के साथ बातचीत कर रहे थे। इस परिदृश्य में, एक एजेंट, जो 'विषय' (subject) था, जानता था कि छिपा हुआ इनाम कहाँ स्थित है, जबकि दूसरा, जो 'प्रतिभागी' (participant) था, नहीं जानता था। विषय का कार्य या तो प्रतिभागी को खजाना खोजने में मदद करना था या, दौर के नियमों के आधार पर, उसे गलत बॉक्स चुनने के लिए बहकाना था। यह खेल सामाजिक बुद्धिमत्ता का एक कठोर परीक्षण करने के लिए डिज़ाइन किया गया था। दस दौर की बातचीत के दौरान, एजेंटों को बोले गए शब्दों, शारीरिक गति, दृष्टि की दिशा और चेहरे के भावों के मिश्रण का उपयोग करके संवाद करना था। शोधकर्ताओं ने नियमों को बदलकर कठिनाई को भिन्न किया: कभी विषय को ईमानदार होना था, और कभी उसे धोखेबाज होना था। महत्वपूर्ण रूप से, उन्होंने विषय के आंतरिक निर्देशों को भी बदला, कुछ को बिना दूसरे व्यक्ति के बारे में सोचे अपने स्वयं के विचारों पर कार्य करने के लिए कहा, जबकि अन्य को प्रतिभागी के विश्वासों को स्पष्ट रूप से मॉडल करने और उन्हें प्रभावित करने का प्रयास करने के लिए कहा।
शोधकर्ताओं ने इस वातावरण में तेरह अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडलों का परीक्षण किया, जिनमें ग्यारह विजन-लैंग्वेज मॉडल शामिल थे जो देख और बोल सकते हैं, और एक केवल टेक्स्ट-आधारित मॉडल। उन्होंने पर्याप्त डेटा एकत्र करने के लिए प्रत्येक मॉडल के लिए दो सौ परीक्षण चलाए ताकि स्पष्ट पैटर्न देखे जा सकें। परिणाम चौंकाने वाले थे। अधिकांश उन्नत एआई प्रणालियाँ आवश्यक समन्वित व्यवहार उत्पन्न करने में विफल रहीं। जब धोखा देने के लिए कहा गया, तो मॉडल भ्रामक शब्दों और विरोधाभासी शारीरिक भाषा के आवश्यक मिश्रण को उत्पन्न करने में असमर्थ रहे। जब मदद करने के लिए कहा गया, तो वे अक्सर इस तरह से हिलने या देखने में विफल रहे जिससे दूसरे एजेंट का मार्गदर्शन हो सके। अध्ययन ने इस प्रक्रिया में दो विशिष्ट विफलता बिंदुओं की पहचान की। पहला, अधिकांश मॉडल ऐसे गैर-मौखिक संकेत उत्पन्न नहीं कर सके जो दिशात्मक रूप से सार्थक हों; उनकी गतिविधियाँ और दृष्टि अक्सर यादृच्छिक (रैंडम) थी या गलत दिशा में थी। दूसरा, भले ही किसी मॉडल ने एक स्पष्ट संकेत दिया हो, दूसरे एजेंट ने उस पर ध्यान नहीं दिया या उस पर कार्य नहीं किया। एआई एजेंट बातें और गतिविधियाँ तो कर रहे थे, लेकिन वे वास्तव में संवाद नहीं कर रहे थे।
एक मॉडल पूर्ण अपवाद के रूप में उभरा। PCM-LLM नामक एक हाइब्रिड सिस्टम, जिसे विश्वासों और इरादों को संभालने के लिए डिज़ाइन किए गए एक विशिष्ट, संरचित मॉड्यूल के साथ बनाया गया था, हर स्थिति में सफल रहा। यह प्रतिभागी को खजाना खोजने में मार्गदर्शन करने में सफल रहा जब मदद करने के लिए कहा गया, और यह उन्हें गुमराह करने में सफल रहा जब धोखा देने के लिए कहा गया। यह सफलता बताती है कि अन्य मॉडलों की विफलता कार्य की कठिनाई के कारण नहीं थी, बल्कि उनकी संरचना में एक लुप्त हिस्से के कारण थी। मानक मॉडल, जो भाषा और छवियों को एक साथ संसाधित करते हैं, उनमें दूसरे व्यक्ति के बारे में विश्वास को सीधे एक भौतिक क्रिया से जोड़ने वाला आंतरिक तंत्र की कमी प्रतीत होती है। शोधकर्ताओं ने पाया कि अधिकांश मॉडलों के लिए, उन्हें प्राप्त होने वाला दृश्य इनपुट (विजुअल इनपुट) एक सहायक सुराग के बजाय एक व्याकुलता के रूप में कार्य करता था। कुछ मामलों में, दृश्य छवि को पूरी तरह से हटाने से मॉडल की स्पष्ट दिशात्मक संकेत भेजने की क्षमता में सुधार हुआ, जिससे पता चलता है कि दृश्य डेटा उनके तर्क में सहायता करने के बजाय बाधा डाल रहा था।
अध्ययन ने यह भी पता लगाया कि क्या ये मॉडल अभ्यास के साथ बेहतर करना सीख सकते हैं। शोधकर्ताओं ने एक विफल होने वाले मॉडल को उच्च-प्रदर्शन करने वाले हाइब्रिड सिस्टम द्वारा उत्पन्न सफल व्यवहार के उदाहरणों का उपयोग करके प्रशिक्षित किया। हालांकि इस प्रशिक्षण ने मॉडल के व्यवहार को थोड़ा बदल दिया, लेकिन इसने मौलिक समस्या को ठीक नहीं किया। मॉडल अभी भी शब्दों, आँखों और शरीर को एक एकल, सुसंगत सामाजिक संकेत में समन्वित करने में असमर्थ था। यह सुझाव देता है कि केवल एआई को यह दिखाना कि कैसे हिलना है, पर्याप्त नहीं है; इसे एक गहरे संरचनात्मक परिवर्तन की आवश्यकता है ताकि यह समझ सके कि उसके कार्य किसी दूसरे मन को प्रभावित करने के लिए हैं। निष्कर्ष बताते हैं कि वर्तमान एआई सिस्टम, जटिल सामाजिक परिदृश्यों पर चर्चा करने की उनकी क्षमता के बावजूद, अभी तक उन विचारों को आत्मसात (एम्बॉडी) करना नहीं सीख पाए हैं। वे 'थ्योरी ऑफ माइंड' के बारे में बात तो कर सकते हैं, लेकिन वे अभी तक इसे जी नहीं सकते। किसी के विचार को समझने और उस निष्कर्ष पर एक समन्वित, भौतिक तरीके से कार्य करने के बीच का अंतर वर्तमान तकनीक की एक स्पष्ट और मापने योग्य सीमा बनी हुई है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।