MultivationBench: A Benchmark for Multimodal Sequential Motivation Reasoning
यह शोध पत्र MultivationBench प्रस्तुत करता है, जो एक नया बेंचमार्क है जो मनोवैज्ञानिक ढांचों पर आधारित है और जो कहानी-आधारित दृश्य आख्यानों में अनुक्रमिक प्रेरणात्मक तर्क (sequential motivation reasoning) करने की मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करता है, जिससे यह पता चलता है कि वर्तमान मॉडल अपनी स्थिर पहचान क्षमताओं के बावजूद गतिशील संदर्भों में सुसंगत तर्क बनाए रखने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं, लेकिन केवल यह देखने के बजाय कि क्या हो रहा है, आप यह अनुमान लगाने की कोशिश कर रहे हैं कि पात्र ऐसा क्यों कर रहे हैं। यही "सामाजिक बुद्धिमत्ता" (social intelligence) का मूल है, जो एक ऐसी सुपरपावर है जो मनुष्यों को हमारे कार्यों के पीछे की छिपी भावनाओं और लक्ष्यों को समझने में मदद करती है। वैज्ञानिक इसे "प्रेरणा तर्क" (motivation reasoning) कहते हैं। यह केवल किसी को फोन उठाते हुए देखने के बारे में नहीं है; यह यह समझने के बारे में है कि क्या वे मदद के लिए फोन कर रहे हैं, समय देख रहे हैं, या किसी खोए हुए प्रियजन की तस्वीर देख रहे हैं। आमतौर पर, हम यह अनुमान एक स्थिर तस्वीर से नहीं लगाते। हम कहानी को आगे बढ़ते हुए देखते हैं, और समय के साथ सुराग इकट्ठा करते हैं। यदि दृश्य एक में कोई पात्र दुखी दिखता है, और फिर दृश्य दो में एक फोटो देखता है, तो उनकी प्रेरणा के बारे में हमारा अनुमान बदल जाता है। यह शोध इस बात की जांच करता है कि क्या नवीनतम, अत्यंत बुद्धिमान कंप्यूटर मस्तिष्क (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स कहा जाता है) इसी तरह का "कहानी जासूसी" (story detective work) कर सकते हैं। हालांकि ये कंप्यूटर एक चित्र को देखकर उसका वर्णन करने या एक कहानी पढ़कर प्रश्नों के उत्तर देने में बेहतरीन हैं, यह शोध एक कठिन प्रश्न पूछता है: क्या वे एक पूरी कहानी के दौरान एक पात्र की बदलती भावनाओं को एक संपूर्ण कहानी की तरह ट्रैक रख सकते हैं, जैसा कि एक इंसान करता है?
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व हांगकांग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी और अमेज़न की एक टीम द्वारा किया गया था, यह पता लगाने के लिए एक विशाल परीक्षण बनाने का निर्णय लिया। उन्होंने मल्टीवेशनबेंच (MultivationBench) नामक कुछ बनाया। इसे एक विशाल लाइब्रेरी की तरह समझें जिसमें 1,000 लघु दृश्य कहानियाँ हैं, जैसे कि मूवी क्लिप्स और सोशल मीडिया पोस्ट का मिश्रण, जिनमें 4,000 से अधिक विशिष्ट क्षण शामिल हैं जहाँ एक पात्र कुछ करता है। लेकिन यह केवल "क्या हुआ" का परीक्षण नहीं है; यह "क्यों हुआ" का परीक्षण है। परीक्षण को निष्पक्ष और वैज्ञानिक बनाने के लिए, टीम ने दो प्रसिद्ध मनोवैज्ञानिक नियमपुस्तकों का उपयोग किया: मास्लो का पदानुक्रम (Maslow's Hierarchy of Needs) (जो मानवीय इच्छाओं को भोजन और सुरक्षा जैसी बुनियादी उत्तरजीविता से लेकर प्रेम और आत्म-सुधार जैसे उच्च लक्ष्यों तक वर्गीकृत करता है) और रीस की 16 बुनियादी इच्छाएं (Reiss's 16 Basic Desires) (जो जिज्ञासा, सम्मान या परिवार जैसे विशिष्ट व्यक्तिगत आवेगों को देखती हैं)।
टीम ने कंप्यूटर मॉडल्स को इन कहानियों को फ्रेम-दर-फ्रेम देखने के लिए कहा। प्रत्येक चरण पर, मॉडल्स को अब तक जो कुछ भी देखा गया है उसके आधार पर पात्र की प्रेरणा का अनुमान लगाना था। पेचीदा हिस्सा क्या था? जैसे-जैसे कहानी आगे बढ़ती है, नई जानकारी प्रकट होती है जो पहले के किसी कार्य के कारण को पूरी तरह से बदल देती है। उदाहरण के लिए, एक पात्र फोन की ओर हाथ बढ़ाता है, और शुरू में, ऐसा लगता है कि वह केवल एक संदेश देख रहा है (एक "संज्ञानात्मक" आवश्यकता)। लेकिन बाद में, कहानी का खुलासा होता है कि वह एक पार्टी में अकेला महसूस करते हुए अपने परिवार की तस्वीर देख रहा है, जिसका अर्थ है कि वास्तविक कारण वास्तव में "प्रेम और अपनेपन" (Love and Belonging) के बारे में था। कंप्यूटर इतना स्मार्ट होना चाहिए कि वह कह सके, "रुको, मैं पहले गलत था; अब मुझे असली कारण पता है।"
परिणाम तकनीकी जगत के लिए एक चेतावनी की तरह थे। शोध पत्र में पाया गया कि जबकि ये उन्नत एआई मॉडल छोटी, सरल कहानियों में प्रेरणाओं का अनुमान लगाने में सक्षम हैं, वे वास्तव में संघर्ष करते हैं जब कहानियाँ लंबी होती हैं। 1,000 परीक्षण की गई कहानियों में से, मॉडल शायद ही कभी अपनी तर्क प्रक्रिया को शुरुआत से अंत तक सुसंगत रख सके। वास्तव में, जब एक पूरी कहानी में हर एक प्रेरणा को सही बताने के लिए कहा गया, तो सर्वश्रेष्ठ मॉडल्स भी 1% से भी कम समय में सफल हुए। अध्ययन बताता है कि ये एआई मस्तिष्क उन छात्रों की तरह हैं जो तथ्य याद करने में तो बहुत अच्छे हैं लेकिन कथानक के प्रवाह को समझने में बहुत खराब हैं। वे पहली चीज़ पर अटक जाते हैं जो वे देखते हैं और नए साक्ष्य आने पर अपनी सोच को अपडेट करने में विफल रहते हैं। वे अक्सर ऐसे कारणों का "भ्रम" (hallucinate) पैदा करते हैं जो सुनने में तर्कसंगत लगते हैं लेकिन कहानी द्वारा समर्थित नहीं होते हैं, या वे गहरे, अधिक जटिल भावनात्मक कारणों को मिस कर देते हैं जिनके लिए पूरी कहानी के बिंदुओं को जोड़ने की आवश्यकता होती है।
शोधकर्ताओं ने एआई की तुलना वास्तविक मनुष्यों से भी की। मनुष्यों ने, जो कि स्नातक छात्र थे, इस कार्य में काफी बेहतर प्रदर्शन किया, विशेष रूप से जब कहानियाँ लंबी और जटिल थीं। यह अंतर दिखाता है कि हालांकि एआई देखने और पढ़ने में बेहतर हो रहा है, फिर भी इसमें वह "सामाजिक मस्तिष्क" की कमी है जो यह समझने के लिए आवश्यक है कि हमारी प्रेरणाएँ समय के साथ कैसे बदलती और विकसित होती हैं। शोध पत्र निष्कर्ष निकालता है कि हम अभी भी उन कंप्यूटरों से बहुत दूर हैं जो वास्तव में एक कहानी में मानवीय व्यवहार के पीछे के जटिल और बदलते कारणों को समझ सकें। यह एक याद दिलाता है कि यह समझना कि लोग जो करते हैं वह क्यों करते हैं, केवल यह जानने से कहीं अधिक कठिन है कि उन्होंने क्या किया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।