When Seeing Is Not Enough: Benchmarking Interactive Visual Grounding in LVLMs
यह शोध पत्र लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) में इंटरैक्टिव विजुअल ग्राउंडिंग के लिए एक बेंचमार्क प्रस्तुत करता है, जो यह प्रकट करता है कि वर्तमान मॉडल मानव बेसलाइन्स की तुलना में काफी खराब प्रदर्शन करते हैं, जब कोई प्रारंभिक विवरण प्रदान नहीं किया जाता है तो सक्रिय सूचना खोजने में संघर्ष करते हैं, और आत्मविश्वास एवं सटीकता के बीच खराब अंशांकन (कैलिब्रेशन) प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक विशिष्ट कौशल है जिसे 'विजुअल ग्राउंडिंग' (visual grounding) कहा जाता है। यह एक कंप्यूटर की वह क्षमता है जिससे वह किसी तस्वीर को देखकर उस सटीक वस्तु की ओर संकेत कर सके जिसके बारे में इंसान बात कर रहा है। यदि आप कहते हैं, "लाल गेंद ढूंढो," तो सिस्टम को कई अन्य गेंदों के बीच उसी विशिष्ट गेंद को खोजना होगा। वर्षों से, वैज्ञानिकों ने कंप्यूटर को एक सटीक, विस्तृत विवरण देकर और उसे मिलान खोजने के लिए कहकर इस कौशल का परीक्षण किया है। यह किसी को एक पूर्ण मानचित्र थमाने और फिर उनसे छिपा हुआ खजाना खोजने के लिए कहने जैसा है। कंप्यूटर इस एक-चरणीय कार्य में बहुत कुशल हो गया है, और जब निर्देश स्पष्ट और पूर्ण होते हैं, तो यह अक्सर मानव प्रदर्शन की बराबरी करता है या उससे बेहतर प्रदर्शन करता है।
हालाँकि, वास्तविक जीवन शायद ही कभी इतना सरल होता है। जब मनुष्य आपस में बात करते हैं, तो विवरण अक्सर अस्पष्ट, अधूरे या गलत होते हैं। हम एक-दूसरे को पूर्ण मानचित्र नहीं थमाते; इसके बजाय, हम मिलकर अपनी समझ विकसित करते हैं। हम छूटे हुए हिस्सों को भरने के लिए सवाल पूछते हैं, जैसे, "क्या यह बाईं ओर है?" या "क्या इसमें हैंडल है?" यह शोध पत्र इस बात की जांच करता है कि क्या होता है जब हम आर्टिफिशियल इंटेलिजेंस से यही करने के लिए कहते हैं: कि वह एक तस्वीर को देखे, यह महसूस करे कि उसके पास पर्याप्त जानकारी नहीं है, और फिर सही सवाल पूछे ताकि लक्ष्य को खोजा जा सके। शोधकर्ता यह देखना चाहते थे कि क्या ये स्मार्ट कंप्यूटर सिस्टम वास्तविक बातचीत की जटिल और दो-तरफा प्रकृति को संभाल सकते हैं, या वे तब विफल हो जाएंगे जब निर्देश उन्हें चांदी की थाली में सजाकर नहीं दिए जाएंगे।
टीम ने इस संवादात्मक क्षमता का परीक्षण करने के लिए एक नियंत्रित प्रयोग तैयार किया। उन्होंने खेल के लिए दो भूमिकाएँ बनाईं: एक "डायरेक्टर" (निर्देशक) जो लक्षित वस्तु को जानता है और एक "मैचर" (मिलान करने वाला) जिसे उसे खोजना है। उन्होंने खेल के लिए चार अलग-अलग दृश्य जगतों का उपयोग किया: कुत्तों का एक संग्रह, टोकरियाँ और 'टैंग्राम' (tangrams) नामक अमूर्त आकार। खेल में, मैचर कई संभावित वस्तुओं का एक ग्रिड देखता है, जबकि डायरेक्टर केवल सही लक्ष्य को देखता है। शोधकर्ताओं ने मैचर का परीक्षण चार अलग-अलग स्थितियों में किया ताकि यह देखा जा सके कि वह जानकारी को कैसे संभालता है। पहली स्थिति में, मैचर को एक पूर्ण, सटीक विवरण दिया गया था और उसे बिना बात किए वस्तु को खोजना था। दूसरी स्थिति में, उसे एक पूर्ण विवरण दिया गया था लेकिन उसे अपना काम जाँचने के लिए अनुवर्ती प्रश्न पूछने की अनुमति दी गई थी। तीसरी स्थिति में, उसे एक बहुत ही अस्पष्ट संकेत दिया गया था, जैसे "यह एक टोकरी है," और उसे यह पता लगाने के लिए प्रश्न पूछने थे कि वह कौन सी है। अंतिम, सबसे कठिन स्थिति में, मैचर को कोई विवरण नहीं दिया गया था और उसे लक्ष्य की एक तस्वीर अपने मन में बनाने के लिए शुरुआत से ही 'हाँ या ना' वाले प्रश्न पूछने थे।
उन्होंने इस खेल को आठ अलग-अलग 'लार्ज विजन-लैंग्वेज मॉडल्स' (large vision-language models) के साथ चलाया, जो सबसे उन्नत प्रकार के आर्टिफिशियल इंटेलिजेंस हैं जो देख और पढ़ सकते हैं। परिणाम स्पष्ट और कुछ हद तक आश्चर्यजनक थे। यहाँ तक कि जब मॉडल्स को सटीक विवरण दिए गए थे, तब भी उन्हें मानव खिलाड़ियों के प्रदर्शन से मेल खाने में संघर्ष करना पड़ा। लेकिन जब कार्य के लिए संवाद की आवश्यकता थी, तो यह अंतर बहुत बढ़ गया। जब मॉडल्स को लक्ष्य खोजने के लिए प्रश्न पूछने थे, तो उनके प्रदर्शन में भारी गिरावट आई। वे विशेष रूप से कठिन कार्य में खराब प्रदर्शन करते थे, जहाँ उन्हें बिना किसी जानकारी के शुरुआत करनी थी और स्वयं बातचीत का मार्गदर्शन करना था। हालाँकि वे प्रश्न पूछ सकते थे, लेकिन वे अक्सर गलत प्रश्न पूछते थे या प्राप्त उत्तरों का उपयोग अपने विकल्पों को प्रभावी ढंग से सीमित करने के लिए करने में विफल रहते थे।
अध्ययन ने यह भी देखा कि मॉडल्स अपने उत्तरों के प्रति कितने आश्वस्त थे। शोधकर्ताओं ने पाया कि मॉडल्स अक्सर अत्यधिक आत्मविश्वासी (overconfident) थे। वे उच्च स्तर की निश्चितता रिपोर्ट करते थे कि उन्होंने सही वस्तु खोज ली है, भले ही वे वास्तव में गलत हों। आत्म-जागरूकता की यह कमी तब सबसे अधिक स्पष्ट थी जब मॉडल्स को लक्ष्य खोजने के लिए प्रश्न पूछने थे। वे ऐसा प्रतीत होते थे जैसे उनके पास पर्याप्त जानकारी है, जबकि वास्तव में नहीं थी। दिलचस्प बात यह है कि मॉडल्स ने कुछ सुधार दिखाया जब उन्हें विवरण को परिष्कृत करने के लिए अनुवर्ती प्रश्न पूछने की अनुमति दी गई थी, लेकिन यह मदद सीमित थी। वे गलती को सुधार सकते थे यदि कोई उनकी ओर इशारा करे, लेकिन वे पहले से ही उस गलती को रोकने के लिए आवश्यक जानकारी सक्रिय रूप से खोजने में अच्छे नहीं थे।
इन निष्कर्षों को पुख्ता करने के लिए, शोधकर्ताओं ने कई अनुवर्ती परीक्षण किए। उन्होंने जाँच की कि क्या परिणाम बदल जाते हैं यदि विवरण कंप्यूटर द्वारा लिखे गए हों न कि मानव द्वारा, यदि मॉडल्स को उत्तर देने से पहले अधिक गहराई से सोचने के लिए मजबूर किया जाए, या यदि वे एक ही साथी के साथ कई बार खेलें। हर मामले में, पैटर्न समान रहा। मॉडल्स कंप्यूटर-जनित विवरणों के साथ बेहतर प्रदर्शन करते थे, लेकिन फिर भी उन्हें कार्य के संवादात्मक हिस्सों में संघर्ष करना पड़ा। उन्होंने यह भी पाया कि हालांकि मॉडल्स खेल खेलने के कुछ दौरों के बाद थोड़े बेहतर हो सकते थे, लेकिन वे कभी भी मानव प्रदर्शन के स्तर तक नहीं पहुँच पाए। शून्य से बातचीत शुरू करना और साझा समझ बनाना एक बड़ी बाधा बनी रही। एक अनुवर्ती अध्ययन में मॉडल्स का चेहरे की छवियों पर परीक्षण किया गया था, लेकिन मुख्य खेल कुत्तों, टोकरियों और टैंग्राम पर केंद्रित था।
शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि ये आर्टिफिशियल इंटेलिजेंस सिस्टम एक स्पष्ट विवरण को चित्र से मिलाने में उत्कृष्ट हैं, लेकिन वे वास्तविक दुनिया की मानवीय संचार के लिए अभी तैयार नहीं हैं। उनमें यह पहचानने की क्षमता की कमी है कि उनके पास जानकारी कम है और इसे प्राप्त करने के लिए सही प्रश्न कैसे पूछे जाएं। वे यह आंकने में भी कमजोर हैं कि उन्हें अपने उत्तरों के बारे में कितना आश्वस्त होना चाहिए। यह सुझाव देता है कि रोबोट या एआई सहायकों के लिए वास्तव में मनुष्यों के साथ काम करने के लिए, उन्हें केवल देखना ही नहीं सीखना होगा; उन्हें बात करना, मदद मांगना और यह समझना सीखना होगा कि वे कब उत्तर नहीं जानते हैं। जब तक वे ऐसा नहीं कर पाते, वे उन कार्यों तक सीमित रहेंगे जहाँ निर्देश पूर्ण होते हैं, जिससे मानवीय संदर्भ की जटिल और संवादात्मक प्रकृति एक ऐसी चुनौती बनी रहेगी जिसे उन्हें अभी तक हल करना बाकी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।