NumerosityVLM: A Cognitively Inspired Benchmark for Interpreting Numerosity Representations in Vision-Language Models
यह शोध पत्र NumerosityVLM को प्रस्तुत करता है, जो एक संज्ञानात्मक रूप से प्रेरित बेंचमार्क है जिसमें 10,800 नियंत्रित सिंथेटिक चित्र शामिल हैं जो यह प्रकट करते हैं कि विजन-लैंग्वेज मॉडल्स (Vision-Language Models) की संख्यात्मकता धारणा (numerosity perception) मुख्य रूप से उनकी वास्तुकला और भाषाई घटकों द्वारा निर्धारित होती है, न कि दृश्य स्थितियों द्वारा, जिसमें विजन एनकोडर के शुरुआती चरणों में ही रैखिक रूप से अलग होने वाले संख्यात्मक संकेत उभर आते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मनुष्यों के पास वस्तुओं के एक समूह में कितनी वस्तुएं हैं, यह बिना एक-एक करके गिने पहचानने की एक उल्लेखनीय, जन्मजात क्षमता होती है। एक बच्चा बोलने सीखने से पहले ही तीन बिस्कुटों के ढेर और चार बिस्कूतों के ढेर के बीच अंतर बता सकता है, जो विकसित होते मस्तिष्क में स्वाभाविक रूप से उभरने वाली संख्या की समझ पर निर्भर करता है। यह कौशल, जिसे 'न्यूमेरोसिटी परसेप्शन' (संख्यात्मक बोध) कहा जाता है, दुनिया को समझने के हमारे तरीके का एक मौलिक हिस्सा है। हाल के वर्षों में, वैज्ञानिकों ने आर्टिफिशियल इंटेलिजेंस की ओर अपना ध्यान केंद्रित किया है, विशेष रूप से 'विज़न-लैंग्वेज मॉडल' नामक कंप्यूटर सिस्टम की ओर। ये सिस्टम छवियों को देखने और उनके बारे में प्रश्नों के उत्तर देने के लिए डिज़ाइन किए गए हैं, जो अक्सर जटिल कार्यों पर मानवीय प्रवाह के साथ प्रदर्शन करते हैं। हालाँकि, एक अनसुलझा प्रश्न बना हुआ है: क्या ये मशीनें वास्तव में "कितने" की अवधारणा को समझती हैं, या वे केवल उन दृश्य पैटर्न के आधार पर अनुमान लगा रही हैं जिन्हें उन्होंने याद कर लिया है?
इसका उत्तर देने के लिए, शोधकर्ताओं की एक टीम ने 'न्यूमेरोसिटीवीएलएम' (NumerosityVLM) नामक एक नया परीक्षण स्थल बनाया। उन्होंने 10,800 कंप्यूटर-जनरेटेड छवियां बनाईं जिन्हें उन चालों को हटाने के लिए डिज़ाइन किया गया था जो किसी मशीन को भ्रमित कर सकती हैं। वास्तविक दुनिया में, गिनती अक्सर अन्य दृश्य संकेतों के कारण भ्रमित हो जाती है। उदाहरण के लिए, बड़ी वस्तुओं का एक समूह छोटी वस्तुओं के समूह की तुलना में अधिक स्थान घेर सकता है, जिससे एक सिस्टम को लग सकता है कि बड़े आकार की वस्तुओं की संख्या अधिक है क्योंकि वे अधिक क्षेत्र घेरते हैं। इसे रोकने के लिए, शोधकर्ताओं ने अपनी छवियों के हर विवरण को नियंत्रित किया। उन्होंने ऐसी स्थितियाँ बनाईं जहाँ वस्तुओं की संख्या बदलने पर भी उनके द्वारा घेरा गया कुल स्थान समान रहा, और इसके विपरीत भी। उन्होंने बनावट, आकार और रंग को चरणों में हटाया, जिससे पीछे केवल साधारण बिंदु रह गए, ताकि यह देखा जा सके कि मॉडल वस्तुओं के रूप पर निर्भर थे या वास्तविक संख्या पर। उन्होंने सात अलग-अलग ओपन-सोर्स मॉडल का परीक्षण किया, जो छोटे, पुराने सिस्टम से लेकर बड़े, अधिक उन्नत सिस्टम तक थे, और उनसे प्रत्येक छवि में वस्तुओं की गणना करने के लिए कहा।
परिणामों ने मॉडलों के बीच एक स्पष्ट विभाजन को प्रकट किया। अधिक उन्नत प्रणालियों ने, जिनकी आंतरिक संरचना बड़ी थी, काफी बेहतर प्रदर्शन किया, और भ्रामक दृश्य संकेतों के बावजूद उच्च सटीकता प्राप्त की। छोटे, पुराने मॉडल संघर्ष करते दिखे, जो अक्सर विभिन्न मात्राओं के बीच अंतर करने में विफल रहे और चित्र में जो कुछ भी था उसके बावजूद उत्तरों का एक ही सीमित सेट प्रस्तुत करते रहे। शोधकर्ताओं ने पाया कि सफलता का सबसे बड़ा कारक छवि की दृश्य स्थितियाँ नहीं, बल्कि मॉडल की अपनी वास्तस्थापत्य (आर्किटेक्चर) थी। मशीन को जिस तरह से बनाया गया था, वह परीक्षण में उपयोग किए गए विशिष्ट दृश्य ट्रिक्स की तुलना में कहीं अधिक महत्वपूर्ण था। यह सुझाव देता है कि गिनती करने की क्षमता केवल स्पष्ट रूप से देखने का मामला नहीं है, बल्कि उस जानकारी को संसाधित करने के लिए सही आंतरिक संरचना होने का मामला है।
इन मॉडलों के काम करने के तरीके की गहराई से जांच करते हुए, टीम ने मशीन के प्रोसेसिंग पाइपलाइन के विभिन्न चरणों को देखा। उन्होंने पाया कि संख्या को पहचानने की क्षमता वास्तव में बहुत जल्दी, ठीक उसी समय दिखाई देती है जब मशीन पहली बार छवि को देखती है। यहाँ तक कि कम सफल मॉडल भी अपने प्रारंभिक विज़ुअल लेयर्स में वस्तुओं की संख्या का पता लगा सकते थे। समस्या, जैसा कि पता चला, बाद में हुई। एक मॉडल जो अच्छी तरह से गिन सकता था और जो नहीं कर सकता था, उनके बीच का अंतर इस बात में था कि वे उन दृश्य संकेतों को शब्दों में कैसे बदलते थे। अधिक सफल मॉडल उस संख्यात्मक जानकारी को, जिसे वे पहले ही देख चुके थे, एक सही टेक्स्ट उत्तर में बदलने में बेहतर थे। कम सफल मॉडल दृश्य से बोलने की प्रक्रिया में आगे बढ़ते समय उस जानकारी को खोते हुए प्रतीत होते थे।
अध्ययन ने यह भी जांचा कि ये मशीनें संख्याओं के पैमाने को कैसे संभालती हैं। सबसे अच्छा प्रदर्शन करने वाले मॉडल चार वस्तुओं तक के छोटे समूहों को गिनने में लगभग पूर्ण थे, जो एक ऐसी सीमा है जिसे मनुष्य तुरंत पहचान सकते हैं। जैसे-जैसे संख्याएँ बड़ी हुईं, उनकी सटीकता गिर गई, और वे लगातार वास्तविक गणना से कम अनुमान लगाने लगे। यह कम अनुमान लगाने का पैटर्न बढ़ने के साथ और मजबूत होता गया, जो मानव धारणा की एक ज्ञात सीमा को दर्शाता है जहाँ बड़ी मात्राओं का अनुमान लगाना कम सटीक हो जाता है। हालाँकि, सबसे उन्नत मॉडलों ने इस पूर्वाग्रह को कमजोर मॉडलों की तुलना में बहुत बाद में दिखाया, जो यह सुझाव देता है कि उनकी बड़ी संख्याओं की समझ अधिक सुदृढ़ थी।
अंततः, अनुसंधान इंगित करता है कि वर्तमान विज़न-लैंग्वेज मॉडल में संख्यात्मक समझ का एक रूप मौजूद है, लेकिन यह नाजुक है और उनके डिज़ाइन पर अत्यधिक निर्भर है। "कितने" को देखने की क्षमता इन प्रणालियों के प्रारंभिक विज़ुअल प्रोसेसिंग में मौजूद है, लेकिन दृश्य को एक विश्वसनीय उत्तर में बदलने का अंतिम चरण वह है जहाँ मशीनें अक्सर विफल होती हैं। अध्ययन का निष्कर्ष है कि प्रदर्शन का अंतर दृश्य डेटा की कमी के कारण नहीं है, बल्कि इस कारण से है कि विभिन्न मॉडल उस डेटा की व्याख्या करने के लिए कैसे बनाए गए हैं। इन कारकों को अलग करके, शोधकर्ताओं ने एक स्पष्ट मानचित्र प्रदान किया है कि कृत्रिम बुद्धिमत्ता वास्तविक संख्यात्मक संज्ञान की यात्रा में कहाँ खड़ी है, जो यह दर्शाता है कि भले ही मशीन की आँखें संख्या देख सकती हैं, लेकिन मशीन के मस्तिष्क को अभी भी गिनती करना सीखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।