Would you still call this Dax? Novel Visual References in VLMs and Humans
यह शोध पत्र 'नोवल विजुअल रेफरेंस डेटासेट' (NVRD) को प्रस्तुत करता है ताकि यह मूल्यांकन किया जा सके कि विजन-लैंग्वेज मॉडल और मनुष्य नवीन, प्री-ट्रेनिंग-विरोधी दृश्य अवधारणाओं को भाषा के साथ कैसे मैप करते हैं, जो यह प्रकट करता है कि मॉडल ऐसी अवधारणाओं के इन-कॉन्टेक्स्ट लर्निंग में संघर्ष करते हैं और मानव निर्णयों की तुलना में काफी अधिक ओवरजनरलाइज़ करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बच्चे (या एक रोबोट) को किसी खिलौने के लिए एक नया शब्द सिखा रहे हैं। आप उन्हें एक लाल, ब्लॉक जैसा दिखने वाला रोबोट दिखाते हैं और कहते हैं, "यह एक Dax है।"
अब, कल्पना कीजिए कि आप उन्हें थोड़ा अलग खिलौना दिखाते हैं: शायद वह लाल के बजाय नीला है, या उसमें एक अतिरिक्त एंटीना है, या वह प्लास्टिक के बजाय लकड़ी का बना है। बड़ा सवाल यह है: क्या वे अभी भी उसे "Dax" ही कहेंगे?
यह शोध ठीक इसी सवाल की जांच करता है, लेकिन बच्चों के बजाय, यह उन्नत AI विज़न मॉडल्स (जैसे कि चैटबॉट्स के अंदर मौजूद मॉडल जो इमेज देख सकते हैं) का परीक्षण करता है। शोधकर्ताओं ने एक विशेष डेटासेट बनाया जिसे NVRD (Novel Visual References Dataset) कहा जाता है, ताकि यह देखा जा सके कि AI इंसानों की तुलना में नए विजुअल कॉन्सेप्ट्स को कितनी अच्छी तरह सीखता है।
यहाँ बताया गया है कि उन्होंने क्या पाया, जिसे सरल भाषा में समझाया गया है:
1. सेटअप: द "Dax" टेस्ट
शोधकर्ताओं ने सामान्य वस्तुओं जैसे कुर्सी या कुत्ते का उपयोग नहीं किया, क्योंकि AI पहले से ही जानता है कि वे क्या हैं। इसके बजाय, उन्होंने 90 पूरी तरह से काल्पनिक वस्तुएं बनाईं (कुछ हाइब्रिड थीं, जैसे कि एक "बोअर-टोस्टर", और कुछ पूरी तरह से पराई/अजीब थीं)। उन्होंने प्रत्येक वस्तु को एक निरर्थक नाम दिया (जैसे कि "glemture" या "floundge")।
फिर, उन्होंने उन मूल छवियों को लिया और प्रत्येक के 20 थोड़े अलग संस्करण बनाए। ये बदलाव बहुत मामूली (जैसे कि थोड़ा डिजिटल शोर जोड़ना) से लेकर बड़े बदलावों (जैसे कि एक हाथ हटा देना या आकार को पूरी तरह से बदल देना) तक थे।
उन्होंने मनुष्यों और AI मॉडल्स दोनों को मूल "Dax" और बदले हुए संस्करण को देखने के लिए कहा, और निर्णय लेने को कहा: "क्या यह बदला हुआ रूप अभी भी एक Dax है?"
2. निष्कर्ष #1: AI पुराने ज्ञान को लेकर जिद्दी है
AI को तब सबसे अधिक कठिनाई हुई जब नई वस्तु वैसी ही दिखी जैसी वह पहले से ही जानता था।
- उपमा: कल्पना कीजिए कि आप AI को एक मानक कुर्सी की तस्वीर दिखाते हैं और उसे बताते हैं, "यह एक Blomwich है।" फिर आप उसे एक थोड़ी अलग कुर्सी दिखाते हैं। AI संभवतः आपके नए शब्द को अनदेखा कर देगा और उसे केवल एक "कुर्सी" कहेगा।
- क्यों? AI के पास मजबूत "पूर्व ज्ञान" (prior knowledge) है। यह एक ऐसे छात्र की तरह है जो पहले से ही गणित के सवाल का जवाब जानता है; उसे एक अलग, बनाया गया तरीका इस्तेमाल करने के लिए मनाना कठिन है। AI आपके द्वारा सिखाए जा रहे नए लेबल के बजाय अपने पुराने लेबल को प्राथमिकता देता है।
3. निष्कर्ष #2: रंग से ज्यादा आकार मायने रखता है
मनुष्य और AI दोनों ही वस्तु के रंग या बनावट (texture) की तुलना में उसके आकार (shape) पर अधिक ध्यान देते हैं।
- उपमा: यदि आप एक लाल कार को नीला कर देते हैं, तो आप अभी भी उसे कार ही कहेंगे। लेकिन यदि आप उसके पहिए हटा देते हैं और उसे नाव में बदल देते हैं, तो आप शायद उसे कार नहीं कहेंगे।
- परिणाम: AI और मनुष्य इस बात पर सहमत थे। यदि आपने वस्तु का आकार बदल दिया (जैसे कोई हिस्सा हटा दिया या उसे विकृत कर दिया), तो दोनों समूह बहुत जल्दी कहने में सक्षम थे, "नहीं, यह अब Dax नहीं है।" यदि आपने केवल रंग बदला या बैकग्राउंड में कुछ शोर जोड़ा, तो दोनों समूह इस बात पर अधिक सहमत थे कि, "हाँ, यह अभी भी एक Dax है।"
4. निष्कर्ष #3: AI बहुत उदार है (द "ओवर-जनरलाइजेशन" समस्या)
यही मनुष्यों और AI के बीच सबसे बड़ा अंतर है। हालांकि वे इस बात पर सहमत थे कि क्या मायने रखता (आकार बनाम रंग), वे इस बात पर असहमत थे कि कितना सख्त होना चाहिए।
- उपमा: कल्पना कीजिए कि आप एक कुत्ते को बैठने के लिए सिखाते हैं। यदि कुत्ता एक कुशन पर बैठता है, तो वह "बैठना" है। यदि कुटा एक पत्थर पर बैठता है, तो भी वह "बैठना" है। लेकिन यदि वह अपने पिछले पैरों पर खड़ा होकर हाथ हिलाता है, तो एक इंसान कहेगा, "यह बैठना नहीं है!" एक AI, हालांकि, कह सकता है, "खैर, यह बैठने के काफी करीब है, इसलिए मैं इसे बैठना ही कहूँगा।"
- परिणाम: AI ने ओवर-जनरलाइजेशन (अति-सामान्यीकरण) किया। इसने अत्यधिक विकृत वस्तुओं को उसी नए नाम से पुकारना जारी रखा, जबकि मनुष्यों ने बहुत पहले ही उसे खारिज कर दिया था। मनुष्य बहुत चयनात्मक थे; यदि वस्तु बहुत अधिक बदल गई, तो उन्होंने कहा, "यह वह नहीं है।" AI बहुत उदार था; उसने कहना जारी रखा, "हाँ, यह अभी भी वही चीज़ है," भले ही वह वस्तु पहचानने योग्य भी न बची हो।
5. "एसेंशियलिस्ट" गैप (तत्ववादी अंतर)
पेपर सुझाव देता है कि मनुष्यों का एक "एसेंशियलिस्ट" (तत्ववादी) दृष्टिकोण होता है। हम सोचते हैं कि वस्तुओं की एक छिपी हुई "मूल पहचान" होती है। यदि आप सतह (रंग/बनावट) बदलते हैं, तो मूल पहचान वहीं रहती है। लेकिन यदि आप संरचना (आकार/हिस्से) बदलते हैं, तो मूल पहचान चली जाती है।
- AI का दृष्टिकोण: AI अधिक विजुअल समानता (visual similarity) पर निर्भर लगता है। वह सोचता है, "यह मूल से 60% मिलता-जुलता है, इसलिए यह वही है।" उसके पास वह गहरी "मूल पहचान" की समझ नहीं है जो मनुष्यों में होती है।
सारांश में
- क्या AI नए शब्द सीख सकता है? हाँ, लेकिन यह कठिन है यदि वस्तु वैसी ही दिखती है जैसी वह पहले से ही जानता है।
- क्या AI आकार बनाम रंग को समझता है? हाँ, वह रंग की तुलना में आकार को प्राथमिकता देता है, ठीक मनुष्यों की तरह।
- क्या AI मनुष्यों जितना चयनात्मक है? नहीं। AI बहुत अधिक उदार है। वह एक अत्यधिक परिवर्तित वस्तु को उसी नाम से पुकारता रहेगा, जबकि एक इंसान बहुत पहले ही कह चुका होगा, "नहीं, यह कुछ और ही है।"
शोधकर्ताओं ने अपना डेटासेट (NVRD) जारी किया है ताकि अन्य वैज्ञानिक दुनिया को समझने के तरीके में मनुष्यों और मशीनों के बीच के इस अंतर का अध्ययन करना जारी रख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।