OODBench: Out-of-Distribution Benchmark for Large Vision-Language Models
यह शोध पत्र OODBench प्रस्तुत करता है, जो 40K इंस्टेंस-लेवल आउट-ऑफ-डिस्ट्रीब्यूशन जोड़ियों और एक प्रोग्रेसिव असेसमेंट मेट्रिक से युक्त एक स्वचालित बेंचमार्क है, जो वास्तविक दुनिया के परिदृश्यों में OOD डेटा को संभालते समय वर्तमान लार्ज विजन-लैंग्वेज मॉडल्स के महत्वपूर्ण प्रदर्शन ह्रास का व्यापक रूप से मूल्यांकन करने और उसे प्रकट करने के लिए है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आर्टिफिशियल इंटेलिजेंस (AI) दुनिया को बिल्कुल एक बच्चे की तरह देखता है: यह लाखों तस्वीरों को देखने और उन्हें वर्णित करने वाले शब्दों को पढ़ने से सीखता है। पिछले कुछ वर्षों में, ये सिस्टम, जिन्हें विजन-लैंग्वेज मॉडल कहा जाता है, सामान्य चीजों की पहचान करने में अविश्वसनीय रूप से कुशल हो गए हैं। वे एक गोल्डन रिट्रीवर की फोटो देखकर आत्मविश्वास के साथ कह सकते हैं, "यह एक कुत्ता है।" वे आसानी से एक लाल कार या नीले आसमान को पहचान सकते हैं। इस सफलता ने कई लोगों को यह विश्वास दिला दिया है कि इन मशीनों ने देखने की कला में महारत हासिल कर ली है। लेकिन इस आत्मविश्वास में एक छिपा हुआ दोष है। ये सिस्टम मानक, अच्छी रोशनी वाली और स्पष्ट छवियों के विशाल पुस्तकालयों पर प्रशिक्षित होते हैं। हालाँकि, वास्तविक दुनिया में चीजें शायद ही कभी इतनी व्यवस्थित होती हैं। एक कुत्ता आंशिक रूप से एक बाड़ के पीछे छिपा हो सकता है, एक कार कीचड़ से ढकी हो सकती है, या एक ट्रैफिक साइन पेड़ की शाखा से ढका हो सकता है। जब एक AI इन अव्यवस्थित, असामान्य या "सामान्य से हटकर" स्थितियों का सामना करता है, तो वह अक्सर विफल हो जाता है, जिसके परिणाम सेल्फ-ड्राइविंग कारों या चिकित्सा निदान जैसे अनुप्रयोगों के लिए खतरनाक हो सकते हैं। समस्या यह है कि हमारे पास अब तक इन मशीनों को ऐसे अप्रत्याशित परिदृश्यों को संभालने के लिए परीक्षण करने का कोई अच्छा तरीका नहीं था।
शोधकर्ताओं की एक टीम ने OODBench नामक एक नए टूल के साथ इस कमी को पूरा करने के लिए कदम उठाया है। इसे एक कठोर स्ट्रेस टेस्ट के रूप में समझें जिसे विशेष रूप से यह देखने के लिए डिज़ाइन किया गया है कि आर्टिफिशियल इंटेलिजेंस कितनी अच्छी तरह तालमेल बिठा पाता है जब खेल के नियम बदल जाते हैं। शोधकर्ताओं ने केवल इन मॉडलों पर यादृच्छिक, अजीब तस्वीरें नहीं फेंकीं। इसके बजाय, उन्होंने भ्रम के विशिष्ट प्रकारों की पहचान करने के लिए एक परिष्कृत प्रणाली बनाई। उन्होंने दो मुख्य तरीकों पर ध्यान केंद्रित किया जिनसे एक छवि मशीन को उलझा सकती है। पहला तब होता है जब कोई वस्तु मौजूद होती है लेकिन वह अपनी जगह से हटकर या धुंधली लगती है, जैसे कि व्यस्त सड़क के दृश्य के कोने में एक छोटा, धुंधला ऑब्जेक्ट जिसे मॉडल को वास्तव में नोटिस करने के लिए नहीं सिखाया गया था। दूसरा तब होता है जब एक परिचित वस्तु अजीब दिखती है, शायद इसलिए क्योंकि वह टूटी हुई, विकृत या एक अजीब कोण से देखी जा रही है, जिससे मशीन के लिए यह पहचानना कठिन हो जाता है कि वह क्या है। इन चालीस हजार जटिल इमेज-एंड-वर्ड पेयर्स (छवि-और-शब्द युग्मों) का एक विशाल संग्रह बनाकर, टीम ने इन AI सिस्टम की वास्तविक मजबूती को मापने के लिए एक नया मानक स्थापित किया।
इस नए बेंचमार्क के परिणाम गंभीर हैं। जब शोधकर्ताओं ने आज उपलब्ध दस सबसे उन्नत विजन-लैंग्वेज मॉडलों का परीक्षण किया, तो उन्होंने पाया कि सबसे स्मार्ट सिस्टम भी इन असाधारण मामलों का सामना करते समय काफी संघर्ष करते हैं। जबकि मॉडल मानक, स्पष्ट छवियों पर अच्छा प्रदर्शन करते थे, जब डेटा अव्यवस्थित या असामान्य हो गया तो उनकी सटीकता में भारी गिरावट आई। सबसे कठिन परीक्षणों में, जहाँ छवियां विशेष रूप से भ्रमित करने वाली थीं, कुछ मॉडलों का प्रदर्शन रैंडम गेसिंग (यादृच्छिक अनुमान) से बेहतर नहीं था। यह सुझाव देता है कि रोजमर्रा के दृश्यों का वर्णन करने की प्रभावशाली क्षमता के बावजूद, इन मशीनों में दुनिया की गहरी, लचीली समझ की कमी है। वे पहले से देखे गए पैटर्न पर बहुत अधिक निर्भर करते हैं, और जब वे पैटर्न टूट जाते हैं, तो वे लड़खड़ा जाते हैं। अध्ययन ने यह भी खुलासा किया कि मॉडल वस्तुओं की गिनती करने या तुलना करने में विशेष रूप से खराब हैं जब छवियां कठिन होती हैं, जिससे पता चलता है कि दबाव में उनका तार्किक तर्क बिखर जाता है।
यह सुनिश्चित करने के लिए कि ये निष्कर्ष वास्तविक थे और केवल एक विशिष्ट परीक्षण का संयोग नहीं थे, शोधकर्ताओं ने अपने डेटासेट को बनाने के लिए एक चतुर, स्वचालित तरीका विकसित किया। हर कठिन छवि को मैन्युअल रूप से चुनने के लिए मनुष्यों पर निर्भर रहने के बजाय, उन्होंने एक ऐसी विधि का उपयोग किया जो यह तुलना करती है कि विभिन्न AI मॉडल एक छवि और एक शब्द के बीच के संबंध को कैसे "स्कोर" करते हैं। यदि कई मॉडल इस बात पर सहमत होते हैं कि एक संबंध कमजोर या भ्रमित करने वाला है, तो उस छवि को एक चुनौती के रूप में चिह्नित किया जाता है। इस प्रक्रिया ने उन्हें बहुत कम मानवीय प्रयास के साथ एक विशाल, विश्वसनीय डेटासेट बनाने की अनुमति दी। फिर उन्होंने मॉडलों का चरण-दर-चरण दृष्टिकोण का उपयोग करके परीक्षण किया, पहले सरल प्रश्न पूछे, जैसे "क्या इस तस्वीर में एक ट्रक है?" और फिर कठिन प्रश्न पूछे, जैसे "कितने ट्रक हैं?" और अंत में, "क्या ट्रकों की संख्या कारों से अधिक है?" इस प्रगति ने दिखाया कि जैसे-जैसे कार्य कठिन हुए और छवियां अधिक अव्यवस्थित हुईं, मॉडलों की सही ढंग से तर्क करने की क्षमता टूट गई। यहाँ तक कि सबसे शक्तिशाली वाणिज्यिक सिस्टम भी, जिन्हें अक्सर लगभग पूर्ण माना जाता है, प्रदर्शन में महत्वपूर्ण गिरावट दिखाते हैं, जो यह सिद्ध करता है कि आर्टिफिशियल इंटेलिजेंस की वर्तमान पीढ़ी अभी भी अप्रत्याशित वास्तविक दुनिया में वास्तव में विश्वसनीय होने से बहुत दूर है।
शोधकर्ताओं ने यह भी पता लगाया कि क्या "चेन-ऑफ-थॉट" नामक एक लोकप्रिय तकनीक, जो AI को उत्तर देने से पहले अपने तर्क को चरण-दर-चरण समझाने के लिए कहती है, मदद कर सकती है। उन्होंने पाया कि कुछ मॉडलों के लिए, इस पद्धति ने थोड़ा बढ़ावा दिया, लेकिन अन्य के लिए, इसने वास्तव में चीजों को और भी बदतर बना दिया, जिससे वे और भी अधिक लड़खड़ा गए। यह इंगित करता है कि केवल मशीन को अधिक गहराई से सोचने के लिए कहना इस मौलिक समस्या का समाधान नहीं करता है कि उसने अपने प्रशिक्षण के दौरान पर्याप्त विविध उदाहरण नहीं देखे हैं। अध्ययन निष्कर्ष निकालता है कि हालांकि ये मॉडल शक्तिशाली उपकरण हैं, वे वास्तविक जीवन की अव्यवस्थित, अप्रत्याशित प्रकृति के लिए अभी तैयार नहीं हैं। OOD-Bench का निर्माण एक स्पष्ट मार्ग प्रदान करता है, जो प्रगति को मापने का एक तरीका प्रदान करता है और डेवलपर्स को ऐसे सिस्टम बनाने के लिए प्रेरित करता है जो बिना विफल हुए अप्रत्याशित स्थितियों को संभाल सकें। जब तक ये मशीनें उसी आत्मविश्वास के साथ अजीब और असामान्य स्थितियों को नेविगेट नहीं कर पातीं जो वे साधारण स्थितियों के लिए दिखाती हैं, तब तक महत्वपूर्ण सुरक्षा अनुप्रयोगों में उनका उपयोग एक जोखिम बना रहेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।