Hazard or Anomaly? Evaluating VLMs for Understanding Dangers and Discrepancies
यह शोध पत्र विजन-लैंग्वेज मॉडल्स (Vision-Language Models) के मूल्यांकन के लिए "खतरा" (hazard) और "विसंगति" (anomaly) के बीच एक महत्वपूर्ण अंतर प्रस्तुत करता है, जो यह प्रकट करता है कि वर्तमान मॉडल अक्सर दृश्यों की अनियमितताओं को खतरों के रूप में गलत समझते हैं और यह प्रदर्शित करता है कि इन अवधारणाओं को अलग करने से पारंपरिक द्विआधारी निर्णयों की तुलना में सुरक्षा तर्क का अधिक सटीक मूल्यांकन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक उच्च-तकनीकी बचाव रोबोट के कप्तान हैं, जिसे लोगों को सुरक्षित रखने के लिए एक अराजक आपदा क्षेत्र का निरीक्षण करने का काम सौंपा गया है। आपके रोबोट का मस्तिष्क एक "विज़न-लैंग्वेज मॉडल" (VLM) है, जो एक अत्यंत बुद्धिमान AI है जो किसी तस्वीर को देख सकता है और उसका वर्णन कर सकता है, बिल्कुल एक बहुत ही बातूनी और चौकस दोस्त की तरह। लेकिन यहाँ पेचीदा हिस्सा यह है कि एक वास्तविक आपात स्थिति में, आपके रोबोट को यह जानने की ज़रूरत है कि क्या कुछ "अजीब" है और क्या कुछ "घातक" है। रंगीन, छोड़े गए खिलौनों का ढेर अजीब और बेमेल लग सकता है, लेकिन वह किसी को नुकसान नहीं पहुँचाएगा। इसके विपरीत, बिजली के खुले तारों का ढेर खतरनाक हो सकता है, भले ही वह देखने में बिल्कुल सामान्य लगे। यदि आपका रोबट यह अंतर नहीं कर पाता कि क्या "असामान्य" है और क्या "खतरनाक", तो वह एक लाल पोशाक देखकर "आग!" चिल्ला सकता है, जिससे बचाव दल का ध्यान असली खतरे से भटक सकता है, या इससे भी बुरा, वह एक छिपे हुए जाल को अनदेखा कर सकता है क्योंकि वह बहुत परिचित लगता है। यह शोध इस बात की पड़ताल करता है कि क्या हमारे वर्तमान AI रोबोट इस महत्वपूर्ण अंतर को समझने के लिए पर्याप्त बुद्धिमान हैं, या वे केवल इस आधार पर अनुमान लगा रहे हैं कि कोई दृश्य कितना "असामान्य" दिखता है।
इस अध्ययन के पीछे के शोधकर्ताओं, मुरली इंदुकुरी और उनकी टीम ने इस AI मस्तिष्क को एक नए प्रकार की परीक्षा के साथ परखने का निर्णय लिया। केवल यह पूछने के बजाय कि "क्या यह सुरक्षित है या असुरक्षित?" (एक साधारण हाँ या ना वाला सवाल), उन्होंने उनसे दृश्यों को चार विशिष्ट श्रेणियों में वर्गीकृत करने के लिए कहा: सुरक्षित (सब कुछ सामान्य है), असंगत/अनोखा (कुछ अजीब या बेमेल है, लेकिन सुरक्षित है), जोखिमपूर्ण (कुछ खतरनाक है, लेकिन सामान्य दिखता है), और असंगत-जोखिमपूर्ण (जो अजीब भी है और खतरनाक भी)। उन्होंने परीक्षण प्रश्नों के रूप में 610 छवियों का एक विशेष डेटासेट बनाया।
जब उन्होंने परीक्षण चलाए, तो उन्हें रोबोटों में एक मज़ेदार लेकिन चिंताजनक आदत मिली। AI मॉडल अत्यधिक उत्साही अलार्म बजाने वालों की तरह थे जो "अजीब" को "डरावने" के साथ भ्रमित कर देते थे। यदि कोई दृश्य असामान्य दिखता था—जैसे कि एक बाथटब में रखा टोस्टर—तो AI अक्सर "खतरा!" चिल्ला देता था, भले ही टोस्टर अनप्लग किया हुआ और पूरी तरह से सुरक्षित हो। अध्ययन बताता है कि ये मॉडल किसी स्थिति के वास्तव में खतरनाक होने का निर्णय लेने के बजाय, केवल इस भावना पर बहुत अधिक निर्भर करते हैं कि दृश्य कितना "अनियमित" है। यह ऐसा है जैसे रोबोट सोचता है, "यह सही नहीं लग रहा है, इसलिए यह निश्चित रूप से एक राक्षस होगा!"
टीम ने यह देखने के लिए कि क्या वे इसे ठीक कर सकते हैं, सवाल पूछने के विभिन्न तरीकों का परीक्षण किया। उन्होंने तीन मुख्य रणनीतियाँ अपनाईं:
- ज़ीरो-शॉट (Zero-Shot): केवल रोबोट को परिभाषाएँ देना और उसे अनुमान लगाने के लिए कहना।
- फ्यू-शॉट (Few-Shot): पूछने से पहले रोबोट को "अजीब लेकिन सुरक्षित" और "खतरनाक" दृश्यों के कुछ उदाहरण दिखाना।
- चेन-ऑफ-थॉट (Chain-of-Thought): रोबट को गणित की समस्या को ज़ोर से हल करने की तरह, चरण-दर-चरण अपने तर्क को समझाने के लिए कहना।
परिणामों से पता चला कि जबकि सही प्रॉम्प्ट के साथ रोबोट वास्तविक खतरों (hazards) को पहचानने में बेहतर हो गए थे, फिर भी उन्हें "अजीब" और "घातक" के बीच अंतर करने में संघर्ष करना पड़ा। सबसे अच्छा प्रदर्शन करने वाले मॉडल, जैसे GPT-4.1 और Gemini 3 Flash, खतरों को पहचानने में लगभग 85% सटीकता प्राप्त करने में सक्षम थे, लेकिन वे उन चीजों के प्रति बहुत कम आश्वस्त थे जो केवल अजीब लेकिन सुरक्षित थीं। यहाँ तक कि सबसे स्मार्ट मॉडल भी गलतियाँ करते थे, कभी वास्तविक खतरे को मिस कर देते थे तो कभी किसी हानिरहित विचित्रता को खतरा मान लेते थे।
दिलचस्प बात यह है कि शोधकर्ताओं ने यह भी परीक्षण किया कि क्या वे रोबोट को तस्वीर के बजाय केवल उसका लिखित विवरण (एक "सघन कैप्शन") दे सकते हैं। आश्चर्यजनक रूप से, केवल टेक्स्ट के साथ रोबोट का प्रदर्शन खराब रहा! ऐसा लगता है कि इस विशिष्ट कार्य के लिए, वास्तविक छवि देखना अभी भी महत्वपूर्ण है, और केवल विवरण पढ़ना AI को संदर्भ समझने में मदद करने के लिए पर्याप्त नहीं है।
यह शोध निष्कर्ष निकालता है कि हालांकि ये AI मॉडल अपने कार्यों में काफी अच्छे होते जा रहे हैं, फिर भी वे सुरक्षा-महत्वपूर्ण स्थितियों के एकमात्र रक्षक बनने के लिए तैयार नहीं हैं। वे किसी भी चीज़ पर अत्यधिक प्रतिक्रिया करते हैं जो साधारण से हटकर दिखती है। लेखक सुझाव देते हैं कि AI को स्पष्ट रूप से "अजीब" और "खतरनाक" को अलग करने के लिए मजबूर करके, हम इसे अधिक विश्वसनीय बना सकते हैं। उन्होंने यह भी पाया कि उनके नए, अधिक विस्तृत परीक्षण का तरीका पुराने "सुरक्षित बनाम असुरक्षित" परीक्षणों की तुलना में इन गलतियों को पकड़ने में बहुत बेहतर था। हालांकि वर्तमान मॉडल सही दिशा में एक कदम हैं, अध्ययन बताता है कि हमें उन्हें सोचने का तरीका सिखाने में निरंतर सुधार करने की आवश्यकता है, ताकि वे किसी जोकर की लाल नाक देखकर घबरा न जाएं और वास्तविक आग की अनदेखी न करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।