EviSafe: Evidence-Grounded Safety Evaluation for Vision-Language Models
EviSafe एक साक्ष्य-आधारित ढांचे और बेंचमार्क (EviSafeBench) को पेश करता है जो न केवल अंतिम प्रतिक्रियाओं का, बल्कि दृश्य/पाठ्य साक्ष्यों में निर्णयों को सही ढंग से स्थापित करने और प्रतितथ्यात्मक (counterfactual) परिवर्तनों के अनुकूल होने की मॉडल की क्षमता का आकलन करके विजन-लैंग्वेज मॉडल की सुरक्षा का मूल्यांकन करता है, जिससे यह पता चलता है कि वर्तमान मॉडल अक्सर सही मल्टीमॉडल कारणों के लिए सुरक्षित होने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, कंप्यूटर प्रोग्रामों की एक नई पीढ़ी उभरी है जो एक ही समय में देख और पढ़ सकती है। विजन-लैंग्वेज मॉडल (vision-language models) के रूप में जाने जाने वाले ये सिस्टम, एक छवि को देखते हैं और एक व्यक्ति द्वारा टाइप किए गए टेक्स्ट को पढ़ते हैं, फिर उन दोनों सूचनाओं के प्रवाह को मिलाकर प्रश्नों के उत्तर देते हैं या सलाह देते हैं। इनका उपयोग तेजी से मेडिकल स्कैन की व्याख्या करने, कानूनी दस्तावेजों का विश्लेषण करने और जटिल सामाजिक दृश्यों को समझने के लिए किया जा रहा है। चूंकि ये उपकरण वास्तविक दुनिया के निर्णयों को प्रभावित कर सकते हैं, इसलिए इनकी सुरक्षा सुनिश्चित करना एक महत्वपूर्ण प्राथमिकता है। वर्षों से, शोधकर्ता इन प्रणालियों का परीक्षण करने के लिए उन्हें खतरनाक प्रश्न पूछते रहे हैं और यह देखते रहे हैं कि क्या कंप्यूटर उत्तर देने से मना करता है। यदि मशीन "ना" कहती है या चेतावनी देती है, तो इसे सुरक्षित माना जाता है। यदि वह प्रश्न का सीधा उत्तर देती है, तो इसे असुरक्षित माना जाता है। हालांकि, यह विधि केवल अंतिम परिणाम को देखती है, ठीक वैसे ही जैसे एक शिक्षक किसी छात्र के निबंध का मूल्यांकन केवल उसके निष्कर्ष को देखकर करता है, बिना उस तर्क को पढ़े जो उस निष्कर्ष तक ले गया। एक कंप्यूटर किसी अनुरोध को केवल इसलिए मना कर सकता है क्योंकि उसने एक डरावने शब्द को पहचान लिया, या वह एक खतरनाक उत्तर दे सकता है क्योंकि उसने तस्वीर में एक महत्वपूर्ण विवरण को मिस कर दिया। सवाल यह बना हुआ है: जब कोई मशीन सुरक्षित दिखाई देती है, तो क्या वह वास्तव में सही कारणों से सुरक्षित है?
शंघाई जियाओ टोंग यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इन प्रणालियों का परीक्षण करने का एक नया तरीका विकसित किया है जो अंतिम उत्तर से कहीं अधिक गहराई तक जाता है। उन्होंने EviSafe नामक एक ढांचा (framework) बनाया, जो सुरक्षा को केवल अंतिम आउटपुट पर पास या फेल होने के रूप में नहीं, बल्कि सही साक्ष्य खोजने और उपयोग करने की एक प्रक्रिया के रूप में देखता है। कल्पना कीजिए कि एक सुरक्षा गार्ड गेट पर किसी व्यक्ति को रोकता है। एक सरल परीक्षण केवल यह पूछता है कि क्या गार्ड ने व्यक्ति को रोका। नया परीक्षण यह पूछता है कि क्या गार्ड ने उन्हें इसलिए रोका क्योंकि उसने हथियार देखा, क्योंकि उसने एक विशिष्ट खतरे को पहचाना, या केवल इसलिए क्योंकि व्यक्ति ने लाल टोपी पहनी थी। शोधकर्ताओं ने 1,181 सावधानीपूर्वक तैयार किए गए परिदृश्यों का एक विशाल संग्रह बनाया, जिसमें प्रत्येक में एक छवि और एक प्रश्न शामिल है, साथ ही एक विस्तृत मानचित्र भी है कि कंप्यूटर को सही निर्णय लेने के लिए किस ओर देखना चाहिए। उन्होंने इन परिदृश्यों के 2,400 से अधिक बदलाव भी बनाए जहाँ उन्होंने साक्ष्य का केवल एक छोटा हिस्सा बदला, जैसे कि फोटो से किसी खतरनाक वस्तु को हटाना या प्रश्न में एक शब्द बदलना, यह देखने के लिए कि क्या कंप्यूटर का व्यवहार तदनुसार बदलता है।
शोधकर्ताओं ने इस नई पद्धति का उपयोग करके ग्यारह अलग-अलग विजन-लैंग्वेज मॉडल का परीक्षण किया। उन्होंने प्रत्येक परिदृश्य के लिए प्रत्येक मॉडल से तीन प्रकार के प्रश्न पूछे। सबसे पहले, उन्होंने मॉडल से स्वाभाविक रूप से उत्तर देने को कहा, जैसा कि एक उपयोगकर्ता करेगा। दूसरा, उन्होंने मॉडल से अपने तर्क की व्याख्या करने को कहा, जिसमें उन विशिष्ट टेक्स्ट और विजुअल संकेतों को बताया गया जिनका उपयोग उसने अपने निर्णय के लिए किया था। तीसरा, उन्होंने मॉडल के सामने संशोधित परिदृश्य प्रस्तुत किए ताकि यह देखा जा सके कि क्या वह साक्ष्य बदलने पर अपने उत्तर को अनुकूलित कर सकता है। परिणामों ने खुलासा किया कि सुरक्षित दिखने और वास्तव में सुरक्षित होने के बीच एक बड़ा अंतर है। जबकि कुछ मॉडल सतह पर काफी अच्छा प्रदर्शन करते थे, जिसमें प्राकृतिक सुरक्षा सटीकता लगभग 28 प्रतिशत से 53 प्रतिशत के बीच थी, उनकी निर्णय के पीछे के साक्ष्य को सही ढंग से पहचानने और रिपोर्ट करने की क्षमता बहुत कम थी। वास्तव में, मॉडल-परिदृश्य रिकॉर्ड का केवल एक छोटा सा हिस्सा, मात्र 9.8 प्रतिशत, 'एविडेंस-ग्राउंडेड सक्सेस' (साक्ष्य-आधारित सफलता) के रूप में लेबल किया गया था, जिसका अर्थ है कि मॉडल ने सही उत्तर भी दिया और साथ ही उस विशिष्ट दृश्य या भाषाई साक्ष्य की भी सही पहचान की जो उस उत्तर को उचित ठहराता था।
अध्ययन में पाया गया कि कई मॉडल अनिवार्य रूप से अनुमान लगा रहे हैं या शॉर्टकट पर निर्भर हैं। एक कंप्यूटर किसी अनुरोध को इसलिए मना कर सकता है क्योंकि वह खतरे से जुड़े एक कीवर्ड को देखता है, भले ही छवि में एक हानिरहित संदर्भ हो, जैसे कि एक डॉक्टर द्वारा चिकित्सा प्रक्रिया समझाना। इसके विपरीत, एक मॉडल एक खतरनाक उत्तर दे सकता है क्योंकि वह छवि के एक महत्वपूर्ण विवरण को नोटिस करने में विफल रहता है जो उस अनुरोध को असुरक्षित बनाता है। जब शोधकर्ताओं ने परीक्षण परिदृश्यों में साक्ष्य बदले, तो कई मॉडल अपने व्यवहार को बदलने में विफल रहे। उदाहरण के लिए, यदि किसी छवि से एक खतरनाक वस्तु को हटा दिया जाता है, तो एक वास्तव में सुरक्षित मॉडल को अपनी प्रतिक्रिया को चेतावनी से बदलकर एक सुरक्षित प्रतिक्रिया में बदल देना चाहिए। हालांकि, परीक्षणों ने दिखाया कि केवल लगभग 30 से 58 प्रतिशत मॉडल ही यह बदलाव करने में सफल रहे। यह सुझाव देता है कि ये सिस्टम जो देखते हैं और जो कहते हैं, उनके बीच के संबंध को विश्वसनीय रूप से नहीं समझ रहे हैं। वे अक्सर एक सुसंगत समझ बनाने के बजाय सतही पैटर्न पर प्रतिक्रिया दे रहे होते हैं।
शोधकर्ताओं ने यह भी पाया कि मॉडल का आकार अनिवार्य रूप से इस समस्या का समाधान नहीं करता है। बड़े, अधिक शक्तिशाली मॉडल छवि और टेक्स्ट के बीच कड़ियों को जोड़ने में लगातार बेहतर प्रदर्शन नहीं करते हैं। कुछ सबसे बड़े मॉडल एक संरचित रिपोर्ट में उन्हें समझाने के लिए पूछे जाने पर जोखिम कारकों की सही पहचान कर सकते हैं, फिर भी वे स्वाभाविक बातचीत में उसी प्रश्न का उत्तर देते समय असुरक्षित व्यवहार करने में विफल रहते हैं। यह मॉडल की साक्ष्य का विश्लेषण करने की क्षमता और उस विश्लेषण का उपयोग अपने व्यवहार को निर्देशित करने के लिए करने की क्षमता के बीच एक विच्छेद (disconnect) को दर्शाता है। अध्ययन यह निष्कर्ष निकालता है कि विजन-लैंग्वेज मॉडल की वर्तमान पीढ़ी अभी तक सही कारणों से सुरक्षित नहीं है। वे संयोग से सुरक्षित दिखाई दे सकते हैं, या वे ऐसे तरीकों से असुरक्षित हो सकते हैं जो सरल रिफ्यूज़ल टेस्ट (मना करने वाले परीक्षणों) द्वारा छिपे हुए हैं। वास्तव में विश्वसनीय सिस्टम बनाने के लिए, डेवलपर्स को केवल इस बात को गिनने से आगे बढ़ना होगा कि एक मॉडल कितनी बार अनुरोध को मना करता है, और उन्हें अपने निर्णयों को छवि और टेक्स्ट में मौजूद वास्तविक साक्ष्यों पर आधारित करने के लिए प्रशिक्षित करना होगा, यह सुनिश्चित करते हुए कि उनकी सुरक्षा संयोग के बजाय समझ पर आधारित हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।