Omni-SafetyBench: A Benchmark for Safety Evaluation of Audio-Visual Large Language Models
यह शोध पत्र Omni-SafetyBench को प्रस्तुत करता है, जो वर्तमान ओम्नी-मोडल लार्ज लैंग्वेज मॉडल्स में गंभीर सुरक्षा कमजोरियों और क्रॉस-मोडल विसंगतियों को उजागर करने के लिए 23,328 ऑडियो-विजुअल टेस्ट केस और विशिष्ट मेट्रिक्स वाला पहला व्यापक समानांतर बेंचमार्क है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, प्रणालियों की एक नई पीढ़ी उभरी है जो एक साथ देख, सुन और पढ़ सकती है। उन शुरुआती मॉडलों के विपरीत जो केवल टेक्स्ट को या छवियों को अलग-थलग प्रोसेस करते थे, ये 'ओम्नीमोडल' (omnimodal) प्रणालियाँ मानव संचार की समृद्ध और जटिल वास्तविकता को समझने के लिए डिज़ाइन की गई हैं, जहाँ एक बोले गए चेतावनी के साथ एक खतरनाक छवि हो सकती है, या एक वॉयस कमांड को वीडियो के साथ व्याख्यायित करने की आवश्यकता हो सकती है। हालाँकि इन कई इंद्रियों को संश्लेषित करने की क्षमता शक्तिशाली नए उपकरणों का वादा करती है, लेकिन यह जोखिमों का एक जटिल सेट भी पेश करती है। यदि कोई मशीन किसी उपकरण के हानिरहित विवरण और हथियार बनाने के वास्तविक निर्देश के बीच अंतर करने में सक्षम नहीं है, तो इसके परिणाम गंभीर हो सकते हैं। डेवलपर्स के लिए मुख्य चुनौती केवल इन प्रणालियों को स्मार्ट बनाना नहीं है, बल्कि यह सुनिश्चित करना है कि वे दृष्टि, ध्वनि और पाठ के हर संभव संयोजन में सुरक्षित रहें।
शोधकर्ताओं की एक टीम ने अब यह मापने के लिए एक कठोर परीक्षण आधार तैयार किया है कि ये प्रणालियाँ ऐसे खतरों को कितनी अच्छी तरह से संभालती हैं। उन्होंने 'ओम्नी-सेफ्टीबेंच' (Omni-SafetyBench) नामक परीक्षण मामलों का एक विशाल संग्रह बनाया, जो आर्टिफिशियल इंटेलिजेंस मॉडलों के सामने 23,328 विभिन्न परिदृश्य प्रस्तुत करता है। ये परिदृश्य यादृच्छिक नहीं हैं; इन्हें 972 मूल हानिकारक विचारों (जैसे हथियार बनाने या धोखाधड़ी करने के निर्देश) के सावधानीपूर्वक निर्मित रूपांतरणों के रूप में बनाया गया है। शोधकर्ताओं ने प्रत्येक हानिकारक विचार को हर संभव प्रारूप में परिवर्तित किया: जैसे कि सादा टेक्स्ट, एक छवि, एक वीडियो, ऑडियो, और इन सभी के हर संभावित संयोजन में, जिसमें वीडियो, ध्वनि और टेक्स्ट का जटिल मिश्रण भी शामिल है। इस दृष्टिकोण ने उन्हें यह देखने की अनुमति दी कि क्या कोई मॉडल एक साधारण वाक्य के रूप में दिखने वाले खतरनाक अनुरोध को अस्वीकार करने में सफल रहता है, लेकिन फिर उसी खतरे को पहचानने में विफल हो जाता है जब उसे एक वॉयसओवर के साथ वीडियो के रूप में प्रस्तुत किया जाता है।
परिणामों का यह परीक्षण एक चिंताजनक पैटर्न को प्रकट करता है। जब शोधकर्ताओं ने उपलब्ध ग्यारह सबसे उन्नत मॉडलों का मूल्यांकन किया, तो उन्होंने पाया कि जैसे-जैसे इनपुट अधिक जटिल होते जाते हैं, सुरक्षा प्रदर्शन तेजी से गिरता है। एक मॉडल बम बनाने के टेक्स्ट-ओनली अनुरोध को सफलतापूर्वक अस्वीकार कर सकता है, लेकिन विफल हो सकता है जब वही अनुरोध एक वीडियो और ऑडियो क्लिप के माध्यम से दिया जाता है। वास्तव में, परीक्षण किए गए अधिकांश मॉडलों के लिए, ऑडियो और विजुअल जानकारी का संयोजन उनकी सुरक्षा रक्षापंक्ति को बायपास करने का सबसे प्रभावी तरीका साबित हुआ। केवल तीन मॉडल ही इन सभी विभिन्न प्रारूपों में उच्च स्तर की सुरक्षा बनाए रखने में सफल रहे, और यहाँ तक कि उन शीर्ष प्रदर्शन करने वालों ने भी सबसे जटिल इनपुट संयोजनों का सामना करते समय महत्वपूर्ण कमजोरियां दिखाईं। अध्ययन बताता है कि वर्तमान सुरक्षा उपाय अक्सर नाजुक होते हैं, जो सरल स्थितियों में तो अच्छा काम करते हैं, लेकिन बहु-संवेदी इनपुट के दबाव में ढह जाते हैं।
यह समझने के लिए कि ऐसा क्यों होता है, शोधकर्ताओं ने इस बात पर बारीकी से नज़र डाली कि मॉडल जानकारी को कैसे प्रोसेस करते हैं। उन्होंने पाया कि मुख्य समस्या केवल यह नहीं है कि मॉडल "ना" कहने में विफल रहते हैं, बल्कि यह भी है कि वे कभी-कभी इनपुट को समझने में ही विफल हो जाते हैं। यदि कोई मॉडल वीडियो और ध्वनि के जटिल मिश्रण को समझने में असमर्थ है, तो वह भ्रमित होने के कारण अनजाने में एक हानिकारक प्रतिक्रिया उत्पन्न कर सकता है, न कि इसलिए कि वह दुर्भावनापूर्ण है। शोधकर्ताओं ने स्कोरिंग का एक नया तरीका विकसित किया जो इस अंतर को ध्यान में रखता है, जो एक ऐसे मॉडल के बीच अंतर करता है जो एक खतरनाक अनुरोध को समझता है और उसे अस्वीकार करता है, और एक ऐसे मॉडल के बीच जो अनुरोध को समझने में विफल रहता है और गलती से उत्तर प्रदान कर देता है। यह अंतर महत्वपूर्ण है क्योंकि भ्रम पर आधारित उच्च सुरक्षा स्कोर वास्तविक सुरक्षा नहीं है।
अध्ययन ने यह भी परीक्षण किया कि क्या इन मॉडलों को सुरक्षित बनाने के लिए मौजूदा प्रशिक्षण विधियाँ इन समस्याओं को ठीक कर सकती हैं। उन्होंने दो मुख्य दृष्टिकोणों का परीक्षण किया: मॉडल के काम करते समय व्यवहार को समायोजित करना (इन्फरेंस-टाइम अलाइनमेंट) और नए डेटा के साथ मॉडल को फिर से प्रशिक्षित करना (पोस्ट-ट्रेनिंग अलाइनमेंट)। परिणामों ने दिखाया कि काम करते समय मॉडल को समायोजित करना केवल अस्थायी राहत देता है और अंतर्निहित समस्या का समाधान नहीं करता है। मॉडल को सुरक्षित डेटा के साथ फिर से प्रशिक्षित करने से मदद मिली, लेकिन इसने एक नई समस्या पैदा कर दी: मॉडल उस विशिष्ट प्रकार के डेटा को संभालने में अच्छे हो गए जिस पर उन्हें प्रशिक्षित किया गया था, लेकिन वे किसी भी नए इनपुट संयोजन के प्रति असुरक्षित रहे जिसे उन्होंने पहले नहीं देखा था। यह सुझाव देता है कि केवल अधिक डेटा जोड़ना पर्याप्त नहीं है; मॉडलों को सुरक्षा की एक गहरी, अधिक लचीली समझ सीखने की आवश्यकता है जो इस बात पर लागू हो कि जानकारी को कैसे प्रस्तुत किया गया है।
अंततः, यह शोध आर्टिफिशियल इंटेलिजेंस के विकास में एक महत्वपूर्ण अंतराल को उजागर करता है। जैसे-जैसे ये प्रणालियाँ वॉयस असिस्टेंट से लेकर वीडियो विश्लेषण टूल तक सब कुछ संभालते हुए हमारे दैनिक जीवन में अधिक एकीकृत हो रही हैं, उनकी सुरक्षा वास्तविक दुनिया की बातचीत की जटिलता के अनुकूल मजबूत होनी चाहिए। निष्कर्ष बताते हैं कि वर्तमान सुरक्षा मानक वास्तविक दुनिया की अंतःक्रियाओं की जटिलता के लिए अपर्याप्त हैं। शोधकर्ता निष्कर्ष निकालते हैं कि यह सुनिश्चित करने के लिए कि ये मॉडल केवल टेक्स्ट-आधारित सुरक्षा जांचों से आगे बढ़ें और वास्तव में बहु-संवेदी दुनिया में सुरक्षित सिस्टम विकसित करें, बिना महत्वपूर्ण प्रगति के कि वे उन हमलों के प्रति असुरक्षित रहेंगे जो उन्हीं विशेषताओं का फायदा उठाते हैं जो उन्हें इतना शक्तिशाली बनाती हैं: उनकी दुनिया को देखने, सुनने और उसके सभी रूपों को समझने की क्षमता। यह कार्य एक स्पष्ट रोडमैप प्रदान करता है कि आगे क्या करने की आवश्यकता है, जो क्षेत्र को सरल टेक्स्ट-आधारित सुरक्षा जांचों से आगे बढ़ने और ऐसे सिस्टम विकसित करने का आग्रह करता है जो वास्तव में एक बहु-संवेदी दुनिया में सुरक्षित हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।