SafeNexus: Discovering and Steering Modality-Universal Safety Neurons in MLLMs
यह शोधपत्र SafeNexus को पेश करता है, जो एक क्रॉस-मोडल सुरक्षा संरेखण ढांचा है जो उपयोगिता को संरक्षित करते हुए विविध क्रॉस-मोडल खतरों के विरुद्ध मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की मजबूती से रक्षा करने के लिए लक्षित दमन और सक्रियण प्रवर्धन के माध्यम से मोडैलिटी-यूनिवर्सल सुरक्षा न्यूरॉन्स की पहचान करता है और उन्हें निर्देशित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ किताबें आपसे बात कर सकती हैं। लंबे समय तक, ये बात करने वाली किताबें केवल टेक्स्ट (पाठ) थीं, जैसे कि एक बहुत ही स्मार्ट चैटबॉट। लेकिन हाल ही में, वे "मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स" (MLLMs) में विकसित हो गई हैं। इन मॉडल्स को ऐसे सुपर-लाइब्रेरियन के रूप में समझें जो अब एक साथ टेक्स्ट पढ़ सकते हैं, चित्रों को देख सकते हैं और ऑडियो सुन सकते हैं। वे अविश्वसनीय रूप से सहायक हैं, लेकिन इस नई सुपरपावर के साथ एक पेंच भी आता है: यह उन्हें चकमा देने के नए तरीके खोल देता है। जिस तरह संग्रहालय में सुरक्षा गार्ड एक नकली पेंटिंग को पहचानने का तरीका जानता हो सकता है लेकिन एक नकली साउंड रिकॉर्डिंग को पहचानने में विफल हो सकता है, उसी तरह ये AI मॉडल अक्सर असुरक्षित होते हैं क्योंकि उनके सुरक्षा गार्ड केवल एक प्रकार के इनपुट के लिए काम करते हैं। यदि आप उन्हें शब्दों के बजाय एक तस्वीर या वाक्य के बजाय एक साउंड क्लिप से धोखा देने की कोशिश करते हैं, तो गार्ड खतरे को पूरी तरह से मिस कर सकते हैं। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: हम एक ऐसी सुरक्षा प्रणाली कैसे बनाएं जो काम करे, चाहे शरारती व्यक्ति किसी भी तरीके से घुसपैtextने की कोशिश करे?
यहीं पर SafeNexus नामक एक नया अध्ययन काम आता है। शोधकर्ताओं ने, जो चीन और सिंगापुर के विश्वविद्यालयों की एक टीम है, AI की सुरक्षा को बाहर से देखने के बजाय उसके "दिमाग" के अंदर खजाने की खोज करने का निर्णय लिया। उन्होंने पाया कि AI की बुरे अनुरोधों को "ना" कहने की क्षमता बिखरी हुई नहीं है; बल्कि इसे वास्तव में न्यूरॉन्स नामक स्विचों के एक छोटे, विशेष समूह द्वारा नियंत्रित किया जाता है।
यहाँ दिलचस्प बात यह है: टीम ने पाया कि जबकि विभिन्न प्रकार के इनपुट (जैसे टेक्स्ट, इमेज या ऑडियो) जानकारी को प्रोसेस करने के लिए मस्तिष्क के अलग-अलग हिस्सों का उपयोग करते हैं, वहां न्यूरॉन्स का एक गुप्त, साझा क्लब है जो सभी के लिए अंतिम "खतरा डिटेक्टर" के रूप में कार्य करता है। वे इन्हें US-Neurons (मोडैलिटी-यूनिवर्सल सेफ्टी न्यूरॉन्स) कहते हैं। यह ऐसा ही है जैसे यह पता लगाना कि चाहे आप सुरक्षा से चाकू, बम या फर्जी आईडी पास कराने की कोशिश कर रहे हों, गलियारे में एक विशिष्ट, छोटा सुरक्षा कैमरा सभी को पकड़ लेता है। यदि आप उस कैमरे को बंद कर देते हैं, तो घुसपैठिया कुछ भी लेकर आए, पूरा भवन असुरक्षित हो जाता है।
पेपर सुझाव देता है कि पिछले तरीकों ने पूरे AI को फिर से प्रशिक्षित करके या बाहरी फिल्टर जोड़कर सुरक्षा के छेदों को भरने की कोशिश की थी, जो हर एक दरवाजे के लिए एक नया सुरक्षा गार्ड रखने जैसा है। SafeNexus एक अलग दृष्टिकोण अपनाता है: यह उन कुछ महत्वपूर्ण "खतरा डिटेक्टर" न्यूरॉन्स को ढूंढता है और उन्हें एक सुपरपावर बूस्ट देता है। टीम ने दो तरीकों का परीक्षण किया:
- द एम्प्लीफायर (The Amplifier): AI की सोचने की प्रक्रिया के दौरान, उन्होंने बस उन विशिष्ट न्यूरॉन्स की आवाज़ तेज़ कर दी, जिससे वे अधिक तेज़ी से और ज़ोर से "खतरा!" चिल्ला सकें।
- द कैलिब्रेटर (The Calibrator): उन्होंने उन विशिष्ट न्यूरॉन्स को एक छोटा, लक्षित ट्यून-अप दिया (LoRA नामक विधि का उपयोग करके) ताकि वे स्वाभाविक रूप से परेशानी को पहचानने में बेहतर बन सकें, बिना पूरे AI को फिर से प्रशिक्षित किए।
परिणाम प्रभावशाली थे। जब उन्होंने Qwen और VITA जैसे मॉडल्स पर इनका परीक्षण किया, तो उन्होंने पाया कि इन कुछ न्यूरॉन्स को बढ़ाने से AI हानिकारक अनुरोधों को अस्वीकार करने में बहुत बेहतर हो गया, चाहे अनुरोध टेक्स्ट, चित्र या ध्वनि के रूप में आया हो। महत्वपूर्ण रूप से, उन्होंने पाया कि इससे AI "मूर्ख" या अत्यधिक सतर्क नहीं हुआ। इसने हानिरहित सवालों (जैसे "मैं केक कैसे बनाऊं?") को मना करना शुरू नहीं किया, और न ही इसने अपने अन्य कार्यों को करना छोड़ा। वास्तव में, कुछ परीक्षणों में, यह नया तरीका वर्तमान सर्वोत्तम तरीकों की तुलना में हमलों को रोकने में कहीं बेहतर था, जबकि इसने AI की कुल मस्तिष्क शक्ति के 0.05% से भी कम हिस्से को बदला।
शोधकर्ताओं ने यह भी दिखाया कि यह ट्रिक उन चीजों पर भी काम करती है जिन पर उन्होंने स्पष्ट रूप से प्रशिक्षण नहीं दिया था, जैसे कि वीडियो। भले ही उन्होंने "ट्यूनिंग" चरण के दौरान AI को कभी वीडियो क्लिप नहीं दिखाए, लेकिन बढ़े हुए न्यूरॉन्स वीडियो हमलों में भी खतरे को पहचानने में सक्षम थे। यह सुझाव देता है कि उन्होंने वास्तव में एक मुख्य, सार्वभौमिक सुरक्षा तंत्र को खोजा है, न कि केवल विशिष्ट उदाहरणों को याद किया है।
संक्षेप में, SafeNexus सुझाव देता है कि हमें AI के सुरक्षा तंत्र को सभी प्रारूपों में सुरक्षित बनाने के लिए उसे पूरी तरह से फिर से बनाने की आवश्यकता नहीं है। इसके बजाय, हमें बस मशीन के भीतर उन कुछ छोटे, सार्वभौमिक "ब्रेक" को ढूंढना है और यह सुनिश्चित करना है कि वे पूरी शक्ति के साथ काम कर रहे हैं। यह कार को तेज़ होने से रोकने के लिए इंजन को बदलने के बजाय, बस यह सुनिश्चित करने जैसा है कि ब्रेक पेडल पहियों से मजबूती से जुड़ा हुआ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।