A Rank-One Bypass of Fixed Linear Erasure
यह शोध पत्र प्रदर्शित करता है कि ओपन-वेट मॉडल्स में फिक्स्ड लीनियर इरेज़र लेयर्स (fixed linear erasure layers) एक रैंक-वन एफ़ाइन बायपास (rank-one affine bypass) के प्रति संवेदनशील हैं, जो हमलावरों को बेनाइन क्लासिफायर आउटपुट्स को सुरक्षित रखते हुए मिटाए गए टारगेट इन्फॉर्मेशन को पुनर्स्थापित करने की अनुमति देता है, जिससे यह सिद्ध होता है कि ऐसे इरेज़र गारंटीज़ रिप्रेजेंटेशन सेफ्टी (representation safety) तो सुनिश्चित करते हैं लेकिन टैम्पर रेजिस्टेंस (tamper resistance) नहीं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, सुरक्षा अक्सर एक सरल विचार पर टिकी होती है: यदि आप कंप्यूटर को किसी खतरनाक अवधारणा को "देखने" में असमर्थ बना सकते हैं, तो वह उसे उत्पन्न नहीं कर सकता। कल्पना कीजिए कि एक मॉडल को लोगों की छवियों को पहचानने के लिए प्रशिक्षित किया गया है, लेकिन शोधकर्ताओं ने एक विशिष्ट, हानिकारक श्रेणी को पहचानने की इसकी क्षमता को सर्जिकल तरीके से हटा दिया है। वे ऐसा मॉडल की आंतरिक गणित को संपादित करके करते हैं ताकि उस श्रेणी की खोज करने का कोई भी प्रयास एक सपाट, अर्थहीन संकेत में बदल जाए। यह तकनीक, जिसे 'कॉन्सेप्ट इरेज़र' (अवधारणा विलोपन) कहा जाता है, एक स्थायी फिल्टर के रूप में कार्य करने के लिए डिज़ाइन की गई है। उम्मीद यह है कि एक बार जब मॉडल को इन फिल्टर्स के साथ सार्वजनिक रूप से जारी कर दिया जाता है, तो यह सुरक्षित रहेगा, भले ही उपयोगकर्ताओं को कोड डाउनलोड करने और अपने स्वयं के कंप्यूटरों पर इसे चलाने की अनुमति दी जाए। धारणा यह है कि सुरक्षा तंत्र मशीन का एक निश्चित हिस्सा है, जिसे उपयोगकर्ता द्वारा बदला नहीं जा सकता।
हालाँकि, एक नया अध्ययन इस धारणा को चुनौती देते हुए एक महत्वपूर्ण प्रश्न पूछता है: क्या होगा यदि उपयोगकर्ता के पास उस मशीन के उन हिस्सों को बदलने की अनुमति हो जो सुरक्षा फिल्टर में जानकारी फीड करते हैं? शोधकर्ताओं ने, मानक छवि-पहचान कार्यों के साथ काम करते हुए, पाया कि एक निश्चित सुरक्षा परत एक ताले की तरह नहीं, बल्कि केवल एक द्वार (गेट) की तरह है। यदि द्वार सूचना के एक विशिष्ट दिशा को रोकता है लेकिन दूसरी दिशा में एक बहुत छोटी सी दरार भी छोड़ देता है, तो एक चतुर उपयोगकर्ता वर्जित अवधारणा को उस दरार के माध्यम से अंदर खिसकाने के लिए आने वाले डेटा को फिर से लिख सकता है। अध्ययन प्रदर्शित करता है कि यह बाईपास एक जटिल, अप्रत्याशित गड़बड़ी नहीं है, बल्कि एक सीधा गणितीय पैंतरेबाज़ी है जिसे निष्पादित करने के लिए बहुत कम प्रयास की आवश्यकता होती है।
शोधकर्ताओं ने एक विशिष्ट प्रकार के सुरक्षा फिल्टर पर ध्यान केंद्रित किया जिसे 'लीनियर इरेज़र लेयर' (रैखिक विलोपन परत) कहा जाता है। सरल शब्दों में, यह परत मॉडल द्वारा बनाई गई जटिल आंतरिक तस्वीर को लेती है और उसे नए निर्देशांकों (कोऑर्डिनेट्स) पर प्रोजेक्ट करती है, जिससे वर्जित लक्ष्य से संबंधित किसी भी जानकारी को जानबूझकर सपाट कर दिया जाता है। इस परत द्वारा प्रदान की गई गारंटी सटीक है: यदि आप ठीक उसी तरह देखते हैं जैसे वह फिल्टर से बाहर निकलता है, तो कोई भी मानक रैखिक डिटेक्टर वर्जित अवधारणा को नहीं पा सकता है। मॉडल के निर्माता दावा करते हैं कि यह इस अवधारणा को अपठनीय बनाता है। अध्ययन इस दावे को अपरिवर्तित आउटपुट के लिए सत्य मानकर स्वीकार करता है, लेकिन इस बात की जांच करता है कि क्या मॉडल को संशोधित करने के लिए खुला होने पर क्या होता है। शोधकर्ताओं ने पूछा कि क्या एक हमलावर फिल्टर से पहले की परतों को बदलकर वांछित "वर्जित स्कोर" को सीधे उस दिशा में लिख सकता है जिसे फिल्टर गुजरने देता है।
उन्होंने जो उत्तर पाया वह है कि फिल्टर की गारंटी वास्तविक दुनिया के परिदृश्य में जितनी दिखती है उससे कहीं अधिक कमजोर है। शोधकर्ताओं ने सिद्ध किया कि यदि फिल्टर सूचना की एक भी दिशा को गुजरने देता है, तो एक हमलावर वांछित "वर्जित" स्कोर की गणना कर सकता है और उसे उस विशिष्ट दिशा में इंजेक्ट कर सकता है। क्योंकि फिल्टर उस दिशा को नहीं रोकता है, स्कोर बिना बदले गुजर जाता है। एक बार जब यह दूसरी ओर से बाहर निकलता है, तो एक मानक डिटेक्टर इसे पूरी तरह से पढ़ सकता है। अध्ययन ने दिखाया कि इसके लिए मॉडल के बड़े बदलाव की आवश्यकता नहीं है। वास्तव में, हमलावर को मॉडल की शुरुआती परतों में केवल एक बहुत छोटा, विशिष्ट समायोजन करने की आवश्यकता है—एक ऐसा परिवर्तन जो गणितीय रूप से एक एकल, सरल शिफ्ट के रूप में वर्णित है। यह समायोजन वर्जित जानकारी को पूरी तरह से फिल्टर के चारों ओर से रूट करने के लिए पर्याप्त है।
इसका परीक्षण करने के लिए, टीम ने विलोपन और उसके बाद के हमले को सिम्युलेट करने के लिए छवियों के एक मानक सेट और छह अलग-अलग श्रेणियों के युग्मों का उपयोग किया। उन्होंने पाया कि बहुत कम संपादन के साथ—मॉडल की आंतरिक विशेषताओं को औसतन केवल दस प्रतिशत बदलकर—हमलावर वर्जित अवधारणा के संभावित लाभ का लगभग सारा हिस्सा वापस पा सकता था। विशेष रूप से, हमले ने उस संभावित लाभ का लगभग ९१ प्रतिशत रिकवर किया जो तब होता यदि उसे कभी मिटाया ही न गया होता। यह तब हुआ जब फिल्टर हमले से पहले की तुलना में बिट-दर-बिट बिल्कुल वैसा ही रहा। शोधकर्ताओं ने यह भी दिखाया कि यह बाईपास मॉडल की इच्छित, सुरक्षित कार्यों को बाधित किए बिना किया जा सकता था। उन्होंने हमले को इस तरह से बनाया कि अन्य, हानिरहित श्रेणियों के स्कोर पूरी तरह से अपरिवर्तित रहे, यहाँ तक कि दशमलव के सबसे छोटे अंक तक भी। इसका अर्थ है कि एक उपयोगकर्ता सैद्धांतिक रूप से एक विशिष्ट लक्ष्य के लिए सुरक्षा फिल्टर को बायपास कर सकता है जबकि मॉडल बाकी सब कुछ के लिए सामान्य रूप से कार्य करना जारी रखता है।
अध्ययन ने यह भी रेखांकित किया कि सुरक्षा को कैसे मापा जाता है और व्यवहार में यह कैसे टिकता है, इसके बीच एक महत्वपूर्ण अंतर है। शोधकर्ताओं ने नोट किया कि यदि आप एक सरल, मानक डिटेक्टर का उपयोग करके सुरक्षा फिल्टर का परीक्षण करते हैं, तो यह पूरी तरह से काम करता हुआ प्रतीत होता है। वर्जित अवधारणा वास्तव में अपरिवर्तित आउटपुट में अपठनीय है। हालाँकि, यह परीक्षण इस तथ्य को ध्यान में रखने में विफल रहता है कि फिल्टर में जाने वाली इनपुट को फिर से लिखा जा सकता है। शोधकर्ताओं ने पाया कि एक कमजोर डिटेक्टर सुरक्षा का झूठा अहसास दे सकता है, जिससे विलोपन वास्तव में जितना है उससे अधिक मजबूत दिखाई देता है। जब उन्होंने फिल्टर की जांच करने के लिए अधिक सटीक विधि का उपयोग किया, तो उन्होंने पाया कि सुरक्षा गारंटी केवल मॉडल की वर्तमान स्थिति के लिए लागू होती है, न कि उस मॉडल के लिए जिसे उपयोगकर्ता द्वारा संपादित किया गया है।
इस बाईपास की लागत आश्चर्यजनक रूप से कम है, लेकिन शून्य नहीं है। शोधकर्ताओं ने मापा कि बाईपास प्राप्त करने के लिए मॉडल के आंतरिक गुणों को कितना बदलना पड़ा। उन्होंने पाया कि जैसे-जैसे अनुमत परिवर्तन छोटा होता गया, हमले की सफलता तेजी से गिरती गई। एक प्रतिशत के परिवर्तन पर, हमले ने अवधारणा के संभावित लाभ का केवल २५ प्रतिशत ही रिकवर किया। हालाँकि, दस प्रतिशत के परिवर्तन पर, रिकवरी बढ़कर ९० प्रतिशत से अधिक हो गई। यह सुझाव देता है कि हालांकि हमला करना आसान है, लेकिन यह मुफ्त नहीं है; इसके लिए मॉडल में एक मापने योग्य परिवर्तन की आवश्यकता होती है। फिर भी, चूंकि ओपन-वेट मॉडल उपयोगकर्ताओं को इन परिवर्तनों को स्वतंत्र रूप से करने की अनुमति देते हैं, इसलिए इस बात को लागू करने के लिए कोई तंत्र नहीं है कि मॉडल को कितना बदला जा सकता है। अध्ययन का निष्कर्ष है कि ऐसे मॉडलों की सुरक्षा केवल एक निश्चित फिल्टर की उपस्थिति पर निर्भर नहीं हो सकती।
इन निष्कर्षों के निहितार्थ एआई सुरक्षा के बारे में हमारी सोच के लिए महत्वपूर्ण हैं। शोधकर्ता तर्क देते हैं कि लीनियर गार्डेडनेस (रैखिक सुरक्षा), या इन फिल्टर्स का उपयोग, डेटा के एक विशिष्ट, अपरिवर्तित प्रतिनिधित्व के बारे में एक वैध गारंटी है। यह सिद्ध करता है कि मॉडल उस अवधारणा को नहीं पढ़ सकता जैसा कि वह खड़ा है। लेकिन यह गारंटी नहीं है कि उपयोगकर्ता द्वारा इसे संपादित करने के बाद मॉडल इसे नहीं पढ़ सकता। अध्ययन यह दावा नहीं करता कि यह बाईपास हर संभव एआई मॉडल या हर प्रकार की हानिकारक सामग्री के लिए काम करता है, क्योंकि उनके प्रयोग विशिष्ट छवि कार्यों और रैखिक फिल्टरों तक सीमित थे। वे स्पष्ट रूप से कहते हैं कि उनके परिणाम यह सिद्ध नहीं करते कि गैर-रैखिक या अधिक जटिल फिल्टर भी इसी तरह विफल होंगे। हालाँकि, उनके परीक्षणों के दायरे में, परिणाम स्पष्ट हैं: एक निश्चित फिल्टर एक अभेद्य सील नहीं है।
अंत में, यह शोध पत्र एआई सुरक्षा के क्षेत्र के लिए एक गंभीर वास्तविकता की चेतावनी देता है। यह दिखाता है कि एक "सुरक्षित" ओपन-वेट मॉडल का वादा नाजुक है। यदि मॉडल के वेट्स सार्वजनिक हैं, तो उनमें निर्मित सुरक्षा तंत्रों को इनपुट को फिर से लिखकर दरकिनार किया जा सकता है। शोधकर्ता सुझाव देते हैं कि भविष्य के सुरक्षा मूल्यांकन को इस संभावना को ध्यान में रखना चाहिए। केवल यह जाँचने के बजाय कि एक फिल्टर एक स्थिर मॉडल पर कैसे काम करता है, हमें यह मापना चाहिए कि हमलावर द्वारा इसे तोड़ने में कितना प्रयास लगता है। अध्ययन इस लागत के लिए एक स्पष्ट मीट्रिक प्रदान करता है, यह दिखाते हुए कि हालांकि संपादन पर कड़े नियंत्रण हमले को कठिन बना सकते हैं, ओपन-वेट रिलीज की प्रकृति का अर्थ है कि उन सीमाओं को लागू नहीं किया जा सकता है। इसलिए, इन प्रणालियों की सुरक्षा केवल फिल्टर की मजबूती पर नहीं, बल्कि इस धारणा पर निर्भर करती है कि उपयोगकर्ता इसे तोड़ने की कोशिश नहीं करेंगे—एक ऐसी धारणा जिसे यह अध्ययन बताता है कि अब सुरक्षित मानना संभव नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।