Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks
यह शोध पत्र रैंडम लॉजिट स्केलिंग (RLS) को प्रस्तुत करता है, जो एक प्लग-एंड-प्ले पोस्ट-प्रोसेसिंग डिफेंस है जो मॉडल की सटीकता को बनाए रखते हुए हमलावरों को भ्रमित करने के लिए लॉजिट्स को यादृच्छिक रूप से स्केल करके ब्लैक-बॉक्स स्कोर-आधारित एडवरसैरियल हमलों का प्रभावी ढंग से मुकाबला करता है, और साथ ही एडेप्टिव हमलों के प्रति स्टेट-ऑफ-द-आर्ट AAA डिफेंस की भेद्यता को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, अत्यंत बुद्धिमान पुस्तकालय के रूप में करें जहाँ कंप्यूटर चीजों को पहचानना सीखते हैं—जैसे किसी फोटो में बिल्ली को पहचानना या किसी गाने की पहचान करना। लंबे समय तक, ये कंप्यूटर उन शर्मीले छात्रों की तरह थे जो केवल तभी सवालों के जवाब देते थे जब आप उन्हें पाठ्यपुस्तक (आंतरिक कोड) दिखा देते थे। लेकिन वास्तविक दुनिया में, हम अक्सर उनसे सवाल पूछते हैं और बिना यह देखे कि वे कैसे सोचते हैं, हमें उत्तर मिल जाते हैं। इसे "ब्लैक बॉक्स" कहा जाता है।
मुसीबत तब शुरू होती है जब एक शरारती हैकर कंप्यूटर को धोखा देने की कोशिश करता है। उन्हें पुस्तकालय में घुसने की ज़रूरत नहीं है; उन्हें बस एक तस्वीर में एक बहुत ही सूक्ष्म, लगभग अदृश परिवर्तन करने की आवश्यकता है—जैसे पांडा की फोटो में धूल के कुछ कण जोड़ देना। हमारी आँखों के लिए, वह अभी भी एक पांडा ही दिखता है, लेकिन कंप्यूटर अचानक चिल्ला उठता है, "यह तो एक टोस्टर है!" इसे "एडवर्सरियल अटैक" (adversarial attack) कहा जाता है। यह एक बड़ी समस्या है क्योंकि यदि हम इन स्मार्ट सिस्टम पर दुनिया को सही ढंग से देखने के लिए भरोसा नहीं कर सकते, तो हम उनका उपयोग सेल्फ-ड्राइविंग कारों या मेडिकल डायग्नोसिस जैसे महत्वपूर्ण कार्यों के लिए नहीं कर सकते। हैकर्स ने यह करने के तरीके खोज लिए हैं, भले ही वे कंप्यूटर के दिमाग को देख न सकें, बस बार-बार सवाल पूछकर और यह देखकर कि वह अपना मन कैसे बदलता है।
अब, इस कहानी के नायकों से मिलिए: शोधकर्ताओं की एक टीम जिसने अपने खुद के एक नुस्खे के साथ मुकाबला करने का फैसला किया। वे अपने नए बचाव को "रैंडम लॉजिट स्केलिंग" (Random Logit Scaling - RLS) कहते हैं। सोचिए कि कंप्यूटर के दिमाग को एक शेफ (chef) के रूप में, जो सूप चखता है और तय करता है कि वह "बहुत नमकीन" है या "थोड़ा नमकीन"। आमतौर पर, शेफ एक सटीक संख्या देता है, जैसे "10 में से 8"। लेकिन हैकर उस संख्या का उपयोग यह पता लगाने के लिए करता है कि सूप को कुछ और बनाने के लिए रेसिपी में ठीक कहाँ बदलाव करना है।
शोधकर्ताओं का विचार सरल लेकिन शानदार है: क्या होगा अगर शेफ झूठ बोल दे? हर बार जब हैकर पूछता है, "यह कितना नमकीन है?", तो शेफ बेतरतीब ढंग से (randomly) अपने उत्तर को एक गुप्त संख्या से गुणा करने का निर्णय लेता है। कभी शेफ कहता है "10 में से 16" (ऐसा दिखाना कि यह बहुत अधिक नमकीन है), और कभी "10 में से 0.8" (ऐसा दिखाना कि यह बहुत कम नमकीन है)। शेफ अभी भी जानता है कि सूप नमकीन है, इसलिए वह सही व्यंजन ही परोसता है (सही उत्तर), लेकिन जो संख्याएँ वह चिल्लाता है वे पूरी तरह से उलझी हुई होती हैं।
यहीं पर जादू होता है। हैकर, जो कंप्यूटर को धोखा देने के लिए एक गणितीय पहेली को हल करने की कोशिश कर रहा है, अचानक पाता है कि उसे मिलने वाले सुराग पूरी तरह से बिखरे हुए हैं। एक पल में संख्याएँ ऊपर जाती हैं, दूसरे पल में नीचे आती हैं, और पैटर्न इतना अराजक है कि हैकर पूरी तरह से भ्रमित हो जाता है। यह एक छिपे हुए खजाने को खोजने की कोशिश करने जैसा है जब नक्शा हर बार देखने पर X की स्थिति बदल देता है। शोधकर्ताओं ने दुनिया के सबसे स्मार्ट, सबसे आक्रामक हैकर्स के खिलाफ इसका परीक्षण किया। उन्होंने पाया कि इस सरल ट्रिक ने हैकर्स की सफलता दर को नाटकीय रूप से कम कर दिया—कभी-कभी 80% तक—बिना कंप्यूटर को उसके वास्तविक काम में धीमा या कम सटीक बनाए।
हालाँकि, यह पेपर हमें चेतावनी भी देता है कि सभी बचाव पूर्ण नहीं होते। उन्होंने एक अन्य लोकप्रिय बचाव "AAA" को देखा, जो हैकर्स को भ्रमित करने के लिए संख्याओं को एक विशिष्ट, अनुमानित तरीके से नया आकार देने की कोशिश करता है। शोधकर्ताओं ने दिखाया कि यदि किसी हैकर को इस ट्रिक के बारे में पता चल जाए, तो वे अनुकूलित होकर इसमें सेंध लगा सकते हैं, ठीक वैसे ही जैसे एक ताला खोलने वाला व्यक्ति (lockpicker) एक नए ताले के विशिष्ट पैटर्न को सीख लेता है। लेकिन रैंडम लॉजिट स्केलिंग बचाव अलग है क्योंकि यह शुद्ध यादृच्छिकता (pure randomness) का उपयोग करता है, जिससे इसे अनुमान लगाना या तोड़ना बहुत कठिन हो जाता है।
संक्षेप में, पेपर सुझाव देता है कि कंप्यूटर के आत्मविश्वास स्कोर (confidence scores) में यादृच्छिक शोर (random noise) की एक परत जोड़कर, हम हमलावरों के लिए "युद्ध का कोहरा" (fog of war) बना सकते है। कंप्यूटर तेज और सटीक रहता है, लेकिन हैकर अंधेरे में लड़खड़ाता हुआ रह जाता है, उसे धोखा देने का रास्ता खोजने में असमर्थ होता है। यह एक हल्का, आसानी से उपयोग किया जाने वाला कवच है जिसके लिए पूरे कंप्यूटर को फिर से बनाने की आवश्यकता नहीं है, बस उसके उत्तर देने के तरीके में एक साधारण बदलाव की आवश्यकता है। हालाँकि यह उन संख्याओं को बदल देता है जो कंप्यूटर चिल्लाता है (जो कुछ बहुत विशिष्ट कार्यों के लिए मायने रख सकता है), यह अंतिम निर्णय को सही रखता है और हैकर्स के लिए परेशानी पैदा करना अविश्वसनीय रूप से कठिन बना देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।