Neither Adversarial Training Nor Purification: Emergent Adversarial Robustness from Oscillatory Predictive Learning
यह शोध पत्र ऑसिलेटरी प्रेडिक्टिव लर्निंग (OPL) प्रस्तुत करता है, जो आर्टिफिशियल कुरामोटो ऑसिलेटरी न्यूरॉन्स को प्रेडिक्टिव सेल्फ-सुपरवाइज्ड प्रीट्रेनिंग के साथ संयोजित करने वाला एक ढांचा है, जो बिना किसी गणनात्मक रूप से महंगी एडवरसेरियल ट्रेनिंग या टेस्ट-टाइम प्यूरीफिकेशन पर निर्भर हुए CIFAR-10 और CIFAR-100 पर प्रतिस्पर्धी एडवरसेरियल रोबस्टनेस प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर विजन सिस्टम वस्तुओं को पहचानने में बेहद कुशल होते हैं, जैसे कि पेड़ में एक बिल्ली या सड़क पर एक स्टॉप साइन। हालांकि, इन प्रणालियों में एक छिपी हुई नाजुकता होती है। एक इंसान पांडा की तस्वीर देखकर उसे पांडा के रूप में पहचान सकता है, लेकिन यदि कोई हमलावर छवि में एक सूक्ष्म, लगभग अदृश्य पैटर्न का शोर (static) जोड़ देता है, तो कंप्यूटर अचानक और पूरे विश्वास के साथ उसे एक गिब्बन (gibbon) के रूप में पहचान सकता है। इस भेद्यता को 'एडवर्सरियल वीकनेस' (adversarial weakness) के रूप में जाना जाता है। वर्षों से, इसे ठीक करने का मानक तरीका कंप्यूटर को लाखों ऐसे छली (tricked) चित्रों को दिखाकर प्रशिक्षित करना रहा है, जिससे वह इस शोर को अनदेखा करना सीख सके। यह प्रक्रिया अविश्वसनीय रूप से महंगी है, जिसमें भारी मात्रा में कंप्यूटिंग शक्ति और समय की आवश्यकता होती है, और यह अक्सर वास्तविक उपयोग के दौरान सिस्टम को धीमा कर देती है। शोधकर्ता लंबे समय से सोच रहे थे कि क्या इन प्रणालियों को शुरू से ही बनाने का कोई स्मार्ट तरीका है, शायद उनकी आंतरिक संरचना को स्वाभाविक रूप से ऐसे धोखों के प्रति प्रतिरोधी बनाकर, न कि केवल अंतहीन प्रशिक्षण के माध्यम से समाधान को जबरदस्ती थोपकर।
शोधकर्ताओं के एक दल ने एक नया दृष्टिकोण प्रस्तावित किया है जो इन महंगी प्रशिक्षण सत्रों की आवश्यकता को पूरी तरह से समाप्त कर देता है। छवियों के अनुक्रम (sequence) में आगे क्या आने वाला है, इसका अनुमान लगाना सीखने के बजाय, उन्होंने एक ऐसी प्रणाली बनाई है जो प्रकृति में पाए जाने वाले लयबद्ध तालमेल (rhythmic synchronization) की नकल करने वाले एक अद्वितीय आंतरिक तंत्र के साथ जुड़ी हुई है। वे इसे 'ऑसिलेटरी प्रेडिक्टिव लर्निंग' (Oscillatory Predictive Learning) कहते हैं। मुख्य विचार कंप्यूटर को एक विशिष्ट प्रकार की आंतरिक "घड़ी" या लय देना है जो उसके विभिन्न हिस्सों को तालमेल में रखती है, जिससे एक छोटे, दुर्भावनापूर्ण परिवर्तन के लिए पूरे सिस्टम का संतुलन बिगाड़ना कठिन हो जाता है। जब उन्होंने इस पद्धति का परीक्षण किया, तो उन्होंने पाया कि सिस्टम हमलों के खिलाफ आश्चर्यजनक रूप से मजबूत हो गया, और बिना किसी एडवर्सरियल उदाहरण को देखे प्रशिक्षण के दौरान उच्च स्तर की सुरक्षा प्राप्त की।
शोधकर्ताओं ने अपने सिस्टम का परीक्षण छवियों के दो मानक सेटों पर किया जिनका उपयोग कंप्यूटर को प्रशिक्षित करने के लिए किया जाता है: एक जिसमें हवाई जहाज और कारों जैसी दस अलग-अलग श्रेणियां थीं, और दूसरा जिसमें सौ श्रेणियां थीं। उन्होंने सिस्टम को कठोर परीक्षणों के एक सेट के साथ चुनौती दी जो मॉडल के कमजोर बिंदुओं को खोजने के लिए डिज़ाइन किए गए थे। पहले परीक्षण में, जिसमें दस-श्रेणी वाला सेट शामिल था, उनके नए तरीके ने छवियों को हमलों के दौरान भी 76.63% बार सही ढंग से पहचाना। यह अन्य विधियों की तुलना में एक महत्वपूर्ण सुधार है जो हमलों से बचने के लिए यादृच्छिकता (randomness) पर निर्भर करती हैं, जो आमतौर पर लगभग 71% स्कोर करती हैं। जब वे अधिक कठिन सौ-श्रेणी वाले सेट पर पहुंचे, तो सिस्टम 50.44% की सफलता दर के साथ अपनी स्थिति बनाए रखने में सफल रहा। ये परिणाम उल्लेखनीय हैं क्योंकि सिस्टम ने उस भारी कंप्यूटिंग लागत के बिना सुरक्षा का यह स्तर प्राप्त किया जो आमतौर पर एक मॉडल को मजबूत बनाने के लिए आवश्यक होती है।
यह समझने के लिए कि यह कैसे काम कर रहा था, टीम ने अपनी रचना को इसके दो मुख्य भागों में विभाजित किया। पहला भाग एक विशेष प्रकार का न्यूरल नेटवर्क लेयर है जो ऑसिलेटिंग यूनिट्स का उपयोग करता है, जो आपस में जुड़े हुए पेंडुलम की तरह होते हैं जो एक-दूसरे को प्रभावित करते हैं। दूसरा भाग एक सीखने की विधि है जो सिस्टम को वर्तमान छवियों के आधार पर भविष्य के दृश्यों की भविष्यवाणी करना सिखाती है। जब उन्होंने इन भागों का अलग-अलग परीक्षण किया, तो उन्होंने पाया कि केवल ऑसिलेटिंग संरचना ही रक्षा का एक ठोस आधार प्रदान करती थी, लेकिन यह अकेले पर्याप्त नहीं थी। प्रेडिक्टिव लर्निंग वाला हिस्सा, जब एक मानक कंप्यूटर विज़न मॉडल पर लागू किया गया, तो इसने हमलों को रोकने में लगभग कुछ भी नहीं किया। हालांकि, जब उन्होंने ऑसिलेटिंग संरचना को प्रेडिक्टिव लर्निंग के साथ जोड़ा, तो रक्षा बहुत मजबूत हो गई। प्रेडिक्टिव ट्रेनिंग ने ऑसिलेटिंग भागों की प्राकृतिक स्थिरता को बढ़ा दिया, जिससे एक ऐसी प्रणाली बनी जो अपने हिस्सों के योग से कहीं अधिक लचीली थी।
शोधकर्ताओं ने यह भी खोजा कि यह मजबूती एक नाजुक चीज़ है, जो केवल बहुत विशिष्ट परिस्थितियों में ही मौजूद रहती है। उन्होंने पाया कि आंतरिक "घड़ी" इकाइयों का आकार अत्यधिक महत्वपूर्ण था। जब इकाइयों को एक विशिष्ट, छोटे आयाम (dimension) पर सेट किया गया, तो सिस्टम हमलों के प्रति अत्यधिक प्रतिरोषु था। लेकिन जब उन्होंने सामान्य स्थितियों में छवियों को बेहतर ढंग से पहचानने के लिए इन इकाइयों के आकार को बढ़ाया, तो रक्षा अचानक ढह गई। सिस्टम सामान्य छवियों को पहचानने में बेहतर होने के बावजूद, हमलों के प्रति लगभग पूरी तरह से असुरक्षित हो गया। यह सुझाव देता है कि सिस्टम की सुरक्षा केवल मॉडल को बड़ा या अधिक शक्तिशाली बनाने से नहीं आती है। इसके बजाय, यह नियमों के एक सख्त, संकीर्ण सेट पर निर्भर करती है जो आंतरिक लय को सिंक्रोनाइज़ रखती है। यदि सिस्टम को बहुत अधिक स्वतंत्रता दी जाती है, तो वह हेरफेर का विरोध करने की अपनी क्षमता खो देता है।
यह कार्य सुरक्षित आर्टिफिशियल इंटेलिजेंस बनाने के लिए एक नया मार्ग सुझाता है। यह इस लंबे समय से चली आ रही धारणा को चुनौती देता है कि मॉडल को मजबूत बनाने का एकमात्र तरीका इसे लाखों एडवर्सरियल उदाहरणों पर प्रशिक्षित करना है। एक विशिष्ट आर्किटेक्चरल डिज़ाइन को एक स्व-शिक्षण पद्धति के साथ जोड़कर, शोधकर्ताओं ने दिखाया कि मजबूती स्वाभाविक रूप से इस बात से उभर सकती है कि सिस्टम कैसे बनाया गया है और वह कैसे सीखता है। हालांकि इस सिस्टम को बड़े, अधिक जटिल इमेज डेटासेट पर काम करने के लिए अभी भी परिष्कृत करने की आवश्यकता है, लेकिन उनके निष्कर्ष वर्तमान, अत्यधिक कंप्यूटिंग लागत वाली विधियों के लिए एक आशाजनक विकल्प प्रदान करते हैं। यह इंगित करता है कि एक मॉडल की आंतरिक गतिशीलता (dynamics) को सावधानीपूर्वक डिजाइन करके, हम ऐसा AI बना सकते हैं जो न केवल स्मार्ट है, बल्कि स्वाभाविक रूप से धोखा देने में कठिन भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।