Faults That Fortify: CNN Adversarial Robustness via GPU Undervolting
यह शोधपत्र यह प्रदर्शित करता है कि CNN प्रशिक्षण के दौरान GPU अन्डरवोल्टिंग (undervolting) लाभकारी स्टोकेस्टिक दोषों को पेश करता है जो एक अंतर्निहित नियमितीकरण (implicit regularization) के रूप में कार्य करते हैं, जो बिना किसी एल्गोरिदम परिवर्तन की आवश्यकता के, एडवरसेरियल मजबूती (adversarial robustness) को बढ़ाते हुए और ऊर्जा खपत को कम करते हुए इसे संभव बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कंप्यूटर देखने में असाधारण रूप से कुशल हो गए हैं। वे मेडिकल स्कैन में ट्यूमर की पहचान कर सकते हैं, व्यस्त सड़क पर पैदल यात्री को पहचान सकते हैं, या किसी विशिष्ट चेहरे को खोजने के लिए लाखों तस्वीरों को छान सकते हैं। यह क्षमता एक प्रकार के सॉफ़्टवेयर से आती है जिसे न्यूरल नेटवर्क कहा जाता है, जिसे मानव मस्तिष्क द्वारा सूचनाओं को संसाधित करने के तरीके की नकल करने के लिए डिज़ाइन किया गया है। ये सिस्टम बड़ी मात्रा में डेटा को देखकर सीखते हैं, और अपने आंतरिक सेटिंग्स को तब तक समायोजित करते हैं जब तक कि वे सटीक भविष्यवाणियां करने में सक्षम न हो जाएं। हालाँकि, यह सीखने की प्रक्रिया अविश्वसनीय रूप से मांग वाली है। इसके लिए शक्तिशाली, ऊर्जा-खपत करने वाले कंप्यूटर चिप्स की आवश्यकता होती है जो महत्वपूर्ण गर्मी पैदा करते हैं और भारी मात्रा में बिजली का उपभोग करते हैं। इसके अलावा, ये सिस्टम नाजुक होते हैं। एक व्यक्ति किसी छवि में एक छोटा सा, लगभग अदृश परिवर्तन कर सकता है—ऐसा कुछ जिसे एक मानव कभी नहीं देख पाएगा—और कंप्यूटर अचानक यह विश्वास करने लग सकता है कि स्टॉप साइन (रुकने का संकेत) स्पीड लिमिट साइन (गति सीमा संकेत) है। यह भेद्यता, जिसे 'एडवर्सरियल अटैक' (adversarial attack) कहा जाता है, सेल्फ-ड्राइविंग कारों जैसे सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए एक गंभीर जोखिम पैदा करती है। शोधकर्ता लंबे समय से ऐसे तरीके खोज रहे हैं जिनसे इन प्रणालियों को ऐसे धोखों के विरुद्ध अधिक सुरक्षित और ऊर्जा उपयोग में अधिक कुशल बनाया जा सके, और अक्सर इन दोनों लक्ष्यों को अलग-अलग चुनौतियों के रूप में देखते हैं।
जॉर्ज मेसन यूनिवर्सिटी और अन्य संस्थानों के शोधकर्ताओं की एक टीम ने एक ऐसा तरीका खोजने में सफलता प्राप्त की है जिससे इन दोनों समस्याओं को एक साथ हल किया जा सके, और वह भी कुछ ऐसा करके जो सुनने में विरोधाभासी लगता है: उन्होंने कंप्यूटर चिप को सीखते समय जानबूझकर कमजोर कर दिया। ग्राफिक्स प्रोसेसर को उसकी मानक, पूर्ण शक्ति पर चलाने के बजाय, उन्होंने उसे आपूर्ति किए जाने वाले विद्युत वोल्टेज को कम कर दिया। इलेक्ट्रॉनिक्स की दुनिया में, वोल्टेज वह दबाव है जो बिजली को एक सर्किट के माध्यम से धकेलता है। जब आप इस दबाव को कम करते हैं, तो चिप के अंदर के ट्रांजिस्टर, जो छोटे स्विच के रूप में कार्य करते हैं, कम विश्वसनीय हो जाते हैं। वे थोड़ा जल्दी या थोड़ा देर से चालू या बंद हो सकते हैं, जिससे गणनाओं में छोटी, यादृच्छिक त्रुटियां हो सकती हैं। आमतौर पर, इंजीनियर इन त्रुटियों को रोकने के लिए बहुत प्रयास करते हैं, क्योंकि वे सिस्टम को क्रैश कर सकती हैं या गलत डेटा उत्पन्न कर सकती हैं। लेकिन इस विशिष्ट अध्ययन में, शोधकर्ताओं ने इन गड़बड़ियों को विफलता के रूप में नहीं, बल्कि एक विशेषता (फीचर) के रूप में माना।
टीम ने तीन अलग-अलग प्रकार के इमेज-रिकग्निशन मॉडल का उपयोग करके प्रयोगों की एक श्रृंखला आयोजित की, जिसमें एक सरल, क्लासिक डिज़ाइन से लेकर एक अधिक जटिल, आधुनिक डिज़ाइन तक शामिल थे। उन्होंने इन मॉडलों को दो मानक इमेज सेट पर प्रशिक्षित किया: एक जिसमें हस्तलिखित अंक थे और दूसरा जिसमें बिल्लियों, कुत्तों और हवाई जहाजों जैसी रोजमर्रा की वस्तुओं की छोटी, रंगीन तस्वीरें थीं। प्रत्येक मॉडल के लिए, उन्होंने प्रशिक्षण प्रक्रिया के दो संस्करण चलाए। पहले संस्करण में, कंप्यूटर चिप अपने सामान्य, स्थिर वोल्टेज पर चली। दूसरे संस्करण में, शोधकर्ताओं ने वोल्टेज को ठीक उतना ही कम किया जिससे गणना में त्रुटियों की एक निरंतर धारा उत्पन्न हो सके, लेकिन इतना भी नहीं कि प्रशिक्षण पूरी तरह विफल हो जाए। उन्होंने पाया कि चिप बिना खराब हुए लगभग 0.8 वोल्ट पर काम कर सकती है, जो कि एक मानक 1.03 वोल्ट से कम है। बिजली के इस दबाव में कमी से ऊर्जा की खपत में महत्वपूर्ण गिरावट आई, जिसमें सबसे कुशल मॉडलों ने अपने मानक समकक्षों की तुलना में लगभग 39 प्रतिशत कम बिजली का उपयोग किया।
इस दृष्टिकोण के परिणाम आश्चर्यजनक थे। जब शोधकर्ताओं ने मॉडलों का परीक्षण उन परिष्कृत हमलों के विरुद्ध किया जो उन्हें मूर्ख बनाने के लिए डिज़ाइन किए गए थे, तो कम, "नॉइज़ी" (noisy) वोल्टेज के साथ प्रशिक्षित मॉडल सामान्य परिस्थितियों में प्रशिक्षित मॉडलों की तुलना में लगातार बेहतर प्रदर्शन करते रहे। सीखने के चरण के दौरान पेश की गई यादृच्छिक त्रुटियों ने एक अदृश्य प्रशिक्षण भार (training weight) के रूप में कार्य किया। ठीक वैसे ही जैसे एक भारोत्तोलक जो थोड़े असमान वजन के साथ प्रशिक्षण लेता है, बेहतर संतुलन और ताकत विकसित कर सकता है, न्यूरल नेटवर्क ने छवियों की छोटी गड़बड़ियों को अनदेखा करना और आवश्यक विशेषताओं पर ध्यान केंद्रित करना सीखा। इसने अंतिम मॉडल को धोखा देना बहुत कठिन बना दिया। शोधकर्ताओं ने मॉडलों को हजारों थोड़ी बदली हुई छवियां खिलाकर इसका परीक्षण किया, जिन्हें कंप्यूटर को भ्रमित करने के लिए डिज़ाइन किया गया था, और कम वोल्टेज के साथ प्रशिक्षित मॉडल मानक मॉडलों की तुलना में बहुत लंबे समय तक अपनी सटीकता बनाए रखने में सफल रहे।
यह सुधार तब भी बना रहा जब मॉडलों को विशेष रूप से हमलों से लड़ने के लिए डिज़ाइन की गई उन्नत सुरक्षा तकनीकों के साथ प्रशिक्षित किया जा रहा था। आमतौर पर, अतिरिक्त सुरक्षा उपाय जोड़ने से सिस्टम धीमा और अधिक महंगा हो जाता है। यहाँ, शोधकर्ताओं ने पाया कि कम वोल्टेज करने के सरल कार्य ने सुरक्षा प्रशिक्षण को और भी अधिक प्रभावी बना दिया। कम वोल्टेज के तहत प्रशिक्षित मॉडल न केवल हमलों के प्रति अधिक मजबूत थे, बल्कि उन्हें बनाने के लिए कम ऊर्जा की भी आवश्यकता थी। शोधकर्ताओं ने देखा कि कम वोल्टेज के कारण होने वाली त्रुटियां बहुत विशिष्ट थीं। वे मुख्य रूप से उन संख्याओं के सबसे कम महत्वपूर्ण हिस्सों को प्रभावित करती थीं जिनकी कंप्यूटर गणना कर रहा था, जिससे एक सौम्य, यादृच्छिक शोर (noise) उत्पन्न होता था न कि कोई विनाशकारी विफलता। यह शोर इतना छोटा था कि कंप्यूटर अभी भी सही उत्तर सीख सकता था, लेकिन इतना पर्याप्त था कि सिस्टम को डेटा के बारे में सोचने के लिए अधिक स्थिर तरीका खोजने के लिए मजबूर कर सके।
यह अध्ययन सुझाव देता है कि हार्डवेयर संचालन में एक ऐसा 'स्वीट स्पॉट' (sweet spot) होता है जहाँ थोड़ी सी अस्थिरता वास्तव में अधिक विश्वसनीयता की ओर ले जा सकती है। प्रशिक्षण चरण के दौरान त्रुटियों की एक नियंत्रित मात्रा को स्वीकार करके, शोधकर्ता ऐसी प्रणालियाँ बनाने में सक्षम हुए जो अधिक मजबूत और अधिक टिकाऊ (ग्रीन) हैं। इस दृष्टिकोण के लिए उपयोग किए जाने वाले सॉफ्टवेयर कोड या एल्गोरिदम को बदलने की आवश्यकता नहीं है; इसमें केवल हार्डवेयर पर एक डायल घुमाकर पावर को कम करना शामिल है। हालांकि शोधकर्ताओं ने नोट किया कि सबसे बड़े और सबसे जटिल मॉडलों में लाभ थोड़ा कम स्पष्ट था, संभवतः इसलिए क्योंकि उन मॉडलों में त्रुटियों को सोखने के लिए अधिक परतें (layers) होती हैं, लेकिन समग्र रुझान स्पष्ट था। यह कार्य कृत्रिम बुद्धिमत्ता (AI) को अधिक लचीला और टिकाऊ बनाने के लिए एक नया मार्ग खोलता है, जो यह दर्शाता है कि कभी-कभी, किसी प्रणाली को मजबूत बनाने के लिए, आपको सीखने के दौरान उसे थोड़ा लड़खड़ाने देना पड़ता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।