Enhancing Deep Neural Network Resilience Through Integrated Reliability-Aware Design and Fault-Aware Training

डीप न्यूरल नेटवर्क आधुनिक जीवन के कुछ सबसे महत्वपूर्ण निर्णयों को संचालित करने वाले अदृश्य इंजन हैं, विमानों को टक्कर से बचाने में मदद करने से लेकर डॉक्टरों को बीमारियों के निदान में सहायता करने तक। ये सिस्टम पैटर्न को पहचानने और मानव विशेषज्ञों के स्तर की सटीकता के साथ भविष्यवाणियां करने के लिए डिज़ाइन किए गए हैं। हालांकि, इन जटिल गणनाओं को चलाने वाला हार्डवेयर दोषरहित नहीं है। कंप्यूटर के भीतर के छोटे चिप्स, जो इतने सूक्ष्म पैमाने पर काम करते हैं जिन्हें अरबवें मीटर में मापा जाता है, अदृश्य खतरों के प्रति संवेदनशील होते हैं। कॉस्मिक किरणें और अन्य प्राकृतिक विकिरण कभी-कभी किसी मेमोरी सेल या प्रोसेसिंग यूनिट से टकरा सकते हैं, जिससे एक क्षणिक गड़बड़ी (ग्लिच) हो सकती है। एक मानक कंप्यूटर में, ऐसी गड़बड़ी से एक संख्या बदल सकती है, लेकिन एक डीप न्यूरल नेटवर्क में, वह एकल त्रुटि पूरे सिस्टम में फैल सकती है, जिससे बिना किसी अलार्म को सक्रिय किए अंतिम परिणाम दूषित हो जाता है। यह घटना, जिसे 'साइलेंट डेटा करप्शन' (silent data corruption) के रूप में जाना जाता है, विशेष रूप से खतरनाक है क्योंकि सिस्टम काम करना जारी रखता है, और एक गलत उत्तर देता है जो उपयोगकर्ता को पूरी तरह से सही लगता है।

वर्षों से, इस समस्या के समाधान कठिन समझौतों (trade-offs) से भरे रहे हैं। इंजीनियर विशेष, महंगे हार्डवेयर का निर्माण कर सकते थे जो इन गड़बड़ियों के प्रति प्रतिरोधी हो, लेकिन इसके लिए कस्टम-मेड सिलिकॉन की आवश्यकता होती है जो मानक कंप्यूटरों में उपलब्ध नहीं है। वैकल्पिक रूप से, वे सॉफ्टवेयर चेक जोड़ सकते थे जो त्रुटियों को पकड़ लेते हैं, लेकिन ये चेक सिस्टम को काफी धीमा कर देते हैं, जिससे यह वाहन चलाने या हवाई यातायात प्रबंधन जैसे वास्तविक समय के कार्यों के लिए बहुत धीमा हो जाता है। पुडुचेरी टेक्नोलॉजिकल यूनिवर्सिटी के शोधकर्ताओं ने अब एक अलग रास्ता प्रस्तावित किया है। उन्होंने 'रेज़िलिएंटनेट' (ResilientNet) नामक एक नया फ्रेमवर्क विकसित किया है, जो विशेष चिप्स की आवश्यकता के बिना या प्रोसेसिंग को धीमा किए बिना, न्यूरल नेटवर्क को इन हार्डवेयर विफलताओं के विरुद्ध मजबूत बनाता है। उनका दृष्टिकोण चार विशिष्ट डिज़ाइन परिवर्तनों को जोड़ता है जो त्रुटियों को फैलने से रोकने के लिए मिलकर काम करते हैं, प्रभावी रूप रूप से नेटवर्क को विकिरण के कारण होने वाले शोर (noise) को अनदेखा करना सिखाते हैं।

इस नई पद्धति का मूल भाग यह है कि नेटवर्क अपने द्वारा प्रोसेस किए जाने वाले नंबरों को कैसे संभालता है। एक विशिष्ट न्यूरल नेटवर्क में, यदि विकिरण के प्रहार के कारण कोई संख्या असंभव रूप से बड़ी हो जाती है, तो सिस्टम उस विशाल संख्या को अगले चरण में भेज देता है, जहाँ यह पूरी गणना को प्रभावित कर सकती है। शोधकर्ताओं ने इन नंबरों को संभालने के मानक तरीके को एक ऐसी विधि से बदल दिया जो एक सख्त ऊपरी सीमा निर्धारित करती है। यदि कोई मान इस सीमा से अधिक होने का प्रयास करता है, तो उसे बस सीमित (cap) कर दिया जाता है, जिससे उसे अनियंत्रित होने से रोका जा सके। हालांकि, यह अकेले पर्याप्त नहीं था। शोधकर्ताओं ने पाया कि नेटवर्क अपने गणनाओं को किस क्रम में करता है, यह सीमाओं के समान ही महत्वपूर्ण था। संचालन के क्रम को बदलकर—ताकि कैपिंग (capping) डेटा को नॉर्मलाइज़ करने से पहले हो सके—उन्होंने सिस्टम को त्रुटियों को बढ़ाने से रोक दिया। यह पुनर्गठन, एक फ़िल्टर के साथ जो असंभव गणितीय मानों को तुरंत शून्य से बदल देता है, एक बाधा बनाता है जो भ्रष्टाचार को फैलने से रोकता है।

यह सुनिश्चित करने के लिए कि ये परिवर्तन वास्तव में काम कर रहे हैं, टीम ने कंप्यूटर सिमुलेशन या सैद्धांतिक मॉडलों पर भरोसा नहीं किया। इसके बजाय, उन्होंने वास्तविक दुनिया के परीक्षणों की एक विशाल श्रृंखला चलाई। उन्होंने एक बुनियादी सेटअप से लेकर पूरी तरह से सुदृढ़ रेज़िलिएंटनेट तक, छह अलग-अलग संस्करणों के न्यूरल नेटवर्क लिए और उन्हें लगभग पंद्रह हजार अलग-अलग 'फॉल्ट इंजेक्शन' (fault injections) के अधीन किया। प्रत्येक परीक्षण में, उन्होंने डेटा को जानबूझकर भ्रष्ट किया ताकि विकिरण प्रयोगों में देखे गए त्रुटियों के सटीक पैटर्न की नकल की जा सके, जिसमें सिंगल-बिट फ्लिप, भ्रष्ट डेटा की पंक्तियाँ और क्षतिग्रस्त सूचना के ब्लॉक शामिल थे। उन्होंने यह मापने के लिए कि ये त्रुटियां कितनी बार गलत भविष्यवाणी की ओर ले गईं, एक मीट्रिक का उपयोग किया जिसे 'साइलेंट डेटा करप्शन रेट' कहा जाता है। परिणाम चौंकाने वाले थे। अनमॉडिफाइड नेटवर्क में, अमान्य नंबरों के कारण होने वाले एक विशिष्ट प्रकार के त्रुटि से भ्रष्टाचार की दर ९२ प्रतिशत थी। नए फ़िल्टरिंग और डिज़ाइन परिवर्तनों के लागू होने के साथ, वह दर घटकर केवल १७ प्रतिशत रह गई। इसके अलावा, वह नेटवर्क जिसे इन त्रुटियों की अपेक्षा करने के लिए प्रशिक्षित किया गया था, अपने प्राथमिक कार्य में मूल नेटवर्क की तुलना में बेहतर प्रदर्शन कर रहा था, जिसने ९२.५ प्रतिशत के बेसलाइन की तुलना में ९६.६७ प्रतिशत की वर्गीकरण सटीकता प्राप्त की।

अध्ययन से यह भी पता चला कि नेटवर्क के सभी हिस्से समान रूप से संवेदनशील नहीं हैं। शोधकर्ताओं ने उन स्थानों का मानचित्र तैयार किया जहाँ त्रुटियों के विफल होने की संभावना सबसे अधिक थी और पाया कि नेटवर्क की शुरुआती परतें (earliest layers) सबसे संवेदनशील थीं, जिनमें बाद की परतों की तुलना में विफलता दर लगभग डेढ़ गुना अधिक थी। यह सुझाव देता है कि संसाधन-सीमित वातावरण में, सुरक्षा प्रयासों को प्रोसेसिंग चेन की शुरुआत पर केंद्रित किया जा सकता है। महत्वपूर्ण रूप से, ये सभी सुधार बिना किसी अतिरिक्त समय लागत के आए। कोड में किए गए परिवर्तनों के लिए परिणामों में देरी करने वाले अतिरिक्त चरणों की आवश्यकता नहीं थी, और एकमात्र मामूली वृद्धि प्रोसेसर द्वारा उपयोग किए जाने वाले आंतरिक रजिस्टरों की संख्या में थी, जो गति पर कोई मापने योग्य प्रभाव नहीं डालती है। हालांकि परीक्षण हस्तलिखित अंकों के अपेक्षाकृत छोटे डेटासेट पर किए गए थे, लेकिन सिद्धांतों को अनुमानों के बजाय वास्तविक कोड निष्पादन का उपयोग करके सत्यापित किया गया था, जो महंगे हार्डवेयर अपग्रेड की आवश्यकता के बिना सुरक्षा-महत्वपूर्ण प्रणालियों को अधिक विश्वसनीय बनाने के लिए एक आशाजनक ब्लूप्रिंट प्रदान करता है।