Sign-Symmetry Learning Rules are Robust Fine-Tuners
यह शोध पत्र प्रदर्शित करता है कि मानक बैकप्रोपैगेशन के साथ प्री-ट्रेंड न्यूरल नेटवर्क को साइन-सिमेट्री (Sign-Symmetry) लर्निंग रूल्स का उपयोग करके फाइन-ट्यून करने से प्रदर्शन की समानता प्राप्त होती है और साथ ही मॉडल की मजबूती (robustness) में उल्लेखनीय वृद्धि होती है, जिससे डीप लर्निंग में जैविक रूप से प्रेरित लर्निंग मैकेनिज्म की क्षमता पुनर्जीवित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बिल्ली, कुत्ते और कार को पहचानना सिखा रहे हैं। दशकों से, इन डिजिटल दिमागों को प्रशिक्षित करने के लिए स्वर्ण मानक (gold standard) एक विधि रही है जिसे "बैकप्रोपैगेशन" (Backpropagation) कहा जाता है। इसे ऐसे समझें जैसे एक सख्त, पूर्णतावादी (perfectionist) कोच जो रोबोट की हर हरकत पर नज़र रखता है, हर त्रुटि की गणना सूक्ष्म से सूक्ष्म दशमलव तक करता है, और रोबोट के पूरे तंत्रिका तंत्र में एक सटीक सुधार संकेत भेजता है। यह अविश्वसनीय रूप से अच्छा काम करता है, जिससे रोबोट स्मार्ट और तेज़ बनता है। हालाँकि, इस कोच की एक गुप्त कमजोरी है: यदि कोई बिल्ली की तस्वीर पर धूल का एक छोटा सा, लगभग अदृश्य कण भी डाल दे, तो रोबोट अचानक चिल्ला सकता है "यह तो टोस्टर है!" क्योंकि कोच की सटीक गणनाएँ उस नन्हे से धोखे के प्रति बहुत संवेदनशील होती हैं। इसे "एडवर्सरियल अटैक" (adversarial attack) कहा जाता है, और यह वास्तविक दुनिया में एआई (AI) पर भरोसा करने के लिए एक बड़ी समस्या है। वैज्ञानिक लंबे समय से रोबोटों को सिखाने का एक अलग तरीका खोजने की कोशिश कर रहे हैं—जो हमारे वास्तविक मानव मस्तिष्क के सीखने के तरीके की नकल करता हो—यानी अधिक मोटे, जैविक संकेतों (biological signals) का उपयोग करना, न कि सटीक गणित का। लेकिन ये "जैविक रूप से प्रशंसनीय" (biologically plausible) विधियाँ आमतौर पर रोबोटों को कम बुद्धिमान और धीमा बना देती थीं, इसलिए अधिकांश लोगों ने उन पर उम्मीद छोड़ दी।
अब, शोधकर्ताओं की एक टीम ने एक चतुर हाइब्रिड दृष्टिकोण अपनाने का निर्णय लिया है। उन्होंने पूछा: "क्या होगा यदि हम रोबोट को बुनियादी बातें सिखाने के लिए सख्त कोच का उपयोग करें, लेकिन फिर अंतिम पॉलिश के लिए अधिक खुरदरे, जैविक कोच पर स्विच कर दें?" इस नए अध्ययन में, उन्होंने न्यूरल नेटवर्क (रोबोट का मस्तिष्क) को मानक विधि का उपयोग करके प्री-ट्रेन (pre-train) किया। फिर, प्रशिक्षण को उसी सख्त कोच के साथ समाप्त करने के बजाय, उन्होंने "साइन-सिमेट्री" (Sign-Symmetry) नामक नियमों के एक सेट का उपयोग किया। ये नियम ऐसे कोच की तरह हैं जिसे केवल त्रुटि की दिशा (ऊपर या नीचे, बाएँ या दाएँ) की परवाह है, न कि त्रुटि के सटीक आकार की। उन्हें हर कनेक्शन के सटीक वजन को जानने की आवश्यकता नहीं है; उन्हें बस यह जानने की आवश्यकता है कि उसे किस दिशा में धकेलना है। शोधकर्ताओं ने पाया कि इस "खुरदरी" अंतिम पॉलिश ने रोबोट को चीजों को पहचानने में कम बुद्धिमान नहीं बनाया। वास्तव में, इसने रोबोट को अविश्वसनीय रूप से मजबूत बना दिया। जब हमलावरों ने उन सूक्ष्म, अदृश्य धूल के कणों के साथ रोबोट को धोखा देने की कोशिश की, तो साइन-सिमेट्री नियमों का उपयोग करने वाला रोबोट मुश्किल से विचलित हुआ, जबकि पूरी तरह से सख्त कोच से प्रशिक्षित रोबोट ढह गया। यह पता चला है कि सटीक परिशुद्धता के प्रति जुनूनी न होकर, रोबोट को धोखा देना बहुत कठिन हो गया।
खुरदरी पॉलिश की कहानी
आइए देखें कि यह कैसे काम करता है। शोधकर्ताओं ने इस विचार से शुरुआत की कि सख्त कोच (बैकप्रोपैगेशन) एक मजबूत नींव बनाने के लिए बेहतरीन है। यह साइकिल चलाने सीखने जैसा है जिसमें ट्रेनिंग व्हील्स आपको संतुलन का सटीक डेटा देते हैं। लेकिन एक बार जब आप साइकिल चलाना सीख जाते हैं, तो शायद आपको उन सटीक सेंसरों की आवश्यकता नहीं होती। टीम ने प्री-ट्रेन्ड मॉडल्स (न्यूरल नेटवर्क जिन्होंने पहले से ही मानक विधि का उपयोग करके छवियों को पहचानना सीख लिया था) लिए और उन्हें साइन-सिमेट्री नियमों का उपयोग करके एक "फाइन-ट्यूनिंग" सत्र दिया।
इन नियमों के कुछ अलग रूप हैं, जैसे uSF (यूनिफॉर्म साइन-कॉर्डेंट फीडबैक), frSF (फिक्स्ड रैंडम-मैग्निट्यूड साइन-कॉर्डेंट फीडबैक), और brSF (बैचवाइज रैंडम मैग्निट्यूड साइन-कॉर्डेंट फीडबैक)। आप इन्हें रोबोट को हल्का सा धक्का देने के विभिन्न तरीकों के रूप में देख सकते हैं। यह कहने के बजाय कि, "आप बाईं ओर 0.043 यूनिट दूर थे," साइन-सिमेट्री कोच बस कहता है, "हे, आप बाईं ओर झुक रहे हैं, दाईं ओर धकेलो!" यह सटीक संख्याओं को अनदेखा करता है और त्रुटि के चिह्न (पॉजिटिव या नेगेटिव) पर ध्यान केंद्रित करता है।
टीम ने दो मुख्य कार्यों पर इसका परीक्षण किया: इमेज क्लासिफिकेशन (तस्वीर में क्या है यह बताना) और हैशिंग-आधारित इमेज रिट्रीवल (एक विशाल डेटाबेस में समान तस्वीरें खोजना)। उन्होंने एलेक्सनेट (AlexNet), वीजीजी-16 (VGG-16) और रेसनेट-18 (ResNet-18) जैसे लोकप्रिय रोबोट दिमागों का उपयोग किया, और सिफार-10 (CIFAR-10), एमएस-कोको (MS-COCO) और इमेजनट (ImageNet) जैसे प्रसिद्ध डेटासेट्स पर परीक्षण किया।
परिणाम आश्चर्यजनक और रोमांचक थे। जब केवल स्मार्ट होने की बात आई, तो साइन-सिमेट्री के साथ फाइन-ट्यून किए गए रोबोट उतने ही अच्छे थे जितने कि पूरी तरह से सख्त कोच से प्रशिक्षित रोबोट। कुछ मामलों में, वे और भी बेहतर थे! उदाहरण के लिए, एलेक्सनेट मस्तिष्क के साथ CIFAR-10 डेटासेट पर, साइन-सिमेट्री विधियों ने 93.75% की टॉप-1 सटीकता हासिल की, जो मानक कोच के 90.62% से अधिक थी। इमेजनट डेटासेट पर रेसनेट-18 मस्तिष्क के साथ, उन्होंने मानक कोच की 87.5% सटीकता के बराबर प्रदर्शन किया। मुख्य निष्कर्ष यह है कि अंतिम चरणों के लिए खुरदरे कोच पर स्विच करने से आप अपनी बुद्धिमत्ता नहीं खोते हैं।
असली जादू तब हुआ जब उन्होंने परीक्षण किया कि उनके रोबोट मुश्किल परिस्थितियों को कितनी अच्छी तरह संभाल सकते हैं। शोधकर्ताओं ने उन पर "एडवर्सरियल अटैक्स" (adversarial attacks) लॉन्च किए। ये डिजिटल हैकर्स की तरह हैं जो छवि में शोर (noise) की सूक्ष्म मात्रा जोड़कर रोबोट को धोखा देने की कोशिश करते हैं। उन्होंने दो प्रकार के हमलों का उपयोग किया: FGSM और PGD। ये "व्हाइट-बॉक्स" हमले हैं, जिसका अर्थ है कि हैकर्स को पता था कि रोबोट कैसे सोच रहा है और उन्होंने उस ज्ञान का उपयोग करके एक आदर्श चाल (trick) तैयार की।
जब उन्होंने मानक रोबटों (केवल बैकप्रोपैगेशन के साथ प्रशिक्षित) पर हमला किया, तो रोबोट जल्दी ही ढह गए। जैसे-जैसे हैकर्स ने शोर (जिसे मान द्वारा दर्शाया गया है) बढ़ाया, मानक रोबोटों की सटीकता तेजी से गिर गई। इमेजनट डेटासेट पर, जब शोर का स्तर 0.5 तक पहुँच गया, तो मानक रोबोट की सटीकता लगभग 0% तक गिर गई। वह पूरी तरह से मूर्ख बन गया।
हालाँकि, साइन-सिमेट्री के साथ फाइन-ट्यून किए गए रोबोट किसी मजबूत पुराने जूते की तरह थे। वे ढहे नहीं। उसी भारी शोर के साथ भी, उन्होंने अपनी सटीकता को बहुत बेहतर तरीके से बनाए रखा। रेसनेट-18 प्रयोगों में, मानक रोबोट और साइन-सिमेट्री रोबोट के बीच का अंतर बहुत बड़ा था—हमले के दौरान सटीकता में कभी-कभी 71.88% का अंतर देखा गया। मानक रोबोट का ग्राफ पत्थर की तरह नीचे गिरा, जबकि साइन-सिमेट्री रोबोट का ग्राफ एक स्लाइड की तरह धीरे-धीरे नीचे गया। यह बताता है कि क्योंकि साइन-सिमेट्री नियम सटीक ग्रेडिएंट्स पर निर्भर नहीं करते हैं, इसलिए हैकर्स आसानी से उन्हें धोखा देने के लिए सटीक चाल नहीं निकाल सकते। यह ताले के उन हिस्सों (tumblers) को चुनने की कोशिश करने जैसा है जो थोड़े ढीले और अनिश्चित हैं; अब सटीक चाबी काम नहीं करती।
टीम ने यह भी जांचा कि क्या उनके रोबट "ब्लैक-बॉक्स" हमलों के प्रति संवेदनशील हैं, जहाँ हैकर को यह नहीं पता होता कि रोबोट कैसे सोचता है और वह बस रैंडम चालें चलता है। इन मामलों में, साइन-सिमेट्री रोबोटों ने मानक रोबोटों के समान ही प्रदर्शन किया। यह एक महत्वपूर्ण विवरण है: इसका मतलब है कि रोबोट कुल मिलाकर कमजोर नहीं हुए; वे केवल उन हैकर्स के लिए विशेष रूप से कठिन हो गए जो रोबोट के आंतरिक गणित को जानकर धोखा देने की कोशिश करते हैं।
शोधकर्ताओं ने "हैशिंग" कार्य को भी देखा, जो एक लाइब्रेरी को व्यवस्थित करने जैसा है जिसमें किताबों के कवर को छोटे, अद्वितीय कोड में बदल दिया जाता है। उन्होंने यहाँ भी समान परिणाम पाए। जब HAG और SDHA जैसी विधियों से हमला किया गया, तो मानक रोबोटों का प्रदर्शन (जिसे मीन एवरेज प्रिसिजन, या mAP द्वारा मापा जाता है) गिर गया। उदाहरण के लिए, इमेजनट पर, उच्च शोर स्तरों पर मानक रोबोट का mAP गिरकर लगभग 12% हो गया, जबकि साइन-सिमेट्री रोबोट लगभग 40% पर स्थिर रहे।
सबसे दिलचस्प निष्कर्षों में से एक यह था कि frSF (फिक्स्ड रैंडम-मैग्निट्यूड साइन-कॉर्डेंट फीडबैक) विधि अन्य सभी में सबसे स्थिर और प्रदर्शन करने वाली लग रही थी। इसने विभिन्न प्रकार के रोबोट दिमागों और डेटासेट्स में लगातार अपना स्थान बनाए रखा।
तो, इस सब का क्या अर्थ है? पेपर सुझाव देता है कि हमें स्मार्ट होने और मजबूत होने के बीच चुनाव करने की आवश्यकता नहीं है। हम दोनों पा सकते हैं। आधार बनाने के लिए सख्त, पूर्ण कोच का उपयोग करके और फिर अंतिम स्पर्श के लिए खुरदरे, जैविक-शैली के कोच पर स्विच करके, हमें एक ऐसा रोबोट मिलता है जो उतना ही स्मार्ट है लेकिन धोखा देना बहुत कठिन है। लेखक प्रस्तावित करते हैं कि यह "साइन-सिमेट्री" दृष्टिकोण AI को सुरक्षित और अधिक विश्वसनीय बनाने का एक नया तरीका हो सकता है, खासकर उन स्थितियों में जहाँ हम मूर्ख बनने का जोखिम नहीं उठा सकते। वे स्वीकार करते हैं कि यह देखने के लिए कि यह बड़े और अधिक जटिल सिस्टम पर कैसे काम करता है, और अधिक काम की आवश्यकता है, लेकिन उनके प्रारंभिक परिणाम एक मजबूत संकेत हैं कि प्रकृति की खुरदरी और संघर्षपूर्ण सीखने की शैली वह गुप्त सामग्री हो सकती है जिसकी हमें अपने डिजिटल दिमागों को वास्तव में मजबूत बनाने के लिए आवश्यकता थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।