Geometric origin of adversarial vulnerability in deep learning
यह शोध पत्र एक ज्यामिति-जागरूक (geometry-aware) डीप लर्निंग फ्रेमवर्क प्रस्तुत करता है जो उन्नत एडवरसेरियल रोबस्टनेस के लिए आंतरिक निरूपणों को गढ़ने हेतु लेयर-वाइज लोकल ट्रेनिंग का उपयोग करता है, जो डेटा-डिपेंडेंट सांख्यिकीय यांत्रिकी और एक फेनोमेनोलॉजिकल हेब्बियन कपलिंग मॉडल द्वारा समर्थित है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को जानवरों को पहचानना सिखा रहे हैं। आप उसे बिल्लियों और कुत्तों की हजारों तस्वीरें दिखाते हैं, और वह अविश्वसनीय गति से उनमें अंतर करना सीख जाता है। यह "डीप लर्निंग" का जादू है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जिसने सेल्फ-ड्राइविंग कारों से लेकर भाषाओं के अनुवाद तक सब कुछ बदल दिया है। लेकिन इसमें एक डरावनी बात है: ये सुपर-स्मार्ट रोबोट आश्चर्यजनक रूप रूप से नाजुक होते हैं। यदि आप एक बिल्ली की तस्वीर लें और उसमें एक छोटा सा, अदृश्य स्टैटिक शोर (static noise) जोड़ दें—ऐसा कुछ जिसे मानवीय आँख भी नहीं देख पाएगी—तो रोबोट अचानक 100% आत्मविश्वास के साथ चिल्ला सकता है, "यह तो एक टोस्टर है!" इसे "एडवर्सरियल अटैक" (adversarial attack) कहा जाता है, और ऐसा इसलिए होता है क्योंकि रोबोट ने शॉर्टकट लेने की आदत डाल ली है, वह वास्तव में यह समझने के बजाय कि बिल्ली कैसी दिखती है, अजीब, गैर-वैचारिक पैटर्न पर ध्यान केंद्रित करता है। वैज्ञानिक सालों से इसे ठीक करने की कोशिश कर रहे हैं, यह सोचते हुए कि ये डिजिटल दिमाग इतनी आसानी से क्यों धोखा खा जाते हैं और इन्हें इंसान की तरह मजबूत कैसे बनाया जाए।
बड़ा सवाल जिसका यह पेपर समाधान करता है वह है: ये नेटवर्क इतने असुरक्षित क्यों हैं, और क्या हम इन्हें अलग तरह से बना सकते हैं? लेखक सुझाव देते हैं कि समस्या इस बात में है कि नेटवर्क सूचना को कैसे व्यवस्थित करता है। पूरे मस्तिष्क को एक साथ प्रशिक्षित करने के बजाय (जिससे वे नाजुक शॉर्टकट विकसित करते हैं), वे इन नेटवर्क्स को परत-दर-परत बनाने का एक नया तरीका प्रस्तावित करते हैं, जो सिस्टम के माध्यम से आगे बढ़ते समय डेटा के आंतरिक "आकार" को तराशता है। वे इसे "ज्यामिति-जागरूक लर्निंग" (Geometry-Aware Learning - GAL) कहते हैं। नेटवर्क को हर कदम पर समान चीजों (जैसे सभी बिल्लियाँ) को पास रखने और अलग चीजों (बिल्लियों बनाम कुत्तों) को दूर रखने के लिए मजबूर करके, वे एक बहुत अधिक मजबूत, तार्किक समझ बनाते हैं। परिणाम? एक ऐसा नेटवर्क जो केवल पैटर्न को याद नहीं करता बल्कि वास्तविकता का एक सुचारू, मजबूत मानचित्र वास्तव में सीखता है, जिसे छोटे, अदृश्य ग्लिच से आसानी से धोखा नहीं दिया जा सकता।
समस्या: रोबोट का नाजुक मस्तिष्क
डीप न्यूरल नेटवर्क विशाल, बहु-परतीय कारखानों की तरह होते हैं। जब आप ऊपर की ओर एक छवि डालते हैं, तो उसे अंतिम निर्णय लेने के लिए नीचे की ओर जाने से पहले परत-दर-परत "श्रमिकों" (न्यूरॉन्स) द्वारा संसाधित किया जाता है। आमतौर पर, हम इन कारखानों को "बैकप्रोपैगेशन" नामक विधि का उपयोग करके प्रशिक्षित करते हैं, जो नीचे से ऊपर तक एक विशाल त्रुटि संदेश भेजने जैसा है ताकि सबको बताया जा सके कि उन्होंने क्या गलत किया। समस्या यह है कि यह विधि अक्सर नेटवर्क को "चीटिंग" करने के रास्ते दिखा देती है। यह सीख सकता है कि एक बिल्ली की परिभाषा छवि के एक विशिष्ट कोने में फर की बनावट है, न कि पूरे जानवर का आकार। यह नेटवर्क को सामान्य परीक्षणों पर अविश्वसनीय रूप से सटीक बनाता है, लेकिन डरावना रूप से आसानी से फंसाने योग्य भी बनाता है। यदि कोई हमलावर उस विशिष्ट बनावट को बदलने के लिए थोड़ा सा शोर जोड़ देता है, तो पूरा सिस्टम ढह जाता है।
समाधान: डेटा को तराशना, एक समय में एक परत
लेखकों ने एक बार में पूरे कारखाने को ठीक करने की कोशिश करना बंद करने का निर्णय लिया। इसके बजाय, उन्होंने ज्यामिति-जागरूक लर्निंग (Geometry-Aware Learning - GAL) नामक एक नई प्रशिक्षण रणनीति पेश की। कल्पना कीजिए कि आप मिट्टी से एक मूर्ति बना रहे हैं। एक ही बड़े, जोखिम भरे प्रहार में अंतिम मूर्ति को तराशने के बजाय, आप इसे परत-दर-परत बनाते हैं।
इस नई पद्धति में, नेटवर्क एक समय में एक परत को प्रशिक्षित करता है, नीचे से ऊपर की ओर बढ़ता है। जब पहली परत सीख रही होती है, तो यह केवल कच्चे डेटा (जैसे पिक्सेल) को एक व्यवस्थित ढेर में व्यवस्थित करने पर ध्यान केंद्रित करती है। यह एक विशेष नियम का उपयोग करती है: "सभी बिल्लियों को एक तंग गेंद में पास रखो, और सभी कुत्तों को दूसरी तरफ दूर धकेलो।" इस नियम को "ज्यामिति लागत" (geometry cost) कहा जाता है। यह नेटवर्क को एक स्पष्ट, व्यवस्थित मानचित्र बनाने के लिए मजबूर करता है जहाँ समान चीजें सघन होती हैं और अलग चीजें अलग होती हैं।
एक बार जब पहली परत ने डेटा का एक सुंदर, व्यवस्थित ढेर तराश लिया होता है, तो उसे "फ्रीज" (लॉक) कर दिया जाता है। फिर, दूसरी परत आती है ताकि उस व्यवस्थित ढेर को ले सके और उसे और अधिक व्यवस्थित कर सके, फिर से बिल्लियों को पास और कुत्तों को दूर रखते हुए। यह पूरी श्रृंखला में ऊपर की ओर चलता रहता है। अंत में, जब सभी परतें बन जाती हैं और व्यवस्थित हो जाती हैं, तो एक सरल "रीडआउट" हेड को केवल अंतिम, पूरी तरह से छांटे गए ढेरों को देखने और "बिल्ली" या "कुत्ता" कहने के लिए प्रशिक्षित किया जाता है।
यह रोबတ် को कैसे मजबूत बनाता है
इस दृष्टिकोण का जादू यह है कि यह एक "सुचारू" (smooth) परिदृश्य बनाता है। पुराने तरीके में, डेटा का परिदृश्य ऊबड़-खाबड़ और चट्टानों से भरा था; एक छोटा सा कदम (एक हमला) रोबोट को एक गलत उत्तर की ओर चट्टान से नीचे गिरा सकता था। नए ज्यामिति-जागरूक लर्निंग में, परिदृश्य एक सौम्य, लुढ़कती हुई पहाड़ी की तरह है। भले ही कोई हमलावर डेटा को थोड़ा सा धक्का दे, यह बस पहाड़ी पर थोड़ा सा लुढ़केगा लेकिन सही "बिल्ली" की घाटी में ही रहेगा।
पेपर दिखाता है कि यह तरीका अविश्वसनीय रूप से अच्छा काम करता है। जब उन्होंने MNIST (हस्तलिखित संख्याएं) और CIFAR-10 (रंगीन चित्र) जैसे मानक इमेज डेटासेट पर इसका परीक्षण किया, तो नए नेटवर्क्स ने उच्च सटीकता प्राप्त की, ठीक पुराने नेटवर्क्स की तरह। लेकिन असली बात यह है: जब उन्होंने उन्हीं "अदृश्य शोर" वाले ट्रिक्स के साथ इन नेटवर्क्स पर हमला किया, तो नए नेटवर्क्स ने मुश्किल से भी प्रतिक्रिया दी। वे सटीक रहे, जबकि पुराने नेटवर्क बुरी तरह विफल रहे।
जादू के पीछे का विज्ञान
लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने इसके पीछे के कारण को समझाने के लिए एक गणितीय मॉडल बनाया। उन्होंने नेटवर्क के व्यवहार को देखने के लिए भौतिकी की एक अवधारणा "सांख्यिकीय यांत्रिकी" (statistical mechanics) का उपयोग किया। उन्होंने पाया कि "समान-वर्ग" की वस्तुओं के कितना करीब होने बनाम "अलग-वर्ग" की वस्तुओं के कितना दूर होने के अनुपात को नियंत्रित करके, वे गणितीय रूप से एक सुचारू, अधिक मजबूत प्रणाली की गारंटी दे सकते हैं।
उन्होंने यह भी खोजा कि नेटवर्क के भीतर डेटा का "आकार" कैसा है। उन्होंने "आइजनवैल्यू" (eigenvalues - विभिन्न पैटर्न के महत्व को मापने का एक शानदार तरीका) को देखा और पाया कि नए नेटवर्क एक विशिष्ट "ब्रोकन पावर-लॉ" (broken power-law) पैटर्न का पालन करते हैं। यह वही पैटर्न है जो वास्तविक चूहों के मस्तिष्क में देखा जाता है! यह सुझाव देता है कि इन कृत्रिम नेटवर्क्स को प्रशिक्षित करने का यह नया तरीका वास्तव में इस बात की नकल कर रहा है कि जैविक मस्तिष्क कैसे सीखते हैं: दुनिया के सुचारू, निम्न-आयामी मानचित्र बनाकर जो शोर के प्रति स्वाभाविक रूप से प्रतिरोधी होते हैं।
निष्कर्ष
यह पेपर सुझाव देता है कि अचूक AI बनाने का रहस्य केवल एक मानक मॉडल पर अधिक डेटा डालना नहीं है। यह इस बारे में है कि मॉडल कैसे सीखता है। नेटवर्क को परत-दर-परत प्रशिक्षित करके और उसे अपने दुनिया के आंतरिक मानचित्र को व्यवस्थित, सघन और अलग रखने के लिए मजबूर करके, हम ऐसे डीप लर्निंग सिस्टम बना सकते हैं जो न केवल स्मार्ट हैं बल्कि कठिन भी हैं। वे केवल याद नहीं करते; वे वास्तविकता की ज्यामिति को समझते हैं, जिससे उन्हें धोखा देना बहुत कठिन हो जाता है और वे प्रकृति में देखे जाने वाले मजबूत शिक्षण के बहुत करीब पहुँच जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।