Dissociating spatial frequency reliance from adversarial robustness advantages in neurally guided deep convolutional neural networks
यह अध्ययन प्रदर्शित करता है कि जबकि तंत्रिका रूप से संरेखित (neurally aligned) डीप कनवल्शनल न्यूरल नेटवर्क कम स्थानिक आवृत्तियों (low spatial frequencies) पर बढ़ी हुई निर्भरता और बेहतर प्रतिकूल सुदृढ़ता (adversarial robustness) दोनों प्रदर्शित करते हैं, निम्न-आवृत्ति प्रसंस्करण की ओर यह बदलाव मानव-समान निरूपणों (human-like representations) को सीखने का एक उभरता हुआ गुण मात्र है न कि सुदृढ़ता को संचालित करने वाला प्राथमिक तंत्र, क्योंकि मॉडलों को सीधे इन आवृत्तियों की ओर पक्षपाती बनाना सुदृढ़ता लाभों को दोहराने में विफल रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को तस्वीरों में जानवरों को पहचानना सिखा रहे हैं। आप चाहते हैं कि वह एक इंसान की तरह मजबूत और भरोसेमंद हो, ताकि उसे तस्वीर में छोटे, अदृश्य बदलावों (जैसे कुछ पिक्सेल का खिसक जाना) से बेवकूफ न बनाया जा सके—ऐसे बदलाव जिन्हें देखकर एक इंसान तो हंस देगा, लेकिन रोबोट को लगेगा कि "कुत्ता" वास्तव में एक "शुतुरमुर्ग" है।
वैज्ञानिकों ने हाल ही में खोजा कि यदि वे रोबोट को इंसान के मस्तिष्क की तरह "सोचना" सिखाते हैं, तो उसे बेवकूफ बनाना बहुत कठिन हो जाता है। लेकिन वे यह नहीं जानते थे कि क्यों।
एक लोकप्रिय सिद्धांत यह था कि रोबोट इसलिए अधिक मजबूत हो गया क्योंकि उसने बारीक विवरणों (जैसे फर की बनावट) को अनदेखा करना और केवल बड़े, धुंधले आकारों (जैसे जानवर की बाहरी रूपरेखा) पर ध्यान केंद्रित करना शुरू कर दिया। एक अन्य सिद्धांत ने सुझाव दिया कि उसने विवरणों के एक विशिष्ट "स्वीट स्पॉट" (sweet spot) पर ध्यान केंद्रित किया जिसका उपयोग इंसान चीजों को पहचानने के लिए करते हैं।
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ शोधकर्ता इन सिद्धांतों का परीक्षण करने के लिए रोबट को विशेष रूप से उन चीजों पर ध्यान केंद्रित करने के लिए मजबूर करते हैं। उन्होंने क्या पाया, इसका सरल विवरण यहाँ दिया गया है:
सेटअप: "धुंधला बनाम स्पष्ट" की बहस
एक छवि को एक गाने की तरह समझें।
- लो फ्रीक्वेंसी (LSF): ये गहरे बेस नोट्स (bass notes) हैं। ये आपको गाने का सामान्य अहसास और आकार देते हैं।
- हाई फ्रीक्वेंसी (HSF): ये ऊंचे स्वर वाले सिम्बल (cymbals) और सूक्ष्म नोट्स हैं। ये बारीक विवरण और बनावट देते हैं।
- "ह्यूमन चैनल" (Human Channel): मध्यम रेंज की ध्वनियों का एक विशिष्ट दायरा जो इंसान चेहरों और वस्तुओं को पहचानने के लिए सबसे अधिक उपयोग करते हैं।
पिछले अध्ययनों से पता चला है कि जब रोबोट को मानव मस्तिष्क की नकल करने के लिए प्रशिक्षित किया गया, तो वे स्वाभाविक रूप से "बेस" (Low Frequencies) और उस विशिष्ट "ह्यूमन चैनल" को अधिक सुनने लगे, और "सिम्बल" (High Frequencies) को कम सुनने लगे। इससे उन्हें बेवकूफ बनाना कठिन हो गया।
प्रयोग: रोबोट को सुनने के लिए मजबूर करना
शोधकर्ताओं ने पूछा: क्या रोबोट इसलिए मजबूत है क्योंकि वह 'बेस' सुन रहा है, या इसलिए क्योंकि वह 'ह्यूमन चैनल' सुन रहा है?
यह पता लगाने के लिए, उन्होंने केवल रोबोट को स्वाभाविक रूप से सीखने नहीं दिया। उन्होंने "ट्रेनिंग व्हील्स" (डेटा हेरफेर) का उपयोग किया ताकि रोबोट को प्रशिक्षण के दौरान गाने के विशिष्ट हिस्सों पर ही ध्यान केंद्रित करने के लिए मजबूर किया जा सके:
- "ह्यूमन चैनल" ग्रुप: केवल उस विशिष्ट मध्यम रेंज को सुनने के लिए मजबूर किया गया।
- "केवल बेस" ग्रुप: केवल गहरे, धुंधले आकारों को सुनने के लिए मजबूर किया गया।
- "कॉम्बो" ग्रुप: दोनों को सुनने के लिए मजबूर किया गया।
ट्विस्ट: परिणाम आश्चर्यजनक थे
शोधकर्ता उम्मीद कर रहे थे कि रोबोट को इन "मानवीय" आवृत्तियों (frequencies) पर ध्यान केंद्रित करने के लिए मजबूर करने से वह मजबूत हो जाएगा। इसके बजाय, उन्हें एक बड़ा अंतर मिला:
- "ह्यूमन चैनल" का जाल: जब उन्होंने रोबोट को केवल मानव स्वीट स्पॉट पर ध्यान केंद्रित करने के लिए मजबूर किया, तो वह मजबूत नहीं हुआ। वास्तव में, वह कमजोर हो गया। यह कार चलाने सीखने के लिए केवल स्पीडोमीटर को देखने जैसा था; आप सड़क को भूल जाते हैं और दुर्घटनाग्रस्त हो जाते हैं।
- "बेस" (लो फ्रीक्वेंसी) का प्रभाव: जब उन्होंने रोबोट को केवल बड़े, धुंधले आकारों पर ध्यान केंद्रित करने के लिए मजबूर किया, तो वह थोड़ा मजबूत हुआ। लेकिन सुधार बहुत मामूली था।
- "कॉम्बो" की विफलता: यहाँ तक कि जब उन्होंने रोबोट को बेस और ह्यूमन चैनल दोनों को सुनने के लिए मजबूर किया, तब भी वह उन रोबोट्स जितना मजबूत नहीं हो पाया जिन्हें मस्तिष्क की नकल करके स्वाभाविक रूप से सीखने की अनुमति दी गई थी।
बड़ा खुलासा: सहसंबंध (Correlation) कारण (Causation) नहीं है
यहाँ मुख्य निष्कर्ष एक सरल उपमा (analogy) का उपयोग करके दिया गया है:
कल्पना कीजिए कि आप एक पेशेवर शेफ (मानव मस्तिष्क) को एक बेहतरीन केक बनाते हुए देखते हैं। आप देखते हैं कि वे हमेशा एक विशिष्ट प्रकार के आटे (Low Frequencies) और एक विशिष्ट व्हिस्क (Human Channel) का उपयोग करते हैं। आप सोचते, "आह! बेहतरीन केक का रहस्य वही आटा और वह व्हिस्क है!"
तो, आप घर जाते हैं और खुद को केवल उसी आटे और केवल उसी व्हिस्क का उपयोग करने के लिए मजबूर करते हैं। लेकिन आपका केक बहुत खराब बनता है।
क्यों? क्योंकि आटा और व्हिस्क अच्छे केक का कारण नहीं थे। वे तो बस शेफ के समग्र कौशल और तकनीक के दुष्प्रभाव (side effects) थे। शेफ वास्तव में सामग्री को कैसे फिट किया जाए, इसकी एक जटिल, अदृश्य "ज्यामिति" (geometry) का उपयोग कर रहे थे ताकि केक मजबूत बन सके।
शोध पत्र निष्कर्ष निकालता है:
"न्यूरल रूप से निर्देशित" (neurally guided) रोबोट इसलिए मजबूत हैं क्योंकि वे बेस सुन रहे हैं या ह्यूमन चैनल सुन रहे हैं। वे केवल चीजें हैं जो वे करते हैं क्योंकि वे इंसान की तरह सोचना सीख रहे हैं। असली रहस्य यह है कि वे जानकारी को व्यवस्थित करने के बेहतर, अधिक मानवीय तरीके (एक बेहतर "ज्यामिति") को सीख रहे हैं जो उन्हें स्वाभाविक रूप से मजबूत बनाता है।
रोबोट को विशिष्ट आवृत्तियों पर ध्यान केंद्रित करने के लिए मजबूर करना कार के टायरों को लाल रंग से पेंट करने जैसा है; यह ऐसा लग सकता है जैसे आप सही काम कर रहे हैं, लेकिन यह वास्तव में इंजन को बेहतर ढंग से चलाने में मदद नहीं करता है। असली जादू इंजन के डिज़ाइन में है, पेंट के रंग में नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।