Conditioned Direct Feedback Alignment via Activity and Error Geometry
यह शोध पत्र डायरेक्ट फीडबैक अलाइनमेंट (DFA) में स्थानीय भार अपडेट (local weight updates) में विरूपता (anisotropy) के कारण उत्पन्न होने वाले एक विशिष्ट विफलता मोड की पहचान और समाधान करता है, जो गतिविधि और त्रुटि ज्यामिति के व्युत्क्रम द्वितीय क्षणों (inverse second moments) के साथ अपडेट को प्रीकंडीशन करने वाले एक "कंडीशन्ड DFA" ढांचे का प्रस्ताव देता है, जिससे बैकप्रोपैगेशन के सार्वभौमिक प्रतिस्थापन के बजाय स्थानीय आउटर-प्रोडक्ट सीमाओं के कारक-स्तरीय अध्ययन के रूप में प्रदर्शन में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, बहु-स्तरीय रोबोट को बिल्लियों और कुत्तों की तस्वीरें पहचानना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे करने का मानक तरीका है जिसे "बैकप्रोपैगेशन" (backpropagation) कहा जाता है। इसे एक बहुत ही सख्त शिक्षक के रूप में सोचें जो कक्षा के पीछे खड़ा होता है, छात्र की अंतिम गलती को देखता है, और फिर वापस सामने की ओर चलते हुए, हर एक न्यूरॉन को एक-एक करके, उल्टे क्रम में विशिष्ट सुधारों के बारे में फुसफुसाता है। यह अविश्वसनीय रूप से अच्छा काम करता है, लेकिन यह एक लॉजिस्टिक दुःस्वप्न जैसा है: इसके लिए रोबोट को अपने स्वयं के मस्तिष्क की एक पूर्ण "दर्पण छवि" (mirror image) की आवश्यकता होती है ताकि वह ये फुसफुसाहट वापस भेज सके, जो वास्तविक जैविक मस्तिष्क में नहीं होता है।
वैज्ञानिक इस सरल, अधिक "स्थानीय" (local) तरीके को खोजने की कोशिश कर रहे हैं, जिसमें उस पूर्ण दर्पण की आवश्यकता न हो। उन्होंने "डायरेक्ट फीडबैक अलाइनमेंट" (Direct Feedback Alignment - DFA) नामक एक विधि विकसित की। बैकप्रोपैगेशन के बजाय, जहाँ शिक्षक कक्षा के पीछे से चलकर आता है, कल्पना करें कि शिक्षक केवल कक्षा के पीछे से ग्रेड चिल्लाकर बताता है, और कक्षा के बीच में बैठा हर छात्र यह अनुमान लगाता है कि उसे अपना काम कैसे ठीक करना है, इस आधार पर कि उस चिल्लाहट ने क्या कहा और उस समय वे क्या सोच रहे थे। यह अधिक तेज़ और जैविक रूप से प्रशंसनीय है। लेकिन इसमें एक पेंच है: कभी-कभी छात्र भ्रमित हो जाते हैं। यदि कोई छात्र समस्या को हल करने के प्रयास में किसी पूरी तरह से अप्रासंगिक चीज़ (जैसे दीवारों का रंग) के बारे में सोच रहा है, तो उसका मस्तिष्क उस अप्रासंगिक विवरण पर ध्यान केंद्रित करने में फंस सकता है, और वास्तविक पाठ को अनदेखा कर सकता है। यह शोध पत्र ठीक इसी बात की जांच करता है कि ऐसा क्यों होता है और पुराने, जटिल शिक्षण तरीके पर वापस जाए बिना इसे कैसे ठीक किया जाए।
हार्वर्ड के केम्पनरर इंस्टीट्यूट (Kempner Institute) के शोधकर्ताओं ने पाया कि समस्या केवल यह नहीं है कि शिक्षक का "चिल्लाना" यादृच्छिक (random) है; बल्कि यह है कि छात्र का अपना आंतरिक "शोर" (noise) संकेत को दबा सकता है। उन्होंने पाया कि जब छात्र का मस्तिष्क उन विचारों से गूंज रहा होता है जिनका कार्य से कोई लेना-देना नहीं है (जैसे दोपहर के भोजन के बारे में दिवास्वप्न देखना), तो सीखने का नियम उस दिवास्वप्न द्वारा हाईजैक कर लिया जाता है। इसे ठीक करने के लिए, उन्होंने एक नई "कंडीशनिंग" (conditioning) तकनीक का आविष्कार किया। इसे ऐसे समझें जैसे छात्र को विशेष "नॉइज़-कैंसलिंग हेडफ़ोन" पहनाना। ये हेडफ़ोन केवल शोर को रोकते नहीं हैं; वे सक्रिय रूप से छात्र के विचारों को नया आकार देते हैं, अप्रासंगिक दिवास्वप्नों की आवाज़ को कम करते हैं और वास्तविक पाठ की आवाज़ को बढ़ाते हैं।
शोध पत्र दिखाता है कि जब वे इन "हेडफ़ोन" को लर्निंग एल्गोरिदम पर लगाते हैं, तो रोबोट सीखने में बहुत बेहतर हो जाता है। अपने परीक्षणों में, उन्होंने एक पेचीदा परिदृश्य बनाया जहाँ रोबोट को "न्युसेंस" (nuisance) जानकारी—उच्च-ऊर्जा वाले संकेतों से, जो पूरी तरह से बेकार थे—से बमबारी की गई। इस अव्यवस्थपूर्ण वातावरण में, मानक विधि (DFA) केवल 13% उत्तर सही प्राप्त कर सकी। लेकिन उनके नए "नॉइज़-कैंसलिंग" तरीके (जिसे वे "कंडीशन्ड DFA" कहते हैं) के साथ, सटीकता बढ़कर लगभग 53% हो गई। यह एक बहुत बड़ा सुधार है, लगभग 40 प्रतिशत अंक का।
हालाँकि, लेखक इस बात का दावा करने में बहुत सावधान हैं कि उन्होंने सब कुछ हल कर दिया है। उन्होंने पाया कि यह तरकीब तब सबसे अच्छा काम करती है जब "शोर" मुख्य समस्या हो। यदि कार्य पहले से ही साफ है और रोबलेट का मस्तिष्क केंद्रित है, तो नई विधि थोड़ी मदद करती है, लेकिन यह पुराने, पूर्ण "शिक्षक" (backpropagation) तरीके को बहुत अधिक नहीं हरा पाती है। वास्तव में, उन्होंने स्पष्ट रूप से दिखाया है कि यदि आप इस तकनीक का उपयोग एक बहुत गहरे, जटिल कनवोल्यूशनल नेटवर्क (जो फोटो में वस्तुओं की पहचान करने जैसे उन्नत इमेज रिकग्निशन के लिए उपयोग किया जाता है) पर करने की कोशिश करते हैं, तो यह एक दीवार से टकरा जाती है। यह मदद तो करती है, लेकिन यह पूरे सिस्टम को ठीक नहीं करती है। उन्होंने इस विचार को भी खारिज कर दिया कि सुधार केवल इसलिए हुआ क्योंकि उन्होंने सीखने के चरणों के आकार को बदल दिया था; उन्होंने सिद्ध किया कि यह विशेष रूप से इसलिए था क्योंकि उन्होंने छात्र के विचारों के "आकार" को ठीक किया था।
संक्षेप में, यह शोध पत्र यह नहीं कहता कि "पुराने शिक्षक को फेंक दें।" इसके बजाय, यह कहता है, "हे, यदि आप इस सरल, तेज़ चिल्लाने वाली विधि का उपयोग कर रहे हैं, तो आपको एक फ़िल्टर जोड़ने की आवश्यकता है ताकि छात्र को अप्रासंगिक शोर से ध्यान भटकने से रोका जा सके।" उन्होंने दिखाया कि लर्निंग सिग्नल को गणितीय रूप से "प्री-कंडीशन" करके—अनिवार्य रूप से रोबोट को यह बताकर कि, "तेज़, उबाऊ चीज़ों को अनदेखा करो, शांत, महत्वपूर्ण चीज़ों पर ध्यान केंद्रित करो"—आप इस सरल सीखने की विधि को वास्तविक दुनिया की अव्यवस्थाओं में बहुत बेहतर बना सकते हैं। यह विशिष्ट प्रकार की समस्याओं के लिए एक ठोस, मापा गया सुधार है, जो एक स्पष्ट मार्ग प्रदान करता है कि कैसे मशीनें जीवित मस्तिष्क की तरह सीख सकती हैं, लेकिन यह कोई जादुई छड़ी नहीं है जो हर सीखने की समस्या को तुरंत ठीक कर दे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।