Local Redundancy: An Information-Theoretic Measure of Plasticity from Synthetic Memorization
यह शोध पत्र "लोकल रिडंडेंसी" (local redundancy) को प्रस्तुत करता है, जो यूनिवर्सल कंप्रेशन थ्योरी से व्युत्पन्न न्यूरल नेटवर्क प्लास्टिसिटी का एक सूचना-सैद्धांतिक माप है, जिसे एक सिंथेटिक मेमोराइजेशन टास्क पर अपेक्षित स्क्वेयर्ड ग्रेडिएंट नॉर्म (expected squared gradient norm) द्वारा कुशलतापूर्वक अनुमानित किया जाता है और डाउनस्ट्रीम प्रदर्शन की भविष्यवाणी करने तथा चेकपॉइंट चयन को निर्देशित करने में मौजूदा मेट्रिक्स से बेहतर प्रदर्शन करते हुए प्रदर्शित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक कभी न खत्म होने वाला वीडियो गेम खेलना सिखा रहे हैं, जहाँ स्तर (levels) लगातार बदलते रहते हैं। शुरुआत में, रोबोट तेजी से सीखता है, हर नए स्तर में आसानी से महारत हासिल कर लेता है। लेकिन लंबे समय तक खेलने के बाद, कुछ अजीब होता है: रोबोट अटक जाता है। वह पुराने स्तरों को तो पूरी तरह याद रख सकता है, लेकिन नए स्तर सीखने में वह अनाड़ी और धीमा हो जाता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "प्लास्टिसिटी का नुकसान" (loss of plasticity) कहा जाता है। यह एक ऐसी मांसपेशी की तरह है जो एक विशिष्ट गति में इतनी मजबूत हो गई है कि अब वह नया नृत्य सीखने के लिए मुड़ नहीं सकती। वैज्ञानिक यह पता लगाने की कोशिश कर रहे हैं कि रोबoret के मस्तिष्क में इस "कठोरता" को कैसे मापा जाए ताकि ऐसा होने से पहले इसे ठीक किया जा सके। उन्होंने यह देखने की कोशिश की कि कितने न्यूरॉन्स "सो रहे" हैं या रोबोट के आंतरिक भार (weights) कितने भारी हैं, लेकिन ये तरीके अक्सर यह अनुमान लगाने में विफल रहते हैं कि रोबोट वास्तव में कब संघर्ष करेगा। वे एक रबर बैंड के रंग को देखकर उसकी लचीलापन मापने की कोशिश करने जैसे हैं; यह पूरी कहानी नहीं बताता।
यह शोध पत्र उस लचीलेपन को मापने का एक नया, अधिक स्मार्ट तरीका पेश करता है, जिसे "लोकल रिडंडेंसी" (local redundancy) कहा जाता है। एक न्यूरल नेटवर्क (रोबोट का मस्तिष्क) को एक विशाल, जटिल मानचित्र की तरह समझें। आमतौर पर, हम पूरे मानचित्र को देखते हैं कि वह कितना बड़ा है। लेकिन यह शोध पत्र तर्क देता है कि वास्तव में यह मायने रखता है कि अभी, ठीक उसी जगह से, जहाँ रोबोट खड़ा है, हिलने-डुलने के लिए कितनी जगह उपलब्ध है। लेखक सूचना सिद्धांत (information theory) के एक विचार का उपयोग करते हैं—मूल रूप से, यह विज्ञान कि आपको संदेश भेजने के लिए कितने डेटा की आवश्यकता होती है। वे रोबोट के वर्तमान सेटिंग्स के आसपास एक छोटा सा पड़ोस की कल्पना करते हैं और पूछते हैं: "यदि हम रोबोट को थोड़ा सा धकेल दें, तो वह अचानक कितने अलग-अलग नए संसारों को समझ सकता है?" यदि उत्तर "कई" है, तो रोबोट लचीला (प्लास्टिक) है। यदि उत्तर "बहुत कम" है, तो वह कठोर है।
बिना रोबोट के मस्तिष्क को बदले इसे मापने के लिए, शोधकर्ताओं ने एक चतुर तरकीब निकाली। वे रोबोट को बहुत सारा "नकली" डेटा खिलाते हैं—जैसे कि आकृतियों का एक यादृच्छिक जमावड़ा जिसकी एक पूरी तरह से यादृच्छिक लेबल वाली तस्वीर हो, या संख्याओं की एक ऐसी समय श्रृंखला (time series) जिसका कोई अर्थ न हो। फिर वे रोबोट को इस निरर्थक डेटा को याद करने की कोशिश करने के लिए कहते हैं। मुख्य खोज यह है कि इस नकली डेटा को याद करने की कोशिश में रोबिमोट का जो "पसीना" निकलता है (इसे उसके काम करने की तीव्रता, या उसके "ग्रेडिएंट नॉर्म" द्वारा मापा जाता है), वह हमें सटीक रूप से बताता है कि वह कितना लचीला है। यदि रोबोट आसानी से निरर्थक डेटा सीख सकता है, तो उसमें उच्च प्लास्टिसिटी है। यदि वह संघर्ष करता है, तो वह सख्त हो रहा है।
यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह "मेमोराइजेशन एफर्ट" (याद करने का प्रयास) रोबोट के लचीलेपन के लिए एक विश्वसनीय निचली सीमा (lower bound) है। प्रयोगों में, उन्होंने इसे दो अलग-अलग चुनौतियों पर परखा: रोबोट को एक के बाद एक हजारों अलग-अलग छवियों के जोड़े पहचानना सिखाना, और बिजली के उपयोग के पैटर्न की भविष्यवाणी करना सिखाना। उन्होंने पाया कि उनका नया "लोकल रिडंडेंसी" माप, पुराने तरीकों की तुलना में भविष्य के कार्यों पर रोबोट के प्रदर्शन का बेहतर अनुमान लगाता है। उदाहरण के लिए, इमेज कार्य में, उनका माप केवल यह गिनने की तुलना में बहुत अधिक सह-संबंध (correlation) रखता था कि कितने न्यूरॉन्स सो रहे थे। और भी प्रभावशाली बात यह है कि बिजली भविष्यवाणी कार्य में, उन्होंने एक ऐसा क्षण पाया जहाँ रोबोट का सामान्य "स्कोर" (वैलिडेशन लॉस) सुधरना बंद हो गया और ऐसा लगा जैसे वह सीखना पूरा कर चुका है। लेकिन उनका नया माप जारी रहा, जिससे पता चला कि रोबोट के पास अभी भी छिपा हुआ लचीलापन है। इस लचीलेपन के उच्चतम स्तर वाले चेकपॉइंट को चुनकर, उन्होंने रोबोट को उस चेकपॉइंट की तुलना में बेहतर तरीके से सीखने में मदद की जहाँ उसका पुराना स्कोर सबसे अच्छा था।
लेखक सावधानीपूर्वक नोट करते हैं कि हालांकि यह विधि एक भविष्यवक्ता के रूप में शानदार काम करती है, लेकिन यह यह साबित नहीं करती है कि अधिक लचीलापन पैदा करना अपने आप समस्या को ठीक कर देगा—इसके लिए एक अलग प्रकार के प्रयोग की आवश्यकता होगी। इसके अलावा, वे स्वीकार करते हैं कि उनका "नकली डेटा" पूर्ण नहीं है; यह प्रति पैरामीटर केवल लगभग 1 से 2 "बिट्स" की जानकारी भरता है, जो कि एक रोबोट द्वारा धारण की जा सकने वाली सैद्धांतिक अधिकतम क्षमता से बहुत कम है। लेकिन इन सीमाओं के बावजूद, यह शोध पत्र सुझाव देता है कि निरर्थक डेटा को याद करने के इस सरल, एक-चरणीय परीक्षण का उपयोग करके, हम पहचान सकते हैं कि कब एक AI सीखने की अपनी क्षमता खोने वाला है और अपने प्रोग्रेस को बचाने का सबसे अच्छा क्षण चुन सकते हैं, यह सुनिश्चित करते हुए कि वह आने वाली किसी भी चीज़ के लिए तैयार रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।