Dimensionless Controls of Plasticity Under Alternating Tasks: From Evolutionary Biology to Continual Learning
यह शोधपत्र यह प्रदर्शित करता है कि निरंतर शिक्षण (कंटीन्यूअल लर्निंग) में प्लास्टिसिटी, जब विकासवादी जीव विज्ञान के दृष्टिकोण से देखी जाती है, तो वह जैविक कारकों जैसे कि न्यूट्रल-सेट आकार द्वारा नहीं, बल्कि दो आयामहीन नियंत्रणों—कार्य असहमति (टास्क डिसअग्रीमेंट) और लर्निंग रेट एवं स्विचिंग पीरियड के गुणनफल—द्वारा शासित होती है, जो यह प्रकट करती है कि एक इष्टतम पहुंच (ऑप्टिमल रीच) केवल कार्य असहमति पर निर्भर एक व्युत्क्रम शक्ति नियम (इनवर्स पावर लॉ) का अनुसरण करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक विज्ञान के विशाल परिदृश्य में, दो क्षेत्र जो दुनिया से अलग प्रतीत होते हैं, चुपचाप यह खोज रहे हैं कि वे एक ही भाषा बोलते हैं। एक ओर विकासवादी जीव विज्ञान (evolutionary biology) खड़ा है, जो इस बात का अध्ययन है कि कैसे जीवित प्राणी बदलते परिवेश में जीवित रहने के लिए पीढ़ियों के दौरान बदलते हैं। दूसरी ओर कृत्रिम बुद्धिमत्ता (artificial intelligence) की दुनिया है, विशेष रूप से कंप्यूटर प्रोग्रामों को पुराने कौशल को भूले बिना नए कौशल सीखने के लिए प्रशिक्षित करने की चुनौती। दशकों से, शोधकर्ताओं को संदेह था कि जिस तरह से एक जीन बदलते जलवायु के अनुकूल होता है, उसके नियम उस तरह के हो सकते हैं जैसे एक डिजिटल मस्तिष्क नए कार्य के अनुकूल होता है। यह साझा पहेली 'प्लास्टिसिटी' (plasticity) के बारे में है: एक प्रणाली की वह क्षमता जिससे वह टूटे बिना झुक और बदल सके। यदि हम उन सार्वभौमिक नियमों को खोज सकें जो इस लचीलेपन को नियंत्रित करते हैं, तो हम न केवल स्मार्ट मशीनें बना पाएंगे बल्कि सीखने की मौलिक यांत्रिकी को भी समझ पाएंगे, चाहे वह एक कोशिका में हो या सिलिकॉन चिप में।
शिकागो विश्वविद्यालय के ओवेन स्किरोफ द्वारा किया गया एक हालिया अध्ययन इस तुलना को एक अस्पष्ट विचार से एक सटीक, परीक्षण योग्य मॉडल में ले जाता है। शोधकर्ता यह देखने के लिए निकल पड़े कि क्या प्रकृति में प्लास्टिसिटी को नियंत्रित करने वाले विशिष्ट जैविक कारक डीप लर्निंग की डिजिटल दुनिया में अनुवादित होने पर जीवित रहते हैं। जैविक सेटिंग में, वैज्ञानिकों ने चार मुख्य कारकों की पहचान की थी जो यह निर्धारित करते हैं कि कोई जीव बदलते परिवेश के साथ कितनी अच्छी तरह अनुकूलन करता है: "न्यूट्रल सेट" (एक ही परिणाम उत्पन्न करने वाले आनुवंशिक विविधताओं का संग्रह) का आकार, परिवेशों के बीच का अंतर, परिवेश कितनी बार बदलता है, और उत्परिवर्तन (mutation) की दर। स्किरोफ ने एक डिजिटल प्रयोग बनाया जहाँ एक न्यूरल नेटवर्क को दो अलग-अलग समस्याओं को हल करने के लिए प्रशिक्षित किया गया, जो एक जीव के दो अलग-अलग आवासों के बीच जाने की तरह, उनके बीच बारी-बारी से स्विच कर रहा था। लक्ष्य यह देखना था कि उन चार जैविक कारकों में से वास्तव में कौन सा कारक काम आता है जब प्रणाली 'ग्रेडिएंट डिसेंट' (gradient descent) के गणितीय नियमों द्वारा संचालित होती है, जो आधुनिक कृत्रिम बुद्धिमत्ता को शक्ति देने वाला इंजन है।
परिणामों ने एक आश्चर्यजनक सरलीकरण का खुलासा किया। जबकि जैविक मॉडल चार कारकों पर निर्भर था, डिजिटल प्रणाली केवल दो आवश्यक नियंत्रणों तक सिमट गई। पहला नियंत्रण यह मापना है कि दोनों कार्यों के बीच कितना असहमति या अंतर है। यदि नेटवर्क से दो ऐसे कार्य हल करने को कहा जाता है जो लगभग समान हैं, तो वह दोनों में महारत आसानी से हासिल कर सकता है। लेकिन यदि कार्य सीधे संघर्ष (conflict) में हैं, तो नेटवर्क दोनों को बनाए रखने के लिए संघर्ष करता है। दूसरा नियंत्रण यह मापना है कि प्रशिक्षण के प्रत्येक चरण के दौरान नेटवर्क अपने आंतरिक सेटिंग्स में कितनी दूर तक यात्रा करता है। यह सीखने की गति और स्विच करने से पहले कार्य की अवधि का एक गुणनफल है। अध्ययन में पाया गया कि "न्यूट्रल सेट" का आकार, जो जैविक विकास में एक महत्वपूर्ण कारक है, डिजिटल नेटवर्क की अनुकूलन क्षमता पर लगभग कोई प्रभाव नहीं डालता है। यह सुझाव देता है कि जीव विज्ञान में विकास कैसे काम करता है और मशीनों में सीखना कैसे काम करता है, इसके बीच एक मौलिक अंतर है: जीव विज्ञान में, एक बड़ी आबादी एक साथ कई अलग-अलग आनुवंशिक पथों की खोज कर सकती है, लेकिन एक एकल शिक्षण एल्गोरिदम एक विशिष्ट पथ का अनुसरण करता है, जिससे 'सेफ ज़ोन' का आकार अप्रासंगिक हो जाता है।
हजारों सिम्युलेटेड प्रशिक्षण दौरों के माध्यम से, शोधकर्ताओं ने मानचित्रित किया कि ये दो नियंत्रण परिणाम को ठीक कैसे आकार देते हैं। उन्होंने पाया कि कार्यों के बीच असहमति का स्तर एक कठोर, ज्यामितीय सीमा निर्धारित करता है कि नेटवर्क कितना अच्छा प्रदर्शन कर सकता है। चाहे प्रशिक्षण को कैसे भी ट्यून किया जाए, यदि कार्य बहुत भिन्न हैं, तो नेटवर्क एक ही समय में दोनों में पूर्ण महारत हासिल नहीं कर सकता; उसे हमेशा समझौता करने के लिए मजबूर होना पड़ेगा। हालाँकि, दूसरा नियंत्रण, यानी 'ट्रैवल डिस्टेंस', यह निर्धारित करता है कि नेटवर्क उस सीमा के कितने करीब पहुँचता है। अध्ययन ने इस यात्रा दूरी के लिए एक विशिष्ट "स्वीट स्पॉट" (sweet spot) की पहचान की। यदि नेटवर्क किसी कार्य के दौरान बहुत कम चलता है, तो वह सीखने में विफल रहता है। यदि वह बहुत अधिक चलता है, तो वह वर्तमान कार्य को इतनी तीव्रता से सीख लेता है कि वह पिछले कार्य की अपनी स्मृति मिटा देता है। यह इष्टतम संतुलन एक स्पष्ट गणितीय पैटर्न का पालन करता है: जैसे-जैसे कार्य अधिक भिन्न होते जाते हैं, नेटवर्क को अधिक बार स्विच करना चाहिए और प्रत्येक चरण के दौरान कम चलना चाहिए ताकि 'कैटास्ट्रोफिक फॉरगेटिंग' (catastrophic forgetting) से बचा जा सके।
यह कार्य केवल एक कंप्यूटर प्रोग्राम को ट्यून करने से कहीं अधिक है; यह सीखने को एक भौतिक प्रक्रिया के रूप में देखने का एक नया तरीका प्रदान करता है। एक न्यूरल नेटवर्क के जटिल व्यवहार को दो सरल, आयामहीन (dimensionless) संख्याओं में बदलकर, यह अध्ययन सीखने की एक ऐसी "यांत्रिकी" प्रदान करता है जो भौतिकी में तरल पदार्थ या बिजली के नियमों के समान है। यह दिखाता है कि निरंतर सीखना बुद्धिमत्ता का कोई रहस्यमय गुण नहीं है, बल्कि यह कि एक प्रणाली बदलते मांगों के प्रति कैसे प्रतिक्रिया करती है, इसका एक अनुमानित परिणाम है। निष्कर्ष बताते हैं कि ऐसी मशीनें बनाने के लिए जो मनुष्यों की तरह सीख सकें, हमें जीव विज्ञान की जटिल आनुवंशिक मशीनरी की नकल करने की आवश्यकता नहीं है। इसके बजाय, हमें केवल परस्पर विरोधी कार्यों के बीच तनाव और सीखने की लय को प्रबंधित करने की आवश्यकता है, यह सुनिश्चित करते हुए कि प्रणाली सीखने के लिए पर्याप्त चले, लेकिन इतनी अधिक नहीं कि वह भूल जाए। यह स्पष्टता बेहतर कृत्रिम बुद्धिमत्ता डिजाइन करने के लिए एक व्यावहारिक मार्ग प्रदान करती है, जो यह सिद्ध करती है कि सार्वभौमिक सीखने का मार्ग हमारी सोच से कहीं अधिक सरल हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।