Finite-Nudge Equilibrium Propagation in Thermal Ensembles
यह शोध पत्र नेटवर्क अवस्थाओं को गिब्स-बोल्ट्ज़मैन वितरणों के रूप में मॉडल करके इक्विलिब्रियम प्रोपेगेशन (Equilibrium Propagation) के लिए एक परिमित-नज (finite-nudge) आधार स्थापित करता है, यह सिद्ध करते हुए कि क्लासिक कॉन्ट्रास्टिव हेब्बियन लर्निंग अपडेट, सूक्ष्म अनुमानों (infinitesimal approximations) या अभिसरणता (convexity) की आवश्यकता के बिना, किसी भी मनमाने परिमित नज के लिए एक सटीक ग्रेडिएंट एस्टिमेटर के रूप में कार्य करता है, और साथ ही बेहतर सिग्नल-टू-नॉइज़ अनुपात के माध्यम से व्यावहारिक प्रशिक्षण लाभों का प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डीप लर्निंग, जो आधुनिक आर्टिफिशियल इंटेलिजेंस के पीछे की तकनीक है, नेटवर्क को समस्याएँ हल करना सिखाने के लिए बैकप्रोपैगेशन (backpropagation) नामक एक विधि पर निर्भर करती है। यह प्रक्रिया सिस्टम के माध्यम से पीछे की ओर एक संकेत भेजकर काम करती है, जो नेटवर्क के प्रत्येक हिस्से को ठीक-ठीक बताता है कि उसने गलती में कितना योगदान दिया था। हालांकि यह विधि अविश्वसनीय रूप से प्रभावी है, लेकिन इसके लिए समन्वय के एक ऐसे स्तर की आवश्यकता होती है जिसे कई वैज्ञानिक मानव मस्तिष्क में मौजूद नहीं मानते। जैविक प्रणालियों में, न्यूरॉन्स केवल स्थानीय जानकारी का उपयोग करके संचार करते हैं—जो दो कोशिकाओं के बीच के संबंध में हो रहा है—न कि श्रृंखला के अंत से प्राप्त किसी वैश्विक त्रुटि संदेश (global error message) के माध्यम से। यह विसंगति शोधकर्ताओं को ऐसे सीखने के नियमों की खोज करने के लिए प्रेरित करती है जो शक्तिशाली भी हों और जैविक रूप से भी तर्कसंगत (biologically plausible) हों, जो केवल एक कनेक्शन के तत्काल स्थल पर उपलब्ध संकेतों पर निर्भर हों।
एक आशाजनक दृष्टिकोण, जिसे इक्विलिब्रियम प्रोपेगेशन (equilibrium propagation) के रूप में जाना जाता है, इस अंतर को पाटने का प्रयास करता है। एक कठोर 'बैकवर्ड पास' के बजाय, सिस्टम प्राप्त इनपुट के आधार पर संतुलन या साम्यावस्था (equilibrium) की स्थिति में स्थिर हो जाता है। सीखने के लिए, सिस्टम को एक वांछित परिणाम की ओर धीरे से धकेला (nudge) जाता है, और इसकी प्राकृतिक अवस्था और इस धकेले गए राज्य के बीच के अंतर का उपयोग इसके कनेक्शनों को समायोजित करने के लिए किया जाता है। वर्षों तक, यह सिद्धांत इस विचार पर टिका रहा कि 'धक्का' (nudge) सूक्ष्म रूप से छोटा होना चाहिए—एक मुश्किल से महसूस होने वाला हल्का सा दबाव—ताकि वह गणितीय रूप से सटीक हो सके। इस आवश्यकता ने एक व्यावहारिक समस्या पैदा की: वास्तविक दुनिया के अनुप्रयोगों में, इतने छोटे संकेत आसानी से शोर (noise) में दब जाते हैं, जिससे सीखने की प्रक्रिया अस्थिर या अप्रभावी हो जाती है।
स्टैनफोर्ड यूनिवर्सिटी के एलोन लिटमैन का एक नया अध्ययन इस लंबे समय से चली आ रही धारणा को चुनौती देता है। यह शोध प्रदर्शित करता है कि यह लर्निंग रूल तब भी पूरी तरह से काम करता है जब धक्का (nudge) बड़ा और स्पष्ट हो, जिससे सिस्टम को अदृश्य धक्कों पर निर्भर रहने की आवश्यकता समाप्त हो जाती है। नेटवर्क को एक ऐसी मशीन के रूप में नहीं, बल्कि सांख्यिकीय भौतिकी (statistical physics) के नियमों द्वारा शासित संभावित अवस्थाओं के एक संग्रह के रूप में मानकर, लेखक सिद्ध करते हैं कि एक स्वतंत्र रूप से चलने वाली अवस्था और एक मजबूती से धकेले गए राज्य के बीच का अंतर सीखने के लिए एक सटीक गणितीय मार्ग प्रदान करता है। यह खोज एक ऐसे लर्निंग मेथड को मान्य करती है जिसे पहले केवल एक सन्निकटन (approximation) माना जाता था, यह दिखाते हुए कि यह वास्तव में त्रुटि को कम करने के लिए एक सटीक उपकरण है और इसके लिए सूक्ष्म समायोजन की असंभव सटीकता की आवश्यकता नहीं है।
इस खोज का मूल आधार नेटवर्क की अवस्था (state) को मॉडल करने के तरीके में निहित है। नेटवर्क को एक विशिष्ट कॉन्फ़िगरेशन में स्थिर होने की धारणा के बजाय, यह अध्ययन इसे संभावनाओं के एक बादल (cloud of possibilities) के रूप में देखता है, जहाँ ऊर्जा के आधार पर कुछ अवस्थाएँ अन्य अवस्थाओं की तुलना में अधिक संभावित होती हैं। जब नेटवर्क को एक लक्ष्य की ओर धकेला जाता है, तो यह बादल खिसक जाता है। लेखक दिखाते हैं कि सिस्टम की "फ्री एनर्जी" (free energy) में परिवर्तन—जो नेटवर्क को उसकी प्राकृतिक अवस्था से धकेले गए राज्य में स्थानांतरित करने के लिए आवश्यक कार्य का एक माप है—नेटवर्क को बेहतर बनाने के लिए आवश्यक औसत स्थानीय परिवर्तनों के अंतर के बिल्कुल बराबर है। इसका अर्थ यह है कि नेटवर्क के व्यवहार की तुलना उसके स्वाभाविक और धकेले गए व्यवहार से करके, सिस्टम यह गणना कर सकता है कि अपने कनेक्शनों को बेहतर बनाने के लिए उसे किस दिशा में समायोजन करना चाहिए।
यह दृष्टिकोण सिद्धांत के पिछले संस्करणों के एक महत्वपूर्ण दोष को हल करता है। पुराने तरीकों में 'धक्के' को इतना छोटा होना आवश्यक था कि परिणामी संकेत अक्सर रैंडम शोर से अलग पहचानना असंभव हो जाता था, जिससे प्रदर्शन खराब हो जाता था। नया ढांचा यह सिद्ध करता है कि एक बड़े, अधिक मजबूत धक्के का उपयोग करना न केवल काम करता है, बल्कि गणितीय रूप से भी सटीक है। कपड़ों की छवियों के एक मानक डेटासेट का उपयोग करते हुए प्रयोगों में, शोधकर्ताओं ने पाया कि बड़े धक्कों के साथ प्रशिक्षित नेटवर्क तेजी से और सटीक रूप से सीखे, और उन्होंने उन्नत तरीकों के स्तर के बराबर प्रदर्शन हासिल किया। इसके विपरीत, सूक्ष्म, अत्यंत छोटे धक्कों का उपयोग करने के लिए मजबूर नेटवर्क प्रभावी ढंग से सीखने में विफल रहे, और वे सटीकता के उस स्तर पर रुक गए जो रैंडम अनुमान से बेहतर नहीं था।
अध्ययन यह भी प्रकट करता है कि बड़े धक्के इतने प्रभावी क्यों हैं। यह स्पष्ट है कि एक मजबूत धक्का द्वारा उत्पन्न संकेत, एक छोटे धक्के के संकेत की तुलना में पृष्ठभूमि के शोर से काफी अधिक स्पष्ट और विशिष्ट होता है। जब शोधकर्ताओं ने लर्निंग सिग्नल की स्पष्टता को मापा, तो उन्होंने पाया कि धक्के की शक्ति बढ़ाने से सिग्नल-टू-नॉइज़ रेशियो (signal-to-noise ratio) दस गुना या उससे अधिक सुधर गया। यह स्पष्टता नेटवर्क को अपने आंतरिक कनेक्शनों को समायोजित करने के लिए आत्मविश्वास प्रदान करती है, जबकि अतीत के सूक्ष्म धक्कों ने सिस्टम को अंधेरे में अनुमान लगाने पर छोड़ दिया था। शोध इस सीखने की प्रक्रिया को सूचना सिद्धांत (information theory) के मूलभूत सिद्धांतों से जोड़ता है, यह दिखाते हुए कि सिस्टम प्रभावी रूप से अपने प्राकृतिक व्यवहार और अपने लक्षित व्यवहार के बीच की दूरी को कम कर रहा है, एक ऐसी प्रक्रिया जो सटीकता और नेटवर्क की स्थिरता के बीच स्वाभाविक रूप से संतुलन बनाती है।
यह स्थापित करते हुए कि सीमित, मजबूत धक्के न केवल एक व्यावहारिक समाधान हैं बल्कि सीखने का एक सैद्धांतिक रूप से सुदृढ़ आधार भी हैं, यह कार्य बुद्धिमत्ता के अधिक मजबूत और जैविक रूप से तर्कसंगत मॉडलों के द्वार खोलता है। यह सुझाव देता है कि मस्तिष्क, या कोई भी सिस्टम जो मस्तिष्क की नकल करता है, उसे अपनी गलतियों से सीखने के लिए नाजुक, सूक्ष्म संकेतों पर निर्भर होने की आवश्यकता नहीं है। इसके बजाय, वह अपने विकास को निर्देशित करने के लिए अवस्था के पर्याप्त, स्पष्ट बदलावों का उपयोग कर सकता है, जो एक ऐसा तंत्र है जो गणितीय रूप से सटीक और वास्तविक दुनिया के शोर के प्रति लचीला है। निष्कर्ष पुष्टि करते हैं कि कुशल, स्थानीय शिक्षण का मार्ग नेटवर्क के पूर्णतः स्थिर होने या संकेतों के अदृश्य होने की मांग नहीं करता; इसके लिए केवल एक स्पष्ट, मापने योग्य अंतर की आवश्यकता है कि सिस्टम अभी कहाँ है और उसे कहाँ होना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।