Searching the Space of Feed-Forward Neural-Network Weight-Update Rules with Fixed Depth Symbolic Regression
यह शोध पत्र प्रदर्शित करता है कि फिक्स्ड-डेप्थ सिम्बोलिक रिग्रेशन प्रभावी रूप से कॉम्पैक्ट, उच्च-प्रदर्शन वाले न्यूरल नेटवर्क वेट-अपडेट नियमों की खोज कर सकता है जो छोटे पैमाने के बेंचमार्क पर मानक हाथ से डिज़ाइन किए गए ऑप्टिमाइज़र्स की तुलना में काफी बेहतर प्रदर्शन करते हैं, जो स्वचालित ऑप्टिमाइज़र खोज के लिए एक आशाजनक लाइटवेट दृष्टिकोण का सुझाव देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को पेंटिंग करना सिखाने की कोशिश कर रहे हैं, लेकिन रोबोट अनाड़ी है और बार-बार कैनवास पर रंग फैला देता है। इसे ठीक करने के लिए, आपको निर्देशों का एक सेट—एक रेसिपी—की आवश्यकता है जो रोबोट को ठीक-ठीक बताए कि मास्टरपीस के करीब पहुँचने के लिए अपने ब्रशस्ट्रोक को कैसे समायोजित करना है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन निर्देशों को "वेट-अपडेट रूल्स" (weight-update rules) कहा जाता है। ये वे गणितीय चरण हैं जिन्हें एक कंप्यूटर अपनी गलतियों से सीखने के लिए लेता है। दशकों से, वैज्ञानिक इन रेसिपीज़ को खुद तैयार करते आए हैं, जिसमें वे "मोमेंटम" (ताकि रोबिम सही दिशा में आगे बढ़ता रहे) या "एडेप्टिव रेट्स" (जब चीजें कठिन हो जाएं तो गति धीमी करने के लिए) जैसे तत्वों को मिलाते हैं। लेकिन यहाँ एक बड़ा सवाल है: क्या हम एक बेहतर रेसिपी को मिस कर रहे हैं? क्या होगा अगर रोबोट को सिखाने का कोई गुप्त, सुपर-कुशल तरीका हो जिसे किसी इंसान ने अभी तक लिखने के बारे में सोचा भी न हो? यह "सिंबोलिक रिग्रेशन" (symbolic regression) का खेल का मैदान है, एक ऐसी तकनीक जो एक डिजिटल कीमियागर (alchemist) की तरह काम करती है, जो सीखने के लिए एकदम सही फॉर्मूला खोजने हेतु गणितीय प्रतीकों के अंतहीन संयोजनों की खोज करती है।
इस शोध पत्र में, दो शोधकर्ताओं ने कंप्यूटर को खाना पकाने देने का निर्णय लिया। यह अनुमान लगाने के बजाय कि कौन से तत्व सबसे अच्छे ऑप्टिमाइज़र बनाते हैं, उन्होंने नए वेट-अपडेट नियम खोजने के लिए "सिंबोलिक रिग्रेशन" नामक पद्धति का उपयोग किया। इसे एक जेनेटिक एल्गोरिदम की तरह समझें जो लाखों अलग-अलग गणितीय अभिव्यक्तियों को जन्म देता है, और प्रत्येक का परीक्षण करता है कि क्या वह एक छोटे न्यूरल नेटवर्क को मानव-निर्मित सर्वोत्तम नियमों की तुलना में तेजी से और अधिक सटीकता से कार्य सीखने में मदद करता है। उन्होंने केवल मौजूदा रेसिपीज़ में बदलाव नहीं किया; उन्होंने कंप्यूटर को सामान्य गणितीय क्रियाओं (जैसे जोड़ना, गुणा करना, या वर्गमूल निकालना) के टूलबॉक्स और ग्रेडिएंट्स और मोमेंटम जैसे मानक तत्वों का उपयोग करके पूरी तरह से नए नियम आविष्कार करने दिया।
परिणाम आश्चर्यजनक रूप से शानदार रहे। 30 अलग-अलग लर्निंग चुनौतियों में से, कंप्यूटर द्वारा खोजे गए नियमों ने बेहतरीन मानव-ट्यून किए गए ऑप्टिमाइज़र्स को 25 मामलों में मात दी। जब कंप्यूटर को विजेता मिला, तो उसने मानक तरीकों की तुलना में त्रुटि (जिसे मीन स्क्वेयर्ड एरर के रूप में मापा गया) में औसतन 44.47% की कमी ला दी। हालाँकि, शोध पत्र सावधानी से यह नोट करता है कि ये प्रयोग छोटे, सरल नेटवर्क पर और केवल 10 इपोक्स (प्रशिक्षण का एक एकल दौर) के लिए चलाए गए थे। लेखक सुझाव देते हैं कि हालांकि ये नए नियम इन विशिष्ट कार्यों के लिए संक्षिप्त और प्रभावी हैं, लेकिन हमें अभी तक यह नहीं पता है कि क्या वे विशाल डीप लर्निंग की जटिल और वास्तविक दुनिया में टिक पाएंगे।
खोजे गए नियम सभी एक जैसे नहीं दिखे। कुछ सरल थे, जबकि अन्य त्रिकोणमितीय फलनों (trigonometric functions), घातांकीय (exponentials) और परिमेय अभिव्यक्तियों (rational expressions) के जंगली मिश्रण थे। फिर भी, कई में एक समान भावना थी: उन्होंने मोमेंटम (जैसे एक लुढ़कती गेंद जो गति प्राप्त करती है) को एडेप्टिव नॉर्मलाइजेशन (पिछले प्रदर्शन के आधार पर स्टेप साइज को समायोजित करना) के साथ जोड़ा। शोधकर्ताओं ने पाया कि कंप्यूटर बिना स्पष्ट रूप से बताए भी इन प्रभावी, व्याख्या योग्य सूत्रों तक पहुँच सकता है। यह सुझाव देता है कि "कैसे सीखें" का स्थान विशाल है और छिपे हुए रत्नों से भरा है जिन्हें मानवीय अंतर्ज्ञान अनदेखा कर सकता है। लेकिन अपनी पुरानी कुकबुक्स को फेंकने से पहले, लेखक चेतावनी देते हैं कि ये निष्कर्ष एक आशाजनक शुरुआत हैं, अंतिम विजय नहीं। यह देखने के लिए कि क्या ये वास्तव में AI लर्निंग का भविष्य हैं या केवल छोटे पहेलियों के लिए एक चतुर ट्रिक, इन नियमों का बड़े नेटवर्क और लंबे प्रशिक्षण सत्रों पर परीक्षण करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।