A New Evolutionary Strategy: Learn From the Best
यह शोध पत्र 'लर्न फ्रॉम द बेस्ट इवोल्यूशन स्ट्रेटजी' (LFB-ES) को प्रस्तुत करता है, जो एक नवीन ब्लैक-बॉक्स ऑप्टिमाइज़र है जो आबादी को विशिष्ट व्यक्तियों से सीखने के लिए पुनरावृत्ति रूप से निर्देशित करके उच्च-आयामी न्यूरल नेटवर्क प्रशिक्षण को बढ़ाता है, जिससे OpenAI-ES और CMA-ES जैसी शास्त्रीय विधियों की तुलना में बेहतर अभिसरण और सटीकता प्राप्त होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, एक विशिष्ट प्रकार की पहेली है जो सबसे उन्नत शिक्षण प्रणालियों को भी चकित कर देती है। कल्पना कीजिए कि आप एक रोबोट को चलना सिखाने या एक कंप्यूटर प्रोग्राम को जटिल मौसम पैटर्न की भविष्यवाणी करने की कोशिश कर रहे हैं, लेकिन आपको रास्ते में कोई भी संकेत देने से मना किया गया है। आप उसे यह नहीं बता सकते कि, "आपका बायां पैर बहुत ऊंचा है" या "मंगलवार के लिए आपकी भविष्यवाणी थोड़ी गलत थी।" आप केवल कार्य के अंत तक प्रतीक्षा कर सकते हैं और उसे एक एकल संख्या दे सकते हैं: एक स्कोर। इसे 'स्पार्स रिवॉर्ड्स' (sparse rewards) के साथ ब्लैक-बॉक्स ऑप्टिमाइज़ेशन समस्या के रूप में जाना जाता है। सिस्टम को बिना किसी चरण-दर-चरण फीडबैक के, केवल उस अंतिम ग्रेड के आधार पर अपने आंतरिक सेटिंग्स को सुधारने का तरीका खोजना होगा। यह परिदृश्य वास्तविक दुनिया की इंजीनियरिंग में आम है, एक नए इंजन के मापदंडों को ट्यून करने से लेकर शोर वाले डेटा में गणितीय वक्रों (mathematical curves) को फिट करने तक, फिर भी यह एक कठिन चुनौती बना हुआ है क्योंकि सुधार का मार्ग अदृश्य है।
वर्षों से, वैज्ञानिक इन पहेलियों को हल करने के लिए 'इवोल्यूशनरी स्ट्रैटेजीज' (evolutionary strategies) पर भरोसा करते आए हैं। ये विधियाँ प्राकृतिक चयन की नकल करती हैं: वे डिजिटल एजेंटों की एक आबादी बनाते हैं, जिनमें से प्रत्येक के पास थोड़े अलग आंतरिक सेटिंग्स होते हैं, उन्हें कार्य करने देते हैं, और उन्हें रखते हैं जिन्हें सबसे अच्छे स्कोर मिलते हैं। इनमें से दो सबसे प्रसिद्ध विधियाँ, OpenAI-ES और CMA-ES, इस कार्य के लिए मानक उपकरण रहे हैं। हालाँकि, जब कार्य अत्यधिक जटिल हो जाते हैं और ट्यून करने के लिए सेटिंग्स की संख्या बढ़ जाती है, तो वे संघर्ष करते हैं। वे अक्सर स्थानीय लूप (local loops) में फंस जाते हैं, धीरे-धीरे चलते हैं और समस्या के सूक्ष्म विवरणों को पकड़ने में विफल रहते हैं, ठीक वैसे ही जैसे एक घना जंगल में भटकता हुआ हाइकर जो पहाड़ की चोटी खोजने के बजाय एक ही छोटे से खाली स्थान के चारों ओर घूमता रहता है।
वर्षों से वैज्ञानिकों ने इन पहेलियों को हल करने के लिए इवोल्यूशनरी स्ट्रैटेजीज पर भरोसा किया है। ये विधियाँ प्राकृतिक चयन की नकल करती हैं: वे डिजिटल एजेंटों की एक आबादी बनाते हैं, जिनमें से प्रत्येक के पास थोड़े अलग आंतरिक सेटिंग्स होते हैं, उन्हें कार्य करने देते हैं, और उन्हें रखते हैं जिन्हें सबसे अच्छे स्कोर मिलते हैं। इनमें से दो सबसे प्रसिद्ध विधियाँ, OpenAI-ES और CMA-ES, इस कार्य के लिए मानक उपकरण रहे हैं। हालाँकि, जब कार्य अत्यधिक जटिल हो जाते हैं और ट्यून करने के लिए सेटिंग्स की संख्या बढ़ जाती है, तो वे संघर्ष करते हैं। वे अक्सर स्थानीय लूप में फंस जाते हैं, धीरे-धीरे चलते हैं और समस्या के सूक्ष्म विवरणों को पकड़ने में विफल रहते हैं, ठीक वैसे ही जैसे एक घना जंगल में भटकता हुआ हाइकर जो पहाड़ की चोटी खोजने के बजाय एक ही छोटे से खाली स्थान के चारों ओर घूमता रहता है।
लैनोवो (Lenovo) के शोधकर्ताओं की एक टीम ने "लर्न फ्रॉम द बेस्ट इवोल्यूशनरी स्ट्रैटेजी" (LFB-ES) नामक एक नया रास्ता प्रस्तावित किया है। संयोग से बेहतर समाधान खोजने पर निर्भर रहने के बजाय, यह नई विधि आबादी के भीतर सीखने का एक संरचित रूप पेश करती है। प्रयोग की प्रत्येक पीढ़ी में, सबसे अच्छा प्रदर्शन करने वाले एकल एजेंट को एक शिक्षक के रूप में चुना जाता है। बाकी समूह, जो छात्रों के रूप में कार्य करता है, फिर शिक्षक के व्यवहार का अध्ययन करता है। वे केवल शिक्षक के अंतिम स्कोर की नकल नहीं करते; वे उस विशिष्ट क्रम की नकल करने की कोशिश करते हैं जो शिक्षक ने कार्य के दौरान उत्पन्न किया था। अपने स्वयं के आउटपुट और शिक्षक के बीच के अंतर को कम करने के लिए एक गणितीय प्रक्रिया का उपयोग करके, छात्र तेजी से अपनी आंतरिक सेटिंग्स को विजेता की तरह बनने के लिए समायोजित करते हैं। यह एक चक्र बनाता है जहाँ आबादी सामूहिक रूप से एक बेहतर समाधान की ओर बढ़ती है, जो अंधेरे में भटकने के बजाय वर्तमान चैंपियन द्वारा निर्देशित होती है।
शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण एक कठिन कर्व-फिटिंग चुनौती पर किया। उन्होंने एल्गोरिदम से एक अत्यधिक जटिल, तेजी से दोलन करने वाले तरंग पैटर्न (wave pattern) की भविष्यवाणी करने के लिए कहा, जो एक ऐसा कार्य है जिसके लिए हजारों सूक्ष्म चोटियों और घाटियों को पकड़ने की आवश्यकता होती है। एल्गोरिदम को केवल उनके पूरे अनुमान का कुल त्रुटि (total error) प्राप्त हुआ। परिणाम आश्चर्यजनक थे। नया LFB-ES तरीका पारंपरिक तरीकों की तुलना में बहुत तेजी से सही उत्तर पर पहुँचा और उस स्तर की सटीकता प्राप्त की जो अन्य तक नहीं पहुँच सके। जबकि पुराने एल्गोरिदम सपाट, गलत रेखाएं उत्पन्न कर रहे थे जो लहर के जटिल विवरणों को मिस कर रही थीं, नया तरीका उल्लेखनीय सटीकता के साथ जटिल पैटर्न को पुनरुत्पादित करता है, जो वास्तविक डेटा के लगभग पूरी तरह से मेल खाता है।
इस सफलता का एक महत्वपूर्ण हिस्सा वे आंतरिक "स्विच" थे जिनका कंप्यूटर सूचना को संसाधित करने के लिए उपयोग करता है, जिन्हें एक्टिवेशन फंक्शन (activation functions) के रूप में जाना जाता है। शोधकर्ताओं ने पाया कि एक विशिष्ट प्रकार का स्विच जो एक चक्र में दोहराता है, जो साइन वेव (sine wave) के उठने और गिरने के तरीके के समान है, आधुनिक एआई में उपयोग किए जाने वाले मानक स्विचों की तुलना में बहुत बेहतर काम करता है। जब उन्होंने अपने नए लर्निंग फ्रेमवर्क के भीतर मानक स्विचों को इस दोहराव वाले, आवधिक (periodic) प्रकार के स्विचों से बदल दिया, तो सिस्टम की अन्वेषण करने और सर्वोत्तम समाधान खोजने की क्षमता नाटकीय रूप रूप से सुधर गई। हालाँकि, उन्होंने यह भी पाया कि यह लाभ सार्वभौमिक नहीं था। जब उन्होंने इस विधि को डिस्क्रीट विकल्पों (discrete choices) वाले दूसरे प्रकार के समस्या में लागू किया, जैसे कि एक वीडियो गेम खेलना जहाँ एजेंट को बाएं या दाएं जाने के बीच चुनना होता है, तो नया तरीका वैसी भारी श्रेष्ठता नहीं दिखा सका। इसने पुराने रैंडम तरीकों की तुलना में थोड़ा बेहतर प्रदर्शन किया लेकिन उस तरह से प्रभुत्व नहीं जमा पाया जैसा कि इसने निरंतर कर्व-फिटिंग कार्य में किया था।
अध्ययन ने इस नए दृष्टिकोण की लागत का भी परीक्षण किया। क्योंकि इस विधि के लिए छात्र एजेंटों को गणनाओं की एक श्रृंखला के माध्यम से शिक्षक से सीखने की आवश्यकता होती है, इसलिए इसे चलाने में सरल रैंडम विधियों की तुलना में अधिक समय लगता है। हालाँकि, शोधकर्ताओं ने दिखाया कि यह अतिरिक्त समय प्रबंधनीय है और जैसे-जैसे ट्यून करने के लिए सेटिंग्स की संख्या बढ़ती है, यह उचित रूप से स्केल करता है। इसके विपरीत, एक पुरानी, अधिक जटिल विधि बड़े कार्यों के लिए चलाना असंभव हो गया क्योंकि यह कंप्यूटर मेमोरी की कमी का शिकार हो गई। नया दृष्टिकोण एक मध्य मार्ग प्रदान करता है: यह सरल रैंडम सर्च की तुलना में अधिक गणनात्मक रूप से मांग वाला है लेकिन भारी, मेमोरी-भूखे विकल्पों की तुलना में बहुत अधिक कुशल और सक्षम है, जो उच्च-आयामी (high-dimensional) समस्याओं को हल करने के लिए एक व्यावहारिक उपकरण बनाता है जहाँ केवल अंतिम स्कोर उपलब्ध होता है।
अंततः, यह कार्य प्रदर्शित करता है कि पूरी तरह से बंद वातावरण में भी जहाँ कोई मध्यवर्ती मार्गदर्शन नहीं दिया जाता है, एजेंटों की एक आबादी तेजी से सुधार करना सीख सकती है यदि उन्हें अपने सर्वश्रेष्ठ प्रदर्शन करने वालों से सीखने की अनुमति दी जाए। इस सामाजिक शिक्षण गतिशीलता को सही गणितीय उपकरणों के साथ जोड़कर, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो पहले की तुलना में बहुत अधिक स्पष्टता और गति के साथ ब्लैक-बॉक्स ऑप्टिमाइज़ेशन के कोहरे में आगे बढ़ती है। हालांकि यह विधि हर प्रकार की समस्या के लिए जादुई समाधान नहीं है, लेकिन यह इंजीनियरों और वैज्ञानिकों के लिए एक शक्तिशाली नया उपकरण प्रदान करती है जिन्हें जटिल प्रणालियों को ट्यून करने की आवश्यकता होती है जब उन्हें खेल के आंतरिक नियमों का पता नहीं होता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।