Stabilized Best-of- Training for Neural Combinatorial Optimization
यह शोध पत्र न्यूरल कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन के लिए एक स्टेबलाइज्ड बेस्ट-ऑफ- ट्रेनिंग एक्सटेंशन प्रस्तुत करता है जो बाइनरी लीडर रिवॉर्ड को रैंक-आधारित सिग्नल से बदल देता है, जो TSP-100 पर बेस्ट-ऑफ-8 प्रदर्शन में मामूली सुधार प्रदर्शित करता है और स्पष्ट रूप से सार्वभौमिक श्रेष्ठता या स्टेट-ऑफ-द-आर्ट स्थिति का दावा करने से बचता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप धागे की एक विशाल, उलझी हुई गांठ को सुलझाने की कोशिश कर रहे हैं, लेकिन आप एक बार में पूरी तस्वीर नहीं देख सकते। आपको एक सिरे को खींचना होगा, देखना होगा कि वह कहाँ जाता है, और फिर से कोशिश करनी होगी। यह "न्यूरल कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन" (Neural Combinatorial Optimization) का दैनिक संघर्ष है, एक ऐसा क्षेत्र जहाँ कंप्यूटर वैज्ञानिक आर्टिफिशियल इंटेलिजेंस को जटिल पहेलियाँ जैसे कि 'ट्रैवलिंग सेल्सपर्सन प्रॉब्लम' (कई शहरों की यात्रा करने के लिए सबसे छोटा रास्ता खोजना) हल करना सिखाते हैं। लक्ष्य सरल है: एक आदर्श पथ खोजना। लेकिन वह पथ छिपा हुआ है, और कंप्यूटर को अनुमान लगाना होगा।
बेहतर अनुमान लगाने के लिए, ये कंप्यूटर "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) नामक तकनीक का उपयोग करते हैं। इसे एक कुत्ते को प्रशिक्षित करने जैसा समझें। यदि कुत्ता बैठता है, तो उसे एक ट्रीट (इनाम) मिलता है। यदि वह कूदता है, तो उसे कुछ नहीं मिलता। समय के साथ, कुत्ता अधिक बार बैठना सीख जाता है। AI की दुनिया में, "कुत्ता" एक न्यूरल नेटवर्क है, और "ट्रीट" उसके समाधान की गुणवत्ता पर आधारित एक स्कोर है। POMO (पॉलिसी ऑप्टिमाइज़ेशन विद मल्टीपल ऑप्टिमा) नामक एक लोकप्रिय विधि यह काम करती है कि AI एक साथ कई अलग-अलग शुरुआती बिंदुओं से पहेली को हल करने की कोशिश करता है, जैसे कि सबसे छोटा रास्ता खोजने के लिए दस अलग-अलग खोजकर्ताओं को भेजना। आमतौर पर, AI इन सभी खोजकर्ताओं के औसत प्रदर्शन से सीखता है। हालाँकि, एक नया विचार जिसे "लीडर रिवॉर्ड" (Leader Reward) कहा गया, ने सुझाव दिया कि AI को समूह के एकल सबसे अच्छे खोजकर्ता पर विशेष ध्यान देना चाहिए, उस "लीडर" को शो के स्टार के रूप में मानना चाहिए।
अब, कल्पना कीजिए कि आप एक पहेली को हल करने के लिए खोजकर्ताओं की एक टीम को काम पर रख रहे हैं, लेकिन आपका एक सख्त नियम है: आप केवल वही नक्शा रखेंगे जो उनके द्वारा लाया गया सबसे अच्छा होगा। एक नया प्रयोग एक दिलचस्प सवाल पूछता है: यदि आप जानते हैं कि आप 100 में से शीर्ष 8 नक्शों को ही रखेंगे, तो क्या आपको अपनी टीम को केवल एक सर्वश्रेष्ठ के लिए प्रशिक्षित करना चाहिए, या उन्हें उनमें से किसी को भी बनने के लिए प्रशिक्षित करना चाहिए जो संभावित रूप से शीर्ष 8 में हो सकता है? यह स्वतंत्र शोधकर्ताओं मेलवीना जॉली और मिधुन जेवियर द्वारा किए गए एक हालिया अध्ययन का केंद्र है। उन्होंने कोई नया प्रकार का खोजकर्ता या कोई नई पहेली नहीं बनाई; इसके बजाय, उन्होंने यह देखने के लिए मौजूदा AI के प्रशिक्षण नियमों में बदलाव किया कि क्या "टॉप 8" मानसिकता टीम को वास्तव में तैनात होने पर अधिक स्मार्ट बना सकती है।
प्रयोग: "बेस्ट ऑफ एइट" के लिए प्रशिक्षण
शोधकर्ताओं ने TSP-100 (100 शहरों की यात्रा करना) नामक एक क्लासिक पहेली पर प्रशिक्षित एक मानक AI सेटअप लिया और एक विशिष्ट परीक्षण चलाया। वे यह देखना चाहते थे कि यदि वे AI को अपनी गलतियों से सीखने के तरीके को बदलने में मदद करते हैं, तो क्या इससे तब मदद मिलेगी जब AI को कई समाधान उत्पन्न करने और उनमें से सर्वश्रेष्ठ चुनने के लिए कहा जाए।
पुराने तरीके (जिसे "लीडर रिवॉर्ड" कहा जाता है) में, AI को 100 प्रयासों के एक बैच में अपने द्वारा खोजे गए एकल सबसे अच्छे समाधान पर ध्यान केंद्रित करने के लिए प्रशिक्षित किया गया था। यह एक कोच की तरह था जो चिल्ला रहा हो, "केवल वही व्यक्ति मायने रखता है जो पहले स्थान पर आया! बाकी सब घर जाओ!" नया तरीका, जिसे लेखक "स्टेबलाइज्ड बेस्ट-ऑफ-के" (Stabilized Best-of-K) कहते हैं, कोच की आवाज़ को बदल देता है। पुराने तरीके के विपरीत, जहाँ विजेता को छोड़कर बाकी सबको अनदेखा कर दिया जाता था, नया कोच कहता, "यदि आप शीर्ष 8 में हैं, तो आपको एक ट्रीट मिलेगा! यदि आप 9वें या उससे नीचे हैं, तो आपको कुछ नहीं मिलेगा।" "K" शब्द इस संख्या 8 को दर्शाता है। शोधकर्ताओं ने एक "स्टेबलाइज़र" भी जोड़ा, जो एक गणितीय सुरक्षा जाल है ताकि यह सुनिश्चित हो सके कि प्रशिक्षण के आंकड़े पागल न हों या बहुत शोर भरे न हो जाएं।
उन्हें क्या मिला: यह खेल पर निर्भर करता है
परिणाम "अच्छी खबर" और "यह इस पर निर्भर करता है" का मिश्रण थे।
सबसे पहले, शोधकर्ताओं ने जाँच की कि क्या उनका नया सिस्टम मानक गेम खेलते समय पुराने सिस्टम का मुकाबला भी कर सकता है। जब उन्होंने एक विशिष्ट प्रकार के डिकोडिंग (AI के उत्तर को पढ़ने का एक तरीका) के साथ पुराने "100 शुरुआत, सर्वश्रेष्ठ चुनें" तरीके का उपयोग किया, तो नया सिस्टम पुराने के लगभग समान प्रदर्शन करता था। इसने 7.7662 का स्कोर प्राप्त किया, जो पिछले रिकॉर्ड 7.766 से मेल खाता है। इसने यह साबित कर दिया कि वे समान नियमों के तहत खेल रहे थे और उन्होंने कुछ भी खराब नहीं किया था।
हालाँकि, असली जादू तब हुआ जब उन्होंने नए प्रशिक्षण के अनुरूप खेल के नियमों को बदल दिया। जब उन्होंने AI को 8 स्वतंत्र समाधान उत्पन्न करने और उनमें से सर्वश्रेष्ठ चुनने (एक "बेस्ट-ऑफ-8" परिदृश्य) के लिए कहा, तो नया "स्टेबलाइज्ड बेस्ट-ऑफ-के" तरीका जीत गया। प्रत्येक परीक्षण रन में, नए तरीके ने पुराने तरीके की तुलना में छोटा पथ खोजा। औसतन, नए तरीके ने लागत (पथ की लंबाई) को लगभग 0.25% कम कर दिया। हालांकि यह छोटा लग सकता है, लेकिन इन पहेलियों की दुनिया में, थोड़ा सा भी रास्ता कम करना एक बड़ी बात है। इसने AI के प्रदर्शन को सैद्धांतिक "परफेक्ट" समाधान के करीब ला दिया।
लेकिन यहाँ एक मोड़ है: नया तरीका हर स्थिति के लिए जादुई समाधान नहीं है।
- यदि आप केवल एक चुनते हैं: यदि AI को केवल एक एकल समाधान चुनने की अनुमति है (बेस्ट-ऑफ-1), तो पुराना "लीडर रिवॉर्ड" तरीका वास्तव में बेहतर था।
- यदि आप एक बड़ी संख्या चुनते हैं: यदि आप AI को 128 समाधानों में से चुनने देते हैं, तो नया तरीका अभी भी थोड़ा बेहतर था, लेकिन जैसे-जैसे विकल्पों की संख्या बढ़ी, इसका लाभ कम होता गया।
- यदि आप एक अलग डिकोडर का उपयोग करते हैं: जब उन्होंने AI के उत्तरों को पढ़ने के एक अलग तरीके (जिसे "अगमेंटेड ग्रीडी" कहा जाता है) का उपयोग किया, तो पुराना तरीका फिर से थोड़ा बेहतर था।
निचोड़
तो, इस सबका क्या अर्थ है? शोधकर्ताओं ने पाया कि यदि आप एक ऐसा AI बनाने की योजना बना रहे हैं जहाँ आप विकल्पों का एक छोटा बैच (जैसे 8) उत्पन्न करेंगे और सर्वश्रेष्ठ को चुनेंगे, तो AI को केवल "नंबर 1" के बजाय "टॉप 8" के लिए लक्षित करना करना एक स्मार्ट कदम है। यह एक स्पोर्ट्स टीम को केवल एक सुपरस्टार के बजाय एक मजबूत स्क्वाड के रूप में प्रशिक्षित करने जैसा है।
हालाँकि, लेखक बहुत सावधान हैं कि वे इसे बहुत अधिक बढ़ा-चढ़ाकर पेश न करें। वे स्पष्ट रूप से कहते हैं कि यह कोई "स्टेट-ऑफ-द-आर्ट" सफलता नहीं है जो सब कुछ हल कर देती है। यह एक विशिष्ट सेटअप के लिए एक विशिष्ट सुधार है। उन्होंने केवल तीन "सीड्स" (कंप्यूटर के यादृच्छिक शुरुआती बिंदु) पर परीक्षण किया, जो एक पैटर्न देखने के लिए पर्याप्त है लेकिन यह साबित करने के लिए नहीं कि यह हमेशा काम करेगा। वे यह भी स्वीकार करते हैं कि उनकी विधि एक "इंजीनियरिंग रेसिपी" है न कि एक पूर्ण गणितीय प्रमाण।
संक्षेप में, यह अध्ययन बताता है कि यदि आप रूटिंग पहेलियों को हल करने के लिए एक AI बना रहे हैं और आप विजेता चुनने से पहले कुछ बार प्रयास करने की अनुमति देने जा रहे हैं, तो आपको AI को केवल "चैंपियन" बनने के बजाय एक "टॉप-टियर कंटेंडर" बनने के लिए सिखाना चाहिए। लेकिन यदि आपको केवल एक ही मौका मिलता है, या यदि आपके पास बहुत अधिक प्रयास हैं, तो पुराना तरीका अभी भी आपका सबसे अच्छा विकल्प हो सकता है। यह AI की दुनिया के एक विशिष्ट कोने के लिए एक सूक्ष्म, सहायक सुधार है, न कि एक क्रांति जो सब कुछ बदल देती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।