🤖 machine learning

Discovering Interpretable Multi-Parameter Control Policies for Evolutionary Algorithms Using Deep Reinforcement Learning

यह शोध पत्र यह प्रदर्शित करता है कि कैसे विशिष्ट एल्गोरिदम सुधारों के साथ संवर्धित और एक पारदर्शी प्रतीकात्मक नीति (symbolic policy) में संकुचित गहन सुदृढीकरण शिक्षण (deep reinforcement learning), विकासवादी एल्गोरिदम (evolutionary algorithms) में बहु-पैरामीटर नियंत्रण की चुनौतियों को सफलतापूर्वक पार कर सकता है ताकि उत्कृष्ट प्रदर्शन और कठोर व्याख्यात्मकता दोनों प्राप्त की जा सके।

मूल लेखक: Tai Nguyen, Phong Le, Carola Doerr, Nguyen Dang

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tai Nguyen, Phong Le, Carola Doerr, Nguyen Dang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल पहेली को हल करने की कोशिश कर रहे हैं। आपके पास एक रोबोट सहायक (एक एल्गोरिदम) है जो अलग-अलग टुकड़ों को आज़मा सकता है, लेकिन रोबोट थोड़ा अनाड़ी है। इसे बेहतर ढंग से काम करने में मदद करने के लिए, आपके पास एक "कंट्रोल पैनल" है जिसमें चार नॉब (knobs) हैं: यह कि वह एक बार में कितने टुकड़े आज़माता है, वह कितना आक्रामक रूप बदलाव करता है, वह पुराने और नए टुकड़ों को कैसे मिलाता है, और वह अपने स्वयं के अनुमानों पर कितना भरोसा करता है।

लंबे समय तक, इंसानों को इन नॉब्स को घुमाने के लिए अंदाज़ा लगाना पड़ता था। कभी-कभी हमने उन्हें स्थिर रखा, और कभी-कभी हमने उन्हें उन नियमों के आधार पर समायोजित करने की कोशिश की जो हमने बनाए थे। लेकिन इन नॉब्स को ट्यून करने का सबसे अच्छा तरीका समझना बहुत कठिन रहा है।

यह शोध पत्र इस बारे में है कि कंप्यूटर को इन नॉब्स को पूरी तरह से घुमाना कैसे सिखाया जाए, और फिर उस कंप्यूटर के "गुप्त ज्ञान" को एक सरल, मानव-पठनीय नियम पुस्तिका में कैसे बदला जाए।

यहाँ बताया गया है कि उन्होंने इसे कैसे किया, जिसे सरल चरणों में विभाजित किया गया है:

1. समस्या: "ब्लैक बॉक्स" का रहस्य

शोधकर्ताओं ने एक शक्तिशाली प्रकार के AI का उपयोग किया जिसे डीप रीइन्फोर्समेंट लर्निंग (Deep-RL) कहा जाता है। इस AI को एक सुपर-स्मार्ट प्रशिक्षु (apprentice) के रूप में समझें जो प्रयास और त्रुटि (trial and error) से सीखता है। आप इसे लाखों बार पहेली का खेल खेलने देते हैं, और यह समझ जाता है कि पहेली को सबसे तेज़ी से जीतने के लिए चारों नॉब्स को कैसे घुमाना है।

समस्या क्या है? AI एक "ब्लैक बॉक्स" में सीखता है। वह जानता है कि क्या करना है, लेकिन वह यह नहीं समझाता कि क्यों करना है। यह एक मास्टर शेफ की तरह है जो एक बेहतरीन व्यंजन तो बनाता है लेकिन आपको रेसिपी देने से मना कर देता है, केवल इतना कहता है, "बस एक चुटकी जादू डाल दें।" वैज्ञानिकों को रेसिपी (गणित) की आवश्यकता होती है ताकि वे समझ सकें कि यह क्यों काम करता है, न कि केवल जादू की।

2. संघर्ष: जब AI भ्रमित हो जाता है

शोधकर्ताओं ने AI को एक साथ चारों नॉब्स को नियंत्रित करना सिखाने की कोशिश की। उन्होंने दो अलग-अलग प्रकार के AI शिक्षकों को आज़माया:

"PPO" शिक्षक: इस शिक्षक ने अपनी गलतियों से सीखकर सीखने की कोशिश की। लेकिन इस विशिष्ट पहेली में, शिक्षक भ्रमित हो गया और हार मान ली, और एक आलसी रणनीति अपना ली जहाँ उसने नॉब्स को मुश्किल से ही हिलाया। यह एक ऐसे छात्र की तरह है जो बहुत कठिन परीक्षा के कारण प्रयास करना छोड़ देता है।
"DDQN" शिक्षक: यह शिक्षक एक जासूस की तरह था। इसने पिछले अनुभवों की एक नोटबुक रखी और उनसे सावधानीपूर्वक सीखा। यह शिक्षक सफल रहा! इसने एक जीतने वाली रणनीति खोज ली जो किसी भी मानव-निर्मित नियम से कहीं अधिक तेज़ थी।

3. सफलता: "जादू" से "गणित" तक

अब जब DDQN शिक्षक के पास जीतने वाली रणनीति थी, तो शोधकर्ताओं के सामने बड़ी चुनौती आई: हम AI के जटिल मस्तिष्क को एक सरल समीकरण में कैसे बदलें?

उन्होंने एक दो-चरणीय "डिस्टिलेशन" प्रक्रिया (जैसे अंगूर के रस से वाइन, फिर एक महीन स्पिरिट बनाना) का उपयोग किया:

चरण 1: हाथ से बनाया गया अंदाज़ा (The Hand-Crafted Guess)।
शोधकर्ताओं ने AI के व्यवहार को एक जासूस की तरह देखा जो पैरों के निशान देखता है। उन्होंने कुछ पैटर्न देखे:
- नॉब 1 (कितने टुकड़े आज़माने हैं): AI ने इसे ज्यादातर कम रखा, लेकिन जब पहेली लगभग सुलझने वाली थी, तो इसने इसे अचानक बहुत ऊँचा कर दिया।
- नॉब 2 (कितना आक्रामक होना है): AI ने शुरुआत में इसे बहुत कम रखा, फिर पहेली लगभग पूरी होने पर इसे अधिकतम तक बढ़ा दिया।
- नॉब 3 (टुकड़ों को मिलाना): AI ने सामान्य से लगभग दोगुना मिश्रण इस्तेमाल किया—जितना इंसानों ने कभी सोचा भी नहीं था।
- नॉब 4 (भरोसा): AI ने इसे ज्यादा नहीं बदला; इसने इसे स्थिर रखा।
उन्होंने इन अवलोकनों को सरल गणितीय सूत्रों के रूप में लिखा। यह उनकी "Hand-Crafted" नियम पुस्तिका थी।
चरण 2: फाइन-ट्यूनिंग (Fine-Tuning)।
उन्होंने अपनी नई नियम पुस्तिका ली और उसे SMAC3 नामक एक टूल में डाला। SMAC3 को एक अति-सटीक ट्यूनर के रूप में समझें। इसने शोधकर्ताओं के कच्चे सूत्रों को लिया और नंबरों को थोड़ा सा बदलकर उन्हें एकदम सटीक बनाया।
- उदाहरण के लिए, शोधकर्ताओं ने अनुमान लगाया था कि नॉब्स को ऊपर करने वाला "स्विच" तब होता है जब पहेली का 95% हिस्सा पूरा हो जाता है। SMAC3 ने इसे बदलकर 95.96% कर दिया।
- उन्होंने अनुमान लगाया था कि मिश्रण की मात्रा दोगुनी होनी चाहिए। SMAC3 ने इसे मानक मात्रा के लगभग 4.9 गुना तक ठीक किया।

4. परिणाम: एक नया चैंपियन

अंतिम परिणाम एक सिंबोलिक पॉलिसी (Symbolic Policy) था। यह स्पष्ट, सरल गणितीय समीकरणों का एक सेट है जिसे कोई भी पढ़ और समझ सकता है।

यह पारदर्शी है: "ब्लैक बॉक्स" AI के विपरीत, यह नई नियम पुस्तिका बताती है कि पहेली के हर चरण में वास्तव में क्या करना है।
यह तेज़ है: जब उन्होंने इस नई नियम पुस्तिका का परीक्षण किया, तो इसने निम्नलिखित की तुलना में पहेली को काफी तेज़ी से हल किया:
- पुराने मानव-निर्मित नियम।
- स्वयं "ब्लैक बॉक्स" AI (क्योंकि AI कभी-कभी छोटी गलतियाँ कर देता था, लेकिन डिस्टिल्ड नियम पुस्तिका एकदम सटीक थी)।
- अन्य कंप्यूटर-जनित तरीके।

बड़ी तस्वीर का रूपक (The Big Picture Analogy)

कल्पना कीजिए कि आप एक रेस ट्रैक के चारों ओर जितनी जल्दी हो सके कार चलाने की कोशिश कर रहे हैं।

पुराना तरीका: आप 50 साल पहले के ड्राइवर द्वारा लिखी गई नियमावली का पालन करते हैं। यह ठीक है, लेकिन सबसे तेज़ नहीं है।
AI वाला तरीका: आप एक रोबोट ड्राइवर को काम पर रखते हैं जो ट्रैक पर 10 मिलियन बार गाड़ी चलाकर सीखता है। रोबोट किसी भी अन्य व्यक्ति से तेज़ गाड़ी चलाता है, लेकिन यदि आप उससे पूछते हैं, "मुझे स्टीयरिंग व्हील कैसे घुमाना है?", तो वह बस कहता है, "मुझे महसूस हो रहा है।" आप किसी और को उस तरह से गाड़ी चलाना नहीं सिखा सकते।
इस शोध पत्र का तरीका: आप रोबोट को गाड़ी चलाते हुए देखते हैं, उसके द्वारा उपयोग किए जाने वाले सटीक स्टीयरिंग कोणों और गैस पेडल के दबाव को लिखते हैं, और फिर उन नंबरों को परिष्कृत करने के लिए एक सटीक इंजीनियर को काम पर रखते हैं। अब आपके पास एक परफेक्ट ड्राइविंग मैनुअल है जो रोबoret से भी तेज़ है और जिसे कोई भी इंसान आसानी से पढ़ और उपयोग कर सकता है।

संक्षेप में: यह शोध पत्र दिखाता है कि हम जटिल एल्गोरिदम को चलाने के लिए शक्तिशाली AI का उपयोग कर सकते हैं, लेकिन फिर हम उस AI के मस्तिष्क को सरल, समझने योग्य गणितीय नियमों में "डिस्टिल" कर सकते हैं जो खुद AI से भी बेहतर होते हैं। यह "जादुई" कंप्यूटर लर्निंग और स्पष्ट, मानवीय समझ के बीच के अंतर को पाटता है।

समस्या विवरण
यद्यपि डीप रिइन्फोर्समेंट लर्निंग (Deep-RL), डायनेमिक एल्गोरिदम कॉन्फ़िगरेशन (DAC) के लिए, विशेष रूप से इवोल्यूशनरी एल्गोरिदम (EAs) में पैरामीटर नियंत्रण के लिए एक अत्याधुनिक उपकरण बन गया है, फिर भी एक महत्वपूर्ण बाधा बनी हुई है: मल्टी-पैरामीटर सेटिंग्स के लिए कठोर सैद्धांतिक विश्लेषण का अभाव। पैरामीटर नियंत्रण के मौजूदा सैद्धांतिक प्रमाण मुख्य रूप से सिंगल-पैरामीटर परिदृश्यों तक सीमित हैं क्योंकि प्रभावी, व्याख्या योग्य, मल्टी-पैरामीटर नीतियां प्राप्त करना जो औपचारिक अध्ययन के अनुकूल हों, कठिन है। इसके अलावा, न्यूरल नेटवर्क पर निर्भरता एक "ब्लैक-बॉक्स" बाधा उत्पन्न करती है; अभ्यासकर्ताओं और सिद्धांतकारों को एल्गोरिद्मिक व्यवहारों को सत्यापित करने, विश्लेषण करने और सामान्यीकृत करने के लिए अस्पष्ट न्यूरल वेट्स के बजाय स्पष्ट, प्रतीकात्मक गणितीय नियमों की आवश्यकता होती है। संबोधित किया गया विशिष्ट चुनौती $(1+(\lambda, \lambda))$ -जेनेटिक एल्गोरिदम (GA) में चार मापदंडों को एक साथ नियंत्रित करना है जो OneMax फंक्शन को ऑप्टिमाइज़ कर रहा है—एक ऐसी समस्या जहाँ डायनेमिक कंट्रोल के माध्यम से सुपर-कॉन्स्टेंट स्पीडअप को औपचारिक रूप से सिद्ध किया गया है, फिर भी मल्टी-पैरामीटर कंट्रोल अभी भी कम खोजा गया है।

कार्यप्रणाली
लेखक डीप-आरएल (Deep-RL) के अनुभवजन्य प्रदर्शन और सैद्धांतिक व्याख्यात्मकता के बीच के अंतर को पाटने के लिए एक दो-चरणीय ढांचे का प्रस्ताव करते हैं, जैसा कि पेपर के चित्र 1 में दर्शाया गया है:

डीप-आरएल ओरकल जनरेशन (चरण I):
- वातावरण (Environment): $(1+(\lambda, \lambda))$ -GA को एक कॉन्टेक्स्टुअल मार्कोव डिसीजन प्रोसेस (MDP) के रूप में मॉडल किया गया है जहाँ स्टेट वर्तमान फिटनेस है, और एक्शन चार पैरामीटर हैं: म्यूटेशन पॉपुलेशन साइज ( $\lambda_m$ ), क्रॉसओवर पॉपुलेशन साइज ( $\lambda_c$ ), म्यूटेशन रेट कोएफिशिएंट ( $\alpha$ ), और क्रॉसओवर बायस कोएफिशिएंट ( $\beta$ )।
- एल्गोरिदम तुलना: अध्ययन डबल डीप क्यू-नेटवर्क्स (DDQN) और प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) की तुलना करता है।
- एक्शन स्पेस रिप्रेजेंटेशन: दो आर्किटेक्चर का परीक्षण किया गया है: कॉम्बिनेटोरियल (पैरामीटर संयोजनों को परमाणु क्रियाओं के रूप में मानना) और फैक्टर्ड (प्रत्येक पैरामीटर के लिए स्वतंत्र सब-एक्शन में एक्शन स्पेस को विभाजित करना)।
- सुधार (Enhancements): लेखक एल्गोरिदम-अज्ञेय (algorithm-agnostic) सुधार पेश करते हैं, जिसमें एक्शन-स्पेस डिकंपोजिशन, रिवॉर्ड शिफ्टिंग (एडेप्टिव बायस), और लॉन्ग-होरिज़न डिस्काउंटिंग (उपयोग $\gamma \approx 1.0$ के साथ) शामिल हैं।
- RL पर निष्कर्ष: फैक्टर्ड एक्शन स्पेस, एडेप्टिव रिवॉर्ड शिफ्टिंग और उच्च डिस्काउंट फैक्टर्स के साथ DDQN मजबूत सिद्ध होता है। इसके विपरीत, PPO "पॉलिसी कोलैप्स" से ग्रस्त है, जो अक्सर एक्शन स्पेस या रिवॉर्ड शेपिंग प्रयासों के बावजूद, सब-ऑप्टिमल, स्टैटिक पॉलिसियों (जैसे $\lambda_m=1$ को फिक्स करना) की ओर अभिसरित हो जाता है।
सिंबोलिक डिस्टिलेशन (चरण II):
- हैंड-क्राफ्टेड डिज़ाइन: सर्वोत्तम DDQN एजेंट द्वारा उत्पन्न ट्रेजेक्टरीज के आधार पर, लेखक एक पारदर्शी, सिंबोलिक कंट्रोल पॉलिसी को मैन्युअल रूप से व्युत्पन्न करते हैं। वे स्पष्ट समीकरण बनाने के लिए फिटनेस प्रोग्रेस और पैरामीटर वैल्यूज के बीच संबंध का विश्लेषण करते हैं।
- फाइन-ट्यूनिंग: इन हैंड-क्राफ्टेड सिंबोलिक समीकरणों को SMAC3 (एक स्वचालित एल्गोरिदम कॉन्फ़िगरेशन टूल) का उपयोग करके और अधिक परिष्कृत किया जाता है। सर्च स्पेस में पॉपुलेशन साइज के स्विचिंग पॉइंट्स और एम्प्लीफिकेशन फैक्टर्स शामिल हैं, जो सिंबोलिक कॉन्स्टेंट्स के सटीक अनुकूलन की अनुमति देते हैं।

प्रमुख योगदान

डीप-आरएल विधियों की तुलनात्मक प्रभावकारिता: पेपर प्रदर्शित करता है कि जबकि PPO सामान्य RL डोमेन में स्थिर है, यह इस विशिष्ट DAC वातावरण में पॉलिसी कोलैप्स के कारण विफल हो जाता है। इसके विपरीत, DDQN, जब फैक्टर्ड एक्शन रिप्रेजेंटेशन और विशिष्ट रिवॉर्ड/डिस्काउंटिंग रणनीतियों से लैस होता है, तो उच्च-गुणवत्ता वाली ट्रेजेक्टरीज उत्पन्न करने के लिए मल्टी-पैरामीटर लैंडस्केप को सफलतापूर्वक नेविगेट करता है।
सिंबोलिक पॉलिसियों की खोज: लेखक न्यूरल नेटवर्क के ब्लैक-बॉक्स व्यवहार से आगे बढ़कर सीखे गए व्यवहारों को एक सिंबोलिक पॉलिसी में डिस्टिल करते हैं। यह पॉलिसी न केवल व्याख्या योग्य है बल्कि मौजूदा बेसलाइन्स से बेहतर प्रदर्शन भी करती है।
दो-चरणीय डिस्टिलेशन फ्रेमवर्क: पेपर एक ऐसी कार्यप्रणाली पेश करता है जो पहले समाधान स्थान (solution space) को खोजने के लिए डीप-आरएल का उपयोग करता है और फिर हैंड-क्राफ्टेड सिंबोलिक रिप्रेजेंटेशन्स को रिफाइन करने के लिए एल्गोरिदम कॉन्फ़िगरेशन (SMAC3) का उपयोग करता है, जिससे एक ऐसी पॉलिसी प्राप्त होती है जो सैद्धांतिक रूप से सुलभ और अनुभवजन्य रूप से श्रेष्ठ है।
पैरामीटर महत्व विश्लेषण: एब्लेशन स्टडीज के माध्यम से, पेपर पैरामीटर महत्व का एक पदानुक्रम स्थापित करता है: $\lambda_m \gg \alpha \gg \lambda_c \gg \beta$ । यह प्रकट करता है कि $\lambda_m$ और $\lambda_c$ को अलग करना (यह अनुमति देना कि $\lambda_c$ , $\lambda_m$ से काफी बड़ा हो सकता है) प्रदर्शन के लिए एक महत्वपूर्ण कारक है।

परिणाम

RL प्रदर्शन: सर्वश्रेष्ठ DDQN कॉन्फ़िगरेशन (फैक्टर्ड रिप्रेजेंटेशन, एडेप्टिव रिवॉर्ड शिफ्टिंग, $\gamma=0.9998$ ) विभिन्न समस्या आकारों ( $n=100$ से $n=2,000$ ) में PPO और सिंगल-पैरामीटर कंट्रोल पॉलिसियों की तुलना में लगातार बेहतर प्रदर्शन करता है।
सिंबोलिक पॉलिसी प्रदर्शन: अंतिम डिस्टिल्ड पॉलिसी (SMAC3 द्वारा रिफाइंड) लगभग 4.7 का नॉर्मलाइज्ड एक्सपेक्टेड रनटाइम (ERT) प्राप्त करती है, जबकि थ्योरेटिकल बेसलाइन ( $\pi_{THEORY}$ ) के लिए यह 6.9 और IRACE-आधारित बेसलाइन के लिए 5.8 है।
स्केलेबिलिटी: व्युत्पन्न सिंबोलिक पॉलिसी बहुत बड़े इंस्टेंस $n=40,000$ तक के विस्तृत रेंज में अपना प्रदर्शन लाभ बनाए रखती है।
सुधार का परिमाण: अंतिम SMAC3-ट्यून्ड पॉलिसी एक निरंतर स्पीडअप प्रदान करती है, जो थ्योरी-व्युत्पन्न बेसलाइन से लगभग 27.5% और समस्या के आकार के आधार पर IRACE-आधारित दृष्टिकोण से 19.4% से 32.2% बेहतर है।

महत्व और दावे
पेपर का दावा है कि यह कार्य इवोल्यूशनरी कंप्यूटेशन में डीप-आरएल डिस्कवरी और सैद्धांतिक सत्यापन के बीच के अंतर को सफलतापूर्वक पाटता है। न्यूरल नेटवर्क के "ब्लैक-बॉक्स" आउटपुट को "व्हाइट-बॉक्स" सिंबोलिक पॉलिसी में बदलकर, लेखक निम्नलिखित प्रदान करते हैं:

व्याख्यात्मकता (Interpretability): स्पष्ट गणितीय नियम जो शोधकर्ताओं को औपचारिक रनिंग टाइम विश्लेषण करने की अनुमति देते हैं, जो पहले न्यूरल नेटवर्क की जटिलता के कारण बाधित था।
सामान्यीकरण (Generalization): पॉलिसी की सिंबोलिक प्रकृति अनदेखे समस्या इंस्टेंस और आयामों (dimensions) के लिए ज़ीरो-शॉट जनरलाइजेशन को सक्षम बनाती है, जिससे न्यूरल नेटवर्क में होने वाले ओवरफिटिंग से बचा जा सकता है।
दक्षता (Efficiency): सिंबोलिक पॉलिसी का मूल्यांकन केवल $O(1)$ ओवरहेड लेता है, जो डीप नेटवर्क इन्फरेंस की कम्प्यूटेशनल लागत को दरकिनार करता है।
सैद्धांतिक सुलभता (Theoretical Tractability): व्युत्पन्न पॉलिसी $(1+(\lambda, \lambda))$ -GA के लीनियर एक्सपेक्टेड रनिंग टाइम्स के कॉन्स्टेंट फैक्टर्स के संबंध में भविष्य के सैद्धांतिक प्रमाणों के लिए एक ठोस लक्ष्य प्रदान करती है, जो उस गैप को संबोधित करती है जहाँ वर्तमान सैद्धांतिक सीमाएं अक्सर अनुभवजन्य परिणामों की तुलना में बहुत निराशाजनक होती हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि डीप-आरएल पॉलिसी डिस्कवरी के लिए एक शक्तिशाली उपकरण है, इसकी वास्तविक वैल्यू एल्गोरिदम कॉन्फ़िगरेशन में तभी साकार होती है जब इसके आउटपुट को व्याख्या योग्य, सिंबोलिक रूपों में डिस्टिल किया जाता है जिन्हें कठोरता से विश्लेषित और सामान्यीकृत किया जा सके।

1. समस्या: "ब्लैक बॉक्स" का रहस्य

2. संघर्ष: जब AI भ्रमित हो जाता है

3. सफलता: "जादू" से "गणित" तक

4. परिणाम: एक नया चैंपियन

बड़ी तस्वीर का रूपक (The Big Picture Analogy)

इसी तरह के और पेपर