🤖 machine learning

Proximal Policy Optimization with Evolutionary Mutations

यह शोध पत्र POEM को प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है जो ठहराव का पता लगाने से प्रेरित अनुकूलनशील विकासवादी उत्परिवर्तनों (adaptive evolutionary mutations) को एकीकृत करके प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (Proximal Policy Optimization) को उन्नत करता है, जिसके परिणामस्वरूप चार में से तीन परीक्षण किए गए OpenAI Gym वातावरणों पर मानक PPO की तुलना में सांख्यिकीय रूप से महत्वपूर्ण प्रदर्शन सुधार प्राप्त होते हैं।

मूल लेखक: Casimir Czworkowski, Stephen Hornish, Alhassan S. Yasin

प्रकाशित 2026-01-22

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Casimir Czworkowski, Stephen Hornish, Alhassan S. Yasin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना, रस्सी पर चलना या अंतरिक्ष यान को लैंड करना सिखा रहे हैं। आप एक स्मार्ट लर्निंग सिस्टम का उपयोग करते हैं जिसे PPO (प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। PPO को एक बहुत ही सावधान और सतर्क छात्र के रूप में समझें। यह अपने व्यवहार में बहुत छोटे, सुरक्षित बदलाव करके सीखता है। यदि यह कुछ नया आज़माता है और परिणाम बुरा आता है, तो यह तुरंत पीछे हट जाता है।

समस्या: "कंफर्ट ज़ोन" का जाल
पेपर बताता है कि PPO स्थिर तो है, लेकिन इसमें एक दोष है: यह एक "कंफर्ट ज़ोन" में फंस जाता है। क्योंकि यह बड़ी गलतियाँ करने से बहुत डरता है, इसलिए यह बहुत जल्दी नई चीज़ें आज़माना बंद कर देता है। यह एक "काफी हद तक ठीक" समाधान पर समझौता कर लेता है और कभी भी परफेक्ट समाधान नहीं खोज पाता। यह उस ड्राइवर की तरह है जिसने सीधी सड़क पर धीरे-धीरे गाड़ी चलाना तो सीख लिया, लेकिन वह कभी यह नहीं सीख पाया कि तेज़ मोड़ कैसे लिया जाए, इसलिए जब भी वह रेस लगाने की कोशिश करता है, तो दुर्घटनाग्रस्त हो जाता है।

समाधान: POEM (द "इवोल्यूशनरी" स्टूडेंट)
लेखकों ने इसका एक नया संस्करण बनाया जिसे POEM (प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन विद इवोल्यूशनरी म्यूटेशन्स) कहा जाता है। उन्होंने इस छात्र को एक विशेष "वेक-अप कॉल" तंत्र दिया जो प्रकृति में प्रजातियों के विकसित होने (evolution) से प्रेरित है।

POEM कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:

मेमोरी बुक: POEM ने हाल ही में सीखी गई हर चीज़ का एक "मेमोरी बुक" रखता है (यह उसके पिछले स्वरूप का एक मूविंग एवरेज है)।
बोरडम मीटर (ऊब का मीटर): समय-समय पर, यह जाँचता है: "क्या मैं कुछ भी अलग कर रहा हूँ जो मैंने एक क्षण पहले किया था?" यह KL Divergence नामक एक गणितीय टूल का उपयोग करके इसे मापता है।
- यदि संख्या अधिक है, तो इसका मतलब है कि रोबोट नई चीज़ें आज़मा रहा है। यह अच्छा है!
- यदि संख्या कम है, तो इसका मतलब है कि रोबोट एक लूप में फंस गया है, बार-बार बिल्कुल एक ही चीज़ कर रहा है। वह ऊब चुका है और स्थिर हो गया है।
"इवोल्यूशनरी" जंप: जब रोबोट फंस जाता है (जब बोरडम मीटर शून्य हो जाता है), तो POEM एक म्यूटेशन (उत्परिवर्तन) को ट्रिगर करता है। कल्पना कीजिए कि रोबोट अचानक अपने पूरे शरीर को हिला देता है या अपने मस्तिष्क की सेटिंग्स को बेतरतीब ढंग से बदल देता है। यह खुद को एक पूरी तरह से अलग, थोड़ी अराजक चाल आज़माने के लिए मजबूर करता है।
- यदि यह रैंडम जंप बेहतर काम करता है, तो रोबोट इसे अपना लेता है।
- यदि यह विफल हो जाता है, तो रोबोट वापस सावधान हो जाता है।

प्रयोग: चार चुनौतियाँ
शोधकर्ताओं ने इस नए "POEM" रोबोट का परीक्षण चार अलग-अलग वीडियो गेम जैसी दुनिया में पुराने "PPO" रोबोट के खिलाफ किया:

कार रेसिंग: PPO रोबोट मोड़ों पर फंस जाता था और दुर्घटनाग्रस्त हो जाता था। POEM रोबोट ने अपने "शेक-अप्स" (झटकों) की मदद से ट्रैक पर सुचारू रूप से नेविगेट करना सीख लिया और लगभग हर रेस पूरी की।
माउंटेन कार: PPO रोबोट घाटी से बाहर निकलने के लिए पर्याप्त गति नहीं बना सका। POEM रोबोट ने घाटी से बाहर निकलने के लिए आगे-पीछे डोलना सीख लिया।
बाइपेडल वॉकर (चलने वाला रोबोट): PPO रोबोट बार-बार गिर जाता था। POEM रोबोट ने स्थिरता से चलना और कोर्स पूरा करना सीख लिया।
लूनर लैंडर: यह पेचीदा था। दोनों रोबोटों ने ठीक-ठाक प्रदर्शन किया, लेकिन POEM औसतन थोड़ा बेहतर था। दिलचस्प बात यह है कि POEM ने जल्दी नीचे की ओर गोता लगाकर और ज़मीन के पास अपना रास्ता ठीक करके लैंड किया, जबकि PPO ऊपर हवा में मंडराता रहा, जिससे कभी-कभी उसका ईंधन खत्म हो जाता और वह क्रैश हो जाता।

परिणाम
पेपर का दावा है कि POEM चार में से तीन खेलों में स्पष्ट विजेता था। इसने साबित कर दिया कि जब रोबोट बहुत सहज महसूस करने लगता है, तो उसे बीच-बीच में "चीजों को बदलने" के लिए मजबूर करने से, आप उस स्थिरता को खोए बिना जो PPO को लोकप्रिय बनाती है, बेहतर समाधान पा सकते हैं।

संक्षेप में
POEM एक ऐसे शिक्षक की तरह है जो छात्र से कहता है: "तुम एक घंटे से एक ही होमवर्क समस्या को एक ही तरीके से हल कर रहे हो। तुम अब सीख नहीं रहे हो। रुको, एक गहरी सांस लो, और इसे एक पूरी तरह से अलग, अजीब तरीके से हल करने की कोशिश करो। यदि यह काम करता है, तो बहुत अच्छा! यदि नहीं, तो अपने सामान्य तरीके पर वापस जाओ।" इस सरल तरकीब ने AI को स्थानीय जाल (local traps) से बचने और तेज़ी से सीखने में मदद की।

तकनीकी सारांश: प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन विद इवोल्यूशनरी म्यूटेशन्स (POEM)

समस्या विवरण
रीइन्फोर्समेंट लर्निंग (RL) एल्गोरिदम, विशेष रूप से प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO), अक्सर अन्वेषण (exploration) और दोहन (exploitation) के बीच संतुलन बनाने में एक गंभीर चुनौती का सामना करते हैं। जबकि PPO अपनी स्थिरता और सैंपल दक्षता के लिए प्रसिद्ध है, इसके छोटे, क्रमिक पॉलिसी अपडेट पर निर्भरता स्थानीय इष्टतम (local optima) में समयपूर्व अभिसरण (premature convergence) का कारण बन सकती है। यह समस्या उन वातावरणों में और भी बढ़ जाती है जहाँ रिवॉर्ड स्ट्रक्चर अप्रभावी होता है, जहाँ मानक PPO तंत्र—जो पॉलिसी परिवर्तनों को सीमित करने के लिए कुलबैक-लीब्लर (KL) डाइवर्जेंस का उपयोग करता है—अनजाने में आवश्यक अन्वेषण को दबा सकता है। इसका परिणाम "पॉलिसी स्टैग्नेशन" (नीति ठहराव) के रूप में निकलता है, जहाँ मॉडल बेहतर व्यवहार खोजने के बजाय एक उप-इष्टतम (suboptimal) पॉलिसी पर स्थिर हो जाता है।

कार्यप्रणाली
इसे संबोधित करने के लिए, लेखक POEM (प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन विद इवोल्यूशनरी म्यूटेशन्स) प्रस्तावित करते हैं, जो एक नवीन संशोधन है जो विकासवादी एल्गोरिदम (evolutionary algorithms) से प्रेरित एक अनुकूलन योग्य अन्वेषण तंत्र को एकीकृत करता है। मुख्य नवाचार समय के साथ पॉलिसी विविधता की निगरानी करना है ताकि तब अन्वेषण को ट्रिगर किया जा सके जब पॉलिसी बहुत अधिक अनुमानित (predictable) हो जाए।

POEM एल्गोरिदम निम्नलिखित तंत्रों के माध्यम से कार्य करता है:

विविधता की निगरानी (Diversity Monitoring): POEM पिछले पॉलिसी पैरामीटर्स ( $\hat{\theta}$ ) का एक एक्सपोनेंशियल मूविंग एवरेज बनाए रखता है। यह वर्तमान पॉलिसी ( $\pi_\theta$ ) और इस मूविंग एवरेज संदर्भ पॉलिसी ( $\pi_{\hat{\theta}}$ ) के बीच KL डाइवर्जेंस की गणना करता है।
अनुकूलन योग्य ट्रिगर (Adaptive Trigger): एल्गोरिदम मानक PPO अपडेट के बाद इस डाइवर्जेंस ( $d_{post}$ ) को ट्रैक करता है। यदि डाइवर्जेंस एक पूर्व-निर्धारित थ्रेशोल्ड ( $\delta$ ) से नीचे गिर जाता है, तो यह संकेत देता है कि पॉलिसी स्थिर हो गई है या अपने हालिया इतिहास के बहुत समान हो गई है।
विकासवादी उत्परिवर्तन (Evolutionary Mutation): ट्रिगर होने पर, POEM पॉलिसी पैरामीटर्स का एक अनुकूलन योग्य उत्परिवर्तन (mutation) करता है। म्यूटेशन नॉइज़ को एक गाऊसी वितरण (Gaussian distribution) से लिया जाता है जिसका मानक विचलन ( $\sigma$ $σ$ ) विविधता मीट्रिक के व्युत्क्रमानुपाती (inversely proportional) होता है (अर्थात, कम विविधता का अर्थ उच्च म्यूटेशन वेरिएंस है)।
- कैंडिडेट म्यूटेटेड पॉलिसी ( $\theta'$ ) का मूल्यांकन कुल लॉस फंक्शन के विरुद्ध किया जाता है, जिसमें मानक PPO क्लिप्ड सरोगेट लॉस, वैल्यू-फंक्शन लॉस, एंट्रॉपी बोनस और $\lambda_{div}$ द्वारा भारित एक डाइवर्सिटी बोनस टर्म शामिल है।
- म्यूटेशन तभी स्वीकार किया जाता है यदि यह वर्तमान पॉलिसी की तुलना में कम कुल लॉस प्रदान करता है।
कार्यान्वयन: सिस्टम को Stable-Baselines3 फ्रेमवर्क और PyTorch का उपयोग करके लागू किया गया था। सभी वातावरणों में मानक PPO के साथ निष्पक्ष तुलना सुनिश्चित करने के लिए हाइपरपैरामीटर्स को Optuna (Tree-structured Parzen Estimator) का उपयोग करके ट्यून किया गया था।

प्रायोगिक सेटअप
लेखकों ने चार OpenAI Gym वातावरणों पर मानक PPO के विरुद्ध POEM का मूल्यांकन किया:

CarRacing (v0): स्टैक्ड ग्रेस्केल फ्रेम्स का उपयोग करने वाला एक निरंतर नियंत्रण कार्य (continuous control task)।
MountainCar (v0): एक स्पार्स रिवॉर्ड वातावरण जिसमें मोमेंटम संचय की आवश्यकता होती है।
BipedalWalker (v3): निरंतर फॉरवर्ड-प्रोग्रेस रिवॉर्ड के साथ एक जटिल लोकोमोशन कार्य।
LunarLander (v2): संसाधन-जागरूक निर्णय लेने को लागू करने के लिए ईंधन तंत्र (600 यूनिट) के साथ संशोधित किया गया।

मूल्यांकन में प्रत्येक वातावरण के लिए प्रत्येक एल्गोरिदम के 10 स्वतंत्र प्रशिक्षण रन शामिल थे, जिसके बाद 15 नियतात्मक (deterministic) मूल्यांकन एपिसोड किए गए। सांख्यिकीय महत्व का आकलन वेल्च के टी-टेस्ट (Welch's t-test) का उपयोग करके किया गया।

मुख्य परिणाम
POEM ने चार में से तीन वातावरणों में मानक PPO की तुलना में सांख्यिकीय रूप से महत्वपूर्ण सुधार प्रदर्शित किया:

CarRacing: POEM ने PPO के -610.83 की तुलना में 640.01 का औसत रिवॉर्ड प्राप्त किया। अंतर अत्यधिक महत्वपूर्ण था ( $t = -6.3987, p = 0.0002$ )। POEM ने विश्वसनीय रूप से ट्रैक का संचालन किया, जबकि PPO अक्सर एपिसोड पूरा करने में विफल रहा।
MountainCar: POEM ने PPO के -311.75 के मुकाबले 93.52 का औसत रिवॉर्ड प्राप्त किया ( $t = -6.2431, p < 0.0001$ )। POEM सफलतापूर्वक घाटी से बाहर निकला और लक्ष्य तक पहुँचा, जबकि PPO अक्सर रुक गया या टाइम आउट हो गया।
BipedalWalker: POEM ने 62.43 के मुकाबले 180.58 के औसत रिवॉर्ड के साथ PPO को पछाड़ दिया ( $t = -2.0642, p = 0.0495$ )। POEM ने स्मूथ ट्राजेक्टरीज और उच्च सफलता दर (12/15 पूर्णता बनाम PPO के लिए 7/15) उत्पन्न की।
LunarLander: हालांकि POEM ने उच्च औसत रिवॉर्ड (242.10 बनाम 210.94) प्राप्त किया, लेकिन यह अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं था ( $t = -1.8707, p = 0.0778$ )। लेखकों ने उल्लेख किया कि POEM ने तीव्र प्रारंभिक अवरोहण (descent) के बाद फाइन-ट्यूनिंग की रणनीति अपनाई, जबकि PPO ऊँचाई पर मंडराता रहा, एक ऐसी रणनीति जिसके कारण कभी-कभी विनाशकारी ईंधन समाप्ति (fuel exhaustion) हो जाती थी।

महत्व और दावे
पेपर का दावा है कि पॉलिसी ग्रेडिएंट विधियों में विकासवादी सिद्धांतों को एकीकृत करना अन्वेषण-दोहन (exploration-exploitation) ट्रेडऑफ के लिए एक व्यवहार्य समाधान प्रदान करता है। अनुकूलन योग्य म्यूटेशन को ट्रिगर करने के लिए "नॉवेलिटी" मीट्रिक के रूप में KL डाइवर्जेंस का उपयोग करके, POEM PPO की अंतर्निहित स्थिरता से समझौता किए बिना प्रभावी रूप से स्थानीय इष्टतम से बाहर निकलता है। परिणाम बताते हैं कि यह विविधता-संचालित दृष्टिकोण एजेंटों को उन वातावरणों में अधिक मजबूत नीतियां सीखने की अनुमति देता है जो स्पार्स और डेंस दोनों प्रकार के रिवॉर्ड्स द्वारा लक्षित होते हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि POEM, LunarLander पर PPO के बराबर है, इसकी CarRacing, MountainCar और BipedalWalker पर PPO से काफी बेहतर प्रदर्शन करने की क्षमता इस परिकल्पना की पुष्टि करती है कि अनुकूलन योग्य, विविधता-ट्रिगर म्यूटेशन अतिरिक्त अन्वेषण को अनलॉक कर सकते हैं। लेखकों द्वारा प्रस्तावित भविष्य के कार्यों में डिस्क्रीट एक्शन स्पेस वाले वातावरणों पर POEM का परीक्षण करना, उच्च-आयामी वास्तविक दुनिया के अनुप्रयोगों तक स्केल करना, और अन्य समकालीन PPO वेरिएंट्स (जैसे कि इंट्रिन्सिक क्यूरियोसिटी मॉड्यूल द्वारा उन्नत) के विरुद्ध बेंचमार्किंग करना शामिल है।

तकनीकी सारांश: प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन विद इवोल्यूशनरी म्यूटेशन्स (POEM)

इसी तरह के और पेपर