🤖 machine learning

Soft Deterministic Policy Gradient with Gaussian Smoothing

यह शोध पत्र सॉफ्ट डिटर्मिनिस्टिक पॉलिसी ग्रेडिएंट (Soft-DPG) को प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो क्रिटिक एक्शन-ग्रेडिएंट्स की आवश्यकता को समाप्त करने के लिए गॉसियन स्मूथिंग का उपयोग करता है, जिससे उन निरंतर नियंत्रण कार्यों में स्थिर शिक्षण और बेहतर प्रदर्शन सुनिश्चित होता है जहाँ मानक DPG विधियाँ विफल हो जाती हैं, विशेष रूप से विरल (sparse) या असतत (discrete) पुरस्कारों वाले मामलों में।

मूल लेखक: Hyunjun Na, Donghwan Lee

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hyunjun Na, Donghwan Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कमरे में चलना सिखा रहे हैं। सुदृढीकरण शिक्षण (Reinforcement Learning - RL) की दुनिया में, रोबोट चीजों को आजमाकर, फीडबैक (इनाम/रिवॉर्ड) प्राप्त करके और अगली बार बेहतर करने के लिए अपने कदमों को समायोजित करके सीखता है।

आप इस रोबोट को सिखाने के दो मुख्य तरीके हैं:

"जुआरी" दृष्टिकोण (Stochastic): रोबोट कई अलग-अलग रैंडम कदम उठाता है, देखता है कि कौन से काम करते हैं, और उनका औसत निकाल लेता है। यह सुरक्षित है लेकिन धीमा है।
"सटीकता" दृष्टिकोण (Deterministic): रोबोट एक विशिष्ट कदम चुनता है जिसे वह एकदम सही मानता है और उसी सटीक चाल को और बेहतर बनाने की कोशिश करता है। लेकिन इसमें एक बड़ी खामी है।

समस्या: "धुंधला मानचित्र" (The "Fuzzy Map" Issue)

"सटीकता" वाला दृष्टिकोण (जिसे डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट या DPG कहा जाता है) एक बहुत ही विशिष्ट नियम पर निर्भर करता है: यह जानने के लिए कि रोबोट के पैर को किस दिशा में थोड़ा सा हिलाना है, शिक्षक (एक "क्रिटिक") को रिवॉर्ड मैप को देखना होगा और कहना होगा, "यदि आप अपने पैर को बस थोड़ा सा बाईं ओर ले जाते हैं, तो स्कोर बढ़ जाएगा।"

यह तब बहुत अच्छा काम करता है जब रिवॉर्ड मैप चिकना (smooth) हो, जैसे कि एक कोमल ढलान।

लेकिन वास्तविक दुनिया में, इनाम अक्सर ब्लॉकी और ऊबड़-खाबड़ (jagged) होते हैं।
कल्पना कीजिए कि एक ऐसा रिवॉर्ड सिस्टम है जहाँ आपको एक कुकी तब मिलती है जब आप ठीक एक विशिष्ट टाइल पर कदम रखते हैं, लेकिन यदि आप एक मिलीमीटर भी इधर-उधर हुए, तो आपको शून्य कुकी मिलती है।
इस "ब्लॉकी" मैप पर, कोई चिकना ढलान नहीं है जिसे आप फॉलो कर सकें। "ग्रेडिएंट" (किस दिशा में जाना है) टूटा हुआ, ऊबड़-खाबड़ या अस्तित्वहीन है।
जब रोबोट इस ऊबड़-खाबड़ मैप पर "सटीकता" वाले दृष्टिकोण का उपयोग करने की कोशिश करता है, तो वह भ्रमित हो जाता है। वह एक खड़ी ढलान के किनारे पर दिशा (ग्रेडient) की गणना करने की कोशिश करता है, जिससे अनियंत्रित और अस्थिर हलचलें होती हैं। पेपर इसे "अपरिभाषित पॉलिसी ग्रेडिएंट्स" (ill-defined policy gradients) कहता है।

समाधान: "धुंधला लेंस" (Gaussian Smoothing)

लेखक, ह्यूनजुन ना और डोंगहवान ली, एक चतुर समाधान प्रस्तावित करते हैं जिसे सॉफ्ट डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (Soft-DPG) कहा जाता है।

ऊबड़-खाबड़, ब्लॉकी मैप को सीधे पढ़ने के बजाय, वे उस पर एक सॉफ्ट, धुंधला लेंस लगा देते हैं।

रूपक (Metaphor): कल्पना कीजिए कि आप एक पिक्सेलेटेड, ऊबड़-खाबड़ छवि को फ्रॉस्टेड ग्लास (धुंधले कांच) के माध्यम से देख रहे हैं। तीखे, भ्रमित करने वाले किनारे आपस में मिलकर एक चिकनी, कोमल ढलान बन जाते हैं।
यह कैसे काम करता है: यह पूछने के बजाय कि, "इस सटीक कदम के लिए इनाम क्या है?", रोबोट पूछता है, "इस कदम और इसके आसपास के कदमों के लिए औसत इनाम क्या है?"
आसपास के कार्यों के पुरस्कारों का औसत निकालकर (जिसे गौसियन स्मूथिंग कहा जाता है), वे ऊबड़-खाबड़, टूटे हुए मैप को एक चिकनी, चढ़ने योग्य ढलान में बदल देते हैं।

नया एल्गोरिदम: Soft DDPG

उन्होंने एक नया रोबोट ट्रेनर बनाया जिसे Soft DDPG कहा जाता है। यह पुराने तरीके से इस प्रकार भिन्न है:

पुराना तरीका (DDPG): रोबोट एक ऊबड़-खाबड़ चट्टान पर चढ़ने की कोशिश करता है। वह फिसलता है, गिरता है और निराश हो जाता है क्योंकि मैप बहुत खुरदरा है।
नया तरीका (Soft DDPG): रोबोट मैप को एक सॉफ्ट लेंस के माध्यम से देखता है। ऊबड़-खाबड़ चट्टानें चिकनी ढलानों में बदल जाती हैं। अब वह आसानी से देख सकता है कि "ऊपर" की दिशा क्या है और लगातार ऊपर चढ़ सकता है, भले ही वास्तविक वास्तविकता अभी भी ऊबड़-खाबड़ हो।

पेपर ने क्या पाया

लेखकों ने इसे मानक रोबोट वॉकिंग टास्क (जैसे चीता का दौड़ना या इंसान का चलना) पर टेस्ट किया और फिर इनके "ऊबड़-खाबड़" संस्करण बनाए जहाँ रिवॉर्ड अचानक कट गए या डिस्क्रीट (discrete) बना दिए गए (जैसे कुकी-ऑन-ए-टाइल वाला उदाहरण)।

चिकनी दुनिया में (In Smooth Worlds): जब रिवॉर्ड पहले से ही अच्छे और चिकने थे, तो पुराना तरीका (DDPG) बहुत अच्छा था, और नया तरीका (Soft DDPG) भी उतना ही अच्छा था, हालांकि यह थोड़ा धीमा था क्योंकि इसे अतिरिक्त औसत निकालने की आवश्यकता थी।
ऊबड़-खाबड़ दुनिया में (In Jagged Worlds): यहीं पर असली जादू हुआ। "ऊबड़-खाबड़" वातावरण में, पुराना तरीका क्रैश हो गया और विफल रहा। नया तरीका (Soft DDPG) फला-फूला। यह स्थिर रहा और सफलतापूर्वक चलना सीख गया क्योंकि यह टूटे हुए ग्रेडिएंट्स से टकराकर गिर नहीं रहा था।

मुख्य निष्कर्ष

पेपर का तर्क है कि यदि आप एक अव्यवस्थित, वास्तविक दुनिया के वातावरण में एक AI को प्रशिक्षित कर रहे हैं जहाँ रिवॉर्ड पूरी तरह से चिकने नहीं हैं (जो कि लगभग हमेशा होता है), तो आपको AI को सीधे ऊबड़-खाबड़ मैप को पढ़ने के लिए मजबूर नहीं करना चाहिए। इसके बजाय, उसे दुनिया का एक "सॉफ्ट" दृश्य दें। मैप को धुंधला करने का यह सरल तरीका AI को सुचारू रूप से और विश्वसनीय रूप से सीखने में मदद करता है, भले ही खेल के नियम ऊबड़-खाबड़ और टूटे हुए हों।

मुख्य बात: आपको ऊबड़-खाबड़ दुनिया को ठीक करने की ज़रूरत नहीं है; आपको बस रोबोट को इसे कोमलता (softly) से देखना सिखाने की ज़रूरत है।

तकनीकी सारांश: गॉसियन स्मूथिंग के साथ सॉफ्ट डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट

समस्या विवरण

डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (DPG) और इसके डीप लर्निंग इंस्टेंशिएशन, डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (DDPG), निरंतर नियंत्रण कार्यों (continuous control tasks) के लिए व्यापक रूप से उपयोग किए जाते हैं। हालाँकि, ये विधियाँ एक महत्वपूर्ण धारणा पर निर्भर करती हैं: एक्शन-वैल्यू फंक्शन (क्रिटिक) को एक्शन के सापेक्ष अवकलनीय (differentiable) होना चाहिए। व्यावहारिक नियंत्रण समस्याओं में, जिनमें स्पार्स (sparse) या डिस्क्रीट रिवॉर्ड्स होते हैं, परिणामी Q-फंक्शन्स अक्सर नॉन-स्मूथ या नॉन-डिफरेंशियल होते हैं। इन स्थितियों में, DPG अपडेट के लिए आवश्यक एक्शन-ग्रेडिएंट्स या तो अपरिभाषित हो जाते हैं या अत्यधिक अस्थिर, जिससे सीखने का प्रदर्शन घट जाता है। लेखक पहचानते हैं कि मानक टेम्पोरल डिफरेंस (TD) लर्निंग स्पष्ट रूप से क्रिटिक के एक्शन-ग्रेडिएंट्स की स्मूथनेस को नियंत्रित नहीं करती है, जिससे DPG उन अनियमित रिवॉर्ड लैंडस्केप्स के प्रति संवेदनशील हो जाता है जो रोबोटिक्स और ऑटोनॉमस ड्राइविंग में आम हैं।

कार्यप्रणाली

यह शोध पत्र सॉफ्ट डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (Soft-DPG) का प्रस्ताव करता है, एक ऐसा फ्रेमवर्क जो मानक बेलमैन बैकअप को गॉसियन स्मूथिंग (GS) के माध्यम से एक $\sigma$ -स्मूद्थेड बेलमैन समीकरण द्वारा प्रतिस्थापित करता है।

मुख्य सैद्धांतिक ढांचा

$\sigma$ -स्मूद्थेड बेलमैन समीकरण: मानक Q-फंक्शन $Q^\pi(s, a)$ सीखने के बजाय, यह विधि एक स्मूद्थेड एक्शन-वैल्यू फंक्शन $Q^\pi_\sigma(s, a)$ सीखती है। इसे एक नए ऑपरेटर $T^\pi_\sigma$ के फिक्स्ड पॉइंट के रूप में परिभाषित किया गया है:
$Q^\pi_\sigma(s, a) = R(s, a) + \gamma \mathbb{E}_{s' \sim P(\cdot|s,a), w \sim \mathcal{N}(0, I)} [Q^\pi_\sigma(s', \pi(s') + \sigma w)]$
महत्वपूर्ण रूप से, स्मूथिंग सीधे बेलमैन बैकअप ऑपरेटर पर लागू की जाती है, यह सुनिश्चित करती है कि परिणामी वैल्यू फंक्शन स्मूद्थेड डायनेमिक्स के अनुरूप हो, न कि केवल सीखे गए क्रिटिक का पोस्ट-हॉक स्मूथिंग हो।
सॉफ्ट-DPG प्रमेय: गॉसियन स्मूथिंग के गुणों का लाभ उठाते हुए, लेखक एक नया पॉलिसी ग्रेडिएंट प्रमेय व्युत्पन्न करते हैं। मानक DPG के विपरीत, जिसे $\nabla_a Q(s, a)$ की आवश्यकता होती है, सॉफ्ट-DPG ग्रेडिएंट केवल विचलित (perturbed) एक्शन्स पर स्मूद्थेड क्रिटिक के फंक्शन इवैल्यूएशन पर निर्भर करता है:
$\nabla_\theta J_\sigma = \mathbb{E}_{s \sim \rho_{\nu_\theta}, \tilde{a} \sim \nu_\theta} \left[ \frac{1}{\sigma^2} \nabla_\theta \pi_\theta(s) (\tilde{a} - \pi_\theta(s)) Q^{\pi_\theta}_\sigma(s, \tilde{a}) \right]$
जहाँ $\tilde{a} = \pi_\theta(s) + \sigma w$ है। यह फॉर्मूलेशन क्रिटिक के एक्शन-ग्रेडिएंट पर स्पष्ट निर्भरता को समाप्त करता है, जिससे यह सुनिश्चित होता है कि ग्रेडिएंट सुव्यवस्थित रहे, भले ही अंतर्निहित Q-फंक्शन नॉन-स्मूथ हो।
सैद्धांतिक गारंटी: शोध पत्र $\sigma$ स्मूथिंग पैरामीटर द्वारा पेश की गई एप्रोक्सिमेशन एरर्स (अनुमान त्रुटियों) पर कठोर सीमाएँ प्रदान करता है। यह स्थापित करता है कि मूल वैल्यू फंक्शन और स्मूद्थेड वर्जन के बीच का अंतर सीमित और नियंत्रणीय है, बशर्ते कि रिवॉर्ड और ट्रांजिशन डायनेमिक्स लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) की शर्तों को पूरा करते हों।

एल्गोरिद्मिक इंस्टेंशिएशन: सॉफ्ट DDPG

लेखक इस फ्रेमवर्क को सॉफ्ट DDPG नामक एक डीप रिइन्फोर्समेंट लर्निंग एल्गोरिदम में लागू करते हैं। यह एल्गोरिदम मानक DDPG आर्किटेक्चर (रीप्ले बफ़र्स और टारगेट नेटवर्क के साथ एक्टर-क्रिटिक) का अनुसरण करता है लेकिन अपडेट नियमों को संशोधित करता है:

क्रिटिक अपडेट: टारगेट वैल्यू की गणना एक गॉसियन-परटर्बड टारगेट एक्शन ( $\tilde{a}' = \bar{\pi}(s') + \sigma w$ ) का उपयोग करके की जाती है, जो प्रभावी रूप से क्रिटिक को स्मूद्थेड बेलमैन ऑपरेटर के फिक्स्ड पॉइंट को अनुमानित करने के लिए प्रशिक्षित करता है।
एक्टर अपडेट: पॉलिसी को गॉसियन-परटर्बड एक्शन्स को सैंपल करके और स्मूद्थेड क्रिटिक का मूल्यांकन करके अपडेट किया जाता है, जिससे $\nabla_a Q$ की गणना से बचा जा सके।

मुख्य योगदान

शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

सॉफ्ट-DPG फ्रेमवर्क: एक सिद्धांत आधारित फ्रेमवर्क का परिचय जो गॉसियन स्मूथिंग को सीधे बेलमैन ऑपरेटर में शामिल करके मानक DPG की डिफरेंशिएबिलिटी सीमाओं को दूर करता है।
सैद्धांतिक विश्लेषण: मूल MDP और स्मूद्थेड MDP के बीच एक्शन-वैल्यू और स्टेट-वैल्यू फंक्शन्स में एप्रोक्सिमेशन एरर्स के विश्लेषणात्मक ऊपरी बाउंड (upper bounds) का व्युत्पत्ति, जो स्मूथिंग पैरामीटर $\sigma$ द्वारा पेश किए गए बायस पर औपचारिक गारंटी प्रदान करता है।
सॉफ्ट DDPG एल्गोरिदम: एक व्यावहारिक डीप RL एल्गोरिदम का कार्यान्वयन जो अनियमित रिवॉर्ड सर्फेस वाले वातावरणों में प्रतिस्पर्धी स्थिरता और प्रदर्शन प्रदर्शित करता है।

प्रयोगात्मक परिणाम

लेखकों ने मानक MuJoCo निरंतर नियंत्रण बेंचमार्क (OpenAI Gym) और उनके डिस्क्रीटाइज्ड-रिवॉर्ड वेरिएंट्स पर Soft DDPG का मूल्यांकन किया।

कंटीन्यूअस रिवॉर्ड एनवायरनमेंट्स: मानक डेंस-रिवॉर्ड सेटिंग्स (जैसे HalfCheetah, Hopper) में, वेनिला DDPG आमतौर पर उच्च प्रदर्शन प्राप्त करता है। लेखक नोट करते हैं कि यह सैद्धांतिक रूप से अपेक्षित है, क्योंकि जब अंतर्निहित वैल्यू फंक्शन पहले से ही स्मूथ होता है तो गॉसियन स्मूथिंग एक एप्रोक्सिमेशन बायस पेश करती है। हालाँकि, Soft DDPG इन सेटिंग्स में भी प्रतिस्पर्धी बना रहता है।
डिस्क्रीट रिवॉर्ड एनवायरनमेंट्स: उन वातावरणों में जहाँ रिवॉर्ड स्पार्स, डिस्क्रीट या नॉन-स्मूथ होते हैं, Soft Distic DDPG, मानक DDPG की तुलना में स्पष्ट और निरंतर लाभ प्रदर्शित करता है। Ant, Hopper, और Inverted Double Pendulum जैसे कार्यों में, डिस्क्रीटाइज्ड रिवॉर्ड्स के साथ, मानक DDPG अपरिभाषित ग्रेडिएंट्स के कारण अस्थिर लर्निंग से जूझता है, जबकि Soft DDPG स्थिर पॉलिसी अपडेट बनाए रखता है और उच्च फाइनल रिटर्न्स प्राप्त करता है।
अतिरिक्त बेंचमार्क: BipedalWalker और MountainCar जैसे वातावरणों में डिस्क्रीट रिवॉर्ड्स के साथ किए गए आगे के प्रयोगों ने पुष्टि की कि Soft DDPG अधिकांश नॉन-स्मूथ परिदृश्यों में बेसलाइन से बेहतर प्रदर्शन करता है।

महत्व और दावे

शोध पत्र का दावा है कि Soft-DPG नॉन-स्मूथ वातावरण में डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट्स की अस्थिरता के लिए एक सिद्धांत आधारित समाधान प्रदान करता है। क्रिटिक एक्शन-ग्रेडिएंट्स पर निर्भरता को हटाकर, यह विधि सुनिश्चित करती है कि पॉलिसी अपडेट सुव्यवस्थित रहें, भले ही Q-फंक्शन नॉन-डिफरेंशियल हो।

लेखक Soft DDPG को अनियमित रिवॉर्ड लैंडस्केप वाले नियंत्रण कार्यों के लिए एक मजबूत विकल्प के रूप में प्रस्तुत करते हैं, जैसे कि रोबोटिक्स और ऑटोनॉमस ड्राइविंग में पाए जाने वाले कार्य जहाँ स्पार्स या डिस्क्रीट रिवॉर्ड्स सामान्य हैं। वे सीमाओं को स्वीकार करते हुए कहते हैं कि यह विधि एक स्मूथिंग पैरामीटर $\sigma$ पेश करती है जिसे ट्यून करने की आवश्यकता होती है और अन्य DDPG-आधारित विधियों की तरह, यह डीप RL सेटिंग में अभिसरण गारंटी (convergence guarantees) के बिना हाइपरपैरामीटर्स के प्रति संवेदनशीलता विरासत में लेती है। यह कार्य यह दावा नहीं करता है कि यह सभी परिदृश्यों में DDPG को प्रतिस्थापित करेगा, बल्कि यह विस्तार करता है कि जहाँ मानक धारणाएँ विफल हो जाती हैं, वहाँ इसकी प्रयोज्यता बढ़ जाती है।