🤖 machine learning

Global Optimality for Constrained Exploration via Penalty Regularization

यह शोध पत्र पॉलिसी ग्रेडिएंट पेनल्टी (PGP) को प्रस्तुत करता है, जो एक सिंगल-लूप पॉलिसी-स्पेस विधि है जो वैश्विक लास्ट-इटरेट अभिसरण (global last-iterate convergence) और संकुचित एंट्रॉपी मैक्सिमाइजेशन के लिए निकट-इष्टतम, लगभग व्यवहार्य समाधान प्राप्त करने हेतु क्वाड्रेटिक-पेनल्टी रेगुलराइजेशन के माध्यम से सामान्य उत्तल ऑक्यूपेंसी-मेजर बाधाओं को लागू करता है, जो उन पूर्व दृष्टिकोणों की सीमाओं को दूर करता है जो केवल कमजोर रिग्रेट या एर्गोडिक औसत की गारंटी देते हैं।

मूल लेखक: Florian Wolf, Ilyas Fatkhullin, Niao He

प्रकाशित 2026-05-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Florian Wolf, Ilyas Fatkhullin, Niao He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक नए, अंधेरे भूलभुलैया (maze) की खोज करना सिखा रहे हैं। आपका लक्ष्य केवल निकास तक जल्दी पहुँचना नहीं है; बल्कि आपका लक्ष्य यह सुनिश्चित करना है कि रोबोट भूलभुलैया के हर एक कोने का दौरा करे ताकि वह लेआउट को पूरी तरह से सीख सके। AI की दुनिया में, इसे "एक्सप्लोरेशन" (exploration) कहा जाता है, और इसे करने का सबसे अच्छा तरीका "एन्ट्रॉपी" (entropy) को अधिकतम करना है—यह एक फैंसी शब्द है जिसका अर्थ है "भ्रम" या "यादृच्छिकता" (randomness)। आप चाहते हैं कि रोबोट जितना संभव हो सके उतना अप्रत्याशित हो ताकि वह कोई भी जगह छोड़ न दे।

हालाँकि, वास्तविक जीवन में सब कुछ मनमानी नहीं हो सकती। रोबोट के कुछ नियम हैं:

सुरक्षा: वह गड्ढों में नहीं गिर सकता।
संसाधन: उसकी बैटरी खत्म नहीं हो सकती।
अनुकरण (Imitation): उसे एक मानव विशेषज्ञ के चलने के तरीके के करीब रहना चाहिए, भले ही वह खोज कर रहा हो।

"पूरी तरह से रैंडम होना" और "सख्त नियमों का पालन करना" को मिलाना एक गणितीय दुःस्वप्न है। पिछली विधियाँ ऐसी थीं जैसे आप रस्सी पर चलते हुए करतब (juggling) दिखाने की कोशिश कर रहे हों: वे अक्सर सुरक्षित और प्रभावी दोनों होने वाला एक एकल, स्थिर समाधान खोजने में विफल रहीं, या वे केवल लंबे समय में औसतन काम करती थीं, न कि उस विशिष्ट रोबोट के लिए जिसे आप अभी तैनात कर रहे हैं।

समाधान: "पेनल्टी" (जुर्माना) दृष्टिकोण

इस शोध पत्र के लेखक एक नई विधि प्रस्तावित करते हैं जिसे पॉलिसी ग्रेडिएंट पेनल्टी (PGP) कहा जाता है। यह कैसे काम करता है, इसके लिए एक सरल उपमा देखें:

कल्पना कीजिए कि आप एक कुत्ते को एक बड़े मैदान में दौड़ने के लिए प्रशिक्षित कर रहे हैं (एन्ट्रॉपी को अधिकतम करना)।

लक्ष्य: कुत्ते को हर जगह दौड़ना चाहिए, घास के हर तिनके को सूंघना चाहिए।
नियम: कुत्ते को बाड़े के अंदर ही रहना चाहिए (सुरक्षा प्रतिबंध)।

पुरानी विधियों ने दो अलग-अलग लीवर का उपयोग करने की कोशिश की: एक कुत्ते को दौड़ने के लिए कहने के लिए, और दूसरा उसे तब पीछे खींचने के लिए जब वह घेरे के बहुत करीब पहुँच जाए। इसके परिणामस्वरूप अक्सर कुत्ता घेरे के पास चक्कर काटता रहता था, और कभी भी एक अच्छे रास्ते पर टिक नहीं पाता था।

PGP विधि एक एकल, चतुर ट्रिक का उपयोग करती है: अदृश्य पेनल्टी (Invisible Penalty)।
एक अलग लीवर के बजाय, शोधकर्ता कुत्ते से एक भारी, अदृश्य बैकपैक (बस्ता) जोड़ देते हैं।

यदि कुत्ता सुरक्षित रूप से घेरे के अंदर रहता है, तो बैकपैक का वजन शून्य होता है।
यदि कुत्ता रेखा से थोड़ा भी बाहर कदम रखता है, तो बैकपắt तुरंत अविश्वसनीय रूप से भारी हो जाता है, जिससे उस दिशा में हिलना दर्दनाक हो जाता है।

इस बात को बदलकर कि जब कुत्ता नियमों को तोड़ता है तो यह "बैकपैक" कितना भारी हो जाता है, कुत्ता स्वाभाविक रूप से पूरे मैदान की खोज करने के लिए दौड़ना सीख जाता है, लेकिन वह स्वाभाविक रूप से घेरे से बचता है क्योंकि वह उस भारी वजन को ढोना नहीं चाहता।

यह शोध पत्र क्यों महत्वपूर्ण है

लेखकों ने केवल एक नया तरीका ही नहीं बनाया; उन्होंने गणितीय रूप से सिद्ध किया कि यह तरीका हमेशा काम करता है और सबसे अच्छा संभव समाधान खोजने में मदद करता है, भले ही समस्या कितनी भी जटिल क्यों न हो।

एक लूप, एक समाधान: पिछली विधियों में अक्सर प्रशिक्षण प्रक्रिया को दो बार चलाने की आवश्यकता होती थी (एक एक्सप्लोर करने के लिए, एक नियमों की जाँच करने के लिए) या हजारों प्रयासों के औसत परिणाम की आवश्यकता होती थी। PGP इसे एक ही सिंगल लूप में करता है। यह अंत में आपको एक विशिष्ट, तैनात करने योग्य रोबोट पॉलिसी देता है जो लगभग पूर्ण होने की गारंटी देता है।
"छिपे हुए" गणित को संभालना: "रैंडम होने" के पीछे का गणित आमतौर पर एक ऊबड़-खाबड़, गैर-चिकनी (non-smooth) पर्वत श्रृंखला जैसा दिखता है जहाँ शिखर को खोजना कठिन होता है। लेखकों ने दिखाया कि अपनी "पेनल्टी बैकपैक" का उपयोग करके, वे इस परिदृश्य को चिकना और अनुमानित बना देते हैं, जिससे रोबोट सीधे सर्वोत्तम समाधान की ओर फिसल सकता है।
वास्तविक दुनिया का प्रमाण: उन्होंने इनका परीक्षण किया:
- एक ग्रिड वर्ल्ड (जैसे फ्रोजन लेक का डिजिटल संस्करण): रोबोट ने गड्ढों में गिरे बिना पूरे मानचित्र की खोज करना सीखा।
- कंटीन्यूअस कंट्रोल (जैसे एक असली रोबोट हाथ या कार्ट-पोल): उन्होंने दिखाया कि रोबोट कार्ट के हिलने की सीमा के सख्त सुरक्षा नियमों का पालन करते हुए, पोल को ऊपर उठाने और संतुलित करने का काम सीख सकता है।

मुख्य निष्कर्ष

यह शोध पत्र AI एजेंटों को जिज्ञासु बनने और सब कुछ खोजने के लिए, सुरक्षा नियमों को तोड़े बिना या व्यवहार को भूले बिना, सिखाने के लिए एक विश्वसनीय, एकल-चरण वाला नुस्खा प्रदान करता है। यह एक अराजक, नियम तोड़ने वाले मलबे को एक स्मार्ट, सुरक्षित और अच्छी तरह से यात्रा किए गए रोबोट के सुचारू, गारंटीकृत मार्ग में बदल देता है।

यहाँ फ्लोरियन वोल्फ, इल्यास फतहुलिन और नियाओ हे के शोध पत्र "Global Optimality for Constrained Exploration via Penalty Regularization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का स्वरूप (Problem Formulation)

यह शोध पत्र सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में प्रतिबंधित अधिकतम-एन्ट्रॉपी अन्वेषण (Constrained Maximum-Entropy Exploration - CME) की चुनौती को संबोधित करता है।

लक्ष्य: वातावरण के विविध अन्वेषण (diverse exploration) को प्रोत्साहित करने के लिए अवस्था-क्रिया अधिभोग माप (state-action occupancy measure) की एन्ट्रॉपी ( $H(\lambda_\pi)$ ) को अधिकतम करना।
प्रतिबंध (Constraints): अन्वेषण को अधिभोग माप पर सामान्य उत्तल (convex) बाधाओं को संतुष्ट करना चाहिए, जैसे कि सुरक्षा सीमाएँ (संचयी लागत), संसाधन बजट, या अनुकरण आवश्यकताएँ (KL डाइवर्जेंस के माध्यम से एक संदर्भ नीति के करीब रहना)।
गणितीय स्वरूप:
$\max_{\theta \in \Theta} H(\lambda_{\pi_\theta}) \quad \text{s.t.} \quad R(\lambda_{\pi_\theta}) \leq 0$
जहाँ $\pi_\theta$ एक पैरामीटराइज्ड नीति (जैसे, सॉफ्टमैक्स) है, और $\lambda_{\pi_\theta}$ प्रेरित अवस्था-क्रिया अधिभोग माप है।
चुनौतियाँ:
1. गैर-उत्तलता (Non-Convexity): जबकि अवस्था-क्रिया स्थान ( $\lambda$ ) में यह समस्या उत्तल है, नीति को पैरामीटराइज करना ( $\theta$ ) उद्देश्य और बाधाओं को गैर-उत्तल बना देता है।
2. योगात्मक संरचना का अभाव (Lack of Additive Structure): एन्ट्रॉपी मैक्सिमाइजेशन में योगात्मक बेलमैन संरचना (additive Bellman structure) का अभाव होता है, जिससे मानक डायनेमिक प्रोग्रामिंग या एक्टर-क्रिटिक विधियाँ अप्रभावी हो जाती हैं।
3. पूर्ववर्ती कार्यों की सीमाएँ: मौजूदा विधियाँ (जैसे, यिंग एट अल., 2025) प्राइमल-डुअल दृष्टिकोणों पर निर्भर करती हैं जो केवल एर्गोडिक औसत (ergodic averages) या कमजोर पछतावा (weak regret) की गारंटी देते हैं। ये यह सुनिश्चित नहीं करते हैं कि अंतिम आउटपुट नीति (अंतिम इटरेशन) व्यवहार्य या इष्टतम है, जो तैनाती (deployment) के लिए महत्वपूर्ण है।

2. कार्यप्रणाली: पॉलिसी ग्रेडिएंट पेनल्टी (Policy Gradient Penalty - PGP)

लेखक पॉलिसी ग्रेडिएंट पेनल्टी (PGP) का प्रस्ताव करते हैं, जो एक सिंगल-लूप, प्राइमल-ओनली एल्गोरिदम है जो सीधे नीति पैरामीटर स्थान में कार्य करता है।

मुख्य तंत्र (Core Mechanism)

डुअल वेरिएबल्स (लैग्रेंज मल्टीप्लायर्स) का उपयोग करने के बजाय, जिन्हें जटिल डुअल अपडेट की आवश्यकता होती है, PGP क्वाड्रेटिक पेनल्टी रेगुलराइजेशन का उपयोग करके प्रतिबंधित समस्या को एक अनियंत्रित समस्या में बदल देता है:
$\min_{\theta \in \Theta} P(\theta) := -H(\lambda_{\pi_\theta}) + \beta [R(\lambda_{\pi_\theta})]_+^2$
जहाँ $[x]_+ = \max(0, x)$ और $\beta$ पेनल्टी पैरामीटर है।

प्रमुख एल्गोरिद्मिक नवाचार

स्यूडो-रिवॉर्ड्स (Pseudo-Rewards): एक प्रमुख नवीनता ग्रेडिएंट की गणना करने के लिए "स्यूडो-रिवॉर्ड्स" का निर्माण है।
- मानक स्टोकेस्टिक पेनल्टी विधियों के लिए बाधा के मान और उसके ग्रेडिएंट के लिए अलग-अलग एस्टिमेटर्स की आवश्यकता होती है, जिससे पक्षपात (bias) उत्पन्न होता है।
- PGP पॉलिसी ग्रेडिएंट थ्योरम का लाभ उठाता है ताकि दंडित उद्देश्य (penalized objective) के ग्रेडिएंट को एक निर्मित स्यूडो-रिवॉर्ड वेक्टर के सापेक्ष एक मानक पॉलिसी ग्रेडिएंट के रूप में पुनर्व्याख्याित किया जा सके।
- विशेष रूप से, $\nabla_\theta [R(\lambda)]_+^2$ का ग्रेडिएंट $\nabla_\theta V^{\pi_\theta}(r_{pseudo})$ के रूप में संगणना किया जाता है, जहाँ $r_{pseudo} = 2[R(\lambda)]_+ \nabla_\lambda R(\lambda)$ ।
- यह बिना किसी सहायक फंक्शन-वैल्यू एस्टिमेटर के, एक सिंगल ट्राजेक्टरी बैच का उपयोग करके दंडित उद्देश्य के पूर्ण ग्रेडिएंट का अनुमान लगाने की अनुमति देता है।
सिंगल-लूप SGD: एल्गोरिदम इन स्यूडो-रिवॉर्ड्स का उपयोग करके दंडित उद्देश्य पर स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) करता है, जिससे नेस्टेड लूप या डुअल अपडेट से बचा जा सकता है जो प्राइमल-डुअल विधियों के विशिष्ट होते हैं।

सैद्धांतिक आधार

विधि हिडन कॉन्वेक्सिटी (Hidden Convexity) की अवधारणा पर आधारित है:

हालांकि $\theta$ में समस्या गैर-उत्तल है, नीति पैरामीटर्स से अधिभोग मापों (occupancy measures) का मानचित्रण इस छिपी हुई उत्तल संरचना को सुरक्षित रखता है।
लेखक सिद्ध करते हैं कि क्वाड्रेटिक पेनल्टी फॉर्मूलेशन इस हिडन कॉन्वेक्सिटी और स्मूथनेस गुणों को बनाए रखता है।
स्ट्रॉन्ग ड्युअलिटी (Strong Duality) की धारणा के तहत (जो स्लेटर की स्थिति से कमजोर है और हिडन कॉन्वेक्स समस्याओं के लिए मान्य है), वे स्थापित करते हैं कि दंडित समस्या का समाधान प्रतिबंधित समाधान की ओर अभिसरित (converge) होता है।

3. प्रमुख योगदान

एल्गोरिदम (PGP): प्रतिबंधित एन्ट्रॉपी मैक्सिमाइजेशन के लिए एक सिंगल-लूप, प्राइमल-ओनली पॉलिसी ग्रेडिएंट विधि का परिचय, जो डुअल वेरिएबल्स के बिना क्वाड्रेटिक पेनल्टी के माध्यम से बाधाओं को लागू करती है।
ग्लोबल लास्ट-इटरेट कन्वर्जेंस: यह सैद्धांतिक प्रमाण कि एल्गोरिदम का लास्ट इटरेट उच्च प्रायिकता के साथ एक $(\epsilon, \epsilon)$ -इष्टतम समाधान (निकट-इष्टतम उद्देश्य और निकट-व्यव्यहार्य बाधाएं) की ओर अभिसरित होता है। यह पूर्ववर्ती एर्गोडिक/कमजोर पछतावा गारंटियों की तुलना में एक महत्वपूर्ण सुधार है।
सैंपल कॉम्प्लेक्सिटी: सामान्य पॉलिसी पैरामीटराइजेशन के लिए स्ट्रॉन्ग ड्युअलिटी के तहत $\tilde{O}(\epsilon^{-6})$ की नॉन-एसिम्प्टोटिक सैंपल कॉम्प्लेक्सिटी की स्थापना। यह इस सेटिंग में प्रतिबंधित अधिकतम-एन्ट्रॉपी अन्वेषण के लिए पहला ऐसा प्रमाण है।
स्यूडो-रिवॉर्ड निर्माण: एक तकनीक जो ग्रेडिएंट्स को पॉलिसी ग्रेडिएंट्स के रूप में पुनर्व्याख्यायित करके स्टोकेस्टिक पेनल्टी विधियों में चेन रूल को संभालने के लिए उपयोग की जाती है, जिससे प्रति इटरेशन कई सैंपलिंग स्टेप्स की आवश्यकता समाप्त हो जाती है।

4. प्रयोगात्मक परिणाम

लेखकों ने डिस्क्रीट और कंटीन्यूअस कंट्रोल कार्यों दोनों पर PGP को सत्यापित किया:

ग्रिड वर्ल्ड (FrozenLake):
- कार्य: "होल" (छेद) अवस्थाओं (सुरक्षा बाधा) से बचते हुए एन्ट्रॉपी को अधिकतम करना।
- तुलना: इसने स्टेट-ऑफ-द-आर्ट प्राइमल-डुअल पॉलिसी ग्रेडिएंट (PDPG) विधि (यिंग एट अल., 2025) को पछाड़ दिया।
- अवलोकन: PDPG बाधा सीमा के आसपास दोलन (oscillations) प्रदर्शित करता था (कमजोर पछतावा व्यवहार), जबकि PGP एक स्थिर नीति की ओर अभिसरित हुआ जो उच्च एन्ट्रॉपी बनाए रखते हुए बाधाओं का कड़ाई से पालन करती है।
- मजबूती (Robustness): PGP ने पेनल्टी पैरामीटर $\beta$ और स्टेप साइज $\eta$ के प्रति मजबूती दिखाई।
कंटीन्यूअस कंट्रोल (PointMass & SafeCartpole):
- PointMass (इमिटेशन): एक संदर्भ SAC नीति के करीब रहते हुए वातावरण का अन्वेषण किया। PGP ने सफलतापूर्वक अन्वेषण और इमिटेशन के बीच संतुलन बनाया, जहाँ नीति संदर्भ से तब विचलित होती है जब बाधा बजट ( $R_{max}$ ) बढ़ता है।
- SafeCartpole: एक चुनौतीपूर्ण स्विंग-अप कार्य जहाँ कार्ट की स्थिति को सुरक्षा सीमाओं के भीतर रहना चाहिए। PGP ने पोल को ऊपर उठाने के लिए "बैंग-बैंग" (bang-bang) नियंत्रण रणनीति सीखी, जो स्थिति संबंधी बाधाओं का कड़ाई से पालन करते हुए उच्च-आयामी निरंतर स्थानों तक स्केलेबल है।

5. महत्व और प्रभाव

सैद्धांतिक सफलता: यह कार्य प्राइमल-डुअल गारंटी के साथ गैर-उत्तल, प्रतिबंधित अन्वेषण समस्याओं के लिए लास्ट-इटरेट कन्वर्जेंस गारंटी प्रदान करके कन्वेक्स ऑप्टिमाइज़ेशन थ्योरी और व्यावहारिक RL के बीच के अंतर को पाटता है। पिछली विधियाँ यह गारंटी नहीं दे सकती थीं कि अंतिम तैनात नीति सुरक्षित या इष्टतम होगी।
व्यावहारिक प्रयोज्यता: PGP की सिंगल-लूप प्रकृति इसे कम्प्यूटेशनल रूप से कुशल बनाती है और इसे प्राइमल-डुअल विधियों की तुलना में लागू करना आसान बनाती है, जो अक्सर डुअल वेरिएबल्स के साथ ट्यूनिंग की कठिनाइयों से जूझती हैं।
सामान्यीकरण (Generalizability): यह ढांचा RL से परे सामान्य हिडन-कॉन्वेक्स कंट्रेंड ऑप्टिमाइज़ेशन समस्याओं तक विस्तृत है, जो सुरक्षा-महत्वपूर्ण अन्वेषण, इमिटेशन लर्निंग और संसाधन-बाधित कार्यों के लिए एक एकीकृत दृष्टिकोण प्रदान करता है।
वास्तविक दुनिया की जरूरतों को संबोधित करना: कठोर गारंटियों के साथ सामान्य उत्तल बाधाओं (सुरक्षा, लागत, इमिटेशन) को संभालकर, यह विधि उन परिदृश्यों में RL एजेंटों को तैनात करने की एक महत्वपूर्ण बाधा को दूर करती है जहाँ सुरक्षा और व्यवहार्यता गैर-परक्राम्य (non-negotiable) है।

संक्षेप में, यह शोध पत्र प्रतिबंधित अन्वेषण के लिए एक कठोर, स्केलेबल और सैद्धांतिक रूप से सुदृढ़ समाधान प्रस्तुत करता है, जो कमजोर कन्वर्जेंस गारंटियों वाले ह्यूरिस्टिक दृष्टिकोणों से आगे बढ़कर वैश्विक इष्टतमता (global optimality) के आश्वासन के साथ एक तैनात करने योग्य एल्गोरिदम प्रदान करता है।