🤖 machine learning

Distributions as Actions: A Unified Framework for Diverse Action Spaces

यह शोधपत्र एक एकीकृत सुदृढीकरण शिक्षण (reinforcement learning) ढांचे को प्रस्तुत करता है जो निरंतर क्रिया स्थान (continuous action space) बनाने के लिए क्रियाओं को पैरामीटराइज्ड वितरणों के रूप में पुनरपरिभाषित करता है, जिससे एक निम्न-विचरण ग्रेडिएंट अनुमानक (low-variance gradient estimator) और एक प्रभावी एक्टर-क्रिटिक एल्गोरिदम (DA-AC) सक्षम होता है जो डिस्क्रीट, निरंतर और हाइब्रिड नियंत्रण कार्यों में प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।

मूल लेखक: Jiamin He, A. Rupam Mahmood, Martha White

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiamin He, A. Rupam Mahmood, Martha White

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं। रीइन्फोर्समेंट लर्निंग (RL) की दुनिया में, रोबोट "एजेंट" है, और गेम की दुनिया "एनवायरनमेंट" (वातावरण) है। हर बार जब रोबोट कोई चाल चलता है, तो उसे इनाम (पॉइंट्स) या दंड (पेनल्टी) मिलता है। लक्ष्य सबसे अधिक पॉइंट्स पाने के लिए बेहतरीन चालें सीखना है।

आमतौर पर, हम इन रोबोट्स को सिखाने का तरीका पूरी तरह से इस बात पर निर्भर करता है कि वे किस तरह की चालें चल सकते हैं:

यदि गेम में डिस्क्रीट (discrete) चालें हैं (जैसे "बाएं," "दाएं," या "कूदना" बटन दबाना), तो हम एक विशेष प्रकार के गणित का उपयोग करते हैं।
यदि गेम में कंटीन्यूअस (continuous) चालें हैं (जैसे अनंत सटीकता के साथ कार को स्टीयर करना), तो हम एक अलग प्रकार के गणित का उपयोग करते हैं।
यदि इसमें दोनों का मिश्रण (mix) है, तो हमें उस विशिष्ट गेम के लिए एक जटिल, कस्टम समाधान बनाना पड़ता है।

यह पेपर एक नया सोचने का तरीका पेश करता है जिसे "डिस्ट्रीब्यूशन्स एज़ एक्शन्स" (Distributions as Actions) कहा जाता है। यह एक सार्वभौमिक अनुवादक (universal translator) खोजने जैसा है जो हमें सभी प्रकार के गेम्स के लिए एक ही सरल गणित का उपयोग करने की अनुमति देता है, चाहे वे डिस्क्रीट हों, कंटीन्यूअस हों, या दोनों का मिश्रण हों।

यह कैसे काम करता है, इसके लिए रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. बड़ा बदलाव: "हैंडशेक" को बदलना

पुराने तरीके (क्लासिकल RL) में, रोबोट तय करता है कि उसे क्या करना है।

उदाहरण: कल्पना कीजिए कि एक शेफ (रोबोट) वेटर (एनवायरनमेंट) को ठीक-ठीक बताता है कि क्या परोसना है: "मेरे लिए लाल सूप लाओ।" वेटर बस उसे ले आता है।

इस नए फ्रेमवर्क (Distributions as Actions) में, रोबकी अब सटीक चाल तय नहीं करता। इसके बजाय, वह चाल की रेसिपी तय करता है।

उदाहरण: अब शेफ वेटर को बताता है: "मेरे लिए ऐसा सूप लाओ जो 70% लाल और 30% नीला हो।" वेटर फिर उन निर्देशों के आधार पर रैंडमली एक कटोरा चुन लेता है।
जादू: भले ही अंतिम सूप "लाल" या "नीला" (डिस्क्रीट) हो, शेफ का निर्देश ("70/30") एक स्मूथ, कंटीन्यूअस नंबर है। यह हमें हर समस्या को एक स्मूथ, कंटीन्यूअस समस्या के रूप में मानने की अनुमति देता है, भले ही वास्तविक चालें ऊबड़-खाबड़ या डिस्क्रीट हों।

2. नया ग्रेडिएंट: सुगम सड़कें

सीखने के लिए, रोबोट को यह जानने की आवश्यकता होती है कि अपने "रेसिपी" को बेहतर स्कोर पाने के लिए किस दिशा में थोड़ा सा बदलना है। इसे "ग्रेडिएंट" कहा जाता है।

समस्या: पुराने तरीके में, यदि रोबोट डिस्क्रीट चालों का अनुमान लगा रहा है, तो गणित बहुत "नॉइजी" (जैसे ऊबड़-खाबड़ कच्ची सड़क पर गाड़ी चलाना) होता है। रोबोट बड़े, अस्थिर कदम उठाता है और धीरे सीखता है।
समाधान (DA-PG): क्योंकि रोबोट अब विशिष्ट चालों का अनुमान लगाने के बजाय स्मूथ नंबर्स (रेसिपी प्रतिशत) को एडजस्ट कर रहा है, इसलिए गणित बहुत अधिक स्मूथ (जैसे पक्की हाईवे पर गाड़ी चलाना) हो जाता है।
परिणाम: रोबोट तेजी से और अधिक स्थिरता के साथ सीखता है क्योंकि जिस "सड़क" पर वह यात्रा करता है, उसमें कम उतार-चढ़ाव होते हैं। यह पेपर गणितीय रूप से सिद्ध करता है कि इस नए तरीके में पुराने तरीकों की तुलना में कम "शोर" (वेरिएंस) है।

3. क्रिटिक की दुविधा: जज को एक नक्शा चाहिए

इन सिस्टम्स में, एक "क्रिटिक" (जज) होता है जो रोबोट को बताता है कि उसकी चाल कितनी अच्छी थी।

चुनौती: चूंकि रोबोट अब केवल चालें नहीं बल्कि "रेसिपी" (डिस्ट्रीब्यूशन) दे रहा है, इसलिए जज को एक साथ संभावनाओं की एक पूरी रेंज का मूल्यांकन करना पड़ता है। यह जज के लिए सीखना कठिन बना देता है। यह एक ऐसे जज की तरह है जिसे पहले एक निबंध को ग्रेड करना होता था, लेकिन अब उसे पूरे पुस्तकालय की संभावित निबंधों को ग्रेड करना है।
समाधान (ICL): लेखकों ने इंटरपोलेटेड क्रिटिक लर्निंग (Interpolated Critic Learning) नामक एक ट्रिक बनाई है।
- उदाहरण: कल्पना कीजिए कि जज एक बेहतरीन रेसिपी सीखने की कोशिश कर रहा है। केवल उस सटीक रेसिपी को देखने के बजाय जिसका रोबोट ने उपयोग किया था, जज "बीच की" रेसिपी भी देखता है। यदि रोबोट ने "70/30" का मिश्रण इस्तेमाल किया, तो जज "60/40" और "80/20" का मिश्रण भी चेक करता है।
- यह कैसे मदद करता है: यह जज को केवल विशिष्ट बिंदुओं को ही नहीं, बल्कि पूरे परिदृश्य के आकार (shape) को सीखने के लिए मजबूर करता है। इससे जज को यह समझने में मदद मिलती है कि "80/20 की ओर थोड़ा बढ़ना बेहतर हो सकता है," जिससे रोबोट को सुधार करने के लिए एक स्पष्ट नक्शा मिलता है।

4. परिणाम: एक एल्गोरिदम जो सब पर राज करे

लेखकों ने इन विचारों का उपयोग करके एक रोबोट एल्गोरिदम बनाया जिसे DA-AC (Distributions-as-Actions Actor-Critic) कहा जाता है। उन्होंने इसे तीन बहुत अलग दुनियाओं में टेस्ट किया:

कंटीन्यूअस (Continuous): जैसे अनंत सटीकता के साथ एक रोबोटिक हाथ को नियंत्रित करना।
डिस्क्रीट (Discrete): जैसे केवल "ऊपर, नीचे, बाएं, दाएं" वाले गेम खेलना।
हाइब्रिड (Hybrid): जैसे एक गेम जहाँ आप एक हथियार चुनते हैं (डिस्क्रीट) और फिर निशाना साधते हैं (कंटीन्यूअस)।

दावा: इन सभी अलग-अलग दुनियाओं में, DA-AC ने उन विशिष्ट एल्गोरिदम के समान या उनसे बेहतर प्रदर्शन किया जो पहले केवल उन विशिष्ट दुनियाओं के लिए डिज़ाइन किए गए थे।

सारांश

यह पेपर तर्क देता है कि एजेंट और एनवायरनमेंट के बीच की सीमा को फिर से परिभाषित करके—यानी किसी चाल की प्रोबेबिलिटी सेटिंग्स को ही चाल मानकर—हम रीइन्फोर्समेंट लर्निंग को एकीकृत (unify) कर सकते हैं।

पुराना तरीका: अलग-अलग कामों के लिए अलग-अलग औजार (कील के लिए हथौड़ा, पेच के लिए स्क्रूड्राइवर)।
नया तरीका: एक यूनिवर्सल मल्टी-टूल जो कील, पेच और बोल्ट सभी पर समान रूप से काम करता है, क्योंकि यह काम को आसान बनाने के लिए वस्तु के साथ बातचीत करने का तरीका बदल देता है।

लेखक दिखाते हैं कि यह "यूनिवर्सल मल्टी-टूल" (DA-AC) केवल एक सैद्धांतिक विचार नहीं है; यह वास्तव में कई जटिल कार्यों में बेहतर काम करता है।

तकनीकी सारांश: क्रियाओं के रूप में वितरण: विविध एक्शन स्पेस के लिए एक एकीकृत ढांचा

समस्या विवरण

सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एल्गोरिदम पारंपरिक रूप से विशिष्ट एक्शन स्पेस संरचनाओं के लिए उनकी उपयुक्तता के आधार पर वर्गीकृत किए जाते हैं। वैल्यू-आधारित विधियाँ (जैसे DQN) एक्शन मानों की गणना करके डिस्क्रीट (discrete) स्पेस में उत्कृष्ट प्रदर्शन करती हैं, जबकि पॉलिसी-आधारित विधियाँ (जैसे DPG, SAC) निरंतर (continuous) स्पेस के लिए डिज़ाइन की गई हैं, जो एक्शन-वैल्यू फंक्शन की अवकलनीयता (differentiability) का लाभ उठाती हैं। हालाँकि, वर्तमान एल्गोरिदम अभी भी एक्शन स्पेस की विशिष्ट संरचना से मजबूती से जुड़े हुए हैं। ऐसे एकीकृत एल्गोरिदम डिजाइन करना जो डिस्क्रीट, निरंतर और हाइब्रिड एक्शन स्पेस में सामान्यीकरण (generalize) कर सकें, कठिन है क्योंकि प्रत्येक डोमेन के लिए अलग-अलग ग्रेडिएंट अनुमानक (gradient estimators) और आर्किटेक्चर की आवश्यकता होती है। इसके अलावा, स्टोकेस्टिक पॉलिसियों के लिए मौजूदा पॉलिसी ग्रेडिएंट अनुमानक, जैसे कि लाइकलीहुड-रेशियो (LR) और रीपैरामीट्राइजेशन (RP) विधियाँ, विशेष रूप से डिस्क्रीट सेटिंग्स में उच्च विचरण (high variance) से ग्रस्त होती हैं या बायस (bias) उत्पन्न करती हैं।

कार्यप्रणाली

डिस्ट्रीब्यूशन-एज़-एक्शन (DA) फ्रेमवर्क

यह शोध पत्र एक नवीन सूत्रीकरण पेश करता है जो एजेंट और वातावरण के बीच की सीमा को पुनर्व्याख्यायित करता है। शास्त्रीय RL फ्रेमवर्क में, एजेंट की पॉलिसी $\pi_\theta$ एक एक्शन (या वितरण पैरामीटर) आउटपुट करती है और आंतरिक रूप से एक्शन को सैंपल करती है। प्रस्तावित डिस्ट्रीब्यूशन-एज़-एक्शन (DA) फ्रेमवर्क में:

एजेंट डिस्ट्रीब्यूशन पैरामीटर्स $\bar{\pi}_\theta(s)$ (जैसे गाऊसीयन के लिए माध्य और विचरण, कैटेगोरिकल के लिए प्रोबेबिलिटी वेक्टर्स) को अपने एक्शन के रूप में आउटपुट करता है।
सैंपलिंग प्रक्रिया $A \sim f(\cdot|\bar{\pi}_\theta(s))$ को वातावरण के स्टोकेस्टिक ट्रांजिशन फंक्शन के हिस्से के रूप में माना जाता है।

यह रूपांतरण मूल एक्शन स्पेस $\mathcal{A}$ (जो डिस्क्रीट, निरंतर या हाइब्रिड हो सकता है) को एक निरंतर डिस्ट्रीब्यूशन पैरामीटर स्पेस $\mathcal{U}$ में बदल देता है। फलस्वरूप, एजेंट एक नए मार्कोव डिसीजन प्रोसेस (DA-MDP) के भीतर कार्य करता है, जिसका एक्शन स्पेस $\mathcal{U}$ निरंतर है, चाहे मूल $\mathcal{A}$ की प्रकृति कुछ भी हो।

डिस्ट्रीब्यूशन-एज़-एक्शन पॉलिसी ग्रेडिएंट (DA-PG)

DA-MDP पर आधारित, लेखक DA-PG अनुमानक प्राप्त करते हैं। निरंतर पैरामीटर स्पेस $\mathcal{U}$ पर डिटर्मिनिस्टिक पॉलिसी ग्रेडिएंट (DPG) प्रमेय लागू करके, वे एक ग्रेडिएंट अनुमानक प्राप्त करते हैं:
$\hat{\nabla}_\theta \hat{J}(\bar{\pi}_\theta; S_t) = \nabla_\theta \bar{\pi}_\theta(S_t)^\top \nabla_U \bar{Q}_w(S_t, U)|_{U=\bar{\pi}_\theta(S_t)}$
जहाँ $\bar{Q}_w$ , उन पैरामीटर्स $U$ द्वारा परिभाषित एक्शन डिस्ट्रीब्यूशन पर अपेक्षित रिटर्न का अनुमान लगाने वाला एक क्रिटिक है।

सैद्धांतिक गुण:

विचरण में कमी (Variance Reduction): शोध पत्र सिद्ध करता है कि DA-PG, LR और RP अनुमानकों दोनों का कंडीशनल एक्सपेक्टेशन है। कुल विचरण के नियम (law of total variance) के अनुसार, यह मूल अनुमानकों की तुलना में कड़ाई से कम विचरण प्रदान करता है, बशर्ते कि एक्शन-कंडीशन्ड या नॉइज़-इंड्यूस्ड विचरण गैर-शून्य हो।
एकीकरण (Unification): जब डिस्ट्रीब्यूशन एक डिराक डेल्टा (Dirac delta) होता है, तो DA-PG बिल्कुल मानक DPG अनुमानक में बदल जाता है, जो इसे एक सख्त सामान्यीकरण (strict generalization) के रूप में स्थापित करता है।

इंटरपोलेटेड क्रिटिक लर्निंग (ICL)

DA फ्रेमवर्क में एक चुनौती यह है कि क्रिटिक $\bar{Q}_w$ को उच्च-आयामी इनपुट स्पेस (डिस्ट्रीब्यूशन पैरामीटर्स) पर सीखना होता है, जो कठिन हो सकता है और यदि क्रिटिक सटीक नहीं है तो बायस बढ़ा सकता है। इसे संबोधित करने के लिए, लेखक इंटरपोलेटेड क्रिटिक लर्निंग (ICL) का प्रस्ताव करते हैं।

तंत्र (Mechanism): केवल देखे गए डिस्ट्रीब्यूशन पैरामीटर्स $U_t$ पर क्रिटिक को अपडेट करने के बजाय, ICL देखे गए एक्शन $A_t$ का उपयोग यह निष्कर्ष निकालने के लिए करता है कि ट्रांजिशन अन्य डिस्ट्रीब्यूशन पैरामीटर्स द्वारा उत्पन्न किया जा सकता था।
कार्यान्वयन (Implementation): क्रिटिक को एक इंटरपोलेटेड पॉइंट $\hat{U}_t = \omega_t U_t + (1-\omega_t) U_{A_t}$ पर अपडेट किया जाता है, जहाँ $U_{A_t}$ देखे गए एक्शन $A_t$ के अनुरूप डिटर्मिनिस्टिक पैरामीटर्स का प्रतिनिधित्व करता है, और $\omega_t \sim \text{Uniform}[0, 1]$ है।
लक्ष्य: यह क्रिटिक को एक स्मूथ वैल्यू लैंडस्केप और सूचनात्मक कर्वेचर (informative curvature) सीखने के लिए प्रोत्साहित करता है, जिससे पैरामीटर स्पेस में बेहतर पॉलिसी ऑप्टिमाइजेशन सुलभ होता है।

DA-AC एल्गोरिदम

लेखक TD3 आर्किटेक्चर पर आधारित एक व्यावहारिक डीप RL एल्गोरिदम, डिस्ट्रीब्यूशन-एज़-एक्शन एक्टर-क्रिटिक (DA-AC) को लागू करते हैं। DA-AC एक्टर के लिए DA-PG अनुमानक और क्रिटिक के लिए ICL अपडेट को शामिल करता है, जिससे एक एकल एल्गोरिदम विविध एक्शन स्पेस को संभालने में सक्षम होता है।

मुख्य योगदान

एकीकृत ढांचा (Unified Framework): RL समस्या का एक रीपैरामीट्राइजेशन जो डिस्ट्रीब्यूशन पैरामीटर्स को क्रियाओं के रूप में मानता है, जिससे डिस्क्रीट, निरंतर और हाइब्रिड कंट्रोल को एक ही निरंतर-एक्शन एल्गोरिदम के तहत एकीकृत किया जाता है।
DA-PG अनुमानक: एक सामान्यीकृत पॉलिसी ग्रेडिएंट अनुमानक जिसमें मानक LR और RP अनुमानकों की तुलना में सैद्धांतिक रूप से कम विचरण है, और जो किसी भी प्रकार के एक्शन स्पेस के लिए लागू किया जा सकता है।
ICL रणनीति: इंटरपोलेशन के माध्यम से ऑफ-डिस्ट्रीब्यूशन अपडेट्स का लाभ उठाकर DA फ्रेमवर्क में प्रभावी क्रिटिक लर्निंग में सुधार करने के लिए एक सरल लेकिन प्रभावी तकनीक।
अनुभवजन्य सत्यापन (Empirical Validation): एक व्यापक मूल्यांकन जो दिखाता है कि DA-AC निरंतर, डिस्क्रीट और हाइब्रिड कंट्रोल बेंचमार्क पर विशेषज्ञ बेसलाइनों की तुलना में प्रतिस्पर्धी या बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

शोध पत्र चार अलग-अलग सेटिंग्स में DA-AC का मूल्यांकन करता है:

निरंतर नियंत्रण (Continuous Control): MuJoCo और DeepMind Control Suite कार्यों पर, DA-AC प्रतिस्पर्धी प्रदर्शन करता है, और अक्सर TD3 और अन्य बेसलाइनों से बेहतर प्रदर्शन करता है, विशेष रूप से उच्च-आयामी वातावरणों में।
डिस्क्रीट नियंत्रण (Discrete Control): Gym क्लासिक कंट्रोल और MinAtar वातावरणों पर, DA-AC, DQN और अन्य मजबूत डिस्क्रीट बेसलाइनों के समान प्रदर्शन करता है।
उच्च-आयामी डिस्क्रीट नियंत्रण (High-Dimensional Discrete Control): निरंतर नियंत्रण कार्यों के डिस्क्रीट संस्करणों (जैसे Humanoid-v4 जिसमें 17 आयामों को 7 बिन्स में विभाजित किया गया है) में, DA-AC ST-AC, LR-AC और PPO जैसे बेसलाइनों की तुलना में काफी बेहतर प्रदर्शन करता है, जहाँ अन्य विधियाँ कॉम्बिनेटोरियल विस्फोट (combinatorial explosion) या उच्च विचरण के कारण संघर्ष करती हैं।
हाइब्रिड नियंत्रण (Hybrid Control): पैरामीटराइज्ड एक्शन MDPs (PAMDPs) पर, DA-AC विशेषज्ञ एल्गोरिदम जैसे PATD3 और PDQN के मुकाबले प्रतिस्पर्धी परिणाम प्राप्त करता है।

एब्लेशन अध्ययन (Ablation Studies):
बैंडिट सेटिंग्स और हाई-डायमेंशनल डिस्क्रीट कंट्रोल में प्रयोग दर्शाते हैं कि ICL को हटाने (DA-AC w/o ICL) से प्रदर्शन में काफी गिरावट आती है, जो पुष्टि करता है कि DA फ्रेमवर्क में एक प्रभावी क्रिटिक सीखने के लिए ICL अत्यंत महत्वपूर्ण है।

महत्व और दावे

शोध पत्र का दावा है कि डिस्ट्रीब्यूशन-एज़-एक्शन फ्रेमवर्क RL समस्या को उसके एक्शन स्पेस की विशिष्ट संरचना से अलग करने का एक सिद्धांतवादी तरीका प्रदान करता है। एजेंट-वातावरण सीमा को बदलकर, यह डिस्क्रीट और हाइब्रिड समस्याओं के लिए लो-वैरिएंस, डिटर्मिनिस्टिक-शैली के ग्रेडिएंट मेथड्स के अनुप्रयोग की अनुमति देता है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण:

डिस्क्रीट डिस्ट्रीबशंस के लिए पहला अनबायस्ड, लो-वैरिएंस रीपैरामीट्राइजेशन-स्टाइल अनुमानक प्रदान करता है।
एक एकल एल्गोरिथमिक फ्रेमवर्क (DA-AC) को डोमेन-विशिष्ट आर्किटेक्चरल बदलावों की आवश्यकता के बिना विविध नियंत्रण सेटिंग्स को संभालने में सक्षम बनाता है।
यह प्रदर्शित करता है कि सैंपलिंग को वातावरण के हिस्से के रूप में मानना लर्निंग को सरल बना सकता है और नए एल्गोरिथमिक दृष्टिकोण खोल सकता है, विशेष रूप से जटिल हाइब्रिड एक्शन स्पेस के लिए।

यह कार्य सुझाव देता है कि भविष्य के अनुसंधान इस ढांचे को मॉडल-बेस्ड मेथड्स, पदानुक्रमित नियंत्रण (hierarchical control) और उन्नत क्रिटिक लर्निंग रणनीतियों तक विस्तारित कर सकते हैं, लेकिन वर्तमान योगदान DA-AC एल्गोरिदम के माध्यम से ढांचे की व्यवहार्यता और इसकी अनुभवजन्य सफलता को स्थापित करने पर केंद्रित है।