🤖 machine learning

Sparse Gaussian-Mixture-Model Q-Functions via Hadamard Overparametrization for Online Reinforcement Learning

यह शोध पत्र एक ऑनलाइन, ऑफ-पॉलिसी सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) ढांचे को प्रस्तुत करता है जो स्पार्स (sparse), व्याख्या योग्य गॉसियन-मिश्रण-मॉडल (Gaussian-mixture-model) Q-फंक्शन्स प्राप्त करने के लिए हेडामार्ड ओवरपैरामीट्राइजेशन (Hadamard overparametrization) का उपयोग करता है, जिससे कुशल रीमानियन अनुकूलन (Riemannian optimization) सक्षम होता है जो डीप आरएल (deep RL) विधियों की तुलना में बेहतर पैरामीटर दक्षता और सामान्यीकरण प्राप्त करता है।

मूल लेखक: Minh Vu, Konstantinos Slavakis

प्रकाशित 2026-07-28

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minh Vu, Konstantinos Slavakis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए एक ऐसी दुनिया की जहाँ एक रोबोट केवल एक कठोर निर्देश पुस्तिका का पालन नहीं करता, बल्कि एक बच्चे के साइकिल चलाना सीखने की तरह, करके सीखता है। यह रीइन्फोर्समेंट लर्निंग (RL) का क्षेत्र है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ एक एजेंट अपने वातावरण के साथ अंतःक्रिया करता है, विभिन्न क्रियाएं आज़माता है, और उसे मिलने वाले पुरस्कारों या दंडों से सीखता है। लक्ष्य समय के साथ खुशी (या अंक) को अधिकतम करने के लिए सबसे अच्छी संभव रणनीति का पता लगाना है। इसे करने के लिए, एजेंट को हर स्थिति में हर संभावित चाल कितनी अच्छी है, इसका एक "मानचित्र" (map) चाहिए। AI की दुनिया में, इस मानचित्र को Q-फंक्शन कहा जाता है।

लंबे समय तक, इन मानचित्रों को बनाना कठिन था। यदि दुनिया सरल है, तो आप हर एक संभावना को एक विशाल सूची में लिख सकते हैं। लेकिन यदि दुनिया जटिल और निरंतर है—जैसे जंगल में उड़ता हुआ ड्रोन या हाईवे पर चलती हुई कार—तो वह सूची असंभव रूप से बड़ी हो जाती है। इसलिए, वैज्ञानिकों ने इस मानचित्र का अनुमान लगाने के लिए डीप न्यूरल नेटवर्क नामक "ब्लैक बॉक्स" उपकरणों का उपयोग करना शुरू किया। ये शक्तिशाली हैं, लेकिन ये भारी, कंप्यूटर शक्ति के भूखे और समझने में कठिन हैं; आप आसानी से यह नहीं देख सकते कि नेटवर्क ने एक निश्चित चाल को क्यों अच्छा माना। दूसरी ओर, सरल और पारदर्शी मॉडल भी हैं, लेकिन वे अक्सर वास्तविक समय की सीखने की गति और अराजकता के साथ तालमेल बिठाने में संघर्ष करते हैं। बड़ा सवाल यह है: क्या हम एक ऐसा सीखने वाला एजेंट बना सकते हैं जो बुद्धि से समझौता किए बिना तेज़, हल्का और समझने में आसान हो?

यह शोध पत्र इन सीखने वाले मानचित्रों को बनाने का एक चतुर नया तरीका पेश करता है, जिसे स्पार्स गॉसियन-मिक्सचर-मॉडल Q-फंक्शन्स (S-GMM-QFs) कहा जाता है। एजेंट के दिमाग को "विशेषज्ञों" (experts) के एक संग्रह के रूप में सोचें, जहाँ प्रत्येक विशेषज्ञ एक सरल, घंटी के आकार का वक्र (गॉसियन) है जो दुनिया के एक विशिष्ट हिस्से को संभालना जानता है। एजेंट को पहले से विशेषज्ञों की एक निश्चित संख्या चुनने के लिए मजबूर करने के बजाय, लेखक उसे 500 संभावित विशेषज्ञों का एक विशाल पूल और हैडामार्ड ओवरपैरामीट्राइजेशन नामक एक विशेष "जादुई इरेज़र" देते हैं। जैसे-जैसे एजेंट सीखता है, यह जादुगर स्वचालित रूप से उन विशेषज्ञों को मिटा देता है जो उपयोगी नहीं हैं, जिससे केवल वही बचते हैं जो वास्तव में मायने रखते हैं।

परिणामस्वरूप, यह एक ऐसा मॉडल है जो एक विशाल, लचीले मस्तिष्क के साथ शुरू होता है और जल्दी ही खुद को एक लीन और कुशल मस्तिष्क में बदल लेता है। लेखकों ने चंद्रमा पर अंतरिक्ष यान उतारने और पाइपों के बीच से पक्षी उड़ाने जैसी वीडियो-गेम शैली की चुनौतियों पर इसका परीक्षण किया। उन्होंने पाया कि यह नया तरीका भारी "ब्लैक बॉक्स" डीप लर्निंग मॉडल की तुलना में उतना ही तेज़ या उससे भी तेज़ सीखता है, लेकिन यह कंप्यूटर शक्ति के एक बहुत छोटे अंश का उपयोग करता है। सबसे अच्छी बात यह है कि क्योंकि बचे हुए विशेषज्ञ सरल आकृतियाँ हैं जिनके स्पष्ट स्थान और आकार हैं, हम वास्तवв में मॉडल को देख सकते हैं और समझ सकते हैं कि उसका ध्यान कहाँ केंद्रित है। यह एक रहस्यमय, समझाने में कठिन सुपरकंप्यूटर को पारदर्शी मार्गदर्शकों की एक टीम से बदलने जैसा है जिनसे आप वास्तव में बात कर सकते हैं।

मूल विचार: विशेषज्ञों का एक बगीचा

यह समझने के लिए कि यह कैसे काम करता है, आइए कल्पना करें कि एजेंट एक नया वीडियो गेम सीखने की कोशिश कर रहा है। अतीत में, वैज्ञानिकों ने दो मुख्य दृष्टिकोणों का उपयोग करने का प्रयास किया था। पहला यह था कि एक विशाल, सघन न्यूरल नेटवर्क का उपयोग किया जाए—लाखों कनेक्शनों वाला एक "ब्लकी बॉक्स"। यह एक समस्या को हल करने के लिए सैनिकों की एक विशाल, गुमनाम सेना को काम पर रखने जैसा है। यह काम करता है, लेकिन यह महंगा है, अपडेट करने में धीमा है, और आपको पता नहीं होता कि कौन सा सैनिक वास्तव में भारी काम कर रहा है। दूसरा दृष्टिकोण एक निश्चित, छोटे हिस्सों वाले सरल मॉडल का उपयोग करना था। यह एक छोटी, विशिष्ट टीम को काम पर रखने जैसा है। यह तेज़ और सस्ता है, लेकिन यदि टीम बहुत छोटी है, तो वे खेल के महत्वपूर्ण विवरणों को मिस कर सकते हैं।

इस शोध पत्र के लेखकों ने एक तीसरा रास्ता अपनाने का निर्णय लिया: बड़ी शुरुआत करें, फिर स्मार्ट बनें।

उन्होंने एक ऐसा मॉडल बनाया जो 500 "गॉसियन विशेषज्ञों" के एक विशाल पूल के साथ शुरू होता है। प्रत्येक विशेषज्ञ एक सरल गणितीय आकृति (घंटी का वक्र) है जो खेल की दुनिया के एक विशिष्ट क्षेत्र का प्रतिनिधित्व करता है। उदाहरण के लिए, एक विशेषज्ञ जान सकता है कि "स्क्रीन के बाएं हिस्से" को कैसे संभालना है, जबकि दूसरा जान सकता है कि "तेजी से गिरना" कैसे है। शुरुआत में, मॉडल में सभी 500 विशेषज्ञ सक्रिय होते हैं, जो मदद के लिए तैयार रहते हैं।

यहीं पर जादू होता है। लेखकों ने हैडामार्ड ओवरपैरामीट्राइजेशन नामक तकनीक का उपयोग किया। सरल शब्दों में, प्रत्येक विशेषज्ञ को एक एकल "महत्व स्कोर" देने के बजाय, उन्होंने उस स्कोर को तीन छोटे नंबरों के गुणनफल में तोड़ दिया। कल्पना कीजिए कि प्रत्येक विशेषज्ञ का महत्व तीन अलग-अलग न्यायाधीशों के वोट का परिणाम है। यदि उनमें से कोई भी न्यायाधीश "शून्य" का वोट देता है, तो विशेषज्ञ का कुल महत्व शून्य हो जाता है।

जैसे-जैसे एजेंट अपने अनुभवों (जैसे चंद्रमा पर उतरना या पाइप से टकराना) से सीखता है, वह इन न्यायाधीशों के वोटों को समायोजित करता है। "जादू" यह है कि यह सेटअप स्वाभाविक रूप से बेकार विशेषज्ञों के वोटों को शून्य की ओर धकेलता है। यह एक ऐसे बगीचे की तरह है जहाँ आप 500 बीज बोते हैं। जैसे-जैसे मौसम बदलता है (एजेंट सीखता है), जो पौधे मिट्टी के अनुकूल नहीं होते वे स्वाभाविक रूप से मुरझा जाते हैं, जिससे केवल सबसे मजबूत, प्रासंगिक पौधे ही बचते हैं। मॉडल को यह ज़रूरत नहीं है कि कोई इंसान आए और मैन्युअल रूप से कमजोर शाखाओं को काटे; सीखने की प्रक्रिया स्वयं ही इसकी छंटाई करती है।

यह क्यों मायने रखता है: गति, बुद्धिमत्ता और स्पष्टता

शोध पत्र ने इस विचार का परीक्षण दो प्रसिद्ध चुनौतियों पर किया: लूनर लैंडर (एक अंतरिक्ष यान उतारना) और फ्लैपी बर्ड (पाइपों के बीच से रास्ता बनाना)। उन्होंने अपने नए "प्रूनिंग" (छंटाई) विधि की तुलना भारी-भरकम डीप न्यूरल नेटवर्क (जैसे DQN और PPO) से की, जो वर्तमान में इस क्षेत्र में मानक हैं।

परिणाम आश्चर्यजनक और आशाजनक थे। इन सिमुलेशन में, नया तरीका विशाल डीप लर्निंग मॉडल के प्रदर्शन के बराबर या उससे भी बेहतर रहा। लेकिन असली जीत दक्षता में थी। जहाँ डीप लर्निंग मॉडलों को सीखने के लिए बहुत अधिक कंप्यूटर गणनाओं (FLOPs द्वारा मापा गया) की आवश्यकता थी, वहीं नए तरीके ने काफी कम संसाधनों का उपयोग करके समान रूप से सीखा। उदाहरण के लिए, फ्लैपी बर्ड गेम में, नया तरीका डीप लर्निंग मॉडलों की तुलना में बहुत तेज़ी से उच्च स्कोर तक पहुँच गया, जो खेल के विलंबित पुरस्कारों (delayed rewards) के साथ संघर्ष करते दिख रहे थे।

शायद सबसे रोमांचक हिस्सा व्याख्यात्मकता (interpretability) है। एक डीप न्यूरल नेटवर्क के साथ, यदि एजेंट गलती करता है, तो यह जानना कठिन है कि क्यों। यह एक ब्लैक बॉक्स है। लेकिन इस नए तरीके के साथ, क्योंकि मॉडल खुद को कुछ विशिष्ट "विशेषज्ञों" तक सीमित कर लेता है, हम बचे हुए विशेषज्ञों को देख सकते हैं और देख सकते हैं कि वे क्या कर रहे हैं। शोध पत्र दिखाता है कि जीवित बचे विशेषज्ञ खेल के महत्वपूर्ण हिस्सों के साथ पूरी तरह से मेल खाते हैं। लूनर लैंडर के लिए, विशेषज्ञ लैंडिंग पैड और बाधाओं के आसपास क्लस्टर (समूह) बनाते हैं। यह ऐसा है जैसे एजेंट कह रहा हो, "मैं इन विशिष्ट क्षेत्रों पर ध्यान केंद्रित कर रहा हूँ क्योंकि वहीं कार्रवाई हो रही है।" यह पारदर्शिता जो डीप लर्निंग मॉडल जटिल, अतिरिक्त उपकरणों के बिना प्रदान नहीं कर सकते।

चुनौती और भविष्य

बेशक, कोई भी जादू पूर्ण नहीं होता। लेखक सावधानीपूर्वक नोट करते हैं कि यह विधि तब सबसे अच्छा काम करती है जब "दुनिया" बहुत बड़ी न हो। यदि स्टेट स्पेस (चीजें जिन्हें एजेंट को ट्रैक करने की आवश्यकता है) बहुत बड़ा हो जाता है—जैसे यदि एजेंट को कैमरे से कच्चे वीडियो फीड को प्रोसेस करना पड़े—तो गणित बहुत भारी हो जाता है क्योंकि मॉडल आकृतियों और वक्रों को कैसे संभालता है। शोध पत्र सुझाव देता है कि फिलहाल, यह मध्यम जटिलता वाली समस्याओं के लिए सबसे अच्छा है, न कि कच्चे, हाई-डेफिनिशन वीडियो फीड के लिए।

हालाँकि, लेखक पहले से ही भविष्य की ओर देख रहे हैं। वे सुझाव देते हैं कि इस दृष्टिकोण को उन बड़ी, अव्यवस्थित दुनियाओं को संभालने के लिए अन्य तकनीकों के साथ जोड़ा जा सकता है। वे यह भी नोट करते हैं कि जबकि उनके वर्तमान परीक्षण असतत क्रियाओं (discrete actions - जैसे "कूदना" या "न कूदना") वाले खेलों पर थे, गणित को निरंतर क्रियाओं (continuous actions - जैसे "थोड़ा बाईं ओर मुड़ना") के लिए अनुकूलित किया जा सकता है।

अंत में, यह शोध पत्र AI में "बड़ा ही बेहतर है" वाली मानसिकता के एक ताज़ा विकल्प के रूप में प्रस्तुत होता है। यह सुझाव देता है कि सरल विचारों के एक बड़े, लचीले पूल के साथ शुरुआत करके और सीखने की प्रक्रिया को स्वाभाविक रूप से सर्वश्रेष्ठ को चुनने देकर, हम ऐसे एजेंट बना सकते हैं जो न केवल शक्तिशाली और कुशल हैं, बल्कि पारदर्शी और समझने योग्य भी हैं। यह एक याद दिलाता है कि कभी-कभी, AI के लिए सबसे स्मार्ट चीज़ यह जानना है कि किन बातों के बारे में नहीं सोचना है।

तकनीकी सारांश: ऑनलाइन सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए हैडामार्ड ओवरपैरामीट्राइजेशन के माध्यम से स्पार्स गॉसियन-मिक्सचर-मॉडल क्यू-फंक्शन्स (Sparse Gaussian-Mixture-Model Q-Functions)

समस्या विवरण

ऑनलाइन, ऑफ-पॉलिसी (off-policy) परिवेशों में सुदृढीकरण शिक्षण (RL), विशेष रूप से मॉडल की अभिव्यक्ति क्षमता (expressiveness), गणनात्मक दक्षता और व्याख्यात्मकता (interpretability) के बीच संतुलन बनाने में महत्वपूर्ण चुनौतियों का सामना करता है। पारंपरिक टेबुलर विधियाँ निरंतर अवस्था-क्रिया (state-action) स्थानों में विफल रहती हैं, जबकि नॉनपैरामीट्रिक कर्नेल-आधारित दृष्टिकोण डेटा संचित होने के साथ अनियंत्रित मॉडल वृद्धि और उच्च मेमोरी ओवरहेड से ग्रस्त होते हैं। इसके विपरीत, डीप सुदृढीकरण शिक्षण (Deep RL) विधियाँ, जैसे कि डीप क्यू-नेटवर्क्स (DQNs), मजबूत प्रतिनिधित्व शक्ति प्रदान करती हैं लेकिन लाखों मापदंडों वाले बड़े "ब्लैक-बॉक्स" आर्किटेक्चर पर निर्भर करती हैं। ये गहरे मॉडल वास्तविक समय में अपडेट करने के लिए गणनात्मक रूप से महंगे होते हैं, गैर-स्थिर (non-stationary) वातावरण में वितरण संबंधी बदलावों (distributional shifts) से जूझते हैं, और इनमें अंतर्निहित व्याख्यात्मकता का अभाव होता है। इसके अलावा, गहरे नेटवर्क के लिए मौजूदा स्पारसिफिकेशन तकनीकें (जैसे कि प्रूनिंग या स्पार्स ट्रेनिंग) अक्सर इनपुट स्पेस की ज्यामितीय संरचना के साथ जीवित कनेक्शनों के बीच स्पष्ट संबंध स्थापित करने में विफल रहती हैं, जिससे उनकी पारदर्शिता सीमित हो जाती है।

यह शोध एक हल्के, व्याख्यात्मक और स्केलेबल क्यू-फंक्शन एप्रोक्सिमेटर की आवश्यकता को संबोधित करता है जो कम-मापदंड शासन (low-parameter regimes) में ज्यामितीय निरंतरता और सामान्यीकरण (generalization) बनाए रखते हुए स्ट्रीमिंग, गैर-स्थिर डेटा के अनुकूल हो सके।

कार्यप्रणाली (Methodology)

प्रस्तावित ढांचा एक ऑनलाइन, ऑफ-पॉलिसी पॉलिसी-इटरेशन (PI) योजना के भीतर स्पार्स गॉसियन-मिक्सचर-मॉडल क्यू-फंक्शन्स (S-GMM-QFs) पेश करता है। कार्यप्रणाली तीन मुख्य घटकों को एकीकृत करती है:

GMM-QF फॉर्मूलेशन:
क्यू-वैल्यू के संभाव्यता घनत्व (probability density) को मॉडल करने के बजाय (जैसा कि डिस्ट्रीब्यूशनल RL में होता है), क्यू-फंक्शन को मल्टीवेरिएट गॉसियन घटकों के भारित योग (weighted sum) के रूप में सीधे अनुमानित किया जाता है:
$Q(s, a) = \sum_{k=1}^K \xi_k(a) G(s | m_k, C_k)$
जहाँ $\xi_k(a)$ सीखने योग्य भार (learnable weights) हैं, और $m_k, C_k$ $k$ -वें गॉसियन घटक का माध्य (mean) और सहप्रसरण (covariance) हैं। पैरामीटर स्पेस यूक्लिडियन स्पेस और सिमेट्रिक पॉजिटिव डेफिनिट (SPD) मैट्रिसेस के मैनिफोल्ड का कार्तीय उत्पाद (Cartesian product) है, जो स्वाभाविक रूप से एक रीमानियन मैनिफोल्ड संरचना (Riemannian manifold structure) विरासत में प्राप्त करता है।
स्पारसिफिकेशन के लिए हैडामार्ड ओवरपैरामीट्राइजेशन (Hadamard Overparametrization):
$\ell_p$ -नॉर्म्स की गैर-स्मूथनेस (जो रीमानियन ऑप्टिमाइजेशन के अनुकूल नहीं हैं) और घटकों की संख्या $K$ को पूर्व-निर्धारित करने की कठिनाई से बचने के लिए, लेखक हैडामार्ड ओवरपैरामीट्राइजेशन का उपयोग करते हैं। भार मैट्रिक्स $\Xi$ को $J$ सहायक मैट्रिसेस $\Upsilon_j$ में विभाजित किया जाता है ताकि $\Xi = \Upsilon_1 \odot \Upsilon_2 \odot \dots \odot \Upsilon_J$ हो।
- स्मूथ रेगुलराइजेशन: $\Upsilon_j$ कारकों पर एक स्मूथ फ्रोबेनियस नॉर्म पेनल्टी लागू की जाती है। यह $\Xi$ के उत्पाद में निहित रूप से स्पार्सिटी (sparsity) की ओर झुकाव पैदा करता है, जिसके लिए गैर-विभेदक (non-differentiable) थ्रेशोल्ड की आवश्यकता नहीं होती।
- अनुकूली प्रूनिंग (Adaptive Pruning): मॉडल घटकों के एक बड़े पूल ( $K$ ) के साथ शुरू होता है और अनुकूल रूप से सार्थक घटकों की पहचान करता है। गैर-महत्वपूर्ण घटकों के भार को नगण्य स्तर तक धकेल दिया जाता है, जिससे प्रशिक्षण के दौरान मॉडल प्रभावी रूप से प्रून (prune) हो जाता है।
रीमानियन ऑप्टिमाइजेशन और एक्सपीरियंस रिप्ले:
- ऑप्टिमाइजेशन: पॉलिसी इवैल्यूएशन चरण बेलमैन-रेसिडुअल (BR) लॉस को रीमानियन ग्रेडिएंट डिसेंट (विशेष रूप से रीमानियन विस्तार वाला Adam, या RAdam) का उपयोग करके कम करता है। यह कोवेरियेंस अपडेट के लिए रिट्रैक्शन मैपिंग्स (retraction mappings) और मोमेंटम के लिए पैरेलल ट्रांसपोर्ट (parallel transport) के माध्यम से SPD मैनिफोल्ड के ज्यामितीय प्रतिबंधों का सम्मान करता है।
- एक्सपीरियंस बफर: ऑफ-पॉलिसी लर्निंग और वितरण संबंधी बेमेल (distributional mismatch) को संभालने के लिए, एक एक्सपीरियंस बफर का उपयोग किया जाता है। शोध पत्र में मानक इम्पोर्टेंस सैंपलिंग (IS) वेटिंग के स्थान पर दो नवीन सैंपलिंग रणनीतियों का प्रस्ताव और मूल्यांकन किया गया है, जो रीमानियन अपडेट के साथ संरचनात्मक रूप से असंगत है:
  - फ्रीक्वेंसी-बेस्ड प्रायोरिटी डिके (Frequency-based Priority Decay): एक तंत्र जो वितरण को सपाट करने के लिए अत्यधिक-नमूनाकृत (over-sampled) ट्रांजिशन को दंडित करता है, बिना मैनिफोल्ड ज्यामिति को विकृत किए।
  - ऑनलाइन क्लस्टरिंग (Online Clustering): एक विविधता-आधारित रणनीति जो अवस्था-क्रिया ट्रांजिशन के क्लस्टरों के बीच समान सैंपलिंग कोटा लागू करती है, जिससे फीचर स्पेस का व्यापक कवरेज सुनिश्चित होता है।

प्रमुख योगदान (Key Contributions)

शोध पत्र चार प्राथमिक योगदानों को रेखांकित करता है:

(C1) ऑनलाइन ऑफ-पॉलिसी फ्रेमवर्क: GMM-QFs को ऑफलाइन, ऑन-पॉलिसी सेटिंग्स से ऑनलाइन, ऑफ-पॉलिसी PI फ्रेमवर्क तक विस्तारित करता है। यह स्ट्रीमिंग, गैर-स्थिर डेटा को पैरामीटर स्पेस की रीमानियन संरचना के साथ सुसंगत बनाता है और एक समर्पित एक्सपीरियंस बफर के माध्यम से वितरण संबंधी बेमेल को सक्रिय रूप से कम करता है।
(C2) हैडामार्ड ओवरपैरामीट्राइजेशन के माध्यम से स्पार्स GMM-QFs: S-GMM-QFs पेश करता है, जो स्मूथ रेगुलराइजेशन के माध्यम से व्याख्यात्मक स्पारसिफिकेशन को सक्षम बनाता है। डीप RL स्पारसिफिकेशन के विपरीत, यह दृष्टिकोण घटकों को कार्य संरचना (task structure) के आधार पर विकसित होने की अनुमति देता है, जिससे स्पार्स मॉडल प्राप्त होते हैं जहाँ प्रत्येक जीवित घटक की ज्यामितीय भूमिका (माध्य और सहप्रसरण) स्पष्ट रूप से एनकोडेड होती है।
रीमानियन ऑप्टिमाइजेशन: GMM-QFs के विशिष्ट मैनिफोल्ड संरचना के लिए रीमानियन ग्रेडिएंट्स और अपडेट्स (रिट्रैक्शन मैपिंग और पैरेलल ट्रांसपोर्ट सहित) की गणना का विवरण दिया गया है, जो स्थिर ऑनलाइन लर्निंग को सक्षम बनाता है।
नवीन रिप्ले रणनीतियाँ: मानक यूनिफॉर्म और प्रायोरिटाइज्ड एक्सपीरियंस रिप्ले (PER) के स्थान पर फ्रीक्वेंसी-बेस्ड प्रायोरिटी डिके और क्लस्टरिंग बफ़र्स का प्रस्ताव दिया गया है, जो रीमानियन ऑप्टिमाइजेशन के साथ इम्पोर्टेंस सैंपलिंग (IS) वेटिंग की असंगति को संबोधित करते हैं, जिससे अन्वेषण (exploration) और सैंपल दक्षता दोनों में सुधार होता है।

परिणाम (Results)

दो निरंतर नियंत्रण बेंचमार्क: लूनर लैंडर (Lunar Lander) और फ्लैपी बर्ड (Flappy Bird) पर संख्यात्मक प्रयोग किए गए।

डीप RL बनाम प्रदर्शन: S-GMM-QFs ने डीप RL बेसलाइन्स (DQN, PPO) और उनके स्पारसिफाइड वेरिएंट्स (Pruned, SET, RigL) के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन किया। विशेष रूप से, S-GMM-QFs ने देखे गए प्रति ट्रांजिशन तेजी से सुधार हासिल किया।
पैरामीटर दक्षता: उन लो-पैरामीटर व्यवस्थाओं में जहाँ स्पारसिफाइड डीप RL विधियाँ काफी खराब प्रदर्शन करती हैं, S-Gतम जनरल (generalization) बनाए रखने में सफल रहा। स्पार्स मॉडल्स ने समान पठार (plateaus) तक पहुँचने के लिए आवश्यक घने (dense) डीप RL मॉडल्स की तुलना में काफी कम मापदंडों के साथ शिखर प्रदर्शन प्राप्त किया।
गणनात्मक दक्षता: जब फ्लोटिंग-पॉइंट ऑपरेशंस (FLOPs) के संचयी मान के विरुद्ध मापा गया, तो S-GMM-QFs ने श्रेष्ठ दक्षता प्रदर्शित की। स्पारसिफिकेशन प्रक्रिया ने प्रशिक्षण के दौरान रीमानियन रिट्रैक्शन्स और ग्रेडिएंट गणनाओं की कम्प्यूटेशनल लागत को कम कर दिया, जिससे मॉडल घने समकक्षों की तुलना में कई गुना कम FLOPs के साथ इष्टतम प्रदर्शन तक पहुँच सका।
व्याख्यात्मकता: सीखे गए गॉसियन घटकों के विज़ुअलाइज़ेशन ने दिखाया कि S-GMM-QFs घटकों के एक छोटे उपसमूह पर केंद्रित होते हैं जो इष्टतम नीति (optimal policy) के स्टेट विज़िटेशन डेंसिटी के साथ संरेखित होते हैं। डीप नेटवर्क्स के विपरीत, जहाँ स्पार्सिटी अस्पष्ट होती है, S-GMM-QFs में जीवित घटक पोस्ट-हॉक एट्रीब्यूशन टूल्स की आवश्यकता के बिना Q-फंक्शन की संरचना की एक पारदर्शी, ज्यामितीय व्याख्या प्रदान करते हैं।
बफर रणनीतियाँ: प्रस्तावित "फेयर डिके" (fair decay) और "क्लस्टरिंग" बफ़र्स ने विशिष्ट संदर्भों में मानक यूनिफॉर्म और प्रायोरिटाइज्ड एक्सपीरियंस रिप्ले (PER) को पछाड़ दिया। क्लस्टरिंग विशेष रूप से विलंबित-पुरस्कार (delayed-reward) वाले फ्लैपी बर्ड कार्य के लिए प्रभावी थी, जबकि फेयर डिके ने घने-पुरस्कार वाले लूनर लैंडर पर अच्छा प्रदर्शन किया।

महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि प्रस्तावित ढांचा ऑनलाइन सेटिंग्स के लिए डीप RL का एक सिद्धांत-आधारित विकल्प प्रदान करता है, विशेष रूप से जहाँ व्याख्यात्मकता और गणनात्मक बाधाएं महत्वपूर्ण हैं। अपने पैरामीटर स्पेस की ज्यामितीय संरचना और स्मूथ ओवरपैरामीट्राइजेशन का लाभ उठाकर, यह विधि एक ऐसा "स्वीट स्पॉट" प्राप्त करती है जहाँ पैरामीटर दक्षता और व्याख्यात्मकता मिलकर मजबूत सामान्यीकरण (generalization) बनाए रखती है, जहाँ स्पारसिफाइड डीप RL दृष्टिकोण विफल हो जाते हैं।

लेखक इस बात पर जोर देते हैं कि S-GMM-QFs केवल प्रशिक्षण के बाद लागू की जाने वाली मॉडल-कंप्रेशन तकनीक नहीं हैं, बल्कि एक गतिशील शिक्षण तंत्र है जो प्रतिनिधित्व संबंधी अतिरेक (representational redundancy) को प्रशिक्षण के शुरुआती चरणों में प्रदर्शन में बदल देता है। मॉडल का ज्यामितीय स्व-दस्तावेजीकरण (geometric self-documentation)—जहाँ जीवित घटक स्पष्ट रूप से अवस्था स्थान (state space) के क्षेत्रों के साथ मानचित्रित होते हैं—पारदर्शिता का एक ऐसा स्तर प्रदान करता है जो ब्लैक-बॉक्स न्यूरल नेटवर्क्स में अप्राप्य है।

शोध पत्र सीमाओं को स्वीकार करता है, यह नोट करते हुए कि रीमानियन ऑपरेशंस की क्यूबिक कम्प्यूटेशनल जटिलता ( $O(D_s^3)$ ) वर्तमान में इस पद्धति को मध्यम अवस्था आयामों तक सीमित करती है, जिससे यह स्टेट रिप्रेजेंटेशन लर्निंग के बिना कच्चे उच्च-आयामी संवेदी इनपुट (जैसे चित्र) के लिए अनुपयुक्त हो जाती है। भविष्य का कार्य निरंतर क्रियाओं (continuous actions) के लिए एक्टर-क्रिटिक विस्तार और ऑनलाइन स्टेट रिप्रेजेंटेशन लर्निंग की दिशा में निर्देशित है।