🤖 machine learning

Gaussian-Mixture-Model Q-Functions for Policy Iteration in Reinforcement Learning

यह शोध पत्र पॉलिसी इटरेशन के भीतर Q-फंक्शन लॉस के लिए यूनिवर्सल एप्रोक्सिमेटर्स के रूप में गॉसियन मिक्सचर मॉडल Q-फंक्शन्स (GMM-QFs) को प्रस्तुत करता है, जो डीप लर्निंग विधियों की तुलना में काफी छोटे कम्प्यूटेशनल फुटप्रिंट के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करने के लिए रिमानियन ऑप्टिमाइज़ेशन का उपयोग करता है।

मूल लेखक: Minh Vu, Konstantinos Slavakis

प्रकाशित 2026-07-22

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minh Vu, Konstantinos Slavakis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए एक ऐसी दुनिया की जहाँ मशीनें ठीक उसी तरह अनुभव से सीखती हैं जैसे एक बच्चा साइकिल चलाना सीखता है या एक कुत्ता गेंद लाना सीखता है। यह रीइन्फोर्समेंट लर्निंग (RL) का क्षेत्र है। विज्ञान के इस कोने में, एक "एजेंट" (सीखने वाला) एक वातावरण के साथ अंतःक्रिया करता है, और यह समझने की कोशिश करता है कि सबसे अच्छे कदम क्या होने चाहिए। हर बार जब वह कोई कदम उठाता है, तो उसे एक स्कोर मिलता है: अच्छा करने पर इनाम (रिवॉर्ड) या गलती करने पर दंड (पेनल्टी/लॉस)। लक्ष्य केवल अभी एक अच्छा स्कोर पाना नहीं है, बल्कि पूरी यात्रा के दौरान कुल "दर्द" या लागत को कम करना है। इसे करने के लिए, एजेंट को एक मानसिक मानचित्र की आवश्यकता होती है जिसे Q-फंक्शन कहा जाता है। इस मानचित्र को एक क्रिस्टल बॉल की तरह समझें जो एजेंट को बताती है, "यदि आप इस विशिष्ट स्थिति में यह क्रिया करते हैं, तो भविष्य में आपको कुल कितनी लागत का सामना करना पड़ेगा।"

कठिनाई यह है कि दुनिया बहुत विशाल और अव्यवस्त है। आप हर संभावित स्थिति और उसकी लागत की सूची नहीं लिख सकते; वे बहुत अधिक हैं। इसलिए, वैज्ञानिक "एप्रोक्सिमेटर्स" (approximators) का उपयोग करते हैं—गणितीय शॉर्टकट जो पैटर्न के आधार पर लागत का अनुमान लगाते हैं। लंबे समय तक, मुख्य शॉर्टकट डीप न्यूरल नेटवर्क (आधुनिक AI के पीछे का मस्तिष्क) रहा है, जो अविश्वसनीय रूप से शक्तिशाली है लेकिन इसके लिए भारी मात्रा में डेटा और कंप्यूटिंग शक्ति की आवश्यकता होती है, जैसे एक सुपरकंप्यूटर किसी साधारण खेल को सीखने की कोशिश कर रहा हो। दूसरा दृष्टिकोण गौसियन मिक्स्चर मॉडल (GMM) का उपयोग करता है, जिसका उपयोग आमतौर पर यह बताने के लिए किया जाता है कि डेटा कैसे फैला हुआ है, जैसे भीड़ में लोगों के घनत्व का मानचित्र बनाना। लेकिन क्या होगा यदि हम इन मॉडलों का उपयोग केवल भीड़ का वर्णन करने के लिए ही नहीं, बल्कि सीधे भविष्य की लागतों की भविष्यवाणी करने के लिए कर सकें? यही वह बड़ा सवाल है जिसे यह शोध पत्र संबोधित करता है।

शोध पत्र का बड़ा विचार: एक नए प्रकार की क्रिस्टल बॉल

यह शोध पत्र AI एजेंटों को निर्णय लेने के तरीके सिखाने का एक नया तरीका पेश करता है। लेखक, मिन्ह वु और कॉन्स्टेंटिनोस स्लावाकिस, गौसियन-मिक्स्चर-मॉडल Q-फंक्शन्स (GMM-QFs) का उपयोग करने का प्रस्ताव देते हैं। यह समझने के लिए कि यह विशेष क्यों है, आइए देखें कि चीजें आमतौर पर कैसे की जाती हैं।

पारंपरिक रूप से, जब वैज्ञानिक RL में GMM का उपयोग करते हैं, तो वे उन्हें डेटा की तस्वीर लेने वाले कैमरे की तरह मानते हैं। वे पूछते हैं, "इनामों का वितरण कैसे है?" और एक निश्चित इनाम मिलने की संभावना का अनुमान लगाने के लिए GMM का उपयोग करते हैं। यह बारिश के बादलों के बिखराव को देखकर मौसम का अनुमान लगाने जैसा है। यह शोध पत्र तर्क देता है कि उपकरण का उपयोग करने का यह गलत तरीका है। भविष्य की संभावना का वर्णन करने के लिए GMM का उपयोग करने के बजाय, वे सीधे भविष्य की लागत के पूर्वानुमान के रूप में GMM का उपयोग करते हैं। यह मौसम के मानचित्र को सीधे पूर्वानुमान से बदलने जैसा है: "यहाँ 90% संभावना है कि बादल होंगे" के बजाय "दोपहर 3 बजे बारिश होगी।"

लेखक दिखाते हैं कि ये GMM-QFs अविश्वसनीय रूप से लचीले हैं। वे गणितीय रूप से सिद्ध करते हैं कि पर्याप्त "सामग्री" (जिसे Gaussian components कहा जाता है) के साथ, ये मॉडल लगभग किसी भी लागत फ़ंक्शन का अनुमान लगा सकते हैं जिसकी आप कल्पना कर सकते हैं। इसका मतलब है कि उनमें आज के विशाल, जटिल न्यूरल नेटवर्क के समान बेहतर होने की क्षमता है, लेकिन एक बहुत सरल संरचना के साथ।

गुप्त नुस्खा: संख्याओं की ज्यामिति (Geometry of the Numbers)

यहाँ कहानी थोड़ी गणितीय लेकिन काफी चतुर हो जाती है। GMM को सीखने के लिए तीन प्रकार के तत्वों की आवश्यकता होती है:

मिक्सिंग वेट्स (Mixing weights): प्रत्येक "सामग्री" का कितना उपयोग करना है।
मीन्स (Means): प्रत्येक सामग्री का केंद्र बिंदु।
कोवेरिएंस (Covariances): प्रत्येक सामग्री कितनी चौड़ी या फैली हुई है।

पहले दो को संभालना आसान है; वे सामान्य, सपाट स्थान में रहते हैं। लेकिन तीसरा वाला, कोवेरिएंस, पेचीदा है। यह एक मैट्रिक्स है जो आकार और फैलाव का वर्णन करता है, और इसका एक विशेष नियम है: इसे हमेशा "पॉजिटिव डेफिनिट" (एक शानदार तरीका यह कहने का कि इसे एक वैध, बिना टूटे हुए आकार का वर्णन करना चाहिए) होना चाहिए। यदि आप मानक गणित का उपयोग करके इस संख्या को अपडेट करने की कोशिश करते हैं, तो यह एक सपाट फर्श पर चलने की कोशिश करने जैसा है जबकि आपके जूते आपको एक घुमावदार पहाड़ी पर रहने के लिए मजबूर करते हैं। आप गलती से वैध आकार से बाहर निकल सकते हैं और मॉडल को तोड़ सकते हैं।

लेखकों ने महसूस किया कि जिस स्थान में ये आकार रहते हैं, वह वास्तव में एक रीमानियन मैनिफोल्ड (Riemannian manifold) है। इसे एक घुमावदार सतह के रूप में सोचें, जैसे गुब्बारे की त्वचा या पृथ्वी की सतह, न कि कागज की एक सपाट शीट के रूप में। इस घुमावदार सतह पर एक चाल के रूप में सीखने की प्रक्रिया को मानकर, वे मॉडल को बिना नियमों को तोड़े अपडेट कर सकते हैं। वे रीमानियन ऑप्टिमाइज़ेशन नामक तकनीक का उपयोग करते हैं ताकि वे त्रुटियों की पहाड़ी से नीचे "लुढ़क" सकें, और पूरी तरह से उस घुमावदार सतह पर बने रहें। यह क्षेत्र में एक अभिनव मोड़ है, जो एक मानक समस्या में एक परिष्कृत ज्यामितीय दृष्टिकोण लाता है।

उन्होंने क्या पाया: छोटा लेकिन शक्तिशाली

टीम ने अपने नए तरीके का परीक्षण किया, जिसे वे एल्गोरिदम 1 कहते हैं, RL की कुछ कठिन चुनौतियों के विरुद्ध किया:

KLSPI और OBR: पुराने, नॉन-पैरामीट्रिक तरीके जो अधिक डेटा सीखने के साथ धीमे और भारी होते जाते हैं।
DQN और PPO: डीप लर्निंग के दिग्गज, जो हजारों पैरामीटर वाले विशाल न्यूरल नेटवर्क का उपयोग करते हैं।
EM-GMMRL: एक विधि जो पारंपरिक, संभावना-आधारित तरीके से GMM का उपयोग करती है।

उन्होंने इन परीक्षणों को दो क्लासिक चुनौतियों पर चलाया:

द एक्रोबोट (The Acrobot): एक डबल-पेंडुलम रोबोट जिसे खड़ा होने की स्थिति में खुद को झूला झूलकर ऊपर ले जाना होता है। यह अराजक है और इसे नियंत्रित करना कठिन है।
फ्लैपी बर्ड (Flappy Bird): प्रसिद्ध गेम जहाँ एक पक्षी को पाइपों के बीच से रास्ता बनाना होता है। इसके लिए सटीक समय और विलंबित प्रभावों (अभी पंख फड़फड़ाने का प्रभाव बाद में आपकी स्थिति पर पड़ता है) से निपटने की आवश्यकता होती है।

परिणाम:
Acrobot टेस्ट में, नए GMM-QF तरीके ने विशाल डीप न्यूरल नेटवर्क (DQN और PPO) के समान ही कार्य को हल करना सीखा। हालाँकि, दक्षता में एक बड़ा अंतर था। डीप लर्निंग मॉडलों को प्रति लेयर 128 न्यूरॉन्स और हजारों पैरामीटर (जैसे DQN के पास 17,795 पैरामीटर थे) की आवश्यकता थी। इसके विपरीत, GMM-QF विधि ने केवल 50 Gaussian components के साथ समान प्रदर्शन हासिल किया, जिसके परिणामस्वरूप केवल 850 पैरामीटर थे। यह उन चीजों की संख्या में 95% से अधिक की कमी है जिन्हें कंप्यूटर को याद रखना और गणना करना होता है।

Flappy Bird टेस्ट में, GMM-QF विधि ने फिर से लंबी अवधि में प्रतिस्पर्धा को पछाड़ दिया। जबकि डीप लर्निंग मॉडल शुरुआत में मजबूत थे, वे अंततः एक "सब-ऑप्टिमल" प्रदर्शन पर स्थिर हो गए, यानी वे एक लूप में फंस गए। GMM-QF विधि बेहतर होती रही और इसने कम कुल लागत (यानी पक्षी अधिक समय तक उड़ा और कम टकराया) प्राप्त की।

चुनौती और भविष्य

शोध पत्र सावधानी से नोट करता है कि यह हर स्थिति के लिए जादुई समाधान नहीं है। यह विधि "बेलमैन रेसिडुअल्स" (Bellman residuals) को कम करने पर निर्भर करती है, जो कभी-कभी थोड़ा पूर्वाग्रह (bias) पैदा कर सकती है, जिसका अर्थ है कि मॉडल शायद परफेक्ट उत्तर न खोज पाए, लेकिन एक बहुत अच्छा उत्तर जरूर खोज लेगा। साथ तौर पर, हालांकि मॉडल छोटा है, घुमावदार सतह (रीमानियन मैनिफोल्ड) पर इसे अपडेट करने की गणितीय प्रक्रिया बहुत महंगी हो सकती है यदि स्टेट स्पेस (स्थिति का वर्णन करने वाले वेरिएबल्स की संख्या) बहुत बड़ा हो जाए। उदाहरण के लिए, यदि आप कच्चे वीडियो पिक्सल से सीखने की कोशिश कर रहे हैं, तो गणित बहुत भारी हो सकता है।

हालाँकि, लेखक सुझाव देते हैं कि कई मानक नियंत्रण कार्यों के लिए, यह दृष्टिकोण एक "स्वीट स्पॉट" प्रदान करता है। यह डीप लर्निंग की प्रतिनिधित्व शक्ति प्रदान करता है बिना विशाल मेमोरी फुटप्रिंट या बड़े डेटासेट की आवश्यकता के। उन्होंने पाया कि मध्यम संख्या में Gaussian components (जैसे K=50) का उपयोग करना बहुत अधिक (जैसे K=500) की तुलना में अक्सर बेहतर काम करता है, जो यह सुझाव देता है कि मॉडल की जटिलता के मामले में "कम ही अधिक है" (less is more)।

संक्षेप में, यह शोध पत्र सुझाव देता है कि हमें AI को सिखाने के लिए हमेशा सुपरकंप्यूटर की आवश्यकता नहीं होती है। एक सरल, संभावabilistic मॉडल को ट्यून करने के लिए एक चतुर ज्यामितीय दृष्टिकोण का उपयोग करके, हम ऐसे एजेंट बना सकते हैं जो कुशलता से सीखते हैं, कम मेमोरी का उपयोग करते हैं, और डीप लर्निंग की दुनिया के दिग्गजों के समान प्रदर्शन करते हैं। यह एक अनुस्मारक है कि कभी-कभी, जटिल समस्या को हल करने का सबसे अच्छा तरीका एक बड़ी मशीन बनाना नहीं है, बल्कि समस्या के आकार को थोड़ा बेहतर समझना है।

तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) में पॉलिसी इटरेशन के लिए गॉसियन-मिक्सचर-मॉडल Q-फंक्शन्स

1. समस्या विवरण

सुदृढीकरण शिक्षण (RL) का लक्ष्य एक इष्टतम नीति (optimal policy) खोजना है जो क्रमिक निर्णय लेने की समस्याओं में संचयी लागत (cumulative cost) को कम करती है, जिन्हें आमतौर पर मार्कोव निर्णय प्रक्रियाओं (MDPs) के रूप में मॉडल किया जाता है। एक केंद्रीय चुनौती Q-फंक्शन (एक्शन-वैल्यू फंक्शन) का अनुमान लगाना है, जो किसी दिए गए अवस्था (state) में एक विशिष्ट क्रिया (action) लेने की दीर्घकालिक लागत का प्रतिनिधित्व करता है।

मौजूदा दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

टेबुलर विधियाँ (Tabular Methods): ये केवल छोटे, असतत (discrete) स्टेट-एक्शन स्पेस के लिए प्रभावी हैं, लेकिन निरंतर या बड़े पैमाने के स्पेस के लिए कम्प्यूटेशनल रूप से अव्यवहार्य हो जाती हैं।
कर्नेल-आधारित विधियाँ (KBRL): हालांकि ये रिप्रोड्यूसिंग कर्नेल हिलबर्ट स्पेस (RKHS) में Q-फंक्शन्स का सन्निकटन करने में सक्षम हैं, लेकिन नॉनपैरामेट्रिक दृष्टिकोण अक्सर "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) से ग्रस्त होते हैं। पैरामीटर्स की संख्या आमतौर पर देखे गए डेटा के आयतन के साथ बढ़ती है, जिससे विशेष रूप से गैर-स्थिर (non-stationary) वातावरण में उच्च मेमोरी और कम्प्यूटेशनल ओवरहेड होता है।
डीप न्यूरल नेटवर्क (DNNs): डीप Q-नेटवर्क्स (DQNs) शक्तिशाली गैर-रेखीय सन्निकटन प्रदान करते हैं, लेकिन इनके लिए विशाल पैरामीटर गणना की आवश्यकता होती है। यह उन्हें ऑनलाइन परिनियोजन (deployment) के लिए कम्प्यूटेशनल रूप से गहन, अस्थिर और गैर-स्थिर वास्तविक दुनिया की स्थितियों में ओवरफिटिंग के प्रति संवेदनशील बनाता है।
डिस्ट्रीब्यूशनल आरएल (Distributional RL): जबकि गॉसियन मिक्सचर मॉडल्स (GMMs) का उपयोग Q-वैल्यू के प्रोबेबिलिटी डेंसिटी फंक्शन्स (PDFs) को मॉडल करने के लिए डिस्ट्रीब्यूशनल आरएल में किया गया है, यह दृष्टिकोण सांख्यिकीय मान्यताओं (जैसे, Q-वैल्यू रैंडम वेरिएबल्स हैं) पर निर्भर करता है और अक्सर एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम का उपयोग करता है, जो इनिशियलाइजेशन और कन्वर्जेंस संबंधी समस्याओं के प्रति संवेदनशील होते हैं।

यह शोध पत्र एक ऐसे Q-फंक्शन एप्रोक्सिमेटर की आवश्यकता को संबोधित करता है जिसमें उच्च प्रतिनिधित्व क्षमता (representational capacity) हो, डेटा वॉल्यूम से स्वतंत्र एक निश्चित मॉडल आकार बना रहे, और डीप लर्निंग की अस्थिरता या नॉनपैरामेट्रिक विधियों की डेटा-स्केलिंग समस्याओं के बिना कम्प्यूटेशनल दक्षता प्रदान करे।

2. कार्यप्रणाली

2.1 GMM-Q फंक्शन्स (GMM-QFs)

लेखक एक नवीन पैरामेट्रिक मॉडल प्रस्तावित करते हैं जहाँ GMMs को उनके प्रोबेबिलिटी डेंसिटी फंक्शन्स के एस्टिमेटर के रूप में नहीं, बल्कि Q-फंक्शन्स के प्रत्यक्ष सरोगेट (direct surrogates) के रूप में उपयोग किया जाता है। एक GMM-QF को इस प्रकार परिभाषित किया गया है:
$Q(\cdot) := \sum_{k=1}^{K} \xi_k G(\cdot | m_k, C_k)$
जहाँ:

$K$ गॉसियन घटकों (Gaussian components) की एक निश्चित, उपयोगकर्ता-निर्धारित संख्या है।
$\xi_k \in \mathbb{R}$ मिक्सिंग वेट्स (mixing weights) हैं (अनकन्स्ट्रेंड, PDF मॉडलिंग के विपरीत)।
$m_k \in \mathbb{R}^{D_z}$ मीन वेक्टर्स (mean vectors) हैं।
$C_k \in \mathbb{S}^{D_z}_{++}$ पॉजिटिव-डेफिनिट कोवेरिएंस मैट्रिसेस (covariance matrices) हैं।
$G(\cdot | m_k, C_k)$ एक गॉसियन कर्नेल है।

नॉनपैरामेट्रिक विधियों के विपरीत जहाँ मीन्स और कोवेरिएंस डेटा द्वारा निर्धारित होते हैं, GMM-QFs सभी पैरामीटर्स ( $\xi_k, m_k, C_k$ ) को सीखने योग्य वेरिएबल्स के रूप में मानते हैं। यह इसे मानक रेडियल बेसिस फंक्शन (RBF) नेटवर्क से अलग करता है जहाँ केवल वेट्स को सीखा जाता है, क्योंकि यह डेटासेट के आकार के बावजूद पैरामीटर्स की एक निश्चित संख्या बनाए रखता है।

2.2 रीमानियन ऑप्टिमाइज़ेशन फ्रेमवर्क

GMM-QFs के पैरामीटर स्पेस, जिसे $\mathcal{M}_K$ द्वारा दर्शाया गया है, को एक प्रोडक्ट रीमानियन मैनिफोल्ड के रूप में पहचाना गया है:
$\mathcal{M}_K = \mathbb{R}^K \times (\mathbb{R}^{D_z})^K \times (\mathbb{S}^{D_z}_{++})^K$
कोवेरिएंस मैट्रिसेस $C_k$ स्वाभाविक रूप से एक रीमानियन मैनिफोल्ड (विशेष रूप से पॉजिटिव-डेफिनिट मैट्रिसेस का मैनिफोल्ड) बनाते हैं। लेखक इस ज्यामितीय संरचना का लाभ उठाते हैं ताकि यूक्लिडियन स्पेस के बजाय सीधे मैनिफोल्ड पर ऑप्टिमाइज़ेशन किया जा सके।

सीखने की प्रक्रिया एक मानक पॉलिसी इटरेशन (PI) फ्रेमवर्क के भीतर अंतर्निहित है:

पॉलिसी इवैल्यूएशन: एक नीति $\mu_n$ के लिए, एल्गोरिथ्म डेटासेट $\mathcal{D}_{\mu_n}[T]$ पर एम्पिरिकल बेलमैन रेसिडुअल लॉस को मिनिमाइज करता है:
$\hat{L}_{\mu_n[T]}(Q) = \frac{1}{T} \sum_{t=1}^T \left[ g_t + \alpha Q(z'_t) - Q(z_t) \right]^2$
यह मिनिमाइजेशन रीमानियन ग्रेडिएंट डिसेंट (एल्गोरिदम 2) का उपयोग करके किया जाता है। ग्रेडिएंट की गणना की जाती है, उसे मैनिफोल्ड के टेंजेंट स्पेस पर प्रोजेक्ट किया जाता है, और पैरामीटर्स को अपडेट करने के लिए एक रिट्रैक्शन मैप (विशेष रूप से एफाइन-इनवेरिएंट मेट्रिक और मैट्रिक्स एक्सपोनेंशियल का उपयोग करके) लागू किया जाता है ताकि यह सुनिश्चित हो सके कि वे मैनिफोल्ड पर ही रहें।
पॉलिसी इम्प्रूवमेंट: नीति को अनुमानित Q-फंक्शन के आधार पर ग्रीडी तरीके से अपडेट किया जाता है: $\mu_{n+1}(s) := \arg\min_{a} Q_n(\zeta(s, a))$ ।

2.3 सैद्धांतिक आधार

यूनिवर्सल एप्रोक्सिमेशन: पेपर यह सिद्ध करता है कि GMM-QFs का वर्ग स्टेट-एक्शन स्पेस पर निरंतर फलनों (sup-norm में) और स्क्वायर-इंटेग्रबल फलनों (L² norm में) के लिए एक यूनिवर्सल एप्रोक्सिमेटर है।
कन्वर्जेंस एनालिसिस: लेखक Q-फंक्शन एस्टीमेशन एरर पर प्रदर्शन सीमाएं (performance bounds) स्थापित करते हैं। वे प्रदर्शित करते हैं कि विशिष्ट मान्यताओं के तहत (जैसे, बाउंडेड लॉस, पर्याप्त डेटा), अनुमानों का क्रम इष्टतम Q-फंक्शन के एक पड़ोस (neighborhood) में अभिसरित (converge) होता है, जिसका एरर बेलमैन रेसिडुअल बायस और एप्रोक्सिमेशन कैपेसिटी से संबंधित टर्म्स द्वारा सीमित होता है।

3. मुख्य योगदान

डायरेक्ट GMM सरोगेट्स (C1): यह पेपर GMMs को सीधे Q-फंक्शन एप्रोक्सिमेटर के रूप में उपयोग करने की नवीन अवधारणा पेश करता है, जो डिस्ट्रीब्यूशनल आरएल में आवश्यक सांख्यिकीय मान्यताओं से बचता है। यह दृष्टिकोण यह धारणा नहीं बनाता कि Q-फंक्शन्स रैंडम वेरिएबल्स हैं या उनका मूल्यांकन एक विशिष्ट वितरण का पालन करता है।
पैरामेट्रिक दक्षता (C2): नॉनपैरामेट्रिक KBRL विधियों के विपरीत जहाँ मॉडल जटिलता डेटा बढ़ने के साथ बढ़ती है, GMM-QFs निश्चित संख्या में सीखने योग्य पैरामीटर्स (वेट्स, मीन्स और कोवेरिएंस) का उपयोग करते हैं जो उपयोगकर्ता-निर्धारित $K$ द्वारा निर्धारित होते हैं। यह मेमोरी ओवरहेड और स्केलेबिलिटी समस्याओं को कम करता है।
रीमानियन ऑप्टिमाइज़ेशन इंटीग्रेशन (C3): यह कार्य GMM पैरामीटर स्पेस (कोवेरिएंस मैट्रिसेस के कारण) की प्राकृतिक रीमानियन संरचना की पहचान करता है और PI के पॉलिसी-इवैल्यूएशन चरण में रीमानियन ऑप्टिमाइज़ेशन को एकीकृत करता है। यह मानक PI स्कीम्स के लिए Q-फंक्शन लर्निंग में इस प्रकार के ज्यामितीय ऑप्टिमाइज़ेशन मशीनरी का पहला अनुप्रयोग है।
सैद्धांतिक और अनुभवजन्य सत्यापन: पेपर यूनिवर्सल एप्रोक्सिमेशन और प्रदर्शन सीमाओं के लिए कठोर प्रमाण प्रदान करता है, और न्यूमेरिकल टेस्ट के माध्यम से प्रतिस्पर्धी प्रदर्शन प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

प्रस्तावित एल्गोरिदम 1 (GMM-QFs के साथ PI) का मूल्यांकन दो बेंचमार्क कार्यों पर किया गया: Acrobot और Flappy Bird। इसकी तुलना KLSPI, OBR, DQN, Dueling Double DQN, PPO, और EM-आधारित GMM RL से की गई।

Acrobot (अंडरएक्टुएटेड रोबोट):
- GMM-QFs ( $K=50$ के साथ) ने DQN और PPO के समान स्थिर प्रदर्शन प्राप्त किया, और KLSPI, OBR और EM-GMMRL की तुलना में लो टोटल लॉस रिजीम में तेजी से पहुँचा।
- पैरामीटर दक्षता: GMM-QFs ( $K=50$ ) को केवल 850 पैरामीटर्स की आवश्यकता थी, जबकि DQN और PPO को क्रमशः 17,795 और 35,332 पैरामीटर्स की आवश्यकता थी।
- कम्प्यूटेशनल लागत: GMM-QFs ने डीप लर्निंग विधियों की तुलना में काफी कम संचयी कम्प्यूटेशनल लागत (FLOPs) प्रदर्शित की, विशेष रूप से "टाइनी" नेटवर्क कॉन्फ़िगरेशन का उपयोग करने पर जो अक्सर प्रदर्शन को कम कर देते हैं।
Flappy Bird (निरंतर डायनेमिक्स, ऑनलाइन सेटिंग):
- स्ट्रीमिंग डेटा के साथ एक ऑनलाइन सेटिंग में, GMM-QFs ने सभी प्रतिस्पर्धियों को लंबे समय में पछाड़ दिया। DQN और Dueling DDQN ने शुरुआत में अच्छा प्रदर्शन किया लेकिन नया डेटा आने पर सब-ऑप्टिमल प्रदर्शन पर स्थिर हो गए।
- मजबूती (Robustness): GMM-QFs ने DQN के 270,338 और PPO के 540,163 पैरामीटर्स की तुलना में 4,600 पैरामीटर्स ( $K=50$ ) के साथ बेहतर प्रदर्शन बनाए रखा।
- मॉडल आकार पर अवलोकन: लेखकों ने नोट किया कि कुछ मामलों में $K=50$ , $K=500$ से थोड़ा बेहतर था, जो यह सुझाव देता है कि बेलमैन रेसिडुअल मिनिमाइजेशन में एक बायस हो सकता है जहाँ छोटे मॉडल बेहतर सामान्यीकरण (generalize) कर सकते हैं या इष्टतम $K$ कार्य की जटिलता पर निर्भर करता है।

5. महत्व और दावे

यह पेपर दावा करता है कि GMM-QFs, सुदृढीकरण शिक्षण में नॉनपैरामेट्रिक कर्नेल विधियों और डीप लर्निंग दृष्टिकोणों दोनों के लिए एक कम्प्यूटेशनल रूप से कुशल और सैद्धांतिक रूप से आधारित विकल्प प्रदान करते हैं।

स्केलेबिलिटी: पैरामीटर्स की संख्या को फिक्स करके, GMM-QFs नॉनपैरामेट्रिक विधियों के साथ जुड़े मेमोरी और कम्प्यूटेशनल विस्फोट से बचते हैं।
लाइटवेट परिनियोजन: DNNs की तुलना में काफी कम पैरामीटर संख्या होने के कारण, GMM-QFs उन हल्के, रियल-टाइम अनुप्रयोगों के लिए उपयुक्त हैं जहाँ विशाल नेटवर्क का बार-बार पुन: प्रशिक्षण (re-training) करना अव्यवहार्य है।
ज्यामितीय अंतर्दृष्टि: यह कार्य Q-फंक्शन पहचान और रीमानियन ऑप्टिमाइज़ेशन के बीच एक गणितीय रूप से कठोर संबंध स्थापित करता है, जो RL में डिफरेंशियल ज्योमेट्री का लाभ उठाने के नए रास्ते खोलता है।
प्रदर्शन: न्यूमेरिकल टेस्ट संकेत देते हैं कि GMM-QFs बहुत छोटे कम्प्यूटेशनल फुटप्रिंट को बनाए रखते हुए स्टेट-ऑफ-द-आर्ट डीप आरएल विधियों के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन कर सकते हैं।

स्वीकृत सीमाएँ:
लेखक नोट करते हैं कि रीमानियन ऑप्टिमाइज़ेशन का कम्प्यूटेशनल बोझ अभी भी स्टेट-एक्शन डायमेंशनलिटी ( $D_z$ ) और घटकों की संख्या ( $K$ ) के साथ स्केल करता है, जो संभावित रूप से उच्च-आयामी इनपुट (जैसे रॉ पिक्सेल) को महंगा बना सकता है। वे यह भी स्वीकार करते हैं कि बेलमैन रेसिडुअल्स को मिनिमाइज करने से बायस आ सकता है, जो फिक्स्ड पॉइंट की सटीक रिकवरी को रोकता है, और मॉडल चयन (K चुनना) एक व्यावहारिक चुनौती बनी हुई है। भविष्य के कार्य में इन्हें स्पारसिफिकेशन और डायमेंशनलिटी रिडक्शन के माध्यम से संबोधित करने का प्रस्ताव दिया गया है।