🤖 machine learning

GAE Falls Short in Imperfect-Information Self-Play Reinforcement Learning

यह शोध पत्र वेरिएन्स-रिड्यूस्ड पॉलिसी ऑप्टिमाइज़ेशन (VRPO) को प्रस्तुत करता है, जो एक नया एल्गोरिदम है जो अपूर्ण-सूचना वाले स्व-खेल (self-play) के लिए मानक जनरलाइज्ड एडवांटेज एस्टीमेशन में निहित उच्च वेरिएन्स से निपटने हेतु $Q$ -बूस्टिंग वेरिएन्स-रिड्यूस्ड एडवांटेज एस्टीमेटर का उपयोग करता है, जिससे डौ डिज़ु (Dou Dizhu) और हेड्स-अप नो-लिमिट टेक्सस होल्डम (Heads-Up No-Limit Texas Hold'em) जैसे प्रतिस्पर्धी मल्टी-एजेंट खेलों में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Zhiyuan Fan, Gabriele Farina

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhiyuan Fan, Gabriele Farina

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप रोबोटों के एक समूह को एक जटिल कार्ड गेम जैसे कि पोकर या Dou Dizhu (एक लोकप्रिय चीनी कार्ड गेम) खेलना सिखा रहे हैं। पेच यह है कि वे एक-दूसरे के कार्ड नहीं देख सकते, और वे उन विरोधियों के खिलाफ खेल रहे हैं जो उन्हें धोखा देने की कोशिश कर रहे हैं। जीतने के लिए, रोबोटों को एक ऐसी रणनीति सीखने की आवश्यकता है जो इतनी संतुलित और अप्रत्याशित हो कि कोई भी प्रतिद्वंद्वी उनका फायदा न उठा सके। इसे "इक्विलिब्रियम" (equilibrium) या संतुलन खोजना कहा जाता है।

लंबे समय से, रोबोटों को सिखाने का सबसे अच्छा तरीका सेल्फ-प्ले (Self-Play) रहा है—आप रोबोटों को अपने ही स्वरूपों (copies) के खिलाफ लाखों बार खेलने देते हैं। सबसे लोकप्रिय शिक्षक एक एल्गोरिदम है जिसे PPO (प्रॉक्सिमल पॉलिसी ऑप्टिमिization) कहा जाता है।

हालाँकि, इस शोध पत्र के लेखकों ने खोजा है कि गुप्त-कार्ड वाले खेलों में PPO रोबोटों को कैसे सिखाता है, इसमें एक छिपा हुआ "ग्लिच" (glitch) है। यहाँ समस्या और उनके समाधान का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:

समस्या: भीड़ भरे कमरे में "शोर भरी फुसफुसाहट" (The "Noisy Whisper" in a Crowded Room)

मानक PPO में, रोबोट अतीत में लिए गए किसी रास्ते को देखकर सीखता है और पूछता है, "क्या वह एक अच्छा कदम था?" इसका उत्तर देने के लिए, यह GAE (जनरलाइज्ड एडवांटेज एस्टीमेशन) नामक टूल का उपयोग करता है।

GAE को एक खिलाड़ी को खेल के रीप्ले के आधार पर सलाह देने वाली फुसफुसाहट वाले कोच की तरह समझें।

एक सरल खेल में (जैसे शतरंज): भविष्य अनुमानित है। यदि कोच कहता है, "आपने यहाँ प्यादा चला, और इससे जीत मिली," तो खिलाड़ी ठीक जानता है कि ऐसा क्यों हुआ।
एक गुप्त-कार्ड वाले खेल में (जैसे पोकर): भविष्य अनिश्चितता से भरा है। कोच की फुसफुसाहट धुंधली हो जाती है क्योंकि रोबोट को यह अनुमान लगाना पड़ता है कि अन्य रोबोट आगे क्या कर सकते हैं। चूंकि रोबोट रैंडम तरीके से खेल रहे हैं (ताकि वे अपने विरोधियों को भ्रमित रख सकें), इसलिए कोच की सलाह एक "शोर भरी फुसफुसाहट" बन जाती है।

उपमा: कल्पना कीजिए कि आप एक ऐसे कमरे में डांस रूटीन सीखना चाह रहे हैं जहाँ हर कोई बेतरतीब ढंग से घूम रहा है।

पुराना तरीका (GAE): कोच आपको बताने की कोशिश करता है, "यदि आप बाईं ओर कदम रखते हैं, तो आप सुरक्षित रहेंगे।" लेकिन क्योंकि बाकी सब पागलों की तरह घूम रहे हैं, कोच की आवाज़ शोर में दब जाती है। रोबोट सुनता है, "बाईं ओर कदम रखें... शायद? या शायद दाईं ओर? यह बताना मुश्किल है!" यह "शोर" रोबोट के सीखने की प्रक्रिया को अस्थिर और धीमा बना देता है।
पेपर की खोज: भले ही कोच एकदम सटीक हो (खेल का पूर्ण ज्ञान रखता हो), फिर भी शोर इस तथ्य से आता है कि अन्य डांसर रैंडम तरीके से घूम रहे हैं। रोबोट यह अंतर नहीं कर पाता कि यह एक बुरा कदम था या अन्य खिलाड़ियों की रैंडमनेस के कारण मिली केवल एक बुरी किस्मत।

समाधान: "Q-बूस्टिंग" (The Crystal Ball)

लेखकों ने इस शोर को ठीक करने के लिए Q-Boosting नामक एक नया टूल बनाया है।

एक एकल रैंडम रीप्ले के आधार पर भविष्य का अनुमान लगाने के बजाय, Q-Boosting कोच से कहता है कि वह एक साथ सभी संभावित भविष्यों को देखे और उनका औसत निकाल ले।

उपमा: कोच यह कहने के बजाय कि, "मैंने देखा कि आपने बाईं ओर कदम रखा, और उस एक बार कोई आपसे टकरा गया था," नया कोच कहता है, "मैंने गणना की है कि यदि आप बाईं ओर कदम रखते हैं, तो 50% समय आप सुरक्षित रहेंगे, 30% समय आप बाधित होंगे, और 20% समय आप लड़खड़ा जाएंगे। औसत रूप से, बाईं ओर कदम रखना एक अच्छा विचार है।"

सलाह देने से पहले रैंडमनेस का औसत निकालने के लिए गणित का उपयोग करके, कोच इस "शोर" को हटा देता है। रोबोट को एक स्पष्ट, शांत संकेत मिलता है: "यह कदम औसतन अच्छा है," न कि "यह कदम इस विशेष समय पर अच्छा था लेकिन उस समय बुरा हो सकता था।"

वे इस नई शिक्षण पद्धति को VRPO (वैरिएंस-रिड्यूस्ड पॉलिसी ऑप्टिमिization) कहते हैं।

परिणाम: स्मार्ट रोबोट, तेज़ जीत

शोध पत्र में इस नए तरीके (VRPO) का परीक्षण कई खेलों में किया गया:

छोटे खेल (टेस्ट किचन): उन्होंने "लायर्स डाइस" (Liar's Dice) और "फैंटम टिक-टैक-टो" (Phantom Tic-Tac-Toe) जैसे खेल खेले। इन खेलों में, वे गणितीय रूप से सिद्ध कर सकते थे कि रोबोट कितना अच्छा था।
- परिणाम: VRPO ने PPO की तुलना में बहुत अधिक मजबूत रणनीति सीखी। इसे धोखा देना कठिन था, जिसका अर्थ है कि यह पूर्ण "इक्विलिब्रियम" रणनीति के बहुत करीब था।
मध्यम खेल (एरिना): उन्होंने Dou Dizhu (एक जटिल 3-प्लेयर कार्ड गेम) खेला।
- परिणाम: VRPO ने आमने-सामने के मैचों में पिछले सर्वश्रेष्ठ AI (जिसे PerfectDou कहा जाता है) को हरा दिया, भले ही उन्होंने समान मात्रा में कंप्यूटिंग पावर का उपयोग किया था। इसने अधिक बार जीतने के लिए बेहतर तरीके से सीखा।
बड़े खेल (चैंपियनशिप): उन्होंने Heads-Up No-Limit Texas Hold'em (एक उच्च-दांव वाला पोकर वेरिएंट) आजमाया।
- परिणाम: VRPO ने एक मजबूत पोकर बॉट 'Slumbot' के खिलाफ बहुत अच्छा प्रदर्शन किया। यह एक लंबे सत्र में पैसा जीतने में सफल रहा, बिना किसी "चीटिंग" के जैसे कि भविष्य के कार्ड देखना या खेल के दौरान जटिल गणित करना। इसने बस प्रशिक्षण के माध्यम से एक बेहतर रणनीति सीखी।

सारांश

यह पेपर तर्क देता है कि जब रोबोटों को गुप्त-कार्ड वाले खेल खेलने के लिए सिखाया जाता है, तो सीखने का पुराना तरीका (GAE) अन्य खिलाड़ियों की रैंडमनेस (अनिश्चितता) से भ्रमित हो जाता है। नया तरीका (Q-Boosting के साथ VRPO) एक सुपर-स्मार्ट कोच की तरह काम करता है जो सलाह देने से पहले सभी संभावनाओं का औसत निकाल लेता है। यह भ्रम को दूर करता है, जिससे रोबोट तेजी से सीख सकते हैं, अधिक स्थिरता से खेल सकते हैं, और उन्हें हराना बहुत कठिन हो जाता है।

तकनीकी सारांश: अपूर्ण-सूचना स्व-खेल (Imperfect-Information Self-Play) में GAE विफल रहता है

समस्या विवरण (Problem Statement)

अपूर्ण-सूचना वाले खेलों में प्रतिस्पर्धी मल्टी-एजेंट सुदृढीकरण शिक्षण (MARative MARL) के लिए एजेंटों को प्रतिकूल विरोधियों के विरुद्ध आंशिक अवलोकन (partial observability) के तहत कार्य करने की आवश्यकता होती है, जिसके लिए स्टोकेस्टिक नीतियों (stochastic policies) की आवश्यकता होती है। जबकि प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) का उपयोग करके स्व-खेल सुदृढीकरण शिक्षण ने अनुभवजन्य सफलता प्राप्त की है, यह संतुलन शिक्षण (equilibrium learning) में एक महत्वपूर्ण बाधा का सामना करता है: एडवांटेज-एस्टिमेशन वेरिएंस (advantage-estimation variance)।

मानक PPO कार्यान्वयन मल्टी-स्टेप टेम्पोरल-डिफरेंस (TD) अवशेषों (residuals) को एकत्रित करने के लिए जनरलाइज्ड एडवांटेज एस्टीमेशन (GAE) पर निर्भर करते हैं। सिंगल-एजेंट सेटिंग्स में, GAE बायस और वेरिएंस के बीच प्रभावी ढंग से संतुलन बनाता है। हालांकि, अपूर्ण-सूचना वाले स्व-खेल में, संतुलन नीतियां स्वाभाविक रूप से स्टोकेस्टिक होती हैं। GAE अपने मल्टी-स्टेप ट्रेस के भीतर भविष्य के कार्यों के सैंपलिंग से उत्पन्न होने वाले रैंडमनेस (randomness) को विरासत में लेता है। चूंकि संतुलन नीतियां विभिन्न कार्यों को अलग-अलग मान (values) प्रदान करती हैं, इसलिए भविष्य के कार्यों की सैंपलिंग आंतरिक शोर (intrinsic noise) पेश करती है। यह वेरिएंस स्व-खेल परिदृश्यों में बढ़ जाता है और तब भी बना रहता है जब स्टेट-वैल्यू क्रिटिक ( $V$ -critic) सटीक हो। फलस्वरूप, मानक GAE ठीक उन्हीं चरणों में उच्च-वेरिएंस ग्रेडिएंट अनुमान उत्पन्न करता है जहाँ स्थिर शिक्षण सबसे महत्वपूर्ण होता है, जिससे उच्च-गुणवत्ता वाले इक्विलिब्रियम तक पहुँचने में बाधा आती है।

कार्यप्रणाली (Methodology)

Q-बूस्टिंग एस्टीमेटर (Q-Boosting Estimator)

एक्शन सैंपलिंग से उत्पन्न होने वाले वेरिएंस को संबोधित करने के लिए, लेखक Q-बूस्टिंग का प्रस्ताव करते हैं, जो एक वेरिएंस-रिड्यूस्ड एडवांटेज एस्टीमेटर है। मुख्य नवाचार de गई मल्टी-स्टेप टेम्पोरल-डिफरेंस (TD) ट्रेस को एक सेंट्रलाइज्ड एक्शन-वैल्यू क्रिटिक ( $Q$ -critic) से गणना किए गए मल्टी-स्टेप एक्सपेक्टेड सारसा ( $\lambda$ ) (Expected SARSA( $\lambda$ )) ट्रेस से बदलना है।

तंत्र (Mechanism): सैंपल्ड नेक्स्ट एक्शन्स (जो शोर पेश करता है) के माध्यम से बूटस्ट्रैपिंग करने के बजाय, Q-बूस्टिंग प्रत्येक बैकअप स्टेप पर पॉलिसी एक्सपेक्टेशन (policy expectations) की गणना करता है। यह वर्तमान नीति द्वारा परिभाषित एक्शन डिस्ट्रीब्यूशन पर एक्सपेक्टेशन लेकर भविष्य के स्टोकेस्टिक एक्शन्स से होने वाले शोर को औसत निकाल देता है।
फॉर्मूलेशन (Formulation): एक सेंट्रलाइज्ड $Q$ -क्रिटिक $Q_i(s, a)$ और एक जॉइंट पॉलिसी $\pi$ दिए जाने पर, स्टेट वैल्यू की गणना इस प्रकार की जाती है: $V^\pi_i(s) = \sum_a \pi(a|s) Q_i(s, a)$ । Q-बूस्टिंग एडवांटेज एस्टीमेट $\hat{A}^{boost}_{i,\tau}$ को निम्नानुसार परिभाषित किया गया है:
$\hat{A}^{boost}_{i,\tau} \triangleq Q_i(s_\tau, a_\tau) - V^\pi_i(s_\tau) + \sum_{\tau' \ge \tau} (\lambda\gamma)^{\tau'-\tau} \cdot \delta^+_{i,\tau'}$
जहाँ एक्सपेक्टेड सारसा TD रेसिडुअल है $\delta^+_{i,\tau'} \triangleq r_{i}(s_{\tau'}, a_{\tau'}) + \gamma V^\pi_i(s_{\tau'+1}) - Q_i(s_{\tau'}, a_{\tau'})$ ।
सैद्धांतिक गारंटी (Theoretical Guarantee): लेखक सिद्ध करते हैं कि ऑन-पॉलिसी ट्राजेक्टरीज और $\lambda=1$ के लिए, Q-बूस्टिंग एस्टीमेटर स्कोर-फंक्शन पॉलिसी-ग्रेडिएंट टर्म का एक अनबायस्ड (unbiased) अनुमान प्रदान करता है। इसके अलावा, यदि $Q$ -क्रिटिक पर्याप्त सटीक है, तो Q-बूस्टिंग एस्टीमेटर का मीन-स्क्वेर्ड एरर, एक सटीक $V$ -क्रिटिक के साथ GAE की तुलना में स्पष्ट रूप से कम होता है, बशर्ते कि भविष्य के कार्यों में उनके एक्शन वैल्यूज का नॉन-जीरो वेरिएंस हो।

वेरिएंस-रिड्यूस्ड पॉलिसी ऑप्टिमाइजेशन (VRPO)

लेखक Q-बूस्टिंग को एक PPO-शैली के एल्गोरिदम में एकीकृत करते हैं जिसे वेरिएंस-रिड्यूस्ड पॉलिसी ऑप्टिमाइजेशन (VRPO) कहा जाता है।

आर्किटेक्चर (Architecture): VRPO, सेंट्रलाइज्ड ट्रेनिंग विद डिसेंट्रलाइज्ड एक्जीक्यूशन (CTDE) प्रतिमान का अनुसरण करता है। यह निष्पादन (execution) के लिए डिसेंट्रलाइज्ड एक्टर्स और प्रशिक्षण के लिए एक सेंट्रलाइज्ड $Q$ -क्रिटिक का उपयोग करता है।
उद्देश्य (Objective): एल्गोरिदम PPO के क्लिप्ड सरोगेट ऑब्जेक्टिव और ट्रस्ट-रीजन अपडेट्स को बनाए रखता है, लेकिन एडवांटेज एस्टीमेशन और क्रिटिक लर्निंग प्रक्रियाओं को संशोधित करता है।
प्रशिक्षण प्रक्रिया (Training Procedure):
1. एक्टर अपडेट (Actor Update): एक्टर्स को Q-बूcing एडवांटेज एस्टीमेट्स का उपयोग करके अपडेट किया जाता है। ऑन-पॉलिसी गुणों को बनाए रखने के लिए, एडवांटेज कैलकुलेशन में पॉलिसी एक्सपेक्टेशन टर्म्स को वर्तमान एक्टर प्रोबेबिलिटीज का उपयोग करके पुनर्गणना किया जाता है जबकि क्रिटिक वैल्यूज को स्थिर रखा जाता है।
2. क्रिटिक अपडेट (Critic Update): सेंट्रलाइज्ड $Q$ -क्रिटिक्स को Q-बूस्टिंग टारगेट (एक मल्टी-स्टेप एक्सपेक्टेड सारसा ट्रेस) के विरुद्ध स्क्वेर्ड रिग्रेशन लॉस को मिनिमाइज करके प्रशिक्षित किया जाता है।
3. रेगुलराइजेशन (Regularization): एक्सप्लोरेशन को बढ़ावा देने और लास्ट-इटरेट कन्वर्जेंस को प्रोत्साहित करने के लिए पॉलिसी ऑब्जेक्टिव में यूनिफॉर्म डिस्ट्रीब्यूशन के सापेक्ष एक स्पष्ट KL-डाइवर्जेंस पेनल्टी जोड़ी जाती है।
बड़े एक्शन स्पेस को संभालना (Handling Large Action Spaces): बड़े एक्शन सेट्स (जैसे, Dou Dizhu) वाले खेलों के लिए, लेखक जटिल निर्णयों को कई टाइम स्टेप्स में विभाजित करते हैं। यह प्रति स्टेप उपलब्ध एक्शन्स की संख्या को प्रबंधनीय आकार में कम कर देता है, जिससे Q-बूस्टिंग ट्रेस में आवश्यक एन्यूमरेशन (enumeration) संभव हो पाता है।

मुख्य योगदान (Key Contributions)

वेरिएंस के स्रोत की पहचान: पेपर यह पहचानता है कि GAE में भविष्य के एक्शन्स की सैंपलिंग स्टोकेस्टिक स्व-खेल में अतिरिक्त वेरिएंस पेश करती है, जो सटीक वैल्यू फंक्शन्स के साथ भी बनी रहती है।
Q-बूस्टिंग एस्टीमेटर: लेखक Q-बूस्टिंग का निर्माण करते हैं, जो एक PPO-संगत एस्टीमेटर है जो भविष्य के एक्शन-सैंपलिंग शोर को औसत निकालने के लिए एक सेंट्रलाइज्ड $Q$ -क्रिटिक पर एक्सपेक्टेड सारसा ( $\lambda$ ) ट्रेस लागू करता है।
VRPO एल्गोरिदम: VRPO का प्रस्ताव, जो बेहतर स्थिरता और प्रदर्शन प्राप्त करने के लिए Q-बूस्टिंग का लाभ उठाने वाला एक PPO-शैली का एल्गोरिदम है।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न पैमानों के खेलों में इक्विलिब्रियम की गुणवत्ता में पर्याप्त सुधार के लिए एडवांटेज एस्टीमेशन वेरिएंस को कम करने के लाभों का प्रदर्शन।

प्रयोगात्मक परिणाम (Experimental Results)

मध्यम आकार के खेल (सटीक एक्सप्लोिटेबिलिटी)

लेखकों ने मध्यम आकार के खेलों पर VRPO का बेंचमार्किंग किया जहाँ सटीक एक्सप्लोिटेबिलिटी (exploitability) की गणना की जा सकती है: अब्रप्ट फैंटम टिक-टैक-टो (APTTT), अब्रप्ट डार्क हेक्स 3 (ADH3), और लियार्स डाइस विद 2 डाइस एंड 5 फेसेस (LiDi 2D5F)।

प्रदर्शन: VRPO ने साझा प्रशिक्षण शेड्यूल के तहत विभिन्न PPO-आधारित बेसलाइन्स (IPPO, MAPPO, MMD, PPG) की तुलना में लगातार 15% से अधिक कम एक्सप्लोिटेबिलिटी प्राप्त की।
एब्लेशन (Ablation): प्रयोगों ने पुष्टि की कि प्रदर्शन में लाभ विभिन्न ट्रेस पैरामीटर्स ( $\lambda$ ), रेगुलराइजेशन कोएफिशिएंट्स ( $\alpha$ ), और PPO क्लिपिंग कोएफिशिएंट्स ( $\epsilon$ ) में मजबूत है।

बड़े पैमाने के खेल

लेखकों ने बड़े पैमाने के डोमेन में VRPO का मूल्यांकन किया जहाँ सटीक एक्सप्लोिटेबिलिटी कठिन है।

Dou Dizhu: VRPO को पिछले स्टेट-ऑफ-द-आर्ट एजेंट, PerfectDou, के विरुद्ध प्रशिक्षित किया गया था। एक मैच किए गए ट्रेनिंग बजट ( $\approx 2.65 \times 10^9$ टाइमस्टेप्स) के तहत, VRPO ने प्रशिक्षण के केवल 40% चरणों के बाद ही PerfectDou को पीछे छोड़ दिया। 100,000 डील्स के हेड-टू-हेड मूल्यांकन में, VRPO ने PerfectDou, DouZero और स्वयं (रोल-स्वैप्ड मैचों में) के विरुद्ध सकारात्मक लाभ हासिल किया, जिससे एक नया स्टेट-ऑफ-द-आर्ट स्थापित हुआ।
हेड्स-अप नो-लिमिट टेक्सास होल्ड'म (HUNL): VRPO को 200 बिग-ब्लाइंड स्टैक के साथ HUNL पर प्रशिक्षित किया गया था। IPPO और MAPPO की तुलना में, VRPO ने प्रशिक्षण के दौरान एडवांटेज एस्टीमेट्स के स्टैंडर्ड डेविएशन को काफी कम कर दिया। स्ट्रॉन्ग बेसलाइन Slumbot के विरुद्ध, VRPO एजेंट ने 1,000,000 हाथों पर $33 \pm 19$ mBB/hand का औसत लाभ प्राप्त किया। विशेष रूप से, यह प्रदर्शन बिना ऑनलाइन सर्च, सबगेम सॉल्विंग, या ब्लूप्रिंट-आधारित रेज़ साइजिंग के प्राप्त किया गया।

महत्व और दायरा (Significance and Scope)

पेपर का दावा है कि प्राथमिक योगदान एडवांटेज-एस्टीमेशन वेरिएंस को इक्विलिब्रियम स्व-खेल में एक बाधा के रूप में पहचानना और यह प्रदर्शित करना है कि Q-बूस्टिंग इस मुद्दे को प्रभावी ढंग से कम करता है। परिणाम बताते हैं कि एडवांटेज एस्टीमेशन में वेरिएंस को कम करने से सीखे गए इक्विलिब्रियम की गुणवत्ता में पर्याप्त लाभ मिल सकता है।

लेखक अपने दावों के संबंध में एक सीमित दायरे को बनाए रखते हैं:

दृष्टिकोण को बड़े डिस्क्रीट (discrete) एक्शन सेट्स (डिकम्पोजिशन के माध्यम से) के लिए मान्य किया गया है, लेकिन यह उच्च-आयामी कंटीन्यूअस (continuous) एक्शन स्पेस को संबोधित नहीं करता है।
इनका अनुभवजन्य फोकस सेंट्रलाइज्ड क्रिटिक्स के साथ स्टोकेस्टिक स्व-खेल पर है; लेखक मानक सिंगल-एजेंट RL बेंचमार्क में GAE पर व्यापक सुधार का दावा नहीं करते हैं।
विधि क्रियाओं पर पॉलिसी एक्सपेक्टेशन की गणना करने की क्षमता पर निर्भर करती है, जो परीक्षण किए गए डोमेन में व्यवहार्य है लेकिन अत्यंत बड़े एक्शन सेट्स के लिए विशिष्ट आर्किटेक्चरल विचारों की आवश्यकता हो सकती है।

निष्कर्षतः, VRPO स्टोकेस्टिक इक्विलिब्रियम लर्निंग में निहित एक विशिष्ट, पहले से अज्ञात वेरिएस सोर्स को संबोधित करके, अपूर्ण-सूचना वाले खेलों में पॉलिसी ग्रेडिएंट विधियों को लागू करने की दिशा में एक महत्वपूर्ण कदम है।