🤖 machine learning

Primal-Dual Policy Optimization for Linear CMDPs with Adversarial Losses

यह शोध पत्र स्टोकेस्टिक लागतों वाले ऑनलाइन परिमित-क्षितिज (finite-horizon) प्रतिकूल रैखिक CMDPs के लिए पहले प्रिमल-डुअल पॉलिसी ऑप्टिमाइज़ेशन एल्गोरिदम को प्रस्तुत करता है, जो नवीन भारित LogSumExp सॉफ्टमैक्स पॉलिसियों, आवधिक पॉलिसी मिक्सिंग और नियमित डुअल अपडेट्स के माध्यम से $\widetilde{\mathcal{O}}(K^{3/4})$ के उप-रैखिक (sublinear) रिग्रेट और बाधा उल्लंघन (constraint violation) बाउंड्स प्राप्त करता है।

मूल लेखक: Kihyun Yu, Seoungbin Bae, Dabeen Lee

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kihyun Yu, Seoungbin Bae, Dabeen Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक तूफानी समुद्र में से गुजर रहे जहाज के कप्तान हैं। आपका लक्ष्य जितनी जल्दी हो सके गंतव्य तक पहुँचना है (हानि को कम करना), लेकिन आपका एक सख्त नियम है: आप ईंधन खत्म नहीं कर सकते (लागत बजट के भीतर रहना)।

अधिकांश पिछले अध्ययनों में, मौसम अनुमानित था। हवा एक स्थिर पैटर्न में चलती थी, या लहरें एक ज्ञात समय सारणी का पालन करती थीं। जहाज का कंप्यूटर "औसत" मौसम को सीख सकता था और एक सुरक्षित, कुशल मार्ग की योजना बना सकता था।

समस्या: मौसम अब शत्रुतापूर्ण है
यह शोध पत्र एक बहुत कठिन परिदृश्य को संबोधित करता है: प्रतिकूल (Adversarial) वातावरण। कल्पना कीजिए कि मौसम केवल यादृच्छिक (random) नहीं है; यह सक्रिय रूप से आपको धोखा देने की कोशिश कर रहा है। हवा अचानक बदल सकती है ताकि आपको रास्ते से भटकाया जा सके, या लहरें अप्रत्याशित रूप से बढ़ सकती हैं, इसलिए नहीं कि यह प्रकृति है, बल्कि इसलिए क्योंकि एक "प्रतिद्वंद्वी" हर एक दिन नियम बदल रहा है ताकि आपका काम कठिन हो जाए।

इसके अलावा, आपके पास दो प्रकार की प्रतिक्रिया (feedback) है:

तूफान पर पूर्ण जानकारी: आप हवा और लहरों को स्पष्ट रूप से देख सकते हैं (यह हानि/loss है)।
ईंधन पर अंध बिंदु (Blind Spots): आप केवल यह जानते हैं कि आपने कितना ईंधन जलाया है उसके बाद, और आप भविष्य के लिए ईंधन गेज नहीं देखते हैं (यह लागत/cost है)।

समाधान: एक स्मार्ट, लचीला कप्तान
लेखक, किह्युन यू, सियोंगबिन बे, और डेबीन ली, एक नया एल्गोरिदम (जहाज के कंप्यूटर के लिए निर्देशों का एक सेट) प्रस्तावित करते हैं जिसे प्राइमल-डुअल पॉलिसी ऑप्टिमाइज़ेशन (Primal-Dual Policy Optimization) कहा जाता है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "वेटेड लॉग-सम-एक्सप" रणनीति (एक लचीला मानचित्र)

आमतौर पर, एक जहाज एक एकल, कठोर मानचित्र का पालन करता है। यदि मानचित्र कहता है "बाएं मुड़ें," तो वह बाएं मुड़ता है। लेकिन एक शत्रुतापूर्ण वातावरण में, एक कठोर मानचित्र विफल हो जाता है।

लेखकों ने एक नए प्रकार का मानचित्र बनाया है जिसे वेटेड लॉग-सम-एक्सप सॉफ्टमैक्स पॉलिसी (Weighted LogSumExp Softmax Policy) कहा जाता है।

उपमा: कल्पना कीजिए कि आपका कप्तान केवल एक ही रास्ता नहीं चुनता। इसके बजाय, वे उन सभी रास्तों का एक "मानसिक ढेर" (mental stack) रखते हैं जिन्हें उन्होंने अतीत में आजमाया है।
ट्विस्ट: जब एक नई, कठिन हवा आती है, तो कप्तान केवल हाल की हवा को नहीं देखता। वे पिछले कुछ दिनों की हवाओं को देखते हैं, लेकिन वे उन्हें अलग तरह से तौलता (weigh) हैं। कुछ दिन अधिक महत्वपूर्ण होते हैं।
यह कैसे मदद करता है: यह जहाज को "प्रतिद्वंद्वी" द्वारा मौसम बदलने के प्रति तुरंत अनुकूल होने की अनुमति देता है, न कि एक पुराने, बेकार मानचित्र का पालन करने में फंसा हुआ रहने की।

2. "पीरियोडिक मिक्सिंग" (एक सुरक्षा रीसेट)

अतीत में, एल्गोरिदम अपनी रणनीतियों को मिलाने (थोड़ा सा यादृच्छिकता या एक "सुरक्षित डिफ़ॉल्ट" पथ जोड़ना) का प्रयास करते थे हर एक चरण में।

समस्या: यदि आप अपनी रणनीति को बहुत बार मिलाते हैं, तो आपका "मानसिक मानचित्र" इतना जटिल और अव्यवस्थित हो जाता है कि कंप्यूटर बहुत तेज़ी से सबसे अच्छा कदम नहीं निकाल पाता। यह एक ऐसे मानचित्र को पढ़ने जैसा है जिसे बहुत अधिक स्याही की परतों के साथ लगातार फिर से बनाया जा रहा है।
नवाचार: लेखकों ने महसूस किया कि उन्हें हर दिन मिश्रण करने की आवश्यकता नहीं है। वे अपनी रणनीति को केवल कुछ दिनों के बाद (विशेष रूप से, प्रत्येक $K^{3/4}$ एपिसोड के बाद) "रीसेट" या "मिक्स" करते हैं।
परिणाम: यह मानचित्र को गणना करने के लिए पर्याप्त साफ रखता है, लेकिन सुरक्षित रहने के लिए पर्याप्त बार भी। यह हर मिनट अपना दिशा-सूचक यंत्र (compass) और मार्ग को पुनर्गणना करने के बजाय सप्ताह में एक बार अपना दिशा-सूचक यंत्र और मार्ग की जाँच करने जैसा है।

3. "रेगुलराइज्ड" ईंधन गेज (डुअल अपडेट)

जहाज को यह सुनिश्चित करने की आवश्यकता है कि वह ईंधन खत्म न कर दे। गणितीय शब्दों में, यह डुअल वेरिएबल (Dual Variable) है।

समस्या: यदि जहाज में ईंधन कम हो जाता है, तो कंप्यूटर घबरा सकता है और अत्यधिक सुधार (over-correct) कर सकता है, जिससे वह "तेज़ जाने" और "पूरी तरह से रुकने" के बीच झूलने लगता है। यह अस्थिरता जहाज को दुर्घटनाग्रस्त कर देती है।
नवाचार: लेखकों ने एक "रेगुलराइजेशन" शब्द जोड़ा है। इसे ईंधन गेज पर एक शॉक एब्जॉर्बर (झटका सोखने वाला यंत्र) के रूप में समझें।
यह कैसे काम करता है: जब ईंधन का स्तर बहुत अधिक या बहुत कम हो जाता है, तो शॉक एब्जॉर्बर निर्णय को धीरे से एक स्थिर केंद्र की ओर वापस खींच लेता है। यह जहाज को जंगली, हताश निर्णय लेने से रोकता है, यह सुनिश्चित करता है कि ईंधन बजट का सम्मान किया जाए, भले ही मौसम जहाज को धोखा देने की कोशिश कर रहा हो।

बड़ी जीत

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह नया कप्तान (एल्गोरिदम) इस विशिष्ट मिश्रण को सफलतापूर्वक संभालने वाला पहला है:

शत्रुतापूर्ण, बदलता मौसम (Adversarial Loss)।
अंध ईंधन फीडबैक (Stochastic Cost)।
एक विशाल महासागर जिसमें एक-एक करके मानचित्र बनाने के लिए बहुत सारे संभावित स्थान हैं (Linear Function Approximation)।

परिणाम:
जहाज अपने गंतव्य तक एक "रिग्रेट" (यह कि वह आदर्श कप्तान की तुलना में कितना धीमा था) और "वाइलेशन" (यह कि उसने ईंधन बजट का कितना उल्लंघन किया) के साथ पहुँचता है जो यात्रा लंबी होने के साथ बहुत धीरे-धीरे बढ़ता है। विशेष रूप से, यदि आप यात्रा की लंबाई को दोगुना करते हैं, तो गलतियाँ दोगुनी नहीं होतीं; वे बहुत धीमी गति से बढ़ती हैं (सबलीनियरली)।

संक्षेप में:
यह शोध पत्र एक स्मार्ट नेविगेशन सिस्टम पेश करता है जो एक ऐसी दुनिया को संभाल सकता है जहाँ नियम दुर्भावनापूर्ण रूप से बदलते हैं। यह ऐसा इसलिए करता है क्योंकि यह अतीत की एक लचीली, भारित स्मृति रखता है, कुशल रहने के लिए केवल आवश्यकता होने पर ही अपनी रणनीति को रीसेट करता है, और अपने सुरक्षा प्रतिबंधों को टूटने से बचाने के लिए एक शॉक-एब्जॉर्बिंग तंत्र का उपयोग करता है। यह अप्रत्याशित, वास्तविक दुनिया की स्थितियों में AI को सुरक्षित और प्रभावी बनाने के लिए एक बड़ी उपलब्धि है।

तकनीकी सारांश: रैखिक CMDPs के लिए एडवरसैरियल लॉस के साथ प्राइमल-डुअल पॉलिसी ऑप्टिमाइज़ेशन

समस्या सेटिंग (Problem Setting)

यह शोध पत्र सेफ रिइन्फोर्समेंट लर्निंग (RL) की चुनौती को संबोधित करता है जहाँ सुरक्षा बाधाओं (safety constraints) को तब भी संतुष्ट किया जाना चाहिए जब वातावरण एडवरसैरियल परटर्बेशन (adversarial perturbations) के अधीन हो। विशेष रूप से, लेखक फाइनाइट-होराइजन एडवरसैरियल लीनियर कंस्ट्रेंड मार्कोव डिसीजन प्रोसेस (CMDPs) पर विचार करते हैं।

इस सेटिंग को टुपल $\mathcal{M} = (H, \mathcal{S}, \mathcal{A}, \{P_h\}, \{f^k\}, \{g^k\}, s_1, b)$ द्वारा परिभाषित किया गया है, जहाँ:

एडवरसैरियल लॉस (Adversarial Losses): लॉस फंक्शन $f^k = \{f^k_h\}$ प्रत्येक एपिसोड $k$ की शुरुआत में एक एडवर्सरी (adversary) द्वारा मनमाने ढंग से चुने जाते हैं (फुल-इंफॉर्मेशन फीडबैक)। ये लॉस किसी निश्चित वितरण (fixed distribution) से नहीं लिए गए हैं।
स्टोकेस्टिक कॉस्ट (Stochastic Costs): कॉस्ट फंक्शन $g^k = \{g^k_h\}$ एक निश्चित वितरण $G$ (बैंडिट फीडबैक) से i.i.d. तरीके से लिए गए हैं, जो सुरक्षा बाधाओं का प्रतिनिधित्व करते हैं।
लीनियर स्ट्रक्चर (Linear Structure): ट्रांजिशन कर्नेल, लॉस फंक्शन और कॉस्ट फंक्शन एक ज्ञात फीचर मैपिंग $\phi: \mathcal{S} \times \mathcal{A} \to \mathbb{R}^d$ के संबंध में एक लीनियर स्ट्रक्चर रखते हैं।
उद्देश्य (Objective): एजेंट एक ऐसी पॉलिसी खोजने का प्रयास करता है जो संचयी अपेक्षित लॉस (cumulative expected loss) को कम करे, जबकि यह सुनिश्चित करे कि अपेक्षित संचयी लागत (expected cumulative cost) बजट $b$ से अधिक न हो।

प्रदर्शन को रिग्रेट (Regret) (इष्टतम पॉलिसी की तुलना में संचयी लॉस अंतर) और कंस्ट्रेंट वायलेशन (Constraint Violation) (बजट के ऊपर संचयी अतिरिक्त लागत) द्वारा मापा जाता है। लक्ष्य दोनों मेट्रिक्स के लिए सबलीनियर बाउंड्स (sublinear bounds) प्राप्त करना है।

कार्यप्रणाली (Methodology)

लेखक एक प्राइमल-डुअल पॉलिसी ऑप्टिमाइज़ेशन एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित करते हैं, जिसे लीनियर फंक्शन एप्रोक्सिमेशन सेटिंग में एडवरसैरियल लॉस और स्टोकेस्टिक कंस्ट्रेंट्स के बीच के अंतर्संबंध को संभालने के लिए डिज़ाइन किया गया है। एल्गोरिदम चार मुख्य घटकों को एकीकृत करता है:

एपॉक इनिशियलाइज़ेशन और फीचर कॉन्ट्रैक्शन (Epoch Initialization and Feature Contraction):
एल्गोरिदम एपॉक्स (epochs) में कार्य करता है। एक एपॉक तब शुरू होता है जब डिज़ाइन मैट्रिक्स $\Lambda^k_h$ का डिटर्मिनेंट एक मल्टीप्लिकेटिव फैक्टर से बढ़ जाता है। इनिशियलाइज़ेशन पर, पॉलिसी को यूनिफॉर्म पॉलिसी पर रीसेट कर दिया जाता है, और डुअल वेरिएबल को शून्य पर रीसेट कर दिया जाता है। महत्वपूर्ण रूप से, एल्गोरिदम फीचर कॉन्ट्रैक्शन का उपयोग करता है, जो Q-फंक्शन अनुमानों को अनियंत्रित रूप से बढ़ने से रोकने के लिए मूल फीचर $\phi$ को सिग्मॉइड फंक्शन का उपयोग करके सिकोड़ देता है। यह तकनीक, जिसे Cassel & Rosenberg (2024) से अनुकूलित किया गया है, कवरिंग नंबर तर्कों के लिए पॉलिसी प्रतिनिधित्व को सरल बनाती है।
पॉलिसी एक्ज़ीक्यूशन और एस्टीमेशन (Policy Execution and Estimation):
प्रत्येक एपिसोड में, एजेंट वर्तमान पॉलिसी के आधार पर क्रियाएं निष्पादित करता है, एडवरसैरियल लॉस और स्टोकेस्टिक कॉस्ट को देखता है, और डिज़ाइन मैट्रिक्स को अपडेट करता है। इसके बाद वह लॉस और कॉस्ट फंक्शनों के मापदंडों का अनुमान लगाता है और कॉन्ट्रैक्टेड फीचर्स और ऑप्टिमिस्टिक बोनस का उपयोग करके Q-फंक्शन अनुमान ( $\hat{Q}$ ) और वैल्यू फंक्शन अनुमान ( $\hat{V}$ ) की गणना करता है।
पीरियडिक पॉलिसी मिक्सिंग (Periodic Policy Mixing):
एक मुख्य नवाचार पीरियडिक पॉलिसी मिक्सिंग है। हर एपिसोड में पॉलिसी को मिक्स करने (इसे यूनिफॉर्म पॉलिसी की ओर झुकाने) के बजाय, एल्गोरिदम केवल प्रत्येक $K^B$ एपिसोड में एक बार मिक्सिंग लागू करता है (जहाँ $B=3/4$ )।

प्रेरणा (Motivation): डुअल वेरिएबल को बाउंड करने के लिए (ड्रिफ्ट विश्लेषण के माध्यम से) बार-बार मिक्सिंग आवश्यक है, लेकिन यह पॉलिसी क्लास की जटिलता (कवरिंग नंबर) को बढ़ाता है। पीरियडिक मिक्सिंग इन प्रतिस्पर्धी आवश्यकताओं के बीच संतुलन बनाती है।
तंत्र (Mechanism): प्रत्येक $K^{3/4}$ एपिसोड में, वर्तमान पॉलिसी $\hat{\pi}^k$ को एक कॉनवेक्स कॉम्बिनेशन के माध्यम से यूनिफॉर्म पॉलिसी $\pi_{unif}$ के साथ मिक्स किया जाता है: $\tilde{\pi}^k = (1-\theta)\hat{\pi}^k + \theta\pi_{unif}$ ।

रेगुलराइज्ड डुअल अपडेट (Regularized Dual Update):
डुअल वेरिएबल $Y^k$ (जो कॉस्ट कंस्ट्रेंट से जुड़ा है) को एक रेगुलराइज्ड ग्रेडिएंट एसेंट स्टेप का उपयोग करके अपडेट किया जाता है:
$Y^{k+1} \leftarrow \left[ (1 - 4\alpha\eta H^3)Y^k + \eta(\hat{V}^k_{g,1}(s_1) - b - 4\alpha H^3 - 4\theta H^2) \right]_+$
रेगुलराइजेशन टर्म्स ( $-4\alpha\eta H^3 Y^k$ और कांस्टेंट) को डुअल वेरिएबल को शून्य की ओर खींचने के लिए डिज़ाइन किया गया है, जिससे एक ल्यपुनोव ड्रिफ्ट विश्लेषण (Lyapunov drift analysis) सक्षम होता है जो उन स्ट्रॉन्ग ड्युअलिटी धारणाओं पर निर्भर किए बिना $Y^k$ को बाउंड करता है जो एडवरसैरियल सेटिंग्स में विफल हो जाती हैं।
वेटेड LogSumExp सॉफ्टमैक्स पॉलिसियाँ (Weighted LogSumExp Softmax Policies):
परिणामी पॉलिसी क्लास एक वेटेड LogSumExp सॉफ्टमैक्स है। पीरियडिक मिक्सिंग के कारण, पॉलिसी केवल Q-फंक्शन्स के योग का एक्सपोनेंशियल नहीं है, बल्कि Q-फंक्शन अनुमानों के आंशिक योग के एक्सपोनेंशियल का एक वेटेड सम (weighted sum) है। यह संरचना पॉलिसी को एडवरसरियल लॉस के अनुकूल होने की अनुमति देती है जबकि एक प्रबंधनीय कवरिंग नंबर बनाए रखती है।

मुख्य योगदान (Key Contributions)

एडवरसैरियल लीनियर CMDPs के लिए प्रथम सबलीनियर बाउंड्स:
यह शोध पत्र एडवरसैरियल लॉस और स्टोकेस्टिक कॉस्ट वाले लीनियर CMDPs की सेटिंग में सबलीनियर रिग्रेट और कंस्ट्रेंट वायलेशन बाउंड्स प्राप्त करने वाला पहला एल्गोरिदम प्रस्तुत करता है। इनके बाउंड्स $\tilde{O}(K^{3/4})$ हैं, जहाँ $K$ एपिसोड की संख्या है।
नया कवरिंग नंबर तर्क (New Covering Number Argument):
लेखक वेटेड LogSumExp सॉफ्टमैक्स पॉलिसियों के लिए एक नया कवरिंग नंबर तर्क स्थापित करते हैं। मानक सॉफ्टमैक्स पॉलिसियों के विपरीत जहाँ वेट्स यूनिफॉर्म होते हैं, मिक्सिंग प्रक्रिया अलग-अलग वेट पैरामीटर्स $\zeta_i$ के साथ पॉलिसी में भिन्नता लाती है। लेखक सिद्ध करते हैं कि इस क्लास के लिए कवरिंग नंबर का लॉग $\tilde{O}(n^2 d^2)$ के रूप में बढ़ता है, जहाँ $n$ मिक्सिंग स्टेप्स की संख्या है और $d$ फीचर डायमेंशन है। यह परिणाम गैर-तुच्छ (non-trivial) है क्योंकि वेट पैरामीटर्स मिक्सिंग पैरामीटर और Q-फंक्शन अनुमानों दोनों पर निर्भर करते हैं।
कंट्रोल के लिए एल्गोरिथमिक घटक:
पेपर कवरिंग नंबर और डुअल वेरिएबल को संयुक्त रूप से नियंत्रित करने के लिए दो नए घटक पेश करता है:

पीरियडिक पॉलिसी मिक्सिंग: मिक्सिंग की फ्रीक्वेंसी को रेगुलेट करता है ताकि कवरिंग नंबर बहुत बड़ा न हो जाए (जो $O(K)$ मिक्सिंग स्टेप्स के साथ होगा), जबकि यह सुनिश्चित करता है कि यह डुअल वेरिएबल को बाउंड करने के लिए पर्याप्त बार हो।
रेगुलराइज्ड डुअल अपडेट: एक नया अपडेट नियम जो ड्रिफ्ट-आधारित विश्लेषण को सुगम बनाने के लिए एक रेगुलराइजेशन टर्म को शामिल करता है, जिससे स्ट्रॉन्ग ड्युअलिटी की अनुपस्थिति में डुअल वेरिएबल को बाउंड करना संभव होता है।

परिणाम (Results)

सैद्धांतिक गारंटी (Theoretical Guarantees):
स्लेटर कंडीशन (Assumption 1) के तहत और यह मानते हुए कि $H^2 \leq K$ , कम से कम $1-\delta$ प्रायिकता के साथ, एल्गोरिदम प्राप्त करता है:

रिग्रेट: $\tilde{O}\left(\sqrt{d^3}H^4 K^{3//4} + dH^3 K^{3/4} + d^3 H^4 K^{1/2} + \frac{H^6}{\gamma^2} K^{1/4} + \frac{dH^6}{\gamma^2}\right)$
कंस्ट्रेंट वायलेशन: $\tilde{O}\left(\frac{dH^5}{\gamma} K^{3/4} + \sqrt{d^3}H^4 K^{3/4} + d^3 H^4 K^{1/2}\right)$

दोनों मेट्रिक्स $K$ के साथ सबलीनियर रूप से स्केल करते हैं (विशेष रूप से $K^{3/4}$ ), जो यह दर्शाता है कि एपिसोड की संख्या बढ़ने के साथ औसत रिग्रेट और औसत कंस्ट्रेंट वायलेशन शून्य की ओर अभिसरित (converge) होते हैं।

संख्यात्मक प्रयोग (Numerical Experiments):
एल्गोरिदम का मूल्यांकन एक संशोधित जॉब-शेड्यूलिंग CMDP पर किया गया जिसमें एडवरसैरियल लॉस था। 100,000 एपिसोड के ऊपर:

रिग्रेट: सबलीनियर रूप से बढ़ा, जो सैद्धांतिक बाउंड की पुष्टि करता है।
कंस्ट्रेंट वायलेशन: शुरुआत में तेजी से बढ़ा लेकिन लगभग 45,000 एपिसोड के बाद शून्य पर अभिसरित हुआ, जो लंबे समय में सुरक्षा बाधाओं को पूरा करने की एल्गोरिदम की क्षमता को प्रमाणित करता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि यह एडवरसैरियल सेटिंग्स में लीनियर फंक्शन एप्रोक्सिमेशन के साथ सेफ RL के लिए पहला प्रमाणित रूप से कुशल एल्गोरिदम है। इसका महत्व निम्नलिखित के बीच के अंतर को पाटने में निहित है:

टेबुलर एडवरसैरियल CMDPs: पिछले कार्यों (जैसे, Qiu et al., 2020) ने एडवरसैरियल सेटिंग्स को संभाला लेकिन वे छोटे, परिमित स्टेट स्पेस तक सीमित थे।
लीनियर स्टोकेस्टिक CMDPs: पिछले कार्यों (जैसे, Ghosh et al., 2022) ने बड़े स्टेट स्पेस को संभाला लेकिन स्थिर (स्टोकेस्टिक) वातावरण मान लिया।

वेटेड LogSumExp सॉफ्टमैक्स पॉलिसी और पीरियडिक मिक्सिंग रणनीति पेश करके, लेखक प्रदर्शित करते हैं कि यह संभव है कि बड़े स्टेट स्पेस (लीनियर एप्रोक्सिमेशन के माध्यम से) और एडवरसैरियल लॉस को एक साथ संभाला जा सके। पेपर विनम्रतापूर्वक नोट करता है कि हालांकि $\tilde{O}(K^{3/4})$ प्राप्त किया गया है, लेकिन इस विशिष्ट सेटिंग के लिए इष्टतम $\tilde{O}(\sqrt{K})$ बाउंड अभी भी एक खुला प्रश्न है, विशेष रूप से मिक्सिंग स्टेप्स और कवरिंग नंबर के बीच के ट्रेड-ऑफ के संबंध में। यह कार्य ऑक्यूपेंसी-मेजर-आधारित डुअल अपडेट को एडवरसैरियल लीनियर CMDPs में पॉलिसी-आधारित तरीकों में विस्तारित करने की कठिनाई को भी उजागर करता है, जो प्रस्तावित प्राइमल-डुअल पॉलिसी ऑप्टिमाइज़ेशन दृष्टिकोण को उचित ठहराता है।