💻 computer science

Gradient-Free versus Gradient-Based Risk Constraints in Reinforcement Learning: A Reservoir Governance Case Study

यह अध्ययन प्रदर्शित करता है कि जलाशय शासन (reservoir governance) में, ग्रेडिएंट-मुक्त अनुकूलन (CEM), टेल रिस्क (tail risk) को कम करने में ग्रेडिएंट-आधारित विधियों (SAC/PPO) से बेहतर प्रदर्शन करता है क्योंकि यह सीधे गैर-विभेदक (non-differentiable) CVaR का मूल्यांकन करता है, जबकि ग्रेडिएंट-आधारित दृष्टिकोण अपने विभेदक लागत सरोगेट्स (differentiable cost surrogates) पर निर्भरता के कारण ज्यामितीय रूप से घटते सुरक्षा आश्वासनों से ग्रस्त होते हैं।

मूल लेखक: Milad Tahavor, Soroush Amanna, Fatemeh Zabihi Jalali Zavareh, Milad Ghoroqi

प्रकाशित 2026-08-04

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Milad Tahavor, Soroush Amanna, Fatemeh Zabihi Jalali Zavareh, Milad Ghoroqi

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखाने की कोशिश कर रहे हैं, लेकिन एक बहुत ही विशिष्ट, उच्च-दांव वाले नियम के साथ: उसे कभी भी गैस खत्म नहीं होने देनी है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) कहा जाता है। रोबोट चीज़ों को आज़माकर, अच्छी ड्राइविंग के लिए इनाम पाकर और गलतियों के लिए दंड पाकर सीखता है। लेकिन यहाँ पेचीदा बात यह है: क्या होगा अगर रोबोट का लक्ष्य केवल औसत रूप से थोड़ी अधिक गैस खर्च करने से बचना नहीं, बल्कि एक एकल, विनाशकारी क्षण (जैसे कि एक खड़ी ढलान पर गैस खत्म हो जाना) से बचना हो?

इस समस्या को हल करने के लिए, वैज्ञानिक रोबोट को प्रशिक्षित करने के लिए दो मुख्य प्रकार के "शिक्षकों" या ऑप्टिमाइज़र (optimizers) का उपयोग करते हैं। पहला प्रकार ग्रेडिएंट-आधारित (Gradient-Based) है। इन्हें ऐसे शिक्षकों के रूप में सोचें जिन्हें गणित और चिकनी वक्र रेखाओं (smooth curves) से प्यार है। वे रोबोट के पथ को देखते हैं और सूक्ष्म, सुचारू बदलावों की गणना करके उसे सही दिशा में धकेलने की कोशिश करते हैं। वे औसत गलतियों को कम करने में माहिर हैं, जैसे कि "कुल उपयोग की गई ईंधन की मात्रा।" दूसरा प्रकार, ग्रेडिएंट-फ्री (Gradient-Free) है। ये शिक्षक एक कोच की तरह हैं जो समस्या पर कई अलग-अलग रणनीतियाँ आज़माता है और बस उनमें से सबसे अच्छी काम करने वाली रणनीति को चुन लेता है, बिना इसके कि पीछे का चिकना गणित क्या है। वे "सब-कुछ-या-कुछ-नहीं" वाले नियमों को संभालने में उत्कृष्ट हैं।

बड़ा सवाल यह है कि जब नियम यह हो कि "कभी भी टैंक खाली न होने दें," तो वास्तव में कौन सा शिक्षक बेहतर है? अधिकांश लोग मान लेते हैं कि गणित-प्रधान, ग्रेडिएंट-आधारित शिक्षक श्रेष्ठ होते हैं क्योंकि वे अधिक परिष्कृत होते हैं। लेकिन यह शोध पत्र एक विशिष्ट, वास्तविक दुनिया के परिदृश्य—एक जल जलाशय (water reservoir) का प्रबंधन करने—को देखने के लिए इस धारणा की गहराई से जांच करता है कि क्या यह धारणा तब भी सही रहती है जब दांव एक औसत चूक के बजाय एक पूर्ण आपदा को रोकने पर हो।

जल टैंक और दो शिक्षक

एक विशाल जल जलाशय की कल्पना करें जो एक शहर को पानी की आपूर्ति करता है। लक्ष्य पानी के स्तर को बिल्कुल सही बनाए रखना है: न तो बहुत अधिक (जिससे पानी बर्बाद होता है) और न ही बहुत कम (जिससे सूखा पड़ता है)। इस कहानी में "रोबोट" वह कंप्यूटर प्रोग्राम है जो तय करता है कि हर दिन कितना पानी छोड़ना है। नियम सख्त है: जल स्तर कभी भी एक महत्वपूर्ण "खतरे की रेखा" से नीचे नहीं गिरना चाहिए। यदि ऐसा होता है, तो यह एक आपदा है।

शोधकर्ताओं ने इस जलाशय का एक डिजिटल सिमुलेशन तैयार किया और दो प्रकार के AI शिक्षकों को रोबोट को प्रशिक्षित करने दिया:

चिकने शिक्षक (Gradient-Based): इनमें SAC और PPO जैसे एल्गोरिदम शामिल हैं। वे समय के साथ गलतियों की "औसत" लागत की गणना करके सीखने की कोशिश करते हैं। वे एक "डिस्काउंट फैक्टर" (discount factor) नामक गणितीय चाल का उपयोग करते हैं, जिसका अर्थ है कि वे अभी होने वाली गलतियों पर बहुत ध्यान देते हैं, लेकिन दिन के बाद के समय में होने वाली गलतियों पर उनका ध्यान कम होता जाता है।
भीड़ वाले शिक्षक (Gradient-Free): इस समूह में क्रॉस-एन्ट्रॉपी मेथड (CEM) का उपयोग किया जाता है। चिकने गणित की गणना करने के बजाय, वे 20 अलग-अलग रणनीतियों की एक भीड़ उत्पन्न करते हैं, सिमुलेशन में उन सभी का परीक्षण करते हैं, और फिर भविष्य की रणनीतियों को बनाने के लिए सर्वश्रेष्ठ विजेताओं को चुनते हैं। उन्हें चिकनी रेखाओं की परवाह नहीं है; वे बस अंतिम परिणाम देखते हैं।

बड़ी हैरानी: "अंधापन" प्रभाव (The "Blindness" Effect)

शोध में एक चौंकाने वाला पैटर्न पाया गया। चार में से तीन अलग-अलग परिदृश्यों में (जैसे सामान्य मौसम, भारी अवैध पानी की चोरी, या मजबूत प्रबंधन), भीड़ वाले शिक्षक (CEM) स्पष्ट रूप से अधिक सुरक्षित थे। उन्होंने स्मूथ टीचर्स की तुलना में जल स्तर को खतरे की रेखा से ऊपर रखने में कहीं अधिक सफलता प्राप्त की।

वास्तव में, स्मूथ टीचर्स (SAC और PPO) पैसा बचाने में (पानी के स्तर को आदर्श लक्ष्य के करीब रखने में) बेहतर थे, लेकिन वे ऐसा बड़े जोखिम लेकर करते थे। वे अक्सर दिन के अंत में पानी के स्तर को खतरनाक रूप से कम होने देते थे, सिर्फ इसलिए क्योंकि उनके गणित ने उन्हें बताया कि यह "ठीक" है क्योंकि यह देर से हुआ।

ऐसा क्यों हुआ? लेखक इसे "डिस्काउंट-प्रेरित अंधापन" (Discount-Induced Blindness) कहते हैं।

यहाँ उपमा है: कल्पना कीजिए कि स्मूथ टीचर्स दिन की एक टाइमलाइन देख रहे हैं। उनके पास एक नियम है कि, "सुबह 9:00 बजे की गलती 100 अंक की बुरी किस्मत है। रात 9:00 बजे की गलती केवल 10 अंक की बुरी किस्मत है क्योंकि यह बाद में हुई।" इस कारण से, स्मूथ टीचर्स दिन के अंत में होने वाले खतरे के प्रति "अंधे" हो जाते हैं। वे सोचते हैं, "ओह, अगर आखिरी मिनट में पानी खत्म हो जाता है, तो यह इतना बुरा नहीं है क्योंकि गणित कहता है कि इसकी कीमत कम है।"

हालाँकि, क्राउड टीचर (CEM) इस गणितीय चाल का उपयोग नहीं करता है। यह पूरे दिन को देखता है और पूछता है, "क्या पानी कभी रेखा से नीचे गिरा?" यदि उत्तर 'हाँ' है, भले ही एक बार भी, तो यह एक विफलता है। यह सुबह 9:00 बजे की आपदा को रात 9:00 बजे की आपदा के समान ही मानता है। यह इसे उस एकल, विनाशकारी क्षण को रोकने में बहुत बेहतर बनाता है।

प्रमाण और वह "जादुिका" समाधान जो काम नहीं आया

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने इसे गणित से सिद्ध किया। उन्होंने दिखाया कि स्मूथ टीचर्स के लिए, यह गारंटी कि "हम पानी खत्म नहीं होने देंगे" जैसे-जैसे दिन बीतता है, कमजोर होती जाती है। जब तक दिन समाप्त होता है, उनकी गारंटी लगभग शून्य हो जाती है।

यह परीक्षण करने के लिए कि क्या यह केवल ट्यूनिंग की समस्या थी, उन्होंने स्मूथ टीचर्स को "ठीक" करने की कोशिश की:

डिस्काउंट को बदलना: उन्होंने स्मूथ टीचर्स को दिन के अंत के बारे में अधिक सोचने के लिए कहा। इससे बहुत अधिक मदद नहीं मिली; जोखिम बना रहा।
एक "डिस्ट्रिब्यूशनल" क्रिटिक जोड़ना: यह एक उन्नत तकनीक है जहाँ AI केवल औसत का नहीं, बल्कि जोखिम के आकार की भविष्यवाणी करने की कोशिश करता है। शोधकर्ताओं ने स्मूथ टीचर का एक नया संस्करण बनाया जो जोखिम के "पूंछ" (tail) को देख सकता था (यानी सबसे खराब परिदृश्य)।
- परिणाम: आश्चर्यजनक रूप से, इसने ठीक नहीं किया। वास्तव में, हर एक परीक्षण में, इस फैंसी नई तकनीक ने जलाशय को बुनियादी स्मूथ टीचर की तुलना में अधिक खतरनाक बना दिया। AI अपने ही भविष्यवाणियों के शोर (noise) से भ्रमित हो गया और खराब निर्णय लेने लगा।

एक अपवाद: जब टैंक बहुत छोटा हो

एक परिदृश्य ऐसा था जहाँ स्मूथ टीचर्स ने ठीक से काम किया: "कमजोर प्रबंधन" (Weak Management) वाला शासन। यह एक ऐसी स्थिति थी जहाँ जलाशय इतना छोटा था और नियम इतने कड़े थे कि कोई भी AI पानी खत्म होने से नहीं बचा सकता था। इस मामले में, क्राउड टीचर भी सबसे सस्ता और सुरक्षित विकल्प था, क्योंकि समस्या इतनी खराब थी कि स्मूथ टीचर्स के पास भीड़ से "स्मार्ट" होने का कोई तरीका नहीं बचा था।

मुख्य निष्कर्ष

तो, भविष्य के लिए इसका क्या अर्थ है?

यदि आप किसी औसत लागत (जैसे कुल ईंधन उपयोग या कुल उत्सर्जन) को कम करने के लिए AI बना रहे हैं, तो स्मूथ, ग्रेडिएंट-आधारित शिक्षक (SAC, PPO) बेहतरीन हैं। वे कुशल हैं और गणित में अच्छे हैं।

लेकिन, यदि आप किसी एकल, विनाशकारी विफलता (जैसे विमान का दुर्घटनाग्रस्त होना, मरीज का दिल रुकना, या जलाशय का सूख जाना) को रोकने के लिए AI बना रहे हैं, तो यह शोध पत्र सुझाव देता है कि आपको बहुत सावधान रहना चाहिए। मानक स्मूथ टीचर्स अपने तरीके से समय की गणना करने के कारण उस सबसे बुरे क्षण के प्रति "अंधे" हो सकते हैं। ऐसे मामलों में, "नादान" लेकिन संपूर्ण क्राउड टीचर (CEM) एक सुरक्षित विकल्प हो सकता है, या आपको एक बहुत अधिक जटिल डिस्ट्रिब्यूशनल सिस्टम की आवश्यकता होगी जो अभी पूरी तरह से विकसित नहीं हुआ है।

लेखक निष्कर्ष निकालते हैं कि सही शिक्षक चुनना केवल "सबसे शानदार" या सबसे उन्नत गणित चुनने के बारे में नहीं है; यह शिक्षक को उस विशिष्ट जोखिम के साथ मिलाने के बारे में है जिसे आप रोकने की कोशिश कर रहे हैं। यदि जोखिम अचानक होने वाली एक-बार की आपदा है, तो स्मूथ गणित शायद गलत दिशा में देख रहा हो सकता है।

तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) में ग्रेडिएंट-मुक्त बनाम ग्रेडिएंट-आधारित जोखिम बाधाएं

समस्या का निरूपण
यह शोध पत्र जलाशय शासन (reservoir governance) की समस्या को संबोधित करता है जिसे एक कंडीशनल वैल्यू-एट-रिस्क (CVaR) बाधित मार्कोव निर्णय प्रक्रिया (MDP) के रूप में मॉडल किया गया है। भौतिक प्रणाली जलाशय के आयतन $V(t)$ को शासन गुणवत्ता अवस्था $s(t)$ के साथ जोड़ती है, जो स्टोकेस्टिक आवक (inflows) और वाष्पीकरण के अधीन है। नियंत्रण का उद्देश्य ट्रैकिंग त्रुटि (लक्ष्य आयतन और शासन गुणवत्ता से विचलन) और नियंत्रण प्रयास का एक कुल लागत फलन को न्यूनतम करना है।

महत्व적인 बाधा अपेक्षित संचयी लागत पर नहीं है, बल्कि एपिसोड-अधिकतम घाटे (episode-maximum deficit) के CVaR पर है, जिसे $D(\tau) = \max_{0 \le k \le K} (V_{min} - V_k)_+$ के रूप में दर्शाया गया है। यह मात्रा एक एकल एपिसोड के भीतर सबसे खराब स्थिति वाले रिक्तीकरण (depletion) की घटना का प्रतिनिधित्व करती है। लेखक यह जांचते हैं कि क्या ऑप्टिमाइज़र का चयन—विशेष रूप से ग्रेडिएंट-मुक्त जनसंख्या-आधारित विधियों और ग्रेडिएंट-आधारित एक्टर-क्रिटिक विधियों के बीच—उस समय महत्वपूर्ण होता है जब सुरक्षा बाधा एक गैर-सुचारू (non-smooth), ऑर्डर-सांख्यिकीय फलन (order-statistic functional) को लक्षित करती है।

कार्यप्रणाली
यह अध्ययन चार भौतिक व्यवस्थाओं (संदर्भ, कमजोर प्रबंधन, उच्च अवैध निकासी, और मजबूत प्रबंधन) में एक समान सिम्युलेटर पर प्रशिक्षित तीन ऑप्टिमाइज़र्स की तुलना करता है:

CEM-Lagrangian (ग्रेडिएंट-मुक्त): एक जनसंख्या-आधारित क्रॉस-एन्ट्रॉपी मेथड (Cross-Entropy Method) जो नीति भार (policy weights) पर एक खोज वितरण बनाए रखता है। यह उम्मीदवारों का मूल्यांकन सैंपल किए गए प्रक्षेपवक्रों (trajectories) को सॉर्ट करके सीधे एपिसोड-अधिकतम घाटे के सटीक, गैर-विभेदक (non-differentiable) CVaR की गणना करके करता है।
SAC-Lagrangian और PPO-Lagrangian (ग्रेडिएंट-आधारित): सॉफ्ट एक्टर-क्रिटिक (Soft Actor-Critic) और प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) एल्गोरिदम जिन्हें सुरक्षा के लिए अनुकूलित किया गया है। महत्वपूर्ण रूप से, ये विधियाँ $D(\tau)$ के रनिंग मैक्सिमम के माध्यम से बैकप्रोपैगेट नहीं कर सकती हैं। इसके बजाय, वे बाधा को एक अपेक्षित डिस्काउंटेड एडिटिव कॉस्ट $C_\gamma(\tau) = \sum \gamma^k c_k$ से प्रतिस्थापित करती हैं, जहाँ $c_k$ प्रति-चरण घाटा है। वे बजट को लागू करने के लिए एक लैग्रेंजियन मल्टीप्लायर का उपयोग करते हैं।

शोध पत्र में एक सैद्धांतिक विश्लेषण और एक अलग निर्मित सिम्युलेटर इंस्टेंस का उपयोग करके एक स्वतंत्र पांच-सीड (five-seed) प्रतिकृति (replication) भी शामिल है। यह प्रतिकृति एक PPO-Dist वेरिएंट पेश करती है, जो लागत-टू-गो (cost-to-go) वितरण की पूंछ (tail) का अनुमान लगाने के लिए एक वास्तविक क्वांटाइल-रिग्रेशन (वितरण संबंधी) सुरक्षा क्रिटिक का उपयोग करती है, न कि केवल इसके माध्य (mean) का।

प्रमुख योगदान

अनुभवजन्य पुनर्मूल्यांकन (Empirical Re-evaluation): लेखक यह प्रदर्शित करते हैं कि ग्रेडिएंट-आधारित विधियों के पक्ष में पिछले निष्कर्ष अधूरे थे क्योंकि उन्होंने केवल नियंत्रण प्रयास पर प्रदर्शन का मूल्यांकन किया था। जब पूर्ण प्रशिक्षण उद्देश्य (ट्रैकिंग + प्रयास) और वास्तविक जोखिम मीट्रिक (अधिकतम घाटे का CVaR) पर मूल्यांकन किया गया, तो एक स्पष्ट, प्रतिलिपि योग्य पैटर्न उभरता है: CEM चार में से तीन भौतिक व्यवस्थाओं में किसी भी SAC या PPO वेरिएंट की तुलना में स्पष्ट रूप से कम वास्तविक टेल रिस्क (tail risk) प्राप्त करता है, भले ही CEM की सबसे कम रूढ़िवादी नीति की तुलना सबसे अधिक रूढ़िवादी ग्रेडिएंट-आधारित नीतियों से की गई हो। इसके विपरीत, SAC और PPO कम कुल लागत प्राप्त करते हैं लेकिन इन व्यवस्थाओं में काफी उच्च टेल रिस्क की कीमत पर।
सैद्धांतिक प्रमाण (डिस्काउंट-प्रेरित अंधापन/Discount-Induced Blindness): शोध पत्र सिद्ध करता है कि एक अपेक्षित डिस्काउंटेड कॉस्ट बाधा, समय सूचकांक $k$ के साथ ज्यामितीय रूप से घटते हुए एकल-चरण घाटे पर एक संभाव्यता गारंटी प्रदान करती है (थ्योरम 5.6)। विशेष रूप से, बाउंड $P(c_k > \epsilon) \le d_{max}/(\gamma^k \epsilon)$ जैसे-जैसे $k$ बढ़ता है, रिक्त (vacuous) हो जाता है (1 से अधिक हो जाता है)। इसके विपरीत, एपिसोड मैक्सिमम पर एक सीधा CVaR प्रतिबंध एक समय-समान (time-uniform) गारंटी प्रदान करता है। यह समझाता है कि क्यों ग्रेडिएंट-आधारित विधियाँ, एडिटिव सरोगेट्स द्वारा बाधित होकर, विलंबित-एपिसोड रिक्तीकरण को रोकने में विफल रहती हैं।
स्थिरता विश्लेषण: लेखक तैनात की गई नीतियों के लिए क्लोज्ड-लूप अस्तित्व, स्थानीय स्पर्शोन्मुख स्थिरता (local asymptotic stability), और संभाव्यतात्मक व्यावहारिक स्थिरता (probabilistic practical stability) थ्योरम स्थापित करते हैं, यह दिखाते हुए कि स्थिरता नीति वर्ग (लिप्सचिट्ज निरंतरता) का गुण है, न कि प्रशिक्षण एल्गोरिदम का।
वितरण संबंधी क्रिटिक प्रयोग: स्वतंत्र प्रतिकृति में, एक प्रशिक्षित क्वांटाइल-आधारित वितरण संबंधी क्रिटिक (P्व PPO-Dist) का परीक्षण किया गया। इस उम्मीद के विपरीत कि यह अंतर को पाट देगा, प्रशिक्षित PPO-Dist नीति ने सभी पांच सीड केAcross लगातार अपने अनकन्स्ट्रेंड समकक्ष की तुलना में उच्च वास्तविक जोखिम प्रदर्शित किया। यह सुझाव देता है कि मोंटे-कार्लो क्वांटाइल अनुमान का शोर, न कि लैग्रेंजियन अंडर-ट्यूनिंग, इस सेटिंग में ग्रेडिएंट-आधारित विधियों के लिए प्राथमिक बाधा है।

परिणाम

जोखिम क्रम (Risk Ordering): तीन में से चार भौतिक व्यवस्थाओं (संदर्भ, उच्च अवैध निकासी, और मजबूत प्रबंधन) में, जोखिम क्रम सख्ती से CEM < SAC < PPO है। CEM सबसे सुरक्षित नियंत्रक है; PPO सबसे कम सुरक्षित है।
लागत क्रम (Cost Ordering): उन्हीं तीन व्यवस्थाओं में, SAC और PPO CEM की तुलना में कम कुल लागत प्राप्त करते हैं।
अपवाद: "कमजोर प्रबंधन" व्यवस्था में, जहाँ भौतिक बाधाएं रिक्तीकरण को रोकने की नियंत्रक की क्षमता को संतृप्त (saturate) कर देती हैं, CEM सबसे सुरक्षित और सबसे सस्ता दोनों है। यहाँ, सुरक्षा-लागत का ट्रेड-ऑफ समाप्त हो जाता है, और ग्रेडिएंट-फ्री विधियों का संरचनात्मक नुकसान लागत पर समाप्त हो जाता है।
एब्लेशन अध्ययन: PPO में सुरक्षा-क्रिटिक डिस्काउंट फैक्टर $\gamma$ को बदलने से बजट को लागू करने के लिए आवश्यक लैग्रेंज मल्टीप्लायर बदल जाता है लेकिन यह वास्तविक CVaR को महत्वपूर्ण रूप से नहीं बदलता है, जो यह सुझाव देता है कि अनुकूलन संकेत दुर्लभ, उच्च-मूल्य वाले घाटे की घटनाओं को लक्षित करने के लिए बहुत कमजोर है।
प्रतिकृति: पांच-सीड प्रतिकृति सांख्यिकीय महत्व ( $p < 0.05$ ) के साथ जोखिम क्रम की पुष्टि करती है और बताती है कि वितरण संबंधी क्रिटिक की विफलता डुअल-असेंट अपडेट में स्केलिंग सुधारों के प्रति भी सुदृढ़ (robust) है।

महत्व और दावे
शोध पत्र का दावा है कि ऑप्टिमाइज़र का चुनाव केवल दक्षता का मामला नहीं है बल्कि जोखिम फलन की प्रकृति द्वारा संरचनात्मक रूप से निर्धारित होता है।

एडिटिव, अपेक्षित-मूल्य बाधाओं (जैसे, कुल उत्सर्जन) के लिए, ग्रेडिएंट-आधारित लैग्रेंजियन विधियाँ उपयुक्त और कुशल हैं।
ऑर्डर-सांख्यिकीय, वर्स्ट-केस बाधाओं (जैसे, अधिकतम रिक्तीकरण, विमान पृथक्करण) के लिए, एडिटिव सरोगेट्स पर निर्भर ग्रेडिएंट-आधारित विधियाँ "डिस्काउंट-प्रेरित अंधापन" के कारण समय-समान सुरक्षा गारंटी प्रदान करने में संरचनात्मक रूप से अक्षम हैं।
लेखक तर्क देते हैं कि ऐसी समस्याओं के लिए, एक जनसंख्या-आधारित विधि (जैसे, CEM) जो वास्तविक गैर-सुचारू मीट्रिक का मूल्यांकन करती है, संरचनात्मक रूप से आवश्यक है, या एक ग्रेडिएंट-आधारित विधि को एक वास्तविक वितरण संबंधी सुरक्षा क्रिटिक के साथ अपग्रेड किया जाना चाहिए जो टेल एस्टीमेट्स को बूटस्ट्रैप करने में सक्षम हो (केवल मोंटे-कार्लो क्वांटाइल्स नहीं)। हालांकि, अध्ययन नोट करता है कि दूसरे को लागू करना गैर-तुच्छ है और वर्तमान में उच्च-वेरिएंस अनुमान शोर से ग्रस्त है।

शोध पत्र निष्कर्ष निकालता है कि टेल-रिस्क में कमी में देखे गए CEM की श्रेष्ठता ट्यूनिंग का आर्टिफैक्ट नहीं है, बल्कि यह कि कैसे ग्रेडिएंट-आधारित एक्टर-क्रिटिक आर्किटेक्चर सुरक्षा बाधाओं का अनुमान लगाते हैं, विशेष रूप से उन व्यवस्थाओं में जहाँ लागत और टेल रिस्क के बीच एक वास्तविक ट्रेड-ऑफ मौजूद है।