📊 statistics

Off-Policy Learning in Large Action Spaces: Optimization Matters More Than Estimation

यह शोध पत्र यह प्रदर्शित करता है कि बड़े एक्शन स्पेस में ऑफ-पॉलिसी लर्निंग के लिए, केवल ऑफ-पॉलिसी एस्टिमेटर्स के सांख्यिकीय गुणों को सुधारने पर ध्यान केंद्रित करने के बजाय, सरल वेटेड लॉग-लाइक्लीहुड ऑब्जेक्टिव्स के माध्यम से चुनौतीपूर्ण ऑप्टिमाइज़ेशन लैंडस्केप्स को संबोधित करना बेहतर पॉलिसियों को प्राप्त करने के लिए अधिक महत्वपूर्ण है।

मूल लेखक: Imad Aouali, Otmane Sakhi

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Imad Aouali, Otmane Sakhi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक पिछले शेफ द्वारा छोड़ी गई नोटबुक के आधार पर एक आदर्श रेसिपी बनाने की कोशिश कर रहे हैं। इस नोटबुक में हजारों पुराने ऑर्डर्स शामिल हैं: किन सामग्रियों का उपयोग किया गया था, ग्राहक ने क्या ऑर्डर किया था, और क्या वे खुश थे (इनाम/रिवॉर्ड)।

आपका लक्ष्य इस नोटबुक से सीखकर एक नया मेनू लिखना है जो पुराने मेनू की तुलना में ग्राहकों को अधिक खुश कर सके। यह ऑफ-पॉलिसी लर्निंग (Off-Policy Learning) की दुनिया है: पुराने, लॉग किए गए डेटा से एक नई रणनीति सीखना।

लंबे समय तक, इसे करने का मानक तरीका एक जटिल गणितीय पहेली को हल करने जैसा रहा है। शेफ (शोधकर्ताओं) ने एक बेहतर "स्कोरकार्ड" (एस्टिमेटर्स) बनाने के लिए वर्षों बिताए ताकि यह अनुमान लगाया जा सके कि एक नई रेसिपी कितनी अच्छी होगी। उन्होंने माना कि यदि उनका स्कोरकार्ड अधिक सटीक होगा, तो परिणामी मेनू बेहतर होगा।

इस पेपर की बड़ी खोज:
लेखक इस पेपर में कहते हैं, "ठहरिए। आपके पास दुनिया का सबसे सटीक स्कोरकार्ड हो सकता है, लेकिन अगर पहेली को हल करने के लिए आपका गणित ही खराब है, तो आप कभी भी सबसे अच्छा मेनू नहीं ढूंढ पाएंगे।"

उन्होंने पाया कि लार्ज एक्शन स्पेस (Large Action Spaces) में (जैसे कि एक रेस्तरां जिसमें 60,000 से 1,000,000 अलग-अलग मेनू आइटम हैं), मानक गणितीय तरीके एक दीवार से टकरा जाते हैं। ऐसा नहीं है कि स्कोरकार्ड खराब हैं; बल्कि, वह "टेरेन" (धरातल) जिस पर आपको सबसे अच्छी रेसिपी खोजने के लिए चलना है, वह एक दुस्वप्न है।

दो मुख्य समस्याएँ

1. "सपाट रेगिस्तान" और "छिपी हुई चोटियाँ" (ऑप्टिमाइज़ेशन संबंधी समस्याएँ)
कल्पना कीजिए कि मानक तरीका (जिसे IPS कहा जाता है) एक विशाल रेगिस्तान में सबसे ऊंचे बिंदु को खोजने जैसा है।

सपाट रेगिस्तान: लंबे समय तक, जमीन पूरी तरह से सपाट रहती है। आप कदम उठाते हैं, लेकिन न ऊपर जाते हैं और न नीचे। आप भटकते रहते हैं और बिना किसी दिशा के घूमते रहते हैं (इसे "प्लैटो" या पठार कहा जाता है)।
छिपी हुई चोटियाँ: रेगिस्तान नकली पहाड़ियों से भी भरा है जो असली पहाड़ की चोटी जैसी दिखती हैं लेकिन वास्तव में नहीं हैं। यदि आप इनमें से एक पर चढ़ते हैं, तो आपको लगता है कि आपने जीत हासिल कर ली है, लेकिन आप वास्तविक पुरस्कार से बहुत दूर होते हैं।
स्केल की समस्या: जितने अधिक आइटम होंगे (एक्शन स्पेस जितना बड़ा होगा), रेगिस्तान उतना ही सपाट होता जाएगा और उतनी ही अधिक नकली पहाड़ियाँ दिखाई देंगी। दस लाख आइटमों के साथ, मानक गणित इतना भ्रमित हो जाता है कि वह हार मान लेता है।

2. "परफेक्ट स्कोरकार्ड" का जाल
उद्योग बेहतर स्कोरकार्ड (एस्टिमेटर्स) बनाने की कोशिश करता रहा ताकि इस समस्या को ठीक किया जा सके। उन्होंने सोचा, "यदि हम केवल भविष्यवाणी को अधिक सटीक बना दें, तो समस्या हल हो जाएगी।"
यह पेपर साबित करता है कि यह गलत है। भले ही आपके पास एक परफेक्ट स्कोरकार्ड हो, लेकिन अगर टेरेन एक सपाट रेगिस्तान और नकली पहाड़ियों वाला है, तो भी आप सबसे अच्छा मेनू नहीं ढूंढ पाएंगे। एस्टिमेशन (अनुमान) से ज्यादा ऑप्टिमाइज़ेशन (अनुकूलन) महत्वपूर्ण है।

समाधान: दो नई रणनीतियाँ

लेखक इस "परफेक्ट स्कोरकार्ड" वाली मानसिकता से हटकर दो नए तरीके प्रस्तावित करते हैं।

रणनीति A: "स्मार्ट मैप" (ऑब्जेक्टिव-अवेयर पैरामीट्राइजेशन)
पूरे दस लाख आइटमों वाले मेनू को खोजने के बजाय, नोटबुक को देखें। पिछले शेफ ने केवल 100 विशिष्ट व्यंजन ही बनाए थे।

समाधान: अपना नया मेनू डिजाइन करते समय केवल उन 100 व्यंजनों पर विचार करें।
यह क्यों काम करता है: यह रेगिस्तान को छोटा कर देता है। दस लाख वर्ग मील खोजने के बजाय, आप एक छोटे बगीचे में खोज रहे हैं। यहाँ खोज करना बहुत आसान है। यह गणित को नहीं बदलता, बल्कि यह बदलता है कि आप कहाँ देखते हैं, जिससे खोज संभव हो जाती है।

रणति B: "स्मूथ स्लाइड" (PWLL ऑब्जेक्टिव्स)
यह इस पेपर की मुख्य सिफारिश है। पुराने तरीकों के जटिल और ऊबड़-खाबड़ गणित के बजाय, वे पॉलिसी-वेटेड लॉग-लाइकलीहुड (PWLL) नामक एक अलग गणितीय दृष्टिकोण का उपयोग करने का सुझाव देते हैं।

उपमा: यदि पुराना तरीका एक ऊबड़-खाबड़, पथरीले पहाड़ जैसा था जिसमें छिपी हुई गुफाएं थीं, तो नया तरीका एक चिकनी, चौड़ी स्लाइड (फिसलन पट्टी) है।
यह कैसे काम करता है: यह समस्या को एक सरल "कॉपी और इम्प्रूव" कार्य की तरह मानता है। यह कहता है, "उन व्यंजनों को देखें जिन्हें अच्छे रिव्यू मिले, और नए मेनू को उन व्यंजनों को चुनने की थोड़ी अधिक संभावना दें।"
परिणाम: क्योंकि यह गणित "कॉन्केव" (एक चिकने कटोरे की तरह) है, इसलिए इसमें कोई नकली पहाड़ियाँ या सपाट रेगिस्तान नहीं हैं। आप सीधे सबसे अच्छे समाधान की ओर फिसल सकते हैं, चाहे आप कहीं से भी शुरू करें। यह मजबूत, तेज़ और अडिग है।

प्रयोगों ने क्या दिखाया

लेखकों ने विशाल मेनू (MovieLens 60k, Twitch 200k, और GoodReads 1 मिलियन आइटम) के साथ वास्तविक दुनिया के डेटा पर इसका परीक्षण किया।

पुराना तरीका: मानक तरीके अविश्वसनीय रूप से संवेदनशील थे। यदि आप "लर्निंग स्पीड" या "बैच साइज" को थोड़ा भी बदलते हैं, तो प्रदर्शन गिर जाता है। उन्हें ट्यून करना कठिन था और वे अक्सर अच्छे मेनू खोजने में विफल रहे।
नया तरीका (PWLL): नया तरीका एक चट्टान की तरह स्थिर था। यह सेटिंग्स के बावजूद अच्छा काम करता रहा। इसने लगातार जटिल, "स्टेट-ऑफ-द-आर्ट" तरीकों की तुलना में बेहतर मेनू खोजे, भले ही नए तरीके का "स्कोरकार्ड" तकनीकी रूप से रिवॉर्ड्स की भविष्यवाणी करने में कम सटीक था।

मुख्य निष्कर्ष

विशाल निर्णय लेने की दुनिया में (जैसे लाखों उत्पादों की सिफारिश करना), अपनी भविष्यवाणी करने वाली टूल को परफेक्ट बनाने के पीछे पागल न हों। इसके बजाय, खोज की प्रक्रिया (Search Process) को आसान बनाने पर ध्यान दें।

यदि आप ऐसे तरीके का उपयोग करते हैं जो गणितीय रूप से सुचारू (Smooth) और अनुकूलित करने में आसान है (जैसे "स्मूथ स्लाइड"), तो आप एक बेहतर परिणाम प्राप्त करेंगे बजाय उस तरीके के जो गणितीय रूप से तो परफेक्ट है लेकिन जिसे नेविगेट करना असंभव है (जैसे "पथरीला पहाड़")।

संक्षेप में: एक सरल, आसानी से हल होने वाली समस्या, एक जटिल, परफेक्ट-लेकिन-अनसुलझी समस्या को हर बार हरा देती है।

तकनीकी सारांश: बड़े एक्शन स्पेस में ऑफ-पॉलिसी लर्निंग: एस्टीमेशन से अधिक महत्वपूर्ण है ऑप्टिमाइज़ेशन

समस्या विवरण (Problem Statement)
ऑफलाइन कॉन्टेक्स्टुअल बैंडिट्स (contextual bandits) में ऑफ-पॉलिसी लर्निंग (OPL) का लक्ष्य लॉग किए गए डेटा $D_n = \{(X_i, A_i, R_i)\}$ से एक ऐसी पॉलिसी $\hat{\pi}$ सीखना है जो अपेक्षित रिवॉर्ड $V(\pi)$ को अधिकतम करे। प्रचलित प्रतिमान (paradigm) एक ऑफ-पॉलिसी इवैल्यूएशन (OPE) एस्टिमेटर को ऑप्टिमाइज़ करना है, जो आमतौर पर इनवर्स प्रोपेंसिटी स्कोरिंग (IPS) पर आधारित होता है, जैसे कि $\hat{\pi} = \arg\max_\pi \hat{V}_{IPS}(\pi)$ । जबकि हालिया शोध बेहतर सांख्यिकीय गुणों (जैसे, कम वेरिएंस या बायस) वाले परिष्कृत एस्टिमेटर्स विकसित करने पर केंद्रित रहा है ताकि $V(\pi)$ का अधिक सटीक अनुमान लगाया जा सके, यह शोध पत्र तर्क देता है कि यह एस्टिमेटर-केंद्रित दृष्टिकोण एक महत्वपूर्ण व्यावहारिक बाधा को अनदेखा करता है: ऑप्टिमाइज़ेशन लैंडस्केप (optimization landscape)।

बड़े एक्शन स्पेस में (जहाँ क्रियाओं की संख्या $K$ लाखों तक पहुँच सकती है), IPS-आधारित ऑब्जेक्टिव और मानक पॉलिसी पैरामीट्रिज़ेशन (जैसे, सॉफ्टमैक्स) गंभीर ऑप्टिमाइज़ेशन पैथोलॉजी प्रदर्शित करते हैं। इनमें लंबे प्लेटो (plateaus) शामिल हैं जहाँ ग्रेडिएंट एसेंट (gradient ascent) रुक जाता है और खराब लोकल मैक्सिमा (local maxima) की घातांकीय संख्या होती है। शोध पत्र का तर्क है कि भले ही एस्टिमेटर्स के पास बेहतर सांख्यिकीय गारंटी हो, वे भी अच्छी पॉलिसी देने में विफल रहते हैं क्योंकि अंतर्निहित ऑप्टिमाइज़ेशन समस्या $K$ बढ़ने के साथ अग्राह्य (intractable) हो जाती है।

कार्यप्रणाली और विश्लेषण (Methodology and Analysis)
लेखक इस दावे का समर्थन करने के लिए सैद्धांतिक विश्लेषण और अनुभवजन्य प्रमाण (empirical evidence) दोनों प्रदान करते हैं कि बड़े एक्शन स्पेस में ऑप्टिमाइज़ेशन स्थिरता, एस्टीमेशन सटीकता से अधिक महत्वपूर्ण है।

IPS-आधारित ऑब्जेक्टिव्स का सैद्धांतिक विश्लेषण:
- शोध पत्र विभिन्न IPS-आधारित एस्टिमेटर्स के लिए "ओरेकल पॉलिसियों" (अपेक्षित ऑब्जेक्टिव के सैद्धांतिक मैक्सिमाइज़र) का विश्लेषण करता है, जिसमें मानक IPS, क्लिप्ड IPS (cIPS), एक्सपोनेंशियल स्मूथिंग (ES), डॉबली रोबस्ट (DR), मार्जिनलाइज्ड IPS (MIPS), OffCEM, POTEC, और पॉलिसी कन्वोल्यूशन (PC) शामिल हैं।
- ऑप्टिमाइज़ेशन पैथोलॉजी: लेखक सिद्ध करते हैं कि सॉफ्टमैक्स पॉलिसियों के साथ लीनियर-इन- $\pi$ एस्टिमेटर्स के लिए, ग्रेडिएंट एसेंट $O(K_{eff})$ इटरेशन के लिए उप-इष्टतम (suboptimal) क्षेत्रों में फंसा रह सकता है, जहाँ $K_{eff}$ प्रभावी एक्शन स्पेस का आकार है। इसके अलावा, लैंडस्केप में $K_{eff}$ के घातांक में स्थानीय मैक्सिमा की संख्या होती है।
- $K_{eff}$ की भूमिका: यहाँ तक कि बड़े एक्शन स्पेस के लिए डिज़ाइन किए गए तरीके (जैसे MIPS या OffCEM) भी अक्सर विफल हो जाते हैं यदि वे पूरे एक्शन स्पेस $A$ पर ऑप्टिमाइज़ करते हैं ( $K_{eff} = K$ )। पहचाना गया एकमात्र अपवाद POTEC है, जो क्लस्टर स्तर पर ऑप्टिमाइज़ेशन को प्रतिबंधित करता है, जिससे प्रभावी रूप से $K_{eff}$ कम हो जाता है।
- ऑब्जेक्टिव-अवेयर पैरामीट्रिज़ेशन: लेखक पॉलिसी क्लास को एस्टिमेटर के इंडक्टिव बायस (inductive bias) के साथ संरेखित करने का प्रस्ताव देते हैं। उदाहरण के लिए, IPS-आधारित तरीकों के लिए पॉलिसी सपोर्ट को लॉगिंग पॉलिसी के सपोर्ट $S_0$ तक सीमित करना, या क्लस्टर-आधारित तरीकों के लिए दो-चरणीय अपघटन (two-stage decomposition) का उपयोग करना, बिना सांख्यिकीय लक्ष्य को बदले $K_{eff}$ को कम कर सकता है और ट्रेनैबिलिटी में सुधार कर सकता है। हालाँकि, यह केवल लक्षणों को कम करता है; यह IPS-आधारित ऑब्जेक्टिव्स की मौलिक नॉन-कॉन्केविटी (non-concavity) का इलाज नहीं करता है।
पॉलिसी-वेटेड लॉग-लाइक्लीहुड (PWLL) ऑब्जेक्टिव्स:
- एक मौलिक विकल्प के रूप में, शोध पत्र PWLL ऑब्जेक्टिव्स का पता लगाता है, जो $\hat{U}_g(\pi) = \frac{1}{n} \sum g(R_i, \pi_0(A_i|X_i)) \log \pi(A_i|X_i)$ के रूप में होते हैं।
- कॉन्केविटी (Concavity): IPS ऑब्जेक्टिव्स के विपरीत, लीनियर-सॉफ्टमैक्स पॉलिसियों का उपयोग करने पर PWLL ऑब्जेक्टिव्स स्वाभाविक रूप से कॉन्केव (और $\ell_2$ रेगुलराइजेशन के साथ स्ट्रॉन्गली कॉन्केव) होते हैं। ऐसा इसलिए है क्योंकि स्कोर्स से लॉग-प्रोबेबिलिटी का मैप कॉन्केव है।
- ऑप्टिमाइज़ेशन गारंटी: लेखक स्थापित करते हैं कि PWLL ऑब्जेक्टिव्स पर स्टोकेस्टिक ग्रेडिएंट एसेंट सामान्य रूप से $O(1/\sqrt{T})$ की ग्लोबल कन्वर्जेंस दर प्राप्त करता है, जो रेगुलराइजेशन के साथ ज्यामितीय (geometric) दरों तक त्वरित हो जाता है।
- वैरिएंट्स: अध्ययन विशिष्ट PWLL वैरिएंट्स का मूल्यांकन करता है जिनमें लोकल पॉलिसी इम्प्रूवमेंट (LPI), क्लिप्ड LPI (cLPI), और रेगुलराइज्ड KL (RegKL) शामिल हैं। विशेष रूप से, cLPI को cIPS के समान ग्रीडी डिसीजन रूल प्रेरित करने वाला दिखाया गया है, लेकिन एक कॉनवेक्स ऑप्टिमाइज़ेशन समस्या के माध्यम से।

प्रमुख योगदान (Key Contributions)

एक्शन स्पेस के साथ ऑप्टिमाइज़ेशन थ्योरी स्केलिंग: शोध पत्र औपचारिक रूप से बताता है कि ऑप्टिमाइज़ेशन पैथोलॉजी (प्लेटो और लोकल मैक्सिमा) क्रियाओं की संख्या $K$ के साथ कैसे स्केल करती है, जो यह स्पष्ट करता है कि IPS-आधारित ऑब्जेक्टिव्स को ऑप्टिमाइज़ करना $K$ बढ़ने के साथ क्यों कठिन हो जाता है।
ऑब्जेक्टिव-अवेयर पैरामीट्रिज़ेशन: लेखक विभिन्न ऑब्जेक्टिव्स (ओरेकल पॉलिसियों से प्राप्त) के लिए न्यूनतम पर्याप्त पॉलिसी संरचनाओं की पहचान करते हैं और यह प्रदर्शित करते हैं कि ट्रेनैबिलिटी और प्रदर्शन में सुधार के लिए पॉलिसी को इन संरचनाओं के अनुरूप प्रतिबंधित या फैक्टराइज़ करना।
PWLL एक ऑप्टिमाइज़ेशन-फ्रेंडली ऑब्जेक्टिव के रूप में: शोध पत्र दिखाता है कि लीनियर-सॉफ्टमैक्स पॉलिसियों के लिए, PWLL ऑब्जेक्टिव्स सुव्यवस्थित, कॉन्केव ऑप्टिमाइज़ेशन लैंडस्केप प्रदान करते हैं, जो सीधे वैल्यू मैक्सिमाइजेशन के लिए एक मजबूत विकल्प पेश करते हैं।
बड़े पैमाने पर अनुभवजन्य स्ट्रेस टेस्ट: तीन बड़े पैमाने के डेटासेट्स (MovieLens $K=60k$ , Twitch $K=200k$ , और GoodReads $K=1M$ के साथ) पर व्यापक प्रयोगों से पता चलता है कि IPS-आधारित तरीके हाइपरपैरामीटर (बैच साइज, लर्निंग रेट शेड्यूल्स) के प्रति अत्यधिक संवेदनशील हैं, जबकि PWLL तरीके मजबूत हैं और लगातार उच्च रिवॉर्ड प्राप्त करते हैं।
कार्यवाही योग्य मार्गदर्शन (Actionable Guidance): शोध पत्र बड़े एक्शन स्पेस के लिए डिज़ाइन नियम प्रस्तुत करता है: ऑब्जेक्टिव-अवेयर पैरामीट्रिज़ेशन का उपयोग करके ऑप्टिमाइज़ेशन स्थिरता को प्राथमिकता दें और पॉलिसी लर्निंग के लिए जटिल IPS एस्टिमेटर्स के बजाय PWLL-शैली के ऑब्जेक्टिव्स को प्राथमिकता दें।

परिणाम (Results)

ऑप्टिमाइज़ेशन संवेदनशीलता: नियंत्रित स्वीप्स में, IPS-आधारित ऑब्जेक्टिव्स (POTEC जैसे अत्याधुनिक तरीकों सहित) ने उप-इष्टतम हाइपरपैरामीटर्स के तहत उच्च वेरिएंस और प्रदर्शन गिरावट दिखाई। इसके विपरीत, PWLL तरीके (विशेष रूप से cLPI) ने सभी कॉन्फ़िगरेशन में उच्च प्रदर्शन बनाए रखा।
एस्टिमेशन बनाम लर्निंग: शोध पत्र एक विरोधाभासी निष्कर्ष उजागर करता है: कम मीन स्क्वेर्ड एरर (MSE) वाले तरीके (जैसे MIPS) आवश्यक रूप से बेहतर पॉलिसियाँ उत्पन्न नहीं करते हैं। इसके विपरीत, PWLL तरीके, जो खराब वैल्यू एस्टिमेटर (उच्च MSE) हैं, सबसे अच्छी पॉलिसियाँ उत्पन्न करते हैं। यह सुझाव देता है कि बड़े एक्शन स्पेस में, वैल्यू एस्टिमेट की सांख्यिकीय सटीकता के बजाय ऑब्जेक्ट को ऑप्टिमाइज़ करने की क्षमता पॉलिसी की गुणवत्ता का एक बेहतर भविष्यवक्ता है।
पैरामीट्रिज़ेशन का प्रभाव: ऑब्जेक्ट के इंडक्टिव बायस (जैसे IPS के लिए सपोर्ट-प्रतिबंधित पॉलिसियों का उपयोग करना) से प्रभावी एक्शन स्पेस को प्रतिबंधित करने से IPS तरीकों की स्थिरता और प्रदर्शन में काफी सुधार हुआ, हालांकि वे अभी भी PWLL तरीकों से पीछे रहे।
मजबूती (Robustness): PWLL तरीके IPS-आधारित दृष्टिकोणों की तुलना में रिवॉर्ड नॉइज़ और अलग-अलग लॉगिंग पॉलिसी सपोर्ट के प्रति बेहतर मजबूती प्रदर्शित करते हैं।

महत्व और दावे (Significance and Claims)
शोध पत्र दावा करता है कि ऑफ-पॉलिसी लर्निंग का क्षेत्र एस्टिमेटर्स को परिष्कृत करने पर अत्यधिक ध्यान केंद्रित कर रहा है, जबकि ऑप्टिमाइज़ेशन लैंडस्केप की अनदेखी कर रहा है, जो बड़े एक्शन स्पेस में एक महत्वपूर्ण बाधा है। लेखक तर्क देते हैं कि:

ऑप्टिमाइज़ेशन बाधा है: बड़े एक्शन स्पेस में, नॉन-कॉन्केव IPS ऑब्जेक्टिव्स को ऑप्टिमाइज़ करने की कठिनाई, यहाँ तक कि सबसे सांख्यिकीय रूप से परिष्कृत एस्टिमेटर्स की भी व्यावहारिक उपयोगिता को कम कर देती है।
सादगी जीतती है: सरल, ऑप्टिमाइज़ेशन-फ्रेंडली ऑब्जेक्टिव्स जैसे PWLL (विशेष रूप से cLPI), जटिल वेरिएंस-रिड्यूस्ड IPS एस्टिमेटर्स से बेहतर प्रदर्शन करते हैं क्योंकि वे स्थिर और विश्वसनीय कन्वर्जेंस की अनुमति देते हैं।
डिज़ाइन शिफ्ट: बड़े एक्शन स्पेस के लिए OPL एल्गोरिदम का विकास स्पष्ट रूप से ऑप्टिमाइज़ेशन विचारों को संबोधित करना चाहिए। शोध पत्र एक "एस्टिमेटर-केंद्रित" डिज़ाइन से "ऑप्टिमाइज़ेशन-केंद्रित" डिज़ाइन की ओर बदलाव की वकालत करता है, यह सुझाव देते हुए कि पॉलिसी सीखने के उद्देश्य के लिए उच्च-फिडेलिटी वैल्यू एस्टीमेशन प्राप्त करने से एक सुलभ ऑप्टिमाइज़ेशन लैंडस्केप सुनिश्चित करना अधिक महत्वपूर्ण है।

लेखक सीमाओं को नोट करते हैं: PWLL ऑब्जेक्टिव्स ऑफ-पॉलिसी इवैल्यूएशन (OPE) या पॉलिसी सिलेक्शन के लिए उपयुक्त नहीं हैं जहाँ सटीक वैल्यू एस्टिमेट की आवश्यकता होती है। इसके अतिरिक्त, PWLL के लिए कॉन्केविटी गारंटी लीनियर-सॉफ्टमैक्स पॉलिसियों के लिए सख्ती से लागू होती है; हालांकि डीप नेटवर्क औपचारिक कॉन्केविटी खो सकते हैं, फिर भी उनका ग्रेडिएंट स्ट्रक्चर IPS-आधारित ऑब्जेक्टिव्स की तुलना में अधिक सौम्य रहता है।

दो मुख्य समस्याएँ

समाधान: दो नई रणनीतियाँ

प्रयोगों ने क्या दिखाया

मुख्य निष्कर्ष

इसी तरह के और पेपर