🤖 machine learning

Transferable Reinforcement Learning via Probabilistic Latent Embeddings and Dynamic Policy Adaptation for Sim-to-Real Deployment

यह शोध पत्र एक नवीन सुदृढीकरण अधिगम (reinforcement learning) ढांचे का प्रस्ताव करता है जो संभाव्य लेटेंट एनवायरनमेंट एम्बेडिंग्स का अनुमान लगाकर और संदर्भ अनुमान सटीकता के आधार पर नीति जोखिम स्तरों को गतिशील रूप से समायोजित करके साइबर-फिजिकल सिस्टम्स के लिए सुरक्षित और कुशल सिम-टू-रियल ट्रांसफर सुनिश्चित करता है।

मूल लेखक: Gengyue Han, Yiheng Feng

प्रकाशित 2026-05-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gengyue Han, Yiheng Feng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "ट्रेनिंग व्हील्स" (सहायक पहियों) का अंतर

कल्पना कीजिए कि आप एक रोबोट को कार चलाना सिखा रहे हैं। आप इसे सीखने के लिए सीधे व्यस्त हाईवे पर नहीं छोड़ सकते; यह दुर्घटना कर सकता है, किसी को चोट पहुँचा सकता है, या कार को नष्ट कर सकता है। इसलिए, आप इसे सिखाने के लिए एक वीडियो गेम सिमुलेशन बनाते हैं।

इस गेम में, भौतिकी (physics) एकदम सटीक है, सड़कें चिकनी हैं, और मौसम अनुमानित है। रोबोट यहाँ पूरी तरह से गाड़ी चलाना सीख जाता है। लेकिन जब आप उसी रोबोट को गेम से बाहर निकालकर असली सड़क पर ले जाते हैं, तो चीजें बिगड़ जाती हैं।

असली सड़क ऊबड़-खाबड़ होती है, चिकनी नहीं।
असली हवा झोंकेदार होती है, शांत नहीं।
असली टायर गेम के टायरों की तुलना में अलग तरह से पकड़ बनाते हैं।

"परफेक्ट गेम वर्ल्ड" और "असली बिखरी हुई दुनिया" के बीच के इस अंतर को Sim-to-Real gap कहा जाता है। यदि आप अपने गेम-प्रशिक्षित रोबोट को सीधे असली दुनिया में भेज देते हैं, तो वह बहुत तेज़ चल सकता है, बहुत ज़ोर से ब्रेक लगा सकता है, या दुर्घटनाग्रस्त हो सकता है क्योंकि वह नई वास्तविकता को समझ नहीं पाता।

पुराने समाधान (और वे क्यों विफल हुए)

वैज्ञानिकों ने इसे ठीक करने के लिए पहले दो मुख्य तरीके आज़माए थे:

"रैंडम केओस" (यादृच्छिक अराजकता) विधि: उन्होंने प्रशिक्षण गेम को बहुत अधिक अराजक (रैंडम हवा, रैंडम ऊबड़-खाबड़ रास्ते) बनाया ताकि रोबोट कुछ भी संभालने के लिए तैयार रहे।
- दोष: रोबोट हर चीज़ से इतना डर गया कि वह कछुए की तरह चलने लगा। वह सुरक्षित तो था, लेकिन बहुत धीमा और अक्षम था।
"वर्स्ट-केस" (सबसे खराब स्थिति) विधि: उन्होंने रोबोट को यह मानकर प्रशिक्षित किया कि हर बार सबसे खराब संभव स्थिति ही होगी।
- दोष: रोबोट अत्यधिक शंकालु (paranoid) हो गया। वह केवल इसलिए रुक जाता था क्योंकि शायद सड़क पर कोई पत्ता उड़कर आ गया हो। वह सुरक्षित था, लेकिन काम करने के लिए बेकार था।

नया समाधान: "स्मार्ट ट्रांसलेटर"

यह पेपर एक नए ढांचे का प्रस्ताव करता है जो एक स्मार्ट ट्रांसलेटर और एक डायनेमिक सेफ्टी स्विच की तरह काम करता है। यह कैसे काम करता है, यहाँ चरण-दर-चरण दिया गया है:

1. "डिटेक्टिव" (लेटेंट कॉन्टेक्स्ट एम्बेडिंग)

केवल ड्राइविंग याद रखने के बजाय, रोबोट को एक डिटेक्टिव टूल (एक न्यूरल नेटवर्क एनकोडर) दिया जाता है।

कैसे काम करता है: जब रोबोट वास्तविक दुनिया में प्रवेश करता है, तो वह वातावरण का कुछ त्वरित "स्निफ टेस्ट" (अवलोकन) लेता है। वह पूछता है: "क्या सड़क बर्फीली है? क्या कार भारी है? क्या हवा तेज़ है?"
उपमा: कल्पना कीजिए कि आप एक कमरे में कदम रखते हैं। आपको हर अणु (molecule) के सटीक तापमान को जानने की ज़रूरत नहीं है; आपको बस यह जानने की ज़रूरत है कि, "ओह, यहाँ थोड़ी ठंडक है।" रोबट वर्तमान वातावरण के "व्यक्तित्व" को सारांशित करने के लिए एक गुप्त कोड (लेटेंट एम्बेडिंग) बनाता है।

लाभ: यह रोबोट को तुरंत यह समझने में सक्षम बनाता है कि, "आह, यह वह गेम वर्ल्ड नहीं है जिसमें मैंने अभ्यास किया था; यह एक फिसलन भरी, भारी वाहन वाली दुनिया है।" इसके बाद वह उस विशिष्ट कोड के अनुरूप अपनी ड्राइविंग शैली को समायोजित करता है।

2. "रिस्क डायल" (डायनेमिक पॉलिसी एडैप्टेशन)

यही इस पेपर का सबसे बड़ा नवाचार है। रोबोट के पास केवल एक ड्राइविंग मोड नहीं है; उसके पास एक रिस्क डायल है।

शुरुआत (उच्च जोखिम निवारण): जब रोबोट पहली बार वास्तविक दुनिया में कदम रखता है, तो उसे वातावरण का अच्छी तरह से ज्ञान नहीं होता। उसका "डिटेक्टिव" अभी भी अनुमान लगा रहा होता है। इसलिए, रोबोट रिस्क डायल को "सुपर सेफ" पर सेट कर देता है। वह बहुत सावधानी से चलता है, जैसे कि ट्रेनिंग व्हील्स के साथ एक नया ड्राइवर, ताकि यह सुनिश्चित हो सके कि वह दुर्घटनाग्रस्त न हो।

समायोजन (डायनेमिक ट्यूनिंग): जैसे-जैसे रोबोट गाड़ी चलाता है और अधिक डेटा एकत्र करता है, उसका "डिटेक्टिव" वातावरण के कोड का अनुमान लगाने में बेहतर होता जाता है। रोबोट को एहसास होता है, "ठीक है, अब मैं इस सड़क को जानता हूँ। यह उतना फिसलन भरा नहीं है जितना मैंने सोचा था।"

परिणाम: रोबोट धीरे-धीरे अपना रिस्क डायल कम करता जाता है। वह कम रूढ़िवादी बनता है और अधिक कुशलता से चलता है, तेज़ गति से और स्मूथ टर्न लेता है, लेकिन केवल इसलिए क्योंकि वह आश्वस्त है कि वह अभी भी सुरक्षित है।

3. "सेफ्टी नेट" (गणितीय गारंटी)

लेखकों ने केवल अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने इसे गणित से सिद्ध किया है।

उन्होंने दिखाया कि भले ही शुरुआत में रोबोट का "डिटेक्टिव" छोटी सी गलती कर दे, फिर भी "रिस्क डायल" इतना ऊँचा सेट है कि वह उस गलती को संभाल लेगा।

उन्होंने सिद्ध किया कि जैसे-जैसे रोबोट अनुभव प्राप्त करता है, वह सुरक्षा नियमों को तोड़े बिना सुरक्षित रूप से अधिक कुशल बन सकता है।

परिणाम: "गोल्डिलॉक्स ज़ोन" में ड्राइविंग

टीम ने दो चीज़ों पर इसका परीक्षण किया:

एक रोबोट पॉइंट-गोल टास्क: एक रोब melalui बाधाओं से बचते हुए भूलभुलैया में नेविगेट कर रहा है।

स्वायत्त ड्राइविंग (Autonomous Driving): एक सेल्फ-ड्राइविंग कार जो ट्रैफिक जाम (स्टॉप-एंड-गो वेव) को कम करने की कोशिश कर रही है।

परिणाम:

पुराने तरीके या तो दुर्घटनाग्रस्त हो गए (बहुत जोखिम भरे) या घोंघे की तरह चले (बहुत सुरक्षित)।

यह नया तरीका शुरुआत में बहुत सुरक्षित रहा (एक सतर्क नए ड्राइवर की तरह) लेकिन जल्दी ही वातावरण को सीख गया और कुशल बन गया। इसने बिना दुर्घटना के उच्च प्रदर्शन हासिल किया, सुरक्षा और गति के बीच सही "गोल्डिलॉक्स" संतुलन पाया।

सारांश

इस पेपर को एक रोबोट को दो सुपरपावर्स देकर गाड़ी चलाना सिखाने के रूप में देखें:

एक डिटेक्टिव: यह जल्दी से पता लगाने के लिए कि वास्तविक दुनिया अभी कैसी है।

एक स्मार्ट थ्रॉटल: शुरुआत में बहुत सावधानी से गाड़ी चलाने के लिए और केवल तभी गति बढ़ाने के लिए जब वह पूरी तरह आश्वस्त हो कि यह सुरक्षित है।

यह रोबोट्स को, जिन्हें वीडियो गेम में प्रशिक्षित किया गया है, वास्तविक कार्यस्थल पर महंगे और खतरनाक परीक्षण-और-त्रुटि (trial-and-error) की आवश्यकता के बिना, सुरक्षित और कुशलता से वास्तविक दुनिया के काम संभालने की अनुमति देता है।

तकनीकी सारांश: संभाव्य लेटेंट एम्बेडिंग और डायनेमिक पॉलिसी एडेप्टेशन के माध्यम से ट्रांसफ़रेबल रिइन्फोर्समेंट लर्निंग (Sim-to-Real परिनियोजन के लिए)

1. समस्या विवरण

साइबर-फिजिकल सिस्टम्स (जैसे स्वायत्त वाहन, रोबोटिक्स) के लिए डीप रिइन्फोर्समेंट लर्निंग (RL) एजेंट आमतौर पर सिमुलेटर में प्रशिक्षित किए जाते हैं क्योंकि वास्तविक दुनिया में अन्वेषण (exploration) की लागत और सुरक्षा जोखिम बहुत अधिक होते हैं। हालांकि, इन एजेंटों को वास्तविक वातावरण में तैनात करने से अक्सर प्रदर्शन में गिरावट और सुरक्षा उल्लंघन होता है, जिसका कारण Sim-to-Real (Sim2Real) गैप है—जो सिमुलेटेड और वास्तविक दुनिया की गतिकी (dynamics) के बीच अपरिहार्य बेमेल है।

मौजूदा दृष्टिकोण महत्वपूर्ण ट्रेड-ऑफ का सामना करते हैं:

डोमेन रैंडमाइजेशन (Domain Randomization): मजबूती (robustness) में सुधार करता है लेकिन इसमें स्पष्ट सुरक्षा गारंटी की कमी होती है और यह अस्थिर प्रशिक्षण का कारण बन सकता है।

डिस्ट्रीब्यूशनली रोबस्ट/रिस्क-सेंसिटिव RL: ट्रांसफर को एक वर्स्ट-केस ऑप्टिमाइजेशन के रूप में स्वरूपित करता है, जो गंभीर वितरण बदलावों (distribution shifts) के तहत विश्वसनीयता बढ़ाता है, लेकिन अक्सर अत्यधिक रूढ़िवादी (conservative) नीतियों और घटित कार्य प्रदर्शन का परिणाम देता है।

मेटा-RL/डोमेन एडेप्टेशन: लेटेंट कॉन्टेक्स्ट को अनुमान लगाने का प्रयास करता है, लेकिन अक्सर निश्चित जोखिम प्राथमिकताओं (risk preferences) को मानता है, जिसमें परिनियोजन के दौरान सुरक्षा-प्रदर्शन ट्रेड-ऑफ को गतिशील रूप से विनियमित करने वाले तंत्रों की कमी होती है।

मूल चुनौती एक ऐसे ट्रांसफ़रेबल RL एजेंट को विकसित करने की है जिसे पूरी तरह से सिमुलेशन में प्रशिक्षित किया गया है, फिर भी वास्तविक दुनिया के परिनियोजन के दौरान अनुकूल (adaptive) और सुरक्षित बना रहे, विशेष रूप से बिना दक्षता से समझौता किए अनमॉडल सिस्टम डायनेमिक्स को संभाल सके।

2. कार्यप्रणाली (Methodology)

लेखक एक एकीकृत ढांचा प्रस्तावित करते हैं जो संभाव्य लेटेंट कॉन्टेक्स्ट एम्बेडिंग्स (Probabilistic Latent Context Embeddings) को डिस्ट्रीबशनल रिइन्फोर्समेंट लर्निंग (Distributional RL) के साथ एक कंस्ट्रेंड मार्कोव डिसीजन प्रोसेस (CMDP) फॉर्मूलेशन के भीतर एकीकृत करता है।

2.1. लेटेंट कॉन्टेक्स्ट वेरिएबल एडेप्टेशन

यह ढांचा वातावरण को एक पर्यावरण पैरामीटर $\xi$ द्वारा इंडेक्स किए गए CMDP के परिवार के रूप में मॉडल करता है। इस अंतर को पाटने के लिए, एक लेटेंट कॉन्टेक्स्ट वेरिएबल $z$ पेश किया गया है जो पर्यावरण-विशिष्ट जानकारी को एनकोड करता है।

एनकोडर (Encoder): एक इन्फरेंस नेटवर्क $q_\phi(z|D_\xi)$ को एक कॉन्टेक्स्ट सेट $D_\xi$ (ट्रांजिशन सैंपल्स) से $z$ का अनुमान लगाने के लिए प्रशिक्षित किया जाता है। एनकोडर को एक वेरिएशनल लोअर बाउंड का उपयोग करके अनुकूलित किया जाता है जिसमें रिवॉर्ड और कॉस्ट क्रिटिक्स के साथ-साथ एक इंफॉर्मेशन बॉटलनेक (KL-divergence) शामिल है ताकि ओवरफिटिंग को रोका जा सके।

इन्फरेंस (Inference): परिनियोजन के समय, एजेंट लेटेंट कॉन्टेक्स्ट $\hat{z}_{\xi^*}$ के अनुमान को परिष्कृत करने के लिए वास्तविक दुनिया के सीमित इंटरैक्शन ( $N_{real}$ ) एकत्र करता है, जिससे पॉलिसी को अनुमानित वातावरण अवस्था पर अपनी क्रियाओं को केंद्रित करने की अनुमति मिलती है।

2.2. डिस्ट्रीबशनल RL फॉर्मूलेशन

यह ढांचा रिवॉर्ड और कॉस्ट के केवल उनके एक्सपेक्टेशन (expectation) के बजाय रिटर्न के पूर्ण वितरण (full distribution) को मॉडल करने के लिए इम्प्लिसिट क्वांटाइल नेटवर्क्स (Implicit Quantile Networks - IQN) का उपयोग करता है।

क्रिटिक (Critic): क्रिटिक रिवॉर्ड और कॉस्ट के लिए क्वांटाइल फंक्शन्स $Z(s, a, z; \tau)$ सीखता है।

एक्टर (Actor): एक डिटर्मिनिस्टिक एक्टर $\pi_\phi(s, z)$ को IQN क्रिटिक्स के एक्सपेक्टेशन के आधार पर एक रिस्क-न्यूट्रल ऑब्जेक्टिव के साथ प्रशिक्षित किया जाता है।

2.3. डायनेमिक रिस्क-सेंसिटिव पॉलिसी एडेप्टेशन

एक प्रमुख नवाचार तैनात नीति के जोखिम स्तर को लेटेंट कॉन्टेक्स्ट अनुमान की सटीकता के आधार पर गतिशील रूप से समायोजित करने की क्षमता है।

रिस्क-न्यूट्रल बनाम रिस्क-सेंसिटिव: जबकि ट्रेनिंग पॉलिसी रिस्क-न्यूट्रल होती है, परिनियोजन नीति को रिस्क-सेंसिटिव बनाया जा सकता है, जो पूर्ण रेंज $U([0, 1])$ के बजाय अपर-टेल क्वांटाइल्स (upper-tail quantiles) $U([\eta, 1])$ का उपयोग करके कॉस्ट क्रिटिक का मूल्यांकन करती है।

डायनेमिक $\eta$ : क्वांटाइल पैरामीटर $\eta$ को परिनियोजन के दौरान गतिशील रूप से समायोजित किया जाता है।

प्रारंभिक चरण (Early Stage): जब $N_{real}$ छोटा होता है और अनुमान त्रुटि $\epsilon(N_{real})$ अधिक होती है, तो सुरक्षा मार्जिन सुनिश्चित करने के लिए एक उच्च $\eta$ (अधिक रूढ़िवादी) का उपयोग किया जाता है।

बाद का चरण (Later Stage): जैसे-जैसे अधिक कॉन्टेक्स्ट एकत्र किया जाता है और $\hat{z}$ सटीक होता जाता है, $\eta$ को धीरे-धीरे कम किया जाता है, जिससे पॉलिसी कम रूढ़िवादी और अधिक कुशल हो जाती है, अंततः एक रिस्क-न्यूट्रल पॉलिसी के करीब पहुँच जाती है।

एक्शन रिफाइनमेंट (Action Refinement): नेटवर्क पैरामीटर्स को अपडेट किए बिना रिस्क-अवेयर कॉस्ट कंस्ट्रेंट को संतुष्ट करने के लिए नॉमिनल एक्शन पर एक लाइटवेट, ऑनलाइन प्रोजेक्टेड ग्रेडिएंट रिफाइनमेंट लागू किया जाता है।

2.4. सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर निम्नलिखित के लिए सैद्धांतिक प्रमाण प्रदान करता है:

कन्वर्जेंस (Convergence): लेटेंट-कंडीशन्ड डिस्ट्रीबशनल बेलमैन ऑपरेटर्स कंट्रैक्शन प्रॉपर्टी को बनाए रखते हैं, जिससे ट्रेनिंग स्थिरता सुनिश्चित होती है।

सेफ्टी अपर-बाउंड (Safety Upper-Bound): एक प्रमेय स्थापित करता है कि तैनात पॉलिसी की लागत $d + L_c \epsilon(N_{real})$ द्वारा सीमित है, जहाँ $d$ सुरक्षा थ्रेशोल्ड है और $\epsilon$ अनुमान त्रुटि है।

कंडीशनल सेफ्टी (Conditional Safety): यह सिद्ध किया गया है कि यदि रिस्क-सेंसिटिव पॉलिसी द्वारा प्राप्त कॉस्ट रिडक्शन ( $\Delta c$ ), एरर-इंड्यूस्ड कॉस्ट इंक्रीज ( $L_c \epsilon$ ) से अधिक है, तो सुरक्षा कंस्ट्रेंट संतुष्ट हो जाता है।

फेसिबल क्वांटाइल का अस्तित्व: लेखक सिद्ध करते हैं कि पर्याप्त संख्या में कॉन्टेक्स्ट सैंपल्स ( $N_{real} > N_{min}$ ) एकत्र होने के बाद एक व्यवहार्य (feasible) क्वांटाइल $\eta$ मौजूद है जो सुरक्षा सुनिश्चित करता है।

3. मुख्य योगदान

एकीकृत सुरक्षित और अनुकूल फ्रेमवर्क: एक CMDP-आधारित फ्रेमवर्क जो संभाव्य लेटेंट कॉन्टेक्स्ट एडेप्टेशन को डिस्ट्रीबशनल RL के साथ एकीकृत करता है, जो Sim2Real मिसमैच के तहत सुरक्षित और अनुकूल पॉलिसी ट्रांसफर को सक्षम बनाता है।

इन्फरेंस-टाइम रिस्क रेगुलेशन: परिनियोजन के समय लेटेंट कॉन्टेक्स्ट अनुमान की सटीकता के आधार पर तैनात नीति के जोखिम स्तर को गतिशील रूप से समायोजित करने का एक तंत्र, जो सुरक्षा और प्रदर्शन के बीच संतुलन बनाता है।

सैद्धांतिक सुरक्षा गारंटी: ट्रेनिंग कन्वर्जेंस, लेटेंट कॉन्टेक्ट एडेप्टेशन के लाभों और Sim2Real गैप के तहत एक व्युत्पन्न सुरक्षा अपर-बाउंड के माध्यम से सुनिश्चित सुरक्षा के संबंध में प्रमाण।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन दो कार्यों पर किया गया: POINTGOAL2 (OpenAI Safety Gym) और एक ऑटोनॉमस ड्राइविंग कार्य (व्हीकल प्लैटून ऑसिलेशन रिडक्शन)।

प्रदर्शन तुलना:

बेसलाइन्स: इसे नॉमिनल (नो रैंडमाइजेशन), डोमेन रैंडमाइजेशन (D.R.), SPiDR (प्रूवेबल पेसिमिस्टिक सेफ्टी), और रोबस्ट RL के विरुद्ध तुलना की गई।

परिणाम: परिनियोजन में, नॉमिनल, D.R., और रोबस्ट RL ने उच्च रिवॉर्ड प्राप्त किया लेकिन गंभीर कॉस्ट वायलेशन (सुरक्षा उल्लंघन) का सामना किया। SPiDR और प्रस्तावित विधि ने सुरक्षा बनाए रखी, लेकिन SPiDR अत्यधिक रूढ़िवादी था, जिससे रिवॉर्ड कम हुआ।

प्रस्तावित विधि: इसने एक बेहतर रिवॉर्ड-कॉस्ट ट्रेड-ऑफ हासिल किया, लागत को सुरक्षा थ्रेशोल्ड से नीचे बनाए रखते हुए SPiDR की तुलना में उच्च रिवॉर्ड प्राप्त किया। ऑटोनॉमस ड्राइविंग कार्य में, इसने बेसलाइन कंट्रोलर्स की तुलना में ट्रैफिक ऑसिलेशन (O.R.), जर्क और ईंधन की खपत को भी काफी कम किया।

डायनेमिक एडेप्टेशन: प्रयोगों ने दिखाया कि डायनेमिक रिस्क-स로ेंसिटिव एडेप्टेशन मॉड्यूल ने पूरे परिनियोजन के दौरान लागत को थ्रेशोल्ड से नीचे बनाए रखने में सफलतापूर्वक काम किया। रिस्क पैरामीटर $\eta$ अधिक वास्तविक दुनिया का कॉन्टेक्स्ट एकत्र होने के साथ रूढ़िवादी से कम रूढ़िवादी की ओर संक्रमण करता है।

OOD संवेदनशीलता: विधि ने माइल्ड, मीडियम और हाई आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) स्तरों के बीच लगातार सुरक्षा बनाए रखी, जबकि अन्य विधियाँ उच्च OOD शिफ्ट के तहत विफल रहीं।

एब्लेशन स्टडी (Ablation Study): रिस्क एडेप्टेशन मॉड्यूल को हटाने से कॉस्ट वायलेशन हुआ, जो डायनेमिक रिस्क रेगुलेशन की आवश्यकता की पुष्टि करता है। केवल लेटेंट एनकोडर ने नॉमिनल बेसलाइन की तुलना में प्रदर्शन में सुधार किया, लेकिन बिना रिस्क एडेप्टेशन के सुरक्षा की गारंटी नहीं दी।

5. महत्व और दावे

पेपर का दावा है कि यह फ्रेमवर्क मौजूदा Sim2Real विधियों की महत्वपूर्ण सीमा को संबोधित करता है जो या तो मजबूती के लिए दक्षता का त्याग करती हैं या अनमॉडल डायनेमिक्स का सामना करने पर सुरक्षा सुनिश्चित करने में विफल रहती हैं। वातावरण के कॉन्टेक्स्ट की अनिश्चितता को स्पष्ट रूप से मॉडल करके और जोखिम को गतिशील रूप से विनियमित करके, यह दृष्टिकोण सुरक्षित स्टार्ट-अप (जब कॉन्टेक्ट कम होता है) और कॉन्टेक्ट मिलने के बाद कुशल संचालन (जब एजेंट अनुकूलित हो जाता है) को सक्षम करता है।

लेखक इस कार्य को उन सुरक्षा-महत्वपूर्ण साइबर-फिजिकल सिस्टम्स में RL को तैनात करने की दिशा में एक कदम के रूप में देखते हैं जहाँ प्रत्यक्ष प्रशिक्षण अव्यावहारिक है। वे उल्लेख करते हैं कि जबकि वर्तमान कार्य स्थिर लेकिन अज्ञात वातावरणों पर केंद्रित है, भविष्य की दिशाओं में चेंज डिटेक्शन मैकेनिज्म के माध्यम से निरंतर बदलते वातावरण (जैसे अचानक मौसम परिवर्तन) को शामिल करना शामिल हो सकता है। इस फ्रेमवर्क को ऑफलाइन RL संदर्भों में भी अनुकूलित किया जा सकता है, हालांकि सटीक कॉन्टेक्स्ट और डिस्ट्रीब्यूशन अनुमान के लिए वास्तविक दुनिया के ऑफलाइन सेटिंग्स में डेटा की सीमाएं चुनौतियां पेश करती हैं।

बड़ी समस्या: "ट्रेनिंग व्हील्स" (सहायक पहियों) का अंतर

पुराने समाधान (और वे क्यों विफल हुए)

नया समाधान: "स्मार्ट ट्रांसलेटर"

1. "डिटेक्टिव" (लेटेंट कॉन्टेक्स्ट एम्बेडिंग)

2. "रिस्क डायल" (डायनेमिक पॉलिसी एडैप्टेशन)

3. "सेफ्टी नेट" (गणितीय गारंटी)

परिणाम: "गोल्डिलॉक्स ज़ोन" में ड्राइविंग

सारांश

1. समस्या विवरण

2. कार्यप्रणाली (Methodology)

2.1. लेटेंट कॉन्टेक्स्ट वेरिएबल एडेप्टेशन

2.2. डिस्ट्रीबशनल RL फॉर्मूलेशन

2.3. डायनेमिक रिस्क-सेंसिटिव पॉलिसी एडेप्टेशन

2.4. सैद्धांतिक गारंटी (Theoretical Guarantees)

3. मुख्य योगदान

4. प्रयोगात्मक परिणाम

5. महत्व और दावे

इसी तरह के और पेपर