🤖 machine learning

Generative OOD-regularized Model-based Policy Optimization

यह शोध पत्र जेनेरेटिव ओओडी-रेगुलराइज्ड मॉडल-बेस्ड पॉलिसी ऑप्टिमाइजेशन (GORMPO) प्रस्तुत करता है, जो एक नवीन ऑफलाइन सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) एल्गोरिदम है जो नीति अपडेट को उच्च-घनत्व वाले क्षेत्रों तक सीमित करने के लिए जेनेरेटिव डेंसिटी मॉडल को एकीकृत करता है, जिससे यह वास्तविक दुनिया के चिकित्सा और विरल (स्पार्स) डेटासेट पर अत्याधुनिक बेसलाइनों से बेहतर प्रदर्शन करता है और यह प्रदर्शित करता है कि ओओडी (OOD) डिटेक्शन की प्रभावशीलता पर्यावरणीय गतिकी (डायनामिक्स) पर निर्भर करती है।

मूल लेखक: Aysin Tumay, Jiahe Huang, Elise Jortberg, Rose Yu

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aysin Tumay, Jiahe Huang, Elise Jortberg, Rose Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी समस्या: विरल कोहरे में "अंधा पायलट"

कल्पना कीजिए कि आप एक पायलट को विमान उड़ाना सिखा रहे हैं, लेकिन आप अभी उन्हें वास्तव में विमान उड़ाने की अनुमति नहीं दे सकते। आपके पास केवल एक पुराना, धूल भरा लॉगबुक (flight log) है जिसमें पिछले पायलट द्वारा की गई उड़ानों का विवरण है।

चुनौती: वह लॉगबुक शानदार, धूप वाले मौसम (स्थिर अवस्थाओं) में उड़ने के विवरणों से भरी है। हालांकि, इसमें इस बारे में लगभग कोई जानकारी नहीं है कि क्या होता है जब विमान किसी तूफान में फंसता है या मैप के किनारे के पास उड़ता है (आउट-ऑफ-डिस्ट्रीब्यूशन या "OOD" क्षेत्र)।

यदि आप नए पायलट को केवल इस लॉगबुक का उपयोग करके सिखाते हैं, तो वे तूफान में उड़ने की कोशिश कर सकते हैं क्योंकि लॉगबुक ने स्पष्ट रूप से यह नहीं कहा कि "ऐसा न करें।" जब वे ऐसा करेंगे, तो विमान दुर्घटनाग्रस्त हो सकता है क्योंकि वास्तविक दुनिया उस तरह से व्यवहार करती है जैसा कि विरल (sparse) लॉगबुक नहीं बताती। AI की दुनिया में, इसे ऑफलाइन सुदृढीकरण शिक्षण (Offline Reinforcement Learning) कहा जाता है, और "कोहरे" में उड़ने के खतरे को डिस्ट्रीब्यूशन शिफ्ट (Distribution Shift) कहा जाता है।

समाधान: GORMPO ("डेंसिटी गार्जियन")

लेखक GORMPO नामक एक नया सिस्टम प्रस्तावित करते हैं। इसे पायलट को प्रशिक्षण शुरू करने से पहले लॉगबुक का एक स्मार्ट, 3D डेंसिटी मैप (घनत्व मानचित्र) देने के रूप में समझें।

सिमुलेटर (द मॉडल): सबसे पहले, AI लॉगबुक के आधार पर एक सिमुलेटर बनाता है। यह अनुमान लगाने की कोशिश करता है कि यदि पायलट एक निश्चित कार्रवाई करता है तो आगे क्या होगा।
गार्जियन (द डेंसिटी एस्टिमेटर): यही इस पूरे सिस्टम का मुख्य आकर्षण है। इससे पहले कि सिमुलेटर पायलट को कोई नया, जोखिम भरा कदम उठाने दे, गार्जियन एक विशेष "डेंसिटी मैप" की जांच करता है।
- हाई डेंसिटी (उच्च घनत्व): "हे, इस क्षेत्र में लॉगबुक से डेटा बहुत अधिक है। यहाँ प्रयास करना सुरक्षित है।"
- लो डेंसिटी (कम घनत्व): "ओह! यह क्षेत्र खाली है। यहाँ हमारे पास कोई डेटा नहीं है। यह 'कोहरा' है। यदि आप यहाँ जाते हैं, तो सिमुलेटर आपसे झूठ बोल सकता है।"
पेनल्टी (दंड): यदि पायलट "कोहरे" में (एक कम-घनत्व वाले क्षेत्र में) उड़ने की कोशिश करता है, तो गार्जियन रिवॉर्ड (पुरस्कार) पर एक भारी पेनल्टी लगा देता है। यह यह कहने जैसा है कि, "आप यह चाल चल सकते हैं, लेकिन इसके लिए आपको बहुत कम स्कोर मिलेगा।" यह पायलट को सुरक्षित, भीड़भाड़ वाले क्षेत्रों में रहने के लिए मजबूर करता है जहाँ लॉगबुक विश्वसनीय है।

"जेनरेटिव" वाला हिस्सा: पुराने मैप क्यों विफल होते हैं

पिछले तरीकों ने इस मैप को सरल उपकरणों का उपयोग करके बनाने की कोशिश की, जैसे कि एक विशिष्ट क्षेत्र में कितने बिंदु हैं, इसकी गिनती करना (Kernel Density Estimation)। लेकिन जटिल, उच्च-आयामी स्थानों (जैसे कि एक मेडिकल मरीज के महत्वपूर्ण संकेत या एक रोबोट की गति) में, सरल मैप धुंधले हो जाते हैं और विफल हो जाते हैं।

GORMPO जेनरेटिव मॉडल्स (जैसे उन्नत AI जो डेटा के आकार की "कल्पना" कर सकता है) का उपयोग करता है। ये मॉडल कुशल मानचित्रकारों (Master Cartographers) की तरह हैं। केवल बिंदुओं को गिनने के बजाय, वे डेटा के आकार और प्रवाह को सीखते हैं। वे आपको बता सकते हैं, "यह खाली स्थान केवल खाली नहीं है; यह एक वर्जित क्षेत्र है जो सुरक्षित क्षेत्रों जैसा बिल्कुल नहीं दिखता।"

प्रयोग: मानचित्रकारों का परीक्षण

लेखकों ने केवल एक मैप नहीं बनाया; उन्होंने यह देखने के लिए कि कौन सा "कोहरा" पहचानने में सबसे अच्छा है, पाँच अलग-अलग प्रकार के मास्टर कार्टोग्राफर्स (विभिन्न AI मॉडल) का परीक्षण किया:

KDE: पुराना पारंपरिक काउंटर।
VAE: एक मॉडल जो पैटर्न खोजने के लिए डेटा को संकुचित करता है।
RealNVP: एक मॉडल जो स्थान को खींचता और मोड़ता है ताकि उसे मापना आसान हो सके।
Diffusion: एक मॉडल जो धीरे-धीरे शोर (noise) जोड़ने और हटाने से सीखता है।
NeuralODE: एक मॉडल जो समय को एक निरंतर प्रवाह के रूप में मानता है।

उन्होंने इनका परीक्षण दो चीजों पर किया:

वास्तविक मेडिकल डेटा: मरीजों को हार्ट-सपोर्ट मशीनों से हटाने (weaning) के बारे में एक डेटासेट। यह एक उच्च-दांव वाली उड़ान की तरह है जहाँ एक गलती घातक हो सकती है।
रोबोटिक्स डेटा: चलते हुए रोबोट (जैसे चीता या हॉपर) का सिम्युलेटेड डेटा।

परिणाम: क्या काम आया?

1. मेडिकल मिशन (स्थिर डायनेमिक्स):
मेडिकल डेटासेट में, वातावरण अपेक्षाकृत स्थिर था (जैसे एक शांत दिन)। यहाँ, सबसे अच्छा कार्टोग्राफर (जो "कोहरे" को सबसे सटीक रूप से पहचान सकता था) ने सबसे अच्छे पायलट की ओर ले गया।

RealNVP और NeuralODE का उपयोग करने वाले मॉडल ने सबसे अच्छा प्रदर्शन किया, जिससे पिछले अत्याधुनिक तरीकों की तुलना में परिणामों में 17% का सुधार हुआ।
उपमा: जब मौसम शांत होता है, तो सबसे सटीक मैप होना आपको सबसे कुशलता से उड़ने में मदद करता है।

2. रोबोट मिशन (अनिश्चित डायनेमिक्स):
रोबोट डेटासेट में, चीजें अधिक अव्यवस्थित और अप्रत्याशित थीं।

दिलचस्प बात यह है कि वह मॉडल जो कोहरे का पता लगाने में सबसे खराब था (Diffusion), उसने वास्तव में काफी अच्छा प्रदर्शन किया। क्यों? क्योंकि वह इतना "निराशावादी" था कि उसने लगभग हर चीज़ को कम स्कोर दिया।
उपमा: जब मौसम अराजक और अप्रत्याशित होता है, तो एक "पैरानॉयड" गार्ड होना बेहतर होता है जो लगभग हर चीज़ को "नहीं" कहता है, बजाय एक सटीक मैप के जो सूक्ष्म खतरे को मिस कर सकता है। यह "निराशावाद" रोबोट को सुरक्षित रखने के लिए उसे उसी के पास रहने के लिए मजबूर करता है जिसे वह पहले से जानता है।

मुख्य निष्कर्ष

यह पेपर साबित करता है कि यह जानना कि आपके पास डेटा कहाँ नहीं है, उतना ही महत्वपूर्ण है जितना कि यह जानना कि डेटा कहाँ है।

GORMPO एक ऐसा फ्रेमवर्क है जो किसी भी मौजूदा AI प्रशिक्षण प्रणाली में एक "डेंसिटी गार्जियन" के रूप में फिट हो जाता है।
यह एक सुरक्षा जाल बनाने के लिए उन्नत AI मॉडल का उपयोग करता है, यह सुनिश्चित करता है कि AI अति-आत्मविश्वासी होकर वे चीजें न करने लगे जो उसने पहले नहीं देखी हैं।
सबक: स्थिर वातावरण में, आप सबसे सटीक मैप चाहते हैं (सर्वश्रेष्ठ डेंसिटी एमिशन)। अराजक, अनिश्चित वातावरण में, आपको वास्तव में एक "निराशावादी" गार्ड चाहिए जो अत्यधिक सतर्क हो, भले ही उसका मैप एकदम सटीक न हो।

यह दृष्टिकोण ऑफलाइन लर्निंग (बिना वास्तविक दुनिया के परीक्षण और त्रुटि के, पुराने लॉग से सीखना) को बहुत अधिक सुरक्षित और प्रभावी बनाता है, विशेष रूप से स्वास्थ्य सेवा जैसे महत्वपूर्ण क्षेत्रों में।

तकनीकी सारांश: जेनेरेटिव OOD-रेगुलराइज्ड मॉडल-बेस्ड पॉलिसी ऑप्टिमाइज़ेशन (GORMPO)

समस्या विवरण
ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) स्वास्थ्य सेवा जैसे सुरक्षा-महत्वपूर्ण क्षेत्रों में एक गंभीर चुनौती का सामना करता है, जहाँ वातावरण के साथ अंतःक्रिया करना असंभव है। प्राथमिक समस्या डिस्ट्रीब्यूशन शिफ्ट (distribution shift) है: स्पार्स (sparse) ऑफलाइन डेटासेट पर प्रशिक्षित नीतियां अक्सर परिनियोजन (deployment) के दौरान आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) क्रियाएं चुन लेती हैं। स्पार्स स्टेट-एक्शन स्पेस में, पारंपरिक मॉडल-फ्री विधियाँ अत्यधिक रूढ़िवादी हो सकती हैं, जो वैध क्रियाओं को दबा देती हैं, जबकि मॉडल-आधारित विधियाँ विनाशकारी विफलताओं का जोखिम उठाती हैं जब स्पार्स डेटा पर प्रशिक्षित डायनेमिक्स मॉडल ऐसे OOD रोलआउट उत्पन्न करते हैं जो असुरक्षित क्षेत्रों में चले जाते हैं। मौजूदा समाधान, जैसे कि कर्नेल डेंसिटी एस्टीमेशन (KDE) या अनिश्चितता दंड (uncertainty penalties), अक्सर उच्च-आयामी सेटिंग्स में अभिव्यक्तता (expressiveness) की कमी रखते हैं या अनिश्चित डायनेमिक्स के मामले में इन-डिस्ट्रीब्यूशन (ID) और OOD ट्रांजिशन के बीच प्रभावी ढंग से अंतर करने में विफल रहते हैं।

कार्यप्रणाली: GORMPO
लेखक जेनेरेटिव OOD-रेगुलराइज्ड मॉडल-बेस्ड पॉलिसी ऑप्टिमाइज़ेशन (GORMPO) का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जिसे जेनेरेटिव डेंसिटी एस्टीमेशन को मॉडल-बेस्ड RL (विशेष रूप से MBPO) में एकीकृत करने के लिए डिज़ाइन किया गया है ताकि पॉलिसी अपडेट को डेटासेट के उच्च-घनत्व वाले क्षेत्रों तक सीमित रखा जा सके।

जेनेरेटिव डेंसिटी मॉडलिंग: GORMPO अगले-स्टेट और एक्शन जोड़े $(s', a)$ के संयुक्त घनत्व (joint density) का अनुमान लगाने के लिए एक जेनेरेटिव मॉडल $p_\theta$ का उपयोग करता है। यह फ्रेमवर्क पांच अलग-अलग डेंसिटी एस्टिमेटर परिवारों का मूल्यांकन करता है:
- कर्नेल डेंसिटी एस्टीमेशन (KDE)
- वेरिएशनल ऑटोएनकोडर्स (VAE)
- नॉर्मलाइजिंग फ्लो (RealNVP)
- डिफ्यूजन प्रोबेबिलिस्टिक मॉडल्स (DDPM)
- कंटीन्यूअस नॉर्मलाइजिंग फ्लो (Neural ODE)
डेंसिटी-बेस्ड गार्डियन: केवल मॉडल अनिश्चितता पर निर्भर रहने के बजाय, GORMPO एक "डेंसिटी-बेस्ड गार्डियन" पेश करता है जो सीखे गए डेंसिटी एस्टिमेटर के तहत संभावना (likelihood) के आधार पर मॉडल-जेनेरेटेड रोलआउट के पुरस्कारों (rewards) को दंडित करता है।
- एक रोलआउट के लिए जो $(\hat{s}_{t+1}, a_t)$ का अनुमान लगाता है, रेगुलराइज़र को $u(\hat{s}_{t+1}, a_t) = \tanh(\max(\tau - \log p_\theta(\hat{s}_{t+1}, a_t), 0))$ के रूप में परिभाषित किया गया है, जहाँ $\tau$ एक डेंसिटी थ्रेशोल्ड है।
- रोलआउट के रिवॉर्ड को दंडित किया जाता है: $\tilde{r}(s_t, a_t) = \hat{r}(s_t, a_t) - \lambda u(\hat{s}_{t+1}, a_t)$ ।
- यह सुनिश्चित करता है कि कम-घनत्व (OOD) वाले ट्रांजिशन को कम रिवॉर्ड मिले, जिससे पॉलिसी को अनोखरे (unexplored) क्षेत्रों में मॉडल की त्रुटियों का लाभ उठाने से रोका जा सके।
सैद्धांतिक गारंटी: पेपर सैद्धांतिक सीमाएँ (bounds) प्रदान करता है जो दिखाते हैं कि वास्तविक MDP पर सीखी गई पॉलिसी का प्रदर्शन डेंसिटी एस्टीमेशन एरर ( $\epsilon_{density}$ ) के साथ रैखिक रूप से घटता है। बाउंडेड रिवार्ड्स और डेंसिटी-डिपेंडेंट मॉडल एरर के संबंध में सौम्य धारणाओं के तहत, GORMPO एक रूढ़िवादी वैल्यू बाउंड और एक ऑप्टिमैलिटी गैप की गारंटी देता है जो एक शिथिल बाधा (relaxed constraint) को संतुष्ट करने वाली सर्वश्रेष्ठ पॉलिसी के साथ प्रतिस्पर्धी रहता है।

प्रमुख योगदान

फ्रेमवर्क प्रस्ताव: एक डेंसिटी-रेगुलराइज्ड ऑफलाइन RL एल्गोरिदम के रूप में GORMPO का परिचय, जो जेनेरेटिव मॉडल्स का उपयोग करके स्पष्ट रूप से OOD स्टेट-एक्शन रोलआउट को दंडित करता है।
व्यापक मूल्यांकन: मॉडल-बेस्ड ऑफलाइन RL के संदर्भ में OOD डिटेक्शन के लिए पांच अलग-अलग डेंसिटी एस्टिमेटर परिवारों (KDE, VAE, RealNVP, Diffusion, NeuralODE) का पहला व्यवस्थित मूल्यांकन।
अनुभवजन्य अंतर्दृष्टि (Empirical Insights): यह प्रदर्शन करना कि OOD डिटेक्शन क्षमता और पॉलिसी प्रदर्शन के बीच संबंध संदर्भ-निर्भर (context-dependent) होता है। स्थिर डायनेमिक्स वाले वातावरण में, बेहतर OOD डिटेक्शन बेहतर पॉलिसियों के साथ सह-संबंधित होता है। हालांकि, अत्यधिक अनिश्चित डायनेमिक्स वाले वातावरण में, रूढ़िवादी दंड (यहाँ तक कि उन मॉडल्स से भी जिनमें कमजोर स्पष्ट डेंसिटी एस्टीमेशन है, जैसे कि डिफ्यूजन मॉडल्स जो पेनल्टी को सैचुरेट कर देते हैं) को असुरक्षित क्षेत्रों में अन्वेषण को रोकने के लिए प्राथमिकता दी जाती है।

प्रायोगिक परिणाम
लेखकों ने एक प्रोप्रायटरी रियल-वर्ल्ड मेडिकल डेटासेट (कार्डियोजेनिक शॉक वीनिंग) और स्पार्स D4RL बेंचमार्क (Gym-MuJoCo टास्क) पर GORMPO का मूल्यांकन किया।

मेडिकल डेटासेट: GORMPO ने औसत रिवॉर्ड में 17% और वीनिंग स्कोर (WS) में 13% के साथ स्टेट-ऑफ-द-आर्ट बेसलाइन्स (SPOT, MOBILE, और मानक MBPO सहित) को पछाड़ दिया।
- डेंसिटी एस्टिमेटर प्रदर्शन: NeuralODE ने सर्वश्रेष्ठ OOD डिटेक्शन (ROC AUC) प्रदर्शित किया। हालांकि, GORMPO-RealNVP ने उच्चतम पॉलिसी प्रदर्शन प्राप्त किया, जिसके ठीक बाद NeuralODE का स्थान रहा।
- सुरक्षा: GORMPO वेरिएंट्स ने पंप स्तरों को कम करते हुए रोगी की स्थिरता (मीन आर्टेरियल प्रेशर) को सफलतापूर्वक बनाए रखा, जबकि बेसलाइन्स अक्सर असुरक्षित क्रियाओं को पर्याप्त रूप से दंडित करने में विफल रहे।
स्पार्स D4RL बेंचमार्क:
- halfcheetah टास्क (स्थिर डायनेमिक्स) पर, GORMPO-VAE और GORMPO-RealNVP ने बेस MBPO मॉडल की तुलना में महत्वपूर्ण सुधार (41% तक) किया।
- hopper और walker2d (अनिश्चित डायनेमिक्स) पर, मानक MBPO विफल रहा। GORMPO ने प्रदर्शन में सुधार किया, जिसमें GORMPO-DDPM ने आश्चर्यजनक मजबूती दिखाई। लेखक इसे "पेनल्टी सैचुरेशन" के रूप में देखते हैं, जहाँ डिफ्यूजन मॉडल अधिकांश नमूनों को कम संभावना प्रदान करता है, जिससे दंड अपने अधिकतम स्तर तक पहुँच जाता है और अत्यधिक रूढ़िवादिता को मजबूर करता है।
- सामान्य तौर पर, GORMPO ने स्पार्स डेटासेट्स पर बेस मॉडल्स (MBPO और MOBILE) को बेहतर बनाया।

महत्व और दावे
पेपर का दावा है कि GORMPO डेंसिटी एस्टीमेशन के लिए अभिव्यक्त जेनेरेटिव मॉडल्स का लाभ उठाकर स्पार्स ऑफलाइन RL में डिस्ट्रीब्यूशन शिफ्ट को कम करने के लिए एक सिद्धांत-आधारित दृष्टिकोण प्रदान करता है। लेखक दावा करते हैं कि:

बेहतर OOD डिटेक्शन आमतौर पर बेहतर पॉलिसियों की ओर ले जाता है स्थिर डायनेमिक्स वाले वातावरण में।
रूढ़िवादी रेगुलाइजेशन (Conservative regularization) अत्यंत महत्वपूर्ण है जब डायनेमिक्स अनिश्चित होते हैं; ऐसे मामलों में, अपूर्ण डेंसिटी एस्टीमेशन वाले मॉडल (जैसे डिफ्यूजन मॉडल्स जो पेनल्टी को सैचुरेट करते हैं) भी प्रशिक्षण सपोर्ट का सख्ती से पालन करने के लिए मजबूर करके बेहतर नीतियां प्रदान कर सकते हैं।
यह फ्रेमवर्क मॉड्यूलर (modular) है, जिससे किसी भी मॉडल-बेस्ड ऑफलाइन RL एल्गोरिदम को जेनेरेटिव OOD रेगुलाइजेशन के साथ सुसज्जित किया जा सकता है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें एक निश्चित डेंसिटी थ्रेशोल्ड पर निर्भरता (जो डिस्ट्रीब्यूशन स्क्यूनेस के प्रति संवेदनशील हो सकती है) और अत्यधिक OOD क्षेत्रों में 'tanh' पेनल्टी का सैचुरेशन शामिल है, जो सुरक्षा-महत्वपूर्ण कार्यों के लिए बहुत आशावादी हो सकता है। भविष्य के कार्य के रूप में थ्रेशोल्ड-मुक्त डेंसिटी पेनलाइजेशन और अनिश्चित डायनेमिक्स वाले डेटासेट्स के विस्तार की खोज करने का प्रस्ताव दिया गया है।