🤖 machine learning

RS-Diffuser: Risk-Sensitive Diffusion Planning with Distributional Value Guidance

यह शोध पत्र RS-Diffuser को प्रस्तुत करता है, जो एक जोखिम-संवेदनशील ऑफलाइन डिफ्यूजन प्लानिंग फ्रेमवर्क है जो डिस्ट्रीब्यूशनल वैल्यू क्रिटिक्स को टेल-अवेयर गाइडेंस के साथ एकीकृत करता है ताकि एक एकल मॉडल को लचीले ढंग से जोखिम-विमुख, तटस्थ, या जोखिम-खोजने वाले व्यवहार उत्पन्न करने में सक्षम बनाया जा सके, जबकि सुरक्षा-महत्वपूर्ण अनुप्रयोगों में मजबूती में सुधार और सुरक्षा उल्लंघनों को कम किया जा सके।

मूल लेखक: Shiqiang Gong

प्रकाशित 2026-06-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shiqiang Gong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल शहर में नेविगेट करना सिखा रहे हैं। आपके पास एक विशाल वीडियो लाइब्रेरी है कि कैसे अन्य रोबोटों (या मनुष्यों) ने अतीत में उस शहर में ड्राइविंग की थी, लेकिन आप रोबोट को सीखने के लिए वास्तविक दुनिया में गाड़ी चलाने की अनुमति नहीं दे सकते, क्योंकि एक भी गलती दुर्घटना का कारण बन सकती है। यह ऑफलाइन रीइन्फोर्समेंट लर्निंग (Offline Reinforcement Learning) की दुनिया है: बिना नए प्रयोगों के एक निश्चित डेटासेट से सीखना।

कई वर्तमान AI प्लानर्स की समस्या यह है कि वे "रिस्क-न्यूट्रल" (जोखिम-तटस्थ) होते हैं। वे एक ऐसे GPS की तरह हैं जिसे केवल औसत सबसे तेज़ मार्ग की परवाह है। यदि किसी मार्ग में 99% संभावना तेज़ होने की है और 1% संभावना कार को नष्ट करने वाले बड़े गड्ढे में गिरने की है, तो एक रिस्क-न्यूट्रल प्लानर अभी भी उस मार्ग को चुन सकता है क्योंकि उसका औसत समय अच्छा है। सुरक्षा-महत्वपूर्ण स्थितियों में (जैसे सेल्फ-ड्राइविंग कार या मेडिकल रोबोट), आपदा की वह 1% संभावना अस्वीकार्य है।

यहाँ RS-Diffuser आता है, जो एक "सुरक्षा-सचेत सह-पायलट" की तरह कार्य करता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "द ड्रीमर" (द डिफ्यूजन प्लानर)

इस सिस्टम के मूल को एक ड्रीमर (सपना देखने वाला) के रूप में सोचें। अतीत में, AI प्लानर्स अक्सर अगले एकल कदम का अनुमान लगाने की कोशिश करते थे (जैसे एक शतरंज खिलाड़ी जो एक कदम आगे की सोचता है)। RS-Diffuser अलग है; यह एक साथ पूरे भविष्य के परिदृश्यों को "सपना" देखता है।

यह डिफ्यूजन (Diffusion) तकनीक का उपयोग करता है, जो इस तरह है जैसे एक कलाकार स्टैटिक नॉइज़ (शोर) से भरे कैनवास से शुरू करता है और धीरे-धीरे उसे एक स्पष्ट चित्र में बदल देता है।

प्रक्रिया: AI भविष्य के पथ के एक अराजक, शोर भरे अनुमान के साथ शुरू करता है। फिर यह इस पथ को बार-बार "डीनॉइज़" (शोर हटाना) करता है, इसे चरण-दर-चरण साफ करता है जब तक कि यह एक सुचारू, तार्किक प्रक्षेपवक्र (trajectory) प्रकट न कर दे कि रोबोट को कहाँ जाना चाहिए।
लाभ: क्योंकि यह पूरे पथ को एक साथ उत्पन्न करता है, यह केवल अगले सेकंड को देखने वाले तरीकों की तुलना में दीर्घकालिक परिणामों को बेहतर ढंग से समझता है।

2. "द रिस्क ऑडिटर" (द डिस्ट्रीब्यूशनल वैल्यू क्रिटिक)

यही इस पेपर का असली मंत्र है। अधिकांश AI क्रिटिक्स (जज) केवल एक स्कोर देते हैं: "यह पथ 100 अंक का है।"
RS-Diffuser का क्रिटिक एक रिस्क ऑडिटर (जोखिम लेखा परीक्षक) है। एक एकल स्कोर देने के बजाय, यह संभावनाओं की एक पूरी रिपोर्ट कार्ड देता है।

यह पूछता है: "सबसे अच्छा मामला क्या है? सबसे खराब मामला क्या है? 90% समय क्या होता है? दुर्लभ 1% आपदाओं में क्या होता है?"
यह पूरे परिणामों के स्पेक्ट्रम को मैप करने के लिए क्वांटाइल रिग्रेशन (Quantile Regression) नामक एक सांख्यिकीय उपकरण का उपयोग करता है, न कि केवल औसत का।

3. "द स्टीयरिंग व्हील" (रिस्क-सेंसिटिव गाइडेंस)

यहीं जादू होता है। आमतौर पर, एक बार जब एक AI मॉडल प्रशिक्षित हो जाता है, तो उसका व्यक्तित्व तय हो जाता है। यदि आप इसे सुरक्षित बनाना चाहते हैं, तो आपको इसे शुरू से फिर से प्रशिक्षित करना होगा।

RS-Diffuser नियमों को बदल देता है। यह ड्रीमर (प्लानर) को ऑडिटर (क्रिटिक) से अलग करता है।

ट्रेनिंग के समय: मॉडल पथों का सपना देखना सीखता है और ऑडिटर सभी संभावित परिणामों के आधार पर उन्हें ग्रेड करना सीखता है।
टेस्ट के समय (जब रोबोट वास्तव में चल रहा होता है): आप बिना कुछ पुन: प्रशिक्षित किए एक "रिस्क डायल" (जोखिम डायल) घुमा सकते हैं।
- रिस्क-अवर्स मोड (जोखिम-विरोधी मोड): आप सिस्टम को बताते हैं, "मुझे सबसे खराब स्थिति की परवाह है।" सिस्टम ऑडिटर के डेटा का उपयोग करके उस पथ से दूर हट जाता है जो हो सकता है कि वहां ले जाए। यह बहुत रूढ़िवादी हो जाता है।
- रिस्क-न्यूट्रल मोड (जोखिम-तटस्थ मोड): आप इसे कहते हैं, "बस औसत सबसे अच्छा पथ दें।" यह आपदाओं को अनदेखा करता है और माध्य (mean) पर ध्यान केंद्रित करता है।
- रिस्क-सीकिंग मोड (जोखिम-खोज मोड): आप इसे कहते हैं, "उच्च इनाम के लिए जाओ, भले ही यह खतरनाक हो।" यह उच्च लाभ वाले पथों की ओर मुड़ जाता है, संभावित नुकसानों को अनदेखा करते हुए।

उपमा: मौसम का पूर्वानुमान

कल्प laइए कि आप पिकनिक की योजना बना रहे हैं।

पुराना AI (रिस्क-न्यूट्रल): मौसम के पूर्वानुमान को देखता है और कहता है, "औसत तापमान 75°F है। चलिए चलते हैं!" यह 1% टोरनेडो (बवंडर) की संभावना को अनदेखा करता है।
RS-Diffuser (रिस्क-सेंसिटिव): "ऑडिटर" आपको पूरा पूर्वानुमान देता है: "75°F औसत, लेकिन 1% टोरनेडो की संभावना और 10% भारी बारिश की संभावना है।"
- यदि आप डायल को "सुरक्षा प्रथम" पर सेट करते हैं, तो सिस्टम कहता है, "नहीं, टोरनेडो का जोखिम बहुत अधिक है। घर पर ही रहते हैं।"
- यदि आप डायल को "एडवेंचर" पर सेट करते हैं, तो यह कहता है, "औसत शानदार है, चलिए चलते हैं!"
- महत्वपूर्ण बात यह है कि सिस्टम को मौसम की भविष्यवाणी करने का नया तरीका सीखने की आवश्यकता नहीं पड़ी; इसने केवल आपके सेटिंग्स के आधार पर उसी भविष्यवाणी डेटा का अलग तरह से उपयोग किया।

यह पेपर क्या दावा करता है

लेखकों ने दो मुख्य प्रकार की चुनौतियों पर इसका परीक्षण किया:

सिम्युलेटेड रोबोट कंट्रोल (D4RL): रोबोट जैसे "Half-Cheetah" या "Walker2D" जिन्हें तेजी से चलना होता है लेकिन यदि वे बहुत आक्रामक रूप से चलते हैं तो गिर सकते हैं या टूट सकते हैं।
जोखिम भरी नेविगेशन: रोबोट जो लक्ष्य तक पहुँचने की कोशिश कर रहे हैं जबकि "खतरे वाले क्षेत्रों" से बच रहे हैं जो भारी दंड (penalties) देते हैं।

परिणाम:

बेहतर सुरक्षा: पिछले तरीकों की तुलना में RS-Diffuser ने कम दुर्घटनाएं और सुरक्षा उल्लंघन किए।
बेहतर प्रदर्शन: यह केवल सुरक्षित नहीं खेला; इसने अन्य जोखिम-संवेदनशील तरीकों की तुलना में उच्च स्कोर (रिटर्न) भी प्राप्त किया क्योंकि यह सुरक्षा और इनाम के बीच बेहतर संतुलन बना सका।
लचीलापन: एक ही प्रशिक्षित मॉडल निर्णय के समय केवल एक नंबर बदलकर सतर्क ड्राइवर, सामान्य ड्राइवर या लापरवाह ड्राइवर के बीच स्विच कर सकता था, बिना किसी पुन: प्रशिक्षण के।

संक्षेप में, RS-Diffuser एक प्लानिंग सिस्टम है जो न केवल भविष्य का अनुमान लगाता है; यह भविष्य के जोखिमों को समझता है और आपको यह तय करने देता है कि आप कितना जोखिम उठाने के लिए तैयार हैं, वह भी एक ही, पूर्व-प्रशिक्षित मॉडल से।

तकनीकी सारांश: RS-Diffuser

समस्या विवरण

ऑफलाइन रीइन्फोर्समेंट लर्निंग (RL) का लक्ष्य निश्चित डेटासेट्स से निर्णय लेने वाली नीतियों (policies) को सीखना है बिना वातावरण के साथ और अधिक अंतःक्रिया किए, जो स्वास्थ्य सेवा और रोबोटिक्स जैसे सुरक्षा-संवेदनशील क्षेत्रों में एक महत्वपूर्ण क्षमता है जहाँ ऑनलाइन अन्वेषण (exploration) महंगा या असुरक्षित हो सकता है। हालाँकि, मौजूदा ऑफलाइन RL विधियाँ दो प्राथमिक चुनौतियों का सामना करती हैं:

वितरण संबंधी बदलाव (Distributional Shift): नीतियाँ अक्सर व्यवहार डेटा (behavior data) के सपोर्ट से बाहर कार्य करती हैं, जिससे अविश्वसनीय वैल्यू अनुमान (value estimates) प्राप्त होते हैं।
जोखिम तटस्थता (Risk Neutrality): अधिकांश वर्तमान डिफ्यूजन-आधारित प्लानर और ऑफलाइन RL विधियाँ अपेक्षित रिटर्न (expected return) के लिए अनुकूलन करती हैं। वे रिटर्न के टेल व्यवहार (tail behavior) को स्पष्ट रूप से मॉडल करने में विफल रहती हैं, जिससे वे दुर्लभ लेकिन विनाशकारी परिणामों के प्रति संवेदनशील हो जाती हैं। सुरक्षा-महत्वपूर्ण सेटिंग्स में, दो व्यवहार जिनका अपेक्षित रिटर्न समान होता है, उनके डाउनसाइड रिस्क (downside risks) में भारी अंतर हो सकता है, जिसे मानक विधियाँ अनदेखा कर देती हैं।

जबकि डिस्ट्रीबनेलिटी RL (Distributional RL) पूर्ण रिटर्न वितरणों को मॉडल करने का एक सिद्धांतपूर्ण तरीका प्रदान करता है (जो Value-at-Risk और Conditional Value-at-Risk जैसे मेट्रिक्स को सक्षम बनाता है), मौजूदा जोखिम-संवेदनशील ऑफलाइन विधियाँ मुख्य रूप से एक्टर-क्रिटिक आर्किटेक्चर पर आधारित हैं। डिफ्यूजन-आधारित प्लानर्स में स्पष्ट, नियंत्रणीय जोखिम संवेदनशीलता को शामिल करने के कार्य की कमी है।

कार्यप्रणाली: RS-Diffuser

लेखक RS-Diffuser का प्रस्ताव करते हैं, जो एक जोखिम-संवेदनशील ऑफलाइन डिफ्यूजन प्लानिंग फ्रेमवर्क है जो डिस्ट्रीब्यूशनल वैल्यू लर्निंग के साथ डिफ्यूजन-आधारित ट्राजेक्टरी जनरेशन को एकीकृत करता है। यह फ्रेमवर्क तीन मुख्य घटकों से बना है जिन्हें एक ऑफलाइन डेटासेट पर प्रशिक्षित किया गया है:

स्टेट ट्राजेक्टरी डिफ्यूजन प्लानर (State Trajectory Diffusion Planner):
सीधे स्टेट-एक्शन पेयर्स उत्पन्न करने के बजाय, प्लानर भविष्य के स्टेट ट्राजेक्टरीज के लिए एक कंडीशनल डिस्ट्रीब्यूशन $p_\theta(x_0 | s_t)$ को मॉडल करता है, जहाँ $x_0$ भविष्य के राज्यों $(s_{t+1}, \dots, s_{t+H})$ का एक अनुक्रम है। यह लॉन्ग-होरिज़न प्लानिंग को लो-लेवल एक्शन जनरेशन से अलग करता है। मॉडल को स्टेट सीक्वेंस पर नॉइज़ करप्शन को रिवर्स करने के लिए एक मानक डिनोइजिंग ऑब्जेक्टिव (DDPM) का उपयोग करके प्रशिक्षित किया जाता है।
इनवर्स डायनेमिक्स एक्शन डिकोडर (Inverse Dynamics Action Decoder):
एक अलग डिटर्मिनिस्टिक डिकोडर $f_\psi$ को सुपरवाइज्ड रिग्रेशन के माध्यम से प्रशिक्षित किया जाता है ताकि नियोजित स्टेट ट्रांजिशन को निष्पादनीय क्रियाओं (executable actions) में वापस मैप किया जा सके ( $a_t = f_\psi(s_t, \hat{s}_{t+1})$ )। यह डिफ्यूजन मॉडल को व्यवहार्य स्टेट इवोल्यूशन पर ध्यान केंद्रित करने की अनुमति देता है जबकि डिकोडर एक्शन रिकवरी को संभालता है।
मोंटे कार्लो डिस्ट्रीबनेलिटी वैल्यू क्रिटिक (Monte Carlo Distributional Value Critic):
यह जोखिम संवेदनशीलता के लिए मुख्य नवाचार है। एक मानक क्रिटिक के विपरीत जो एकल अपेक्षित रिटर्न का अनुमान लगाता है, यह क्रिटिक उम्मीदवार प्लान्स के पूर्ण रिटर्न वितरण को मॉडल करता है।

प्रशिक्षण: यह एक दिए गए नॉइजी प्लान $x_k$ , वर्तमान स्टेट $s_t$ , और डिफ्यूजन स्टेप $k$ के लिए रिटर्न वितरण $Z(x)$ के $N$ क्वांटाइल्स (quantiles) का अनुमान लगाने के लिए मोंटे कार्लो सुपरविजन (बेलमैन बूटस्ट्रैपिंग के बजाय) के साथ क्वांटाइल रिग्रेशन का उपयोग करता है।
लॉस (Loss): क्रिटिक को रिटर्न वितरण का सटीक अनुमान लगाने के लिए क्वांटाइल हबर लॉस (Quantile Huber loss) का उपयोग करके अनुकूलित किया जाता है।

जोखिम-निर्देशित अनुमान (Risk-Guided Inference):
RS-Diffuser की प्रमुख परिचालन विशेषता बिना रिट्रेनिंग के अनुमान के समय (inference time) जोखिम प्राथमिकताओं को नियंत्रित करने की इसकी क्षमता है।

एक जोखिम-संवेदनशील ऑब्जेक्टिव $\rho_\alpha$ (जैसे, जोखिम-विमुखता के लिए CVaR या जोखिम-खोज के लिए अपर-टेल एवरेज) को अनुमानित क्वांटाइल्स से कंप्यूट किया जाता है।
डिफ्यूजन डिनोइजिंग प्रक्रिया के दौरान, एक गाइडेंस सिग्नल इंजेक्ट किया जाता है। नॉइजी ट्राजेक्टरी के सापेक्ष जोखिम ऑब्जेक्टिव का ग्रेडिएंट ( $g_k = \nabla_{x_k} \rho_\alpha$ ) वांछित जोखिम प्रोफाइल को संतुष्ट करने वाले ट्राजेक्टरीज की ओर निर्माण को निर्देशित करने के लिए उपयोग किया जाता है।
जोखिम पैरामीटर $\alpha$ या फंक्शनल के चुनाव (CVaR बनाम VaR) को समायोजित करके, एक एकल प्रशिक्षित मॉडल सहजता से जोखिम-विमुख, जोखिम-तटस्थ, और जोखिम-खोज व्यवहारों के बीच स्विच कर सकता है।

मुख्य योगदान

पेपर तीन मुख्य योगदानों को रेखांकित करता है:

फ्रेमवर्क एकीकरण: एक डिफ्यूजन प्लानिंग फ्रेमवर्क का परिचय जो टेल-अवेयर निर्णय लेने को सक्षम करने के लिए स्पष्ट रूप से डिस्ट्रीबनेलिटी वैल्यू मॉडलिंग को शामिल करता है।
लचीला मार्गदर्शन (Flexible Guidance): यह प्रदर्शन करना कि कैसे एक डिस्ट्रीबनेलिटी क्रिटिक को गाइडेड डिफ्यूजन सैंपलिंग में एकीकृत किया जा सकता है, जो बिना मॉडल रिट्रेनिंग के लचीले, इन्फरेंस-टाइम कंट्रोल प्रदान करता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): प्रयोगात्मक साक्ष्य जो दिखाते हैं कि RS-Diffuser मौजूदा स्टेट-ऑफ-द-आर्ट मॉडल्स को जोखिम-संवेदनशील बेंचमार्क पर पछाड़ देता है, बेहतर समग्र रिटर्न और वर्स्ट-केस मजबूती हासिल करता है।

प्रयोगात्मक परिणाम

लेखकों ने दो बेंचमार्क पर RS-Diffuser का मूल्यांकन किया: रिस्क-सेंसिटिव D4RL (स्टोकेस्टिक पेनल्टी के साथ MuJoCo टास्क) और रिस्की रोबोट नेविगेशन (हैज़र्ड ज़ोन के साथ PointMass और Ant एनवायरनमेंट)।

रिस्क-सेंसिटिव D4RL: RS-Diffuser ने Half-Cheetah, Walker2D, और Hopper के लिए मीडियम, एक्सपर्ट और मिक्सड डेटासेट्स में सर्वश्रेष्ठ समग्र प्रदर्शन हासिल किया। इसने दोनों जोखिम-तटस्थ बेसलाइन्स (CQL, Diffusion-QL) और जोखिम-संवेदनशील बेसलाइन्स (OWCPG, ORAAC, CODAC, UDAC) को पीछे छोड़ दिया। विशेष रूप से, इसने औसत रिटर्न और कंडीशनल वैल्यू-एट-रिस्क (CVaR $_{0.1}$ ) दोनों में सुधार किया, जो औसत और सबसे खराब स्थिति (worst-case) दोनों परिदृश्यों में बेहतर प्रदर्शन को दर्शाता है।
रिस्की रोबोट नेविगेशन: Risky Ant और Risky PointMass टास्क में, RS-Diff diffuser ने शून्य या निकट-शून्य सुरक्षा उल्लंघन बनाए रखते हुए उच्चतम रिटर्न प्राप्त किया। इसने सफलतापूर्वक सुरक्षा और प्रदर्शन के बीच संतुलन बनाया, और उन विधियों से बेहतर प्रदर्शन किया जो या तो खतरनाक शॉर्टकट लेती थीं (जोखिम-तटस्थ) या प्रभावी ढंग से रिटर्न को अनुकूलित करने में विफल रहीं।
एब्लेशन स्टडीज (Ablation Studies): जोखिम पैरामीटर $\alpha$ और जोखिम माप (VaR बनाम CVaR) को बदलने वाले प्रयोगों ने पुष्टि की कि यह विधि औसत रिटर्न और मजबूती के बीच एक सुचारू ट्रेड-ऑफ की अनुमति देती है। डिफ़ॉल्ट कॉन्फ़िगरेशन के लिए CVaR-आधारित मार्गदर्शन को सर्वोत्तम ट्रेड-ऑफ प्रदान करने वाला पाया गया।

महत्व और दावे

पेपर का दावा है कि RS-Diffuser नियंत्रणीय जोखिम संवेदनशीलता को जेनरेटिव डिफ्यूजन प्रतिमान (paradigm) के भीतर सक्षम करके ऑफलाइन RL में एक महत्वपूर्ण अंतर को पाटता है। पिछले तरीकों के विपरीत जिन्हें विभिन्न जोखिम प्रोफाइल्स के लिए अलग-अलग मॉडल को प्रशिक्षित करने की आवश्यकता होती है या जो निश्चित जोखिम ऑब्जेक्टिव पर निर्भर करते हैं, RS-Diffuser एक ही मॉडल को इन्फरेंस के समय विविध सुरक्षा आवश्यकताओं के अनुकूल होने की अनुमति देता है।

लेखक इस कार्य को सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए लचीले और विश्वसनीय निर्णय लेने की दिशा में एक कदम के रूप में देखते हैं। उनका तर्क है कि जटिल, मल्टीमॉडल ट्राजेक्टरीज को मॉडल करने के लिए डिफ्यूजन मॉडल्स की अभिव्यंजक शक्ति को डिस्ट्रीबनेलिटी वैल्यू गाइडेंस (टेल-अवेयर मूल्यांकन के लिए) के साथ जोड़ना, वास्तविक दुनिया के परिनियोजन (deployment) के लिए एक मजबूत फ्रेमवर्क बनाता है जहाँ औसत रिवॉर्ड को अधिकतम करने जितना ही विनाशकारी परिणामों से बचना भी महत्वपूर्ण है। भविष्य के कार्य के रूप में इस दृष्टिकोण को उच्च-आयामी रोबोटिक्स कार्यों और मल्टी-ऑब्जेक्टिव सुरक्षा बाधाओं तक विस्तारित करने का सुझाव दिया गया है।