🤖 machine learning

Safe Online Learning via Smooth Safety-Structured Policy Composition

यह शोधपत्र AutoSafe को प्रस्तुत करता है, जो एक नवीन पॉलिसी आर्किटेक्चर है जो एक्शन जनरेशन में सीधे संरचित सुरक्षा निगरानी को एकीकृत करता है ताकि प्रदर्शन और सुरक्षा व्यवहारों के बीच सुचारू, जोखिम-निर्भर संक्रमण सक्षम किया जा सके, जिससे सिम्युलेटेड बेंचमार्क और वास्तविक भौतिक प्रणालियों दोनों में लर्निंग डायनेमिक्स से समझौता किए बिना सुदृढ़ सुरक्षा प्रवर्तन प्राप्त किया जा सके।

मूल लेखक: Hongpeng Cao, Liqun Zhao, Yuliang Gu, Naira Hovakimyan, Lui Sha, Marco Caccamo

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hongpeng Cao, Liqun Zhao, Yuliang Gu, Naira Hovakimyan, Lui Sha, Marco Caccamo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Safe Online Learning via Smooth Safety-Structured Policy Composition" (जो AutoSafe को पेश करता है) का सरल भाषा और रचनात्मक उपमाओं के साथ स्पष्टीकरण दिया गया है।

बड़ी समस्या: "क्रूर कोच" बनाम "कोमल मार्गदर्शक"

कल्पना कीजिए कि आप एक वीडियो गेम कंट्रोलर का उपयोग करके एक रोबोट को चलना सिखा रहे हैं (यह Reinforcement Learning है)। रोबोट चीज़ों को आज़माकर, गिरकर और फिर से उठकर सीखता है।

समस्या यह है: क्या होगा अगर रोबोट किसी खाई में गिरने वाला हो?

पुराना तरीका 1 ("हार्ड ब्रेक"): पारंपरिक सुरक्षा प्रणालियाँ एक सख्त, गुस्सैल कोच की तरह काम करती हैं। यदि रोबोट किनारे के बहुत करीब पहुँच जाता है, तो कोच तुरंत कंट्रोलर छीन लेता है, रोबोट को झटके से वापस सुरक्षित स्थान पर खींच लेता है, और उसे दूसरे तरीके से चलने के लिए मजबूर करता है।
- नुकसान: यह अचानक झटका बहुत विचलित करने वाला होता है। यह रोबोट के दिमाग को भ्रमित कर देता है। रोबोट सोचता है, "मैं बाईं ओर जाने की कोशिश कर रहा था, लेकिन अचानक मुझे दाईं ओर धकेल दिया गया!" वह यह नहीं समझ पाता कि वह क्यों गलत था, वह बस भ्रमित हो जाता है। इससे सीखना धीमा और अस्थिर हो जाता है।
पुराना तरीका 2 ("सॉफ्ट वार्निंग"): अन्य प्रणालियाँ एक कोमल कोच की तरह काम करती हैं जो बस फुसफुसाती है, "हे, शायद वहाँ मत जाओ।" वे रोबोट को जोखिम भरे कदम उठाने देती हैं और उम्मीद करती हैं कि वह अपनी गलतियों से सीखेगा।
- नुकसान: वास्तविक जीवन में (जैसे कि सेल्फ-ड्राइविंग कार या मेडिकल डिवाइस में), आप रोबोट को "क्रैश होकर" सीखने की अनुमति नहीं दे सकते। उसे अभी इसी वक्त सुरक्षित होना चाहिए।

समाधान: AutoSafe (एक "स्मार्ट को-पायलट")

लेखकों ने AutoSafe नामक एक नई प्रणाली प्रस्तावित की है। एक ऐसे कोच के बजाय जो या तो कंट्रोल छीन लेता है या बस फुसफुसाता रहता है, AutoSafe एक स्मार्ट को-पायलट की तरह काम करता है जो रोबोट के बगल में बैठा है।

यह कैसे काम करता है, इसे तीन सरल अवधारणाओं का उपयोग करके समझा जा सकता है:

1. "स्मूथ ब्लेंड" (झटका देना बंद करें)

कल्पना कीजिए कि रोबोट कार चलाना चाहता है (यह Learning Policy है), लेकिन एक प्रमाणित सुरक्षा विशेषज्ञ (यह Safe Policy है) है जो जानता है कि सुरक्षित रूप से कैसे चलाया जाता है।

पुराने सिस्टम में, यदि रोबोट गलती करता था, तो सुरक्षा विशेषज्ञ तुरंत स्टीयरिंग व्हील पर नियंत्रण कर लेता था।
AutoSafe में, दोनों "ड्राइवर" अपने स्टीयरिंग इनपुट को आपस में मिलाते (blend करते) हैं।

यदि रोबोट सड़क के बीच में सुरक्षित रूप से गाड़ी चला रहा है, तो रोबोट 100% स्टीयरिंग करता है।
यदि रोबोट किनारे की ओर खिसकने लगता है, तो सुरक्षा विशेषज्ञ धीरे से थोड़ा सा स्टीयरिंग सुधार जोड़ता है।
यदि रोबोट टकराने ही वाला होता है, तो सुरक्षा विशेषज्ञ 100% स्टीयरिंग संभाल लेता है।

जादू: यह बदलाव स्मूथ (सुचारू) है। यह एक वॉल्यूम नॉब की तरह है जो अचानक स्विच दबाने के बजाय, धीरे-धीरे सुरक्षा विशेषज्ञ की आवाज़ को बढ़ाता है। क्योंकि यह बदलाव सुचारू है, रोबोट का दिमाग अभी भी अनुभव से सीख सकता है और अचानक आए बदलावों से भ्रमित नहीं होता।

2. "रिस्क मीटर" (कब हस्तक्षेप करना है, यह जानना)

AutoSafe के पास एक विशेष रिस्क मीटर (जिसे सुरक्षा मॉनिटर कहा जाता है) है। यह लगातार जाँचता है: "हम किनारे के कितने करीब हैं?"

किनारे से दूर: मीटर कहता है "सुरक्षित"। रोबोट तेज़ी से चलने और जीतने के लिए स्वतंत्र रूप से गाड़ी चलाता है।
करीब पहुँचते ही: मीटर कहता है "सावधानी"। AutoSafe सुरक्षा विशेषज्ञ की सलाह को मिलाना शुरू कर देता है। रोबोट धीमा हो जाता है और अधिक सावधानी से स्टीयरिंग करता है।
बहुत करीब: मीटर कहता है "खतरा"। दुर्घटना को रोकने के लिए सुरक्षा विशेषज्ञ पूर्ण नियंत्रण ले लेता है।

महत्वपूर्ण बात यह है कि सिस्टम यह सीखता है कि उसे कितना संवेदनशील होना चाहिए। यदि कार्य आसान है, तो यह शांत रहता है। यदि कार्य कठिन है, तो यह अधिक सतर्क हो जाता है।

3. "लर्निंग लूप" (यह बेहतर क्यों है?)

चूंकि सुरक्षा विशेषज्ञ सुचारू रूप से घुल-मिल जाता है, इसलिए रोबोट अभी भी अपने कार्यों और परिणाम के बीच के संबंध को "महसूस" कर सकता है।

पुराना हार्ड ब्रेक: रोबोट बाईं ओर मुड़ने की कोशिश करता है, उसे दाईं ओर खींचा जाता है, और कंप्यूटर कहता है, "मुझे नहीं पता क्या हुआ, डेटा खराब हो गया है।"
AutoSafe: रोबोट बाईं ओर मुड़ने की कोशिश करता है, सुरक्षा विशेषज्ञ उसे धीरे से दाईं ओर धकेलता है। रोबोट सीखता है, "ओह, इतना बाईं ओर मुड़ना जोखिम भरा है, अगली बार मुझे कम मुड़ना चाहिए।"

यह रोबốt को एक साथ तेज़ी से और सुरक्षित रूप से सीखने की अनुमति देता है।

उन्होंने क्या सिद्ध किया?

शोधकर्ताओं ने कई "वीडियो गेम्स" और एक वास्तविक रोबोट पर इसका परीक्षण किया:

Cartpole: चलते हुए कार्ट पर एक डंडे को संतुलित करना।
Glucose Control: ब्लड शुगर लेवल को मैनेज करना (सिमुलेशन)।
Quadrotor: एक लक्ष्य तक ड्रोन उड़ाना।
Quadruped: ऊबड़-खाबड़ रास्तों पर चार पैरों वाले रोबोट को चलाना।
वास्तविक दुनिया: उन्होंने वास्तव में एक भौतिक Cartpole रोबोट बनाया और उसे एक छोटे कंप्यूटर (Raspberry Pi) पर चलाया।

परिणाम:

सुरक्षा: AutoSafe ने कभी भी रोबोट को क्रैश नहीं होने दिया या सुरक्षा नियमों का उल्लंघन नहीं किया (अधिकांश परीक्षणों में 0 उल्लंघन)।
प्रदर्शन: रोबोट ने इन कार्यों को अन्य तरीकों के बराबर या उनसे बेहतर तरीके से सीखा।
गति: यह इतना तेज़ था कि बिना किसी सुपरकंप्यूटर की मदद के वास्तविक हार्डवेयर पर चल सका।

मुख्य निष्कर्ष

AutoSafe रोबोट को सिखाने का एक नया तरीका है। उन्हें गलती करने पर अचानक रोकने के बजाय, यह उन्हें खतरे से दूर रहने के लिए धीरे से मार्गदर्शन करता है जबकि वे अभी भी सीख रहे होते हैं। यह वास्तविक दुनिया में रोबोट को सुरक्षित रखता है और साथ ही उन्हें तेज़ी से और कुशलता से सीखने की अनुमति भी देता है। यह एक ऐसे कोच के बीच का अंतर है जो चिल्लाता है और कंट्रोल छीन लेता है, और एक ऐसे को-पायलट के बीच का अंतर है जो आपको सुरक्षित वापस लाने के लिए सुचारू रूप से स्टीयरिंग करता है ताकि आप अगली बार बेहतर उड़ान भरना सीख सकें।

तकनीकी सारांश: स्मूथ सेफ्टी-स्ट्रक्चर्ड पॉलिसी कंपोजिशन के माध्यम से सुरक्षित ऑनलाइन लर्निंग

समस्या विवरण (Problem Statement)

सुरक्षित ऑनलाइन सुदृढीकरण लर्निंग (Reinforcement Learning - RL) सख्त सुरक्षा बाधाओं को बनाए रखने और सुचारू (smooth), स्थिर पॉलिसी ऑप्टिमाइजेशन डायनेमिक्स सुनिश्चित करने के बीच एक मौलिक ट्रेड-ऑफ का सामना करता है। मौजूदा दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं, जिनमें से प्रत्येक की महत्वपूर्ण सीमाएँ हैं:

सॉफ्ट सेफ्टी कंस्ट्रेंट्स (Soft Safety Constraints): कंस्ट्रेंड पॉलिसी ऑप्टिमाइजेशन या सेफ्टी-अवेयर रिवॉर्ड शेपिंग जैसे तरीके सुरक्षा को एक सॉफ्ट कंस्ट्रेंट के रूप में देखते हैं। हालांकि यह सुचारू ग्रेडिएंट प्रोपेगेशन और लर्निंग डायनेमिक्स को बनाए रखता है, लेकिन यह परोक्ष रूप से यह मान लेता है कि एजेंट सुरक्षा उल्लंघन से सीख सकते हैं, जो सुरक्षा-महत्वपूर्ण अनुप्रयोगों में अस्वीकार्य है।
हार्ड सेफ्टी फिल्टर्स (Hard Safety Filters): सुरक्षा फिल्टर (जैसे एक्शन रिप्लेसमेंट या प्रोजेक्शन) का उपयोग करने वाले दृष्टिकोण जोखिम का पता चलने पर हस्तक्षेप करके हार्ड कंस्ट्रेंट्स लागू करते हैं। हालांकि ये मजबूत औपचारिक गारंटी प्रदान करते हैं, लेकिन वे अक्सर सिस्टम इंटरैक्शन में विच्छेदन (discontinuities) पैदा करते हैं। विशेष रूप से, एक सीखी गई पॉलिसी और एक सुरक्षित फॉलबैक पॉलिसी के बीच अचानक स्विचिंग ग्रेडिएंट फ्लो को बाधित करती है, ऑनलाइन लर्निंग को अस्थिर करती है, और कई-से-एक (many-to-one) एक्शन मैपिंग के कारण वैल्यू एस्टीमेशन में अस्पष्टता पैदा करती है। इसके अलावा, कई डिफरेंशिएबल सेफ्टी फिल्टर्स महंगे ऑनलाइन ऑप्टिमाइजेशन पर निर्भर करते हैं, जो उच्च-आयामी (high-dimensional) सिस्टम के लिए उनकी स्केलेबिलिटी को सीमित करता है।

कार्यप्रणाली: AutoSafe (Methodology: AutoSafe)

लेखक AutoSafe का प्रस्ताव करते हैं, जो एक सुरक्षा-जागरूक पॉलिसी आर्किटेक्चर है जो एक्शन जनरेशन प्रक्रिया में सीधे स्ट्रक्चर्ड सेफ्टी मॉनिटरिंग और हस्तक्षेप को एकीकृत करता है। सुरक्षा को एक बाहरी पोस्ट-प्रोसेसिंग स्टेप के रूप में मानने के बजाय, AutoSafe निष्पादित पॉलिसी को एक प्रदर्शन-संचालित लर्निंग पॉलिसी और एक प्रमाणित सुरक्षित पॉलिसी प्रायर (prior) के डिफरेंशिएबल कॉनवेक्स कंपोजिशन के रूप में व्यवस्थित करता है।

मुख्य तंत्र (Core Mechanisms)

डिफरेंशिएबल पॉलिसी कंपोजिशन (Differentiable Policy Composition):
प्रत्येक टाइम स्टेप $t$ पर, निष्पादित एक्शन $\tilde{a}_t$ को लर्निंग पॉलिसी $\pi_\theta$ द्वारा प्रस्तावित स्टोकेस्टिक एक्शन $a_\theta$ और एक सुरक्षित प्रायर $\pi_{safe}$ द्वारा प्रदान किए गए डिटर्मिनिस्टिक सुरक्षित एक्शन $a_{safe}$ के बीच इंटरपोलेशन करके संश्लेषित किया जाता है:
$\tilde{a}_t = (1 - \lambda(s_t)) a_\theta + \lambda(s_t) a_{safe}$
जहाँ $\lambda(s_t) \in [0, 1]$ एक स्टेट-डिपेंडेंट मिक्सिंग वेट है। यह कॉनवेक्स कॉम्बिनेशन सुनिश्चित करता है कि यदि एक्शन स्पेस कॉनवेक्स है, तो परिणामी एक्शन वैध रहता है। महत्वपूर्ण रूप से, यह फॉर्मूलेशन $\lambda$ के सापेक्ष पूरी तरह से डिफरेंशिएबल है, जिससे लर्निंग सिग्नल सुरक्षा तंत्र के माध्यम से बैकप्रोपगेट हो सकते हैं।
डिस्ट्रीब्यूशनल शेपिंग और वेरिएंस कंट्रोल (Distributional Shaping and Variance Control):
गौसियन पॉलिसियों के लिए, यह कंपोजिशन स्वाभाविक रूप से अनिश्चितता में कमी के साथ सुरक्षा को जोड़ता है। जैसे-जैसे हस्तक्षेप भार $\lambda$ बढ़ता है (जो उच्च जोखिम का संकेत देता है), निष्पादित पॉलिसी का मीन (mean) सुरक्षित प्रायर की ओर शिफ्ट होता है, और वेरिएंस $(1-\lambda)^2$ के कारक से कम (damp) हो जाता है। यह प्रभावी रूप से एजेंट के सुरक्षा सीमाओं के करीब पहुँचने पर स्टोकेस्टिक एक्सप्लोरेशन को प्रतिबंधित करता है, जिससे आकस्मिक उल्लंघन को रोका जा सके।
रिस्क-कैलिब्रेटेड लर्नबल इंटरवेंशन (Risk-Calibrated Learnable Intervention):
मिक्सिंग वेट $\lambda(s)$ एक लर्नबल, रिस्क-अवेयर फंक्शन द्वारा निर्धारित किया जाता है। सिस्टम एक नॉर्मलाइज्ड सेफ्टी मार्जिन $\tilde{\Delta}(s) \in [0, 1]$ प्रदान करने के लिए एक सेफ्टी मॉनिटर का उपयोग करता है। इंटरवेंशन वेट को इस प्रकार परिभाषित किया गया है:
$\lambda(\tilde{\Delta}(s), p(s)) = \frac{\exp(p(s)(1 - \tilde{\Delta}(s))) - 1}{\exp(p(s)) - 1}$
यहाँ, $p(s)$ एक लर्नबल शार्पनेस पैरामीटर है जिसे एक छोटे न्यूरल नेटवर्क हेड द्वारा प्रेडिक्ट किया जाता है। यह एजेंट को हस्तक्षेप की कंजर्वेटिविटी (conservatism) को अनुकूल रूप से नियंत्रित करने की अनुमति देता है:

छोटा $p$ : जल्दी और अधिक सुचारू हस्तक्षेप प्रेरित करता है।
बड़ा $p$ : सीमा के करीब पहुँचने तक हस्तक्षेप को विलंबित करता है, जिससे प्रदर्शन के लिए स्वायत्तता बनी रहती है।
बाउंड्री व्यवहार: यदि सुरक्षा मार्जिन शून्य हो जाता है (तत्काल उल्लंघन), तो $\lambda$ को 1 होने के लिए मजबूर किया जाता है, जिससे पूरी तरह से प्रमाणित सुरक्षित एक्शन निष्पादित होता है।

मुख्य योगदान (Key Contributions)

स्ट्रक्चरल इंडक्टिव बायस (Structural Inductive Bias): लेखक एक ऐसा पॉलिसी आर्किटेक्चर प्रस्तावित करते हैं जो एक्शन जनरेशन प्रक्रिया के भीतर सुरक्षा निगरानी और हस्तक्षेप को स्ट्रक्चरल इंडक्टिव बायस के रूप में एम्बेड करता है, जिससे सुचारू एक्शन जनरेशन और स्थिर ऑनलाइन लर्निंग सक्षम होती है।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insights): पेपर यह दिखाते हुए सैद्धांतिक विश्लेषण प्रदान करता है कि कॉनवेक्स कंपोजिशन ग्रेडिएंट फ्लो को संरक्षित करता है और स्वाभाविक रूप से सुरक्षा सीमाओं के पास एक्सप्लोरेशन वेरिएंस को कम करता है, जिससे लर्निंग डायनेमिक्स स्थिर होती है।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): AutoSafe का मूल्यांकन चार निरंतर-नियंत्रण कार्यों (CartPole, Glucose Regulation, 3D Quadrotor, Quadruped Navigation) में प्रतिनिधि सेफ्टी फिल्टर्स (SimplexRL, CBF) और सुरक्षित RL बेसलाइन्स (AdaLam, Residual, Constrained RL) के विरुद्ध किया गया है।
वास्तविक दुनिया का सत्यापन (Real-World Validation): विधि को एक एम्बेडेड डिवाइस (Raspberry Pi) पर तैनात भौतिक कार्टपोल (CartPole) सिस्टम पर सत्यापित किया गया है, जो 50 हर्ट्ज़ पर सुरक्षित ऑनलाइन लर्निंग के लिए व्यावहारिक प्रभावशीलता प्रदर्शित करता है।

परिणाम (Results)

सुरक्षा और प्रदर्शन: सभी सिम्युलेटेड बेंचमार्क में, AutoSafe ने टास्क रिटर्न (जैसे, 74.4 उल्लंघनों के साथ SAC की तुलना में 0 उल्लंघनों के साथ ~477.7 रिटर्न प्राप्त करना) में स्टेट-ऑफ-द-आर्ट विधियों के बराबर या उनसे बेहतर प्रदर्शन करते हुए शून्य सुरक्षा उल्लंघन हासिल किया।
स्थिरता: हार्ड-इंटरवेंशन बेसलाइन्स (जैसे, SimplexRL) के विपरीत, जिन्होंने उच्च-आयामी या उच्च-संघर्ष वाले कार्यों में अस्थिर लर्निंग डायनेमिक्स और डाइवर्जिंग क्रिटिक लॉस दिखाया, AutoSafe ने स्थिर लर्निंग कर्व बनाए रखा। दो शासन (regimes) के बीच सुचारू संक्रमण ने 'डिस्ट्रीब्यूशन शिफ्ट' की समस्याओं को रोका जो हार्ड स्विचिंग में सामान्य हैं।
अनुकूलन क्षमता (Adaptability): लर्नबल शार्पनेस पैरामीटर $p$ ने विभिन्न टास्क डायनेमिक्स के अनुकूल सफलतापूर्वक काम किया। उदाहरण के लिए, क्वाड्रोटर कार्य में, एजेंट ने कार्य में महारत हासिल करने के साथ सुरक्षित प्रायर पर कम निर्भर रहना (उच्च $p$ ) सीखा, जबकि अधिक जटिल या संघर्षपूर्ण परिदृश्यों में, इसने अधिक कंजर्वेटिव प्रोफाइल बनाए रखा।
दक्षता (Efficiency): AutoSafe ने वैनिला SAC के समान कम्प्यूटेशनल दक्षता और CBF जैसे ऑप्टिमाइजेशन-आधारित तरीकों की तुलना में काफी तेज़ इन्फरेंस (inference) प्रदर्शित किया, जिन्हें ऑनलाइन क्वाड्रेटिक प्रोग्राम हल करने की आवश्यकता होती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि AutoSafe सुचारू पॉलिसी ऑप्टिमाइजेशन और सख्त सुरक्षा प्रवर्तन के बीच मौलिक ट्रेड-ऑफ को हल करता है। सुरक्षा को एक बाहरी फिल्टर के बजाय एक स्ट्रक्चरल घटक के रूप में एकीकृत करके, फ्रेमवर्क सावधानीपूर्ण हस्तक्षेप (precautionary interventions) को सक्षम करता है जो सिस्टम के सुरक्षा सीमा तक पहुँचने से पहले ही होते हैं, न कि अंतिम क्षण के स्विचिंग पर निर्भर करते हैं।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण एजेंटों को "प्राकृतिक" सुरक्षित व्यवहार सीखने की अनुमति देता है: उच्च-जोखिम वाले क्षेत्रों में कंजर्वेटिव रूप से कार्य करना जबकि जोखिम कम होने पर धीरे-धीरे बाधाओं को हटाना। भौतिक रोबोट पर सफल परिनियोजन (deployment) विधि की व्यावहारिकता को उजागर करता है जहाँ कम्प्यूटेशनल दक्षता और निरंतर लर्निंग अत्यंत महत्वपूर्ण है। यह कार्य सुझाव देता है कि सुरक्षा को एक डिफरेंशिएबल, लर्नबल स्ट्रक्चरल बायस के रूप में मानना पारंपरिक हार्ड-स्विचिंग फिल्टर्स या सॉफ्ट-कंस्ट्रेंट फॉर्मुलेशन की तुलना में सुरक्षित ऑनलाइन सुदृढीकरण लर्निंग के लिए एक अधिक मजबूत मार्ग है।