⚡ electrical engineering

C-STEP: Continuous Space-Time Empowerment for Physics-informed Safe Reinforcement Learning of Mobile Agents

यह शोध पत्र C-STEP को प्रस्तुत करता है, जो एक नवीन भौतिकी-सूचित सुरक्षित सुदृढीकरण शिक्षण (physics-informed safe reinforcement learning) ढांचा है जो आंतरिक पुरस्कारों को डिजाइन करने के लिए निरंतर स्थान-समय सशक्तिकरण (continuous space-time empowerment) का उपयोग करता है, जिससे मोबाइल एजेंटों को कुशल यात्रा समय बनाए रखते हुए काफी कम टक्करों और बाधाओं की निकटता के साथ जटिल वातावरण में नेविगेट करने में सक्षम बनाया जा सके।

मूल लेखक: Guihlerme Daubt, Adrian Redder

प्रकाशित 2026-03-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guihlerme Daubt, Adrian Redder

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कुत्ते को पेड़ों, बेंचों और अन्य कुत्तों से भरे एक पार्क में दौड़ना सिखा रहे हैं। आपका लक्ष्य सरल है: बिना किसी चीज़ से टकराए, जितनी जल्दी हो सके कुत्ते को आइसक्रीम ट्रक तक पहुँचाना।

रोबोटिक्स की दुनिया में, यह एक क्लासिक समस्या है जिसे सेफ रिइन्फोर्समेंट लर्निंग (Safe Reinforcement Learning) कहा जाता है। रोबोट 'ट्रायल एंड एरर' (गलती और सुधार) के माध्यम से सीखता है, लेकिन पारंपरिक तरीके रोबोट को "क्रूर" बनाना सिखाते हैं। वह यह सीख सकता है कि एक संकीर्ण अंतराल (narrow gap) के बीच से सीधे दौड़ना आइसक्रीम तक पहुँचने का सबसे तेज़ तरीका है, भले ही इस प्रक्रिया में उसका किनारा बाड़ (fence) से रगड़ खा जाए। यदि वह टकरा जाता है, तो वह बस फिर से कोशिश करता है, इस उम्मीद में कि अगली बार किस्मत साथ दे देगी।

यह पेपर C-STEP नामक सोचने का एक नया तरीका पेश करता है। केवल रोबोट को यह बताने के बजाय कि "टकराओ मत," यह उसे गति की स्वतंत्रता (freedom of movement) को महत्व देना सिखाता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. पुराना तरीका: "छूना मना है" का बोर्ड

पारंपरिक सुरक्षा विधियाँ एक सख्त माता-पिता की तरह हैं जो "छूना मना है" का बोर्ड पकड़े हुए हैं।

यह कैसे काम करता है: यदि रोबोट दीवार के बहुत करीब आता है, तो उसे एक बड़ा "दंड" (negative score) मिलता है।
समस्या: रोबोट दीवार से इसलिए बचता है क्योंकि उसे दंड का डर है। वह दीवार के बेहद करीब रहकर भी उससे बच सकता है, बस इतना कि वह दंड से बच जाए। वह यह नहीं समझता कि दीवार क्यों खतरनाक है; वह बस इतना जानता है कि गणित कहता है "पास मत जाओ।"

2. नया तरीका (C-STEP): "खुले मैदान" वाली मानसिकता

लेखक एम्पावरमेंट (Empowerment) नामक एक अवधारणा प्रस्तावित करते हैं। इसे ऐसे समझें कि रोबोट खुद से पूछ रहा है: "यदि मैं यहाँ खड़ा हूँ, तो मैं आगे कितनी अलग-अलग जगहों पर जा सकता हूँ?"

उपमा: कल्पना कीजिए कि आप एक भीड़ भरे कमरे में खड़े हैं।
- परिदृश्य A (असुरक्षित): आप एक छोटे से कोने में फंसे हुए हैं। आप बिना किसी से टकराए बाएं, दाएं, आगे या पीछे नहीं हिल सकते। आपकी "स्वतंत्रता" शून्य है।
- परि상은 B (सुरक्षित): आप एक खुले डांस फ्लोर के बीच में खड़े हैं। आप घूम सकते हैं, दौड़ सकते, नाच सकते हैं या तुरंत रुक सकते हैं। आपकी "स्वतंत्रता" बहुत अधिक है।

C-STEP रोबोट को परिदृश्य B के आधार पर रिवॉर्ड (बोनस अंक) देता है। यह रोबोट को बताता है: "आपको उस जगह के लिए बोनस पॉइंट मिलता है जहाँ आपके पास बचने या दिशा बदलने के बहुत सारे विकल्प मौजूद हैं।"

3. यह कैसे काम करता है: "क्रिस्टल बॉल" (भविष्य देखने वाला गोला)

यह पेपर "फिजिक्स-इन्फॉर्म्ड" (भौतिकी-आधारित) नामक एक फैंसी शब्द का उपयोग करता है, लेकिन विचार सरल है। रोबोट के भीतर एक अंतर्निहित क्रिस्टल बॉल (भौतिकी का एक गणितीय मॉडल) है।

चलने से पहले ही, रोबोट अपने दिमाग में हजारों "क्या होगा अगर" वाले परिदृश्यों का अनुकरण (simulate) करता है:

यदि मैं बाएं मुड़ता हूँ, तो क्या मैं रुक पाऊंगा?
यदि मैं गति बढ़ाता हूँ, तो क्या मैं उस पेड़ से टकरा जाऊंगा?
यदि मैं ज़ोर से ब्रेक लगाता हूँ, तो क्या मेरे पास जगह होगी?

यह अगले कुछ सेकंड में पहुँचने योग्य स्थान के आयतन (volume of space) की गणना करता है।

उच्च आयतन = सुरक्षित। (आप खुले डांस फ्लोर में हैं)।
कम आयतन = जोखिम भरा। (आप भीड़ भरे कोने में हैं)।

रोबोट सीखता है कि अधिकतम अंक प्राप्त करने के लिए, उसे "खुले डांस फ्लोर" वाले क्षेत्रों में रहना चाहिए, जिससे वह स्वाभाविक रूप से तंग कोनों और बाधाओं से बच जाता है।

4. परिणाम: स्मार्ट बनाम तेज़

शोधकर्ताओं ने इसका परीक्षण एक 2D बॉल और एक 3D ड्रोन के साथ किया।

"पुराना" रोबोट: लक्ष्य तक पहुँचने के लिए सबसे छोटा, संकीर्ण रास्ता चुनता है। वह तेज़ था, लेकिन दीवारों के बहुत करीब होने के कारण अक्सर टकरा जाता था।
"C-STEP" रोबोट: थोड़ा लंबा, लेकिन चौड़ा रास्ता चुनता है। वह लक्ष्य तक बस थोड़ा सा धीमा (शायद 1-2 सेकंड) पहुँचा, लेकिन वह लगभग कभी नहीं टकराया।

यह क्यों महत्वपूर्ण है

C-STEP का जादू यह है कि यह केवल यह नहीं कहता "उसे मत टकराओ।" यह रोबोट को लचीला (flexible) बनना सिखाता है।

यदि अचानक कोई नया अवरोध आ जाता है, तो "पुराना" रोबोट घबरा सकता है क्योंकि उसे दीवारों के पास रहने के लिए प्रशिक्षित किया गया था।
"C-STEP" रोबोट खुले स्थानों में रहने का आदी है जहाँ उसके पास पैंतरेबाज़ी के लिए जगह होती है, इसलिए वह नए अवरोध से आसानी से बच सकता है।

मुख्य निष्कर्ष (The Takeaway)

यह पेपर सुझाव देता है कि रोबोट को सुरक्षित रखने का सबसे अच्छा तरीका उनके चारों ओर सख्त नियमों के साथ पिंजरा बनाना नहीं है। इसके बजाय, हमें उन्हें विकल्पों (options) से प्यार करना सिखाना चाहिए। उन्हें उन जगहों पर रहने के लिए पुरस्कृत करके जहाँ उनके पास चलने की सबसे अधिक स्वतंत्रता है, वे स्वाभाविक रूप से अधिक सुरक्षित, अनुकूलन योग्य और विश्वसनीय बनते हैं।

संक्षेप में: रोबोट को दीवार से डरना मत सिखाएं; उसे खुले स्थान से प्यार करना सिखाएं।

यहाँ शोध पत्र "C-STEP: Continuous Space-Time Empowerment for Physics-informed Safe Reinforcement Learning of Mobile Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जटिल और गतिशील वातावरण में सुरक्षित नेविगेशन, रोबोटिक्स में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के लिए एक महत्वपूर्ण चुनौती बना हुआ है। जबकि मौजूदा विधियाँ कंट्रोल बैरियर फंक्शन्स (CBFs), जोखिम-परिहार रणनीतियों, या मजबूती प्राथमिकता (robustness prioritization) का उपयोग करती हैं, वे अक्सर निम्नलिखित कारणों से संघर्ष करती हैं:

निरंतर स्पेस-टाइम डायनेमिक्स (Continuous Space-Time Dynamics): पारंपरिक सूचना-सैद्धांतिक माप (जैसे एम्पावरमेंट) अक्सर डिस्क्रीट-टाइम, स्टोकेस्टिक सिस्टम के लिए डिज़ाइन किए जाते हैं और नियत (deterministic) निरंतर डोमेन में विफल हो जाते हैं जहाँ कंडीशनल एंट्रॉपी अनंत हो जाती है (पूर्ण पूर्वानुमेयता के कारण)।
रिवॉर्ड डिज़ाइन की सीमाएँ: वर्तमान सुरक्षित RL दृष्टिकोण अक्सर टकराव के लिए योगात्मक दंड (additive penalty) या कठोर बाधाओं पर निर्भर करते हैं। ये भंगुर (brittle) हो सकते हैं, ट्यून करने में कठिन हो सकते हैं, और स्वाभाविक रूप से एजेंट को ऐसी "सुरक्षित" व्यवहार सीखने के लिए प्रोत्साहित नहीं कर सकते जो भविष्य की पैंतरेबाज़ी (maneuverability) को अधिकतम करे।
फिजिक्स-इन्फॉर्म्ड इंट्रिन्सिक मोटिवेशन का अभाव: कई विधियाँ एजेंट की आंतरिक अवस्थाओं (जैसे वेग) और फॉरवर्ड डायनेमिक्स का पूरी तरह से लाभ नहीं उठा पाती हैं ताकि सुरक्षा का सक्रिय रूप से आकलन किया जा सके।

2. कार्यप्रणाली: C-STEP फ्रेमवर्क (Methodology: C-STEP Framework)

लेखक C-STEP (Continuous Space-Time Empowerment) प्रस्तावित करते हैं, जो एक नवीन फ्रेमवर्क है जो नियत, निरंतर-समय डायनेमिकल सिस्टम के लिए एम्पावरमेंट को पुनर्परिभाषित करता है ताकि इसे एक आंतरिक सुरक्षा रिवॉर्ड के रूप में उपयोग किया जा सके।

A. नियत प्रणालियों के लिए एम्पावरमेंट का पुनर्वितरण (Rethinking Empowerment for Deterministic Systems)

सैद्धांतिक बदलाव: मानक परिभाषाओं में, एम्पावरमेंट क्रियाओं से भविष्य की अवस्थाओं तक चैनल क्षमता है। नियत निरंतर प्रणालियों में, यह क्षमता अनंत है क्योंकि अगली अवस्था पूरी तरह से पूर्वानुमेय होती है।
नई परिभाषा: लेखक नियत एजेंटों के लिए एम्पावरमेंट को पहुंच योग्य अवस्था वितरण (reachable state distribution) के डिफरेंशियल एंट्रॉपी के रूप में पुनर्परिभाषित करते हैं।
- गणितीय रूप से, अवस्था $x$ के लिए, एम्पावरमेंट $E(x)$ एक समय क्षितिज $T$ के भीतर पहुंच योग्य अवस्थाओं के सेट के आयतन (volume) का लघुगणक (logarithm) है जो टकराव-मुक्त ( $X_{free}$ ) रहते हैं।
- $E(x) = \log(\lambda(R_{T,free}(x)))$ , जहाँ $\lambda$ लेबेग माप (Lebesgue measure/आयतन) है।
- यह एम्पावरमेंट को सूचना हस्तांतरण के माप से बदलकर पैंतरेबाज़ी क्षमता (maneuverability) और सुरक्षा मार्जिन के माप में परिवर्तित करता है।

B. C-STEP रिवॉर्ड फंक्शन (The C-STEP Reward Function)

मुख्य योगदान एक गुणात्मक (multiplicative) रिवॉर्ड फंक्शन है जो इस सुरक्षा माप को मानक कार्य रिवॉर्ड के साथ एकीकृत करता है:
$r(x) = r_d(x) \cdot \log(c \cdot \lambda(R_{T,free}(x)))$

$r_d(x)$ : मानक कार्य रिवॉर्ड (जैसे, लक्ष्य से दूरी)।
$c$ : एक धनात्मक सुरक्षा गुणांक (safety coefficient) जो एम्पावरमेंट टर्म के प्रभाव को स्केल करता है।
तंत्र (Mechanism): पहुंच योग्य सुरक्षित सेट के लॉग-आयतन को कार्य रिवॉर्ड से गुणा करके, एजेंट स्वाभाविक रूप से उन अवस्थाओं में रहने के लिए प्रेरित होता है जहाँ उसके पास भविष्य के विकल्प अधिक हों (बड़ा पहुंच योग्य आयतन), जिससे वह प्रभावी रूप से संकीर्ण रास्तों या उच्च-गति वाले दृष्टिकोणों से बचता है जो टकराव का कारण बन सकते हैं।

C. सैंपलिंग-आधारित सन्निकटन (Sampling-Based Approximation - Algorithm 1)

पहुंच योग्य सेट्स के सटीक आयतन की गणना करना अक्सर कठिन होता है। लेखक एक व्यावहारिक, सैंपलिंग-आधारित सन्निकटन प्रस्तावित करते हैं:

ट्रैजेक्टरी सैंपलिंग: एक समय क्षितिज $T$ पर $N$ स्वीकार्य नियंत्रण प्रक्षेपवक्रों (control trajectories) का नमूना लें।
सिमुलेशन: इन प्रक्षेपवक्रों को सिस्टम के फॉरवर्ड डायनेमिक्स का उपयोग करके आगे बढ़ाएं।
वर्गीकरण: अंतिम अवस्थाओं को या तो "सुरक्षित" (टकराव-मुक्त) या "टर्मिनल" (टकराव) के रूप में वर्गीकृत करें।
आयतन अनुमान: नमूना लिए गए एंडपॉइंट्स के कॉन्वेक्स हल (convex hulls) का उपयोग करके सुरक्षित पहुंच योग्य सेट ( $\hat{R}_T$ ) और टर्मिनल सेट ( $\hat{T}_T$ ) के आयतन का अनुमान लगाएं।
गणना: $\hat{E}_T(x) = \log(\lambda(\hat{R}_T) - \lambda(\hat{T}_T))$ की गणना करें।

प्रमुख विशेषताएँ:

फिजिक्स-इन्फॉर्म्ड: यह एजेंट की आंतरिक अवस्थाओं (वेग, द्रव्यमान, आदि) और फॉरवर्ड डायनेमिक्स का उपयोग करता है।
एनवायरनमेंट अगनोस्टिक (Environment Agnostic): इसके लिए ग्लोबल मैप या पूर्व बाधा ज्ञान की आवश्यकता नहीं है; इसे केवल टकराव का पता लगाने के लिए एक सिम्युलेटर की आवश्यकता होती है।
व्याख्या योग्य (Interpretable): उच्च एम्पावरमेंट उच्च सुरक्षा मार्जिन के अनुरूप होता है।

3. प्रमुख योगदान (Key Contributions)

एम्पावरमेंट की नवीन परिभाषा: नियत, निरंतर-समय डायनेमिकल सिस्टम के लिए अनुकूलित एम्पावरमेंट का एक पुनर्निर्माण, जो अनंत एंट्रॉपी की समस्या को हल करता है।
C-STEP फ्रेमवर्क: एक फिजिक्स-इन्फॉर्म्ड आंतरिक रिवॉर्ड डिज़ाइन जो मौजूदा नेविगेशन रिवॉर्ड्स को बदलने के बजाय उन्हें बढ़ाता है, जिससे भविष्य की पैंतरेबाज़ी को अधिकतम करके सुरक्षा को बढ़ावा मिलता है।
सैंपलिंग-आधारित एल्गोरिदम: CST-एम्पावरमेंट का अनुमान लगाने के लिए एक व्यावहारिक तरीका, जिसके लिए डिफरेंशिएबल ट्रांजिशन फंक्शन्स या स्पष्ट सुरक्षित सेट के लक्षण वर्णन की आवश्यकता नहीं है।
एकीकरण क्षमता: यह विधि मानक RL एल्गोरिदम (जैसे PPO) पर काम करने के लिए डिज़ाइन की गई है और इसे अन्य सुरक्षित RL प्रतिमानों (जैसे CBFs) के साथ जोड़ा जा सकता है।

4. प्रायोगिक परिणाम (Experimental Results)

लेखकों ने 2D और 3D वातावरण में PPO का उपयोग करके C-STEP का मूल्यांकन किया।

पॉइंट मेज़ (Point Maze - 2D):
- परिदृश्य: एक गेंद को एक भूलभुलैया (maze) से गुजरना है जिसमें एक संकीर्ण (तेज़/जोखिम भरा) और एक चौड़ा (धीमा/सुरक्षित) रास्ता है।
- परिणाम: बिना एम्पावरमेंट वाले एजेंटों ने जोखिम भरे संकीर्ण रास्ते को चुना, जिसके परिणामस्वरूप बार-बार टकराव हुआ। एम्पावरमेंट वाले एजेंटों ने चौड़े, सुरक्षित रास्ते को प्राथमिकता देना सीखा, जो प्रशिक्षण के दौरान स्पष्ट टकराव दंड के बिना सुरक्षा की ओर व्यवहारिक बदलाव प्रदर्शित करता है।
ड्रोन नेविगेशन (Drone Navigation - 3D PyBullet):
- परिदृश्य: एक ड्रोन रैंडमाइज्ड बाधाओं की चौड़ाई वाले गतिशील वातावरण में नेविगेट करता है।
- सफलता दर (Success Rates):
  - अनएम्पावर्ड बेसलाइन: 82% सफलता दर।
  - एम्पावर्ड ( $c=0.5$ ): 99% सफलता दर।
  - एम्पावर्ड ( $c=1$ ): 92% सफलता दर।
- सुरक्षा मेट्रिक्स (Safety Metrics): एम्पावर्ड एजेंटों ने बाधाओं के निकट बहुत कम समय बिताया। उदाहरण के लिए, $c=1$ वाले एजेंट ने बेसलाइन की तुलना में बाधा के 0.1 मीटर के भीतर 72.6% कम समय बिताया।
- दक्षता (Efficiency): सुरक्षा सुधार एक मामूली यात्रा समय वृद्धि (जैसे, $c=1$ के मामले के लिए 18.4% धीमा) के साथ आए, जो एक अत्यधिक कुशल ट्रेड-ऑफ को दर्शाता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

प्रतिमान परिवर्तन (Paradigm Shift): C-STEP असुरक्षित व्यवहार को "दंडित" करने (योगात्मक दंड) से हटकर सुरक्षित पैंतरेबाज़ी को "पुरस्कृत" करने (गुणात्मक आंतरिक प्रेरणा) की ओर बढ़ता है। यह उभरते हुए सुरक्षित व्यवहारों को प्रोत्साहित करता है, जैसे कि भविष्य के विकल्पों को बनाए रखने के लिए बाधाओं से दूरी बनाए रखना।
मॉडल लचीलापन: कई मॉडल-आधारित सुरक्षित RL विधियों के विपरीत, C-STEP को डिफरेंशिएबल डायनेमिक्स या स्पष्ट सुरक्षित सेट परिभाषाओं की आवश्यकता नहीं है, जिससे यह व्यापक रेंज के रोबोटिक सिस्टम के लिए लागू करने योग्य हो जाता है जहाँ केवल एक फॉरवर्ड सिम्युलेटर उपलब्ध है।
व्याख्यात्मकता: सुरक्षा गुणांक $c$ सुरक्षा मार्जिन के लिए एक ट्यूनेबल नॉब प्रदान करता है, और एम्पावरमेंट मान स्वयं पहुंच योग्य आयतन के आधार पर यह बताता है कि कोई अवस्था कितनी "सुरक्षित" है।
भावी कार्य: लेखक भविष्य के कार्यों के रूप में C-STEP को कंट्रोल बैरियर फंक्शन्स (CBFs) जैसे औपचारिक तरीकों के साथ जोड़ने का सुझाव देते हैं ताकि आंतरिक प्रेरणा और कठोर सुरक्षा गारंटी दोनों प्राप्त की जा सकें, और सिद्धांत को पूर्णतः स्टोकेस्टिक सिस्टम तक विस्तारित करने का सुझाव देते हैं।

संक्षेप में, C-STEP एक मजबूत, व्याख्या योग्य और फिजिक्स-इन्फॉर्म्ड दृष्टिकोण प्रदान करता है जो मोबाइल रोबोटिक सिस्टम में कार्य पूरा करने और टकराव से बचने के बीच प्रभावी ढंग से संतुलन बनाता है।