💻 computer science

Safe Learning Predictive Control for Ego-World Robotic Systems

यह शोधपत्र SOWL-MPC प्रस्तुत करता है, जो एक सुरक्षित लर्निंग-आधारित प्रेडिक्टिव कंट्रोल फ्रेमवर्क है जो ऑनलाइन स्पार्स वेरिएशनल गॉसियन प्रोसेस लर्निंग को अनिश्चितता-जागरूक मॉडल प्रेडिक्टिव कंट्रोल के साथ जोड़कर एक ईगो रोबोट को अज्ञात वर्ल्ड रोबॉट्स वाले साझा वातावरण में नेविगेट करने में सक्षम बनाता है।

मूल लेखक: Davide Valenti, Giuseppe Notarstefano

प्रकाशित 2026-07-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Davide Valenti, Giuseppe Notarstefano

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक भीड़भाड़ वाले, अराजक गलियारे में टैग के एक हाई-स्टेक्स खेल में खेल रहे हैं। आप "ईगो" (Ego) खिलाड़ी हैं, और आपका लक्ष्य बिना किसी से टकराए एक विशिष्ट पथ पर दौड़ना है। लेकिन इसमें एक मोड़ है: अन्य खिलाड़ी, "वर्ल्ड" (World) रोबोट, आपके चारों ओर घूम रहे हैं, और आपको उनके गेम प्लान का कोई अंदाजा नहीं है। क्या वे रुकने वाले हैं? बाएं मुड़ने वाले हैं? या गति बढ़ाने वाले हैं? रोबोटिक्स की दुनिया में, यह एक बड़ी चुनौती है: आप एक कार या रोबोट को सुरक्षित रूप से कैसे चलाएं जब अन्य चालक कुछ भी कर सकते हैं, और आप उनके मन को नहीं पढ़ सकते?

इसे हल करने के लिए, वैज्ञानिक आमतौर पर दो चीजों पर भरोसा करते हैं। पहला, वे मॉडल प्रेडिक्टिव कंट्रोल (MPC) का उपयोग करते हैं, जो एक सुपर-स्मार्ट जीपीएस की तरह है जो न केवल यह देखता है कि आप अभी कहाँ हैं, बल्कि आपकी यात्रा के अगले कुछ सेकंडों का अनुकरण (सिमुलेशन) करता है ताकि यह देखा जा सके कि कहीं आप टकरा तो नहीं जाएंगे। दूसरा, वे मशीन लर्निंग का उपयोग करते हैं, विशेष रूप से गौसियन प्रोसेस (Gaussian Processes) नामक एक टूल का, जो एक सांख्यिकीय क्रिस्टल बॉल की तरह कार्य करता है। अनुमान लगाने के बजाय, यह भविष्य की भविष्यवाणी करने के लिए पिछले डेटा को देखता है, लेकिन महत्वपूर्ण रूप से, यह आपको यह भी बताता है कि वह कितना अनिश्चित है। यदि क्रिस्टल बॉल हिल रही है, तो रोबोट जानता है कि उसे अतिरिक्त सावधानी बरतनी चाहिए। बड़ा सवाल यह पेपर उठाता है: क्या हम एक रोबोट को एक अजनबी रोबोट के "व्यक्तित्व" को तुरंत सीखना, अपने क्रिस्टल बॉल को रीयल-टाइम में अपडेट करना, और एक अनजान रोबोट के व्यवहार के बावजूद सुरक्षित रूप से टक्करों से बचना सिखा सकते हैं?

यह पेपर एक नई रणनीति पेश करता है जिसे SOWL-MPC (सेफ ऑनलाइन वर्ल्ड पॉलिसी लर्निंग मॉडल प्रेडिक्टिव कंट्रोल) कहा जाता है। इसे आपके रोबोट को एक अजनबी की आदतों को तुरंत सीखने की "सुपरपावर" देने के रूप में समझें। लेखकों के "ईगो-वर्ल्ड" परिदृश्य में, जिस रोबोट को आप नियंत्रित करते हैं (ईगो), वह नहीं जानता कि दूसरे रोबोट (वर्ल्ड) कौन से नियम मान रहा है। दूसरा रोबोट एक छिपे हुए स्क्रिप्ट का पालन कर रहा हो सकता है, या वह हर सेकंड अपना मन बदल रहा हो सकता है। पारंपरिक तरीके दूसरे रोबोट के पथ का अनुमान लगाने के लिए निश्चित नियमों या पूर्व-प्रशिक्षित स्मृति का उपयोग करते हैं, लेकिन यदि दूसरा रोबोट कुछ नया करता है, तो वे तरीके विफल हो जाते हैं या बहुत अधिक डर जाते हैं।

SOWL-MPC खेल को इस तरह बदल देता है जैसे कि यह चलते समय सीखने वाला एक जासूस हो। केवल दूसरे रोबोट को देखने के बजाय, यह दूसरे रोबोट के "मस्तिष्क" (कंट्रोल पॉलिसी) का मॉडल बनाने के लिए स्पार्स वेरिएशनल गौसियन प्रोसेस (SVGPs) नामक एक विशेष गणितीय ट्रिक का उपयोग करता है, जबकि वह उसे चलते हुए देख रहा होता है। पेपर दिखाता है कि रोबोट दूसरे रोबोट की स्थिति के शोर भरे, धुंधले अवलोकनों (observations) से यह पता लगा सकता है कि दूसरा रोबोट उसके पहियों को क्या कमांड भेज रहा है। यह ऑनलाइन वेरिएशनल कंडीशनिंग (OVC) नामक तकनीक का उपयोग करके करता है, जो हर बार एक नई सड़क देखने पर पूरे नक्शे को फिर से बनाने के बजाय रीयल-टाइम में एक नक्शे को अपडेट करने जैसा है।

लेखकों ने इसे दो तरीकों से परखा। पहले, उन्होंने NVIDIA JetRacer कारों का उपयोग करके एक वर्चुअल दुनिया में हजारों सिमुलेशन चलाए। उन्होंने पाया कि जब "वर्ल्ड" कार ट्रैक के एक नए, अनछुए हिस्से में चलने लगती है, तो SOWL-MPC उसके नए व्यवहार को जल्दी से सीख लेता है। जबकि एक मानक रोबोट जो ऑनलाइन नहीं सीख सकता था, वह टकरा रहा था या लक्ष्य से चूक रहा था, SOWL-MPC ने अनुकूलन किया, जिससे उसके प्रेडिक्शन एरर बड़े गलतियों से घटकर मात्र 0.05 मीटर (लगभग 2 इंच) रह गए। उन्होंने यह भी परीक्षण किया कि उनका रोबोट कितना "सुरक्षित" था, इसके लिए उन्होंने $n_\sigma$ नामक एक सुरक्षा नॉब को बदला। जब उन्होंने सुरक्षा को बढ़ाकर 3 कर दिया, तो रोबोट अविश्वसनीय रूप से सतर्क हो गया, दुर्घटना की किसी भी संभावना से बचने के लिए पहले से योजना बनाने लगा, और 50 अलग-अलग रैंडम ट्रायल्स में टकराव से बचने की 100% सफलता दर हासिल की।

अंत में, टीम ने केवल कंप्यूटर सिमुलेशन तक ही सीमित नहीं रही। उन्होंने कोड लिया और उसे एक इनडोर एरिना में वास्तविक, भौतिक रोबोटों पर लगाया। उन्होंने देखा कि "ईगो" रोबोट ने "वर्ल्ड" रोबोट को सफलतापूर्वक चकमा दिया जो उसके रास्ते को काट रहा था या उसे ओवरटेक कर रहा था। वास्तविक दुनिया के परीक्षणों ने वही पुष्टि की जो सिमुलेशन ने सुझाव दिया था: रोबोट ऑन-द-फ्लाई दूसरे रोबोट के व्यवहार को सीख सकता है और सुरक्षित रूप से नेविगेट कर सकता है। पेपर निष्कर्ष निकालता है कि यह दृष्टिकोण काम करता है, यह साबित करते हुए कि एक रोबोट तेज़ सीखने वाला और एक सुरक्षित ड्राइवर दोनों हो सकता है, भले ही दूसरा ड्राइवर एक रहस्य हो। यह ब्रह्मांड की हर समस्या को हल करने वाला जादू का डंडा नहीं है, लेकिन दो रोबोटों के बीच साझा स्थान वाले विशिष्ट चुनौती के लिए, SOWL-MPC एक बहुत ही आशाजनक मार्ग दिखाता है।

तकनीकी सारांश: सेफ ऑनलाइन वर्ल्ड पॉलिसी लर्निंग मॉडल प्रेडिक्टिव कंट्रोल (SOWL-MPC)

समस्या विवरण (Problem Statement)
यह शोध पत्र एक "ईगो" (ego) रोबोट के लिए सुरक्षित स्वायत्त नेविगेशन की चुनौती को संबोधित करता है, जो एक ऐसे "वर्ल्ड" (world) रोबोट के साथ साझा वातावरण में कार्य कर रहा है जिसकी नियंत्रण नीति (control policy) अज्ञात है और संभावित रूप से गैर-स्थिर (non-stationary) है। इस परिदृश्य को EGO–WORLD फ्रेमवर्क कहा गया है, जो यह मानता है कि ईगो रोबोट के पास केवल वर्ल्ड रोबोट के शोर युक्त (noisy) अवस्था मापन ( $\tilde{z}_t = z_t + w_t$ ) और वर्ल्ड रोबोट की नाममात्र गतिकी (nominal dynamics) का पूर्व ज्ञान (ड्रिफ्ट वेक्टर $g(z)$ और कंट्रोल मैट्रिक्स $H(z)$ ) उपलब्ध है, लेकिन वह वर्ल्ड रोबोट की वास्तविक नियंत्रण नीति $\pi(z)$ से अनभिज्ञ है। पारंपरिक प्रतिक्रियात्मक विधियाँ (जैसे, डायनेमिक विंडो अप्रोच, कंट्रोल बैरियर फंक्शन्स) अक्सर अल्पकालिक (myopic) होती हैं, जबकि मौजूदा भविष्य कहने वाली (predictive) विधियाँ आमतौर पर ऑफलाइन-प्रशिक्षित मॉडलों या निश्चित गति धारणाओं पर निर्भर करती हैं जो अनदेखे व्यवहारों के अनुकूल होने में विफल रहती हैं। मुख्य समस्या एक ऐसा ऑनलाइन नियंत्रण ढांचा डिजाइन करना है जो स्ट्रीमिंग डेटा से गुप्त (latent) वर्ल्ड पॉलिसी को पुनरावृत्ति (iteratively) के माध्यम से सीख सके और इस लर्निंग का उपयोग मॉडल प्रेडिक्टिव कंट्रोल (MPC) के माध्यम से सुरक्षित, टकराव-मुक्त युद्धाभ्यास करने के लिए कर सके।

कार्यप्रणाली (Methodology)
प्रस्तावित समाधान, SOWL-MPC, तीन मुख्य चरणों के माध्यम से एक रिकेडिंग-होराइजन कंट्रोल स्कीम के साथ ऑनलाइन लर्निंग को एकीकृत करता है:

पॉलिसी मॉडलिंग और ऑफलाइन प्रीट्रेनिंग:
अज्ञात वर्ल्ड पॉलिसी $\pi(z)$ को स्वतंत्र स्पार्स वेरिएशनल गॉसियन प्रोसेस (Sparse Variational Gaussian Processes - SVGPs) के एक सेट के रूप में मॉडल किया जाता है, जो पॉलिसी वेक्टर के प्रत्येक घटक के लिए एक है। प्रारंभ में, हाइपरपैरामीटर्स का चयन शोर युक्त अवस्था-इनपुट युग्मों के एक डेटासेट पर ऑफलाइन प्रीट्रेनिंग के माध्यम से किया जाता है। इनपुट डेटा (वर्ल्ड कंट्रोल इनपुट्स) को ज्ञात नाममात्र गतिकी पर आधारित लीस्ट-स्क्वेयर्स दृष्टिकोण का उपयोग करके निरंतर शोर युक्त अवस्था अवलोकनों से ऑनलाइन पुनर्निर्मित किया जाता है।
ऑनलाइन वेरिएशनल कंडिशनिंग (OVC) के माध्यम से ऑनलाइन लर्निंग:
डेटा को पुन: प्रशिक्षित करने की अत्यधिक कम्प्यूटेशनल लागत के बिना वास्तविक समय में नए डेटा के अनुकूल होने के लिए, लेखक ऑनलाइन वेरिएशनल कंडिशनिंग (OVC) का उपयोग करते हैं। डेटा के संपूर्ण इतिहास को संग्रहीत करने के बजाय, OVC रिकर्सिव तरीके से SVGP मापदंडों को अपडेट करने के लिए पर्याप्त सांख्यिकी (inducing locations, variational means, और covariances) बनाए रखता है। एल्गोरिदम वर्तमान पोस्टीरियर को "स्यूडो-डेटा" (pseudo-data) में प्रोजेक्ट करता है, उसे नए अवलोकन के साथ जोड़ता है, और इंड्यूसिंग पॉइंट्स एवं वेरिएशनल मापदंडों को अपडेट करता है। यह सिस्टम को स्ट्रीमिंग शोर युक्त मापन से सीधे गुप्त पॉलिसी को सीखने की अनुमति देता है।
अनिश्चितता-जागरूक प्रक्षेपवक्र भविष्यवाणी और नियंत्रण (Uncertainty-Aware Trajectory Prediction and Control):
सीखी गई पॉलिसी को फर्स्ट-ऑर्डर गॉसियन मोमेंट प्रोपेगेशन स्कीम (जो एक्सटेंडेड कलमन फिल्टर प्रेडिक्शन स्टेप के समान है) का उपयोग करके नॉनलीन वर्ल्ड डायनेमिक्स के माध्यम से प्रसारित किया जाता है। यह वर्ल्ड रोबोट के भविष्य के प्रक्षेपवक्र (trajectory) का एक मल्टी-स्टेप संभाव्यता पूर्वानुमान (probabilistic forecast) उत्पन्न करता है, जिसमें भविष्यवाणात्मक अनिश्चितता का माप भी शामिल है।
इन भविष्यवाणियों को एक नॉनलीन MPC कंट्रोलर में फीड किया जाता है। MPC फॉर्मूलेशन में शामिल हैं:
- कॉस्ट फंक्शन (Cost Function): कंट्रोल प्रयास और इनपुट स्मूथनेस के लिए दंड (penalties) के साथ एक मानक ट्रैकिंग कॉस्ट।
- सुरक्षा बाधाएं (Safety Constraints): टकराव से बचाव को रोबोटों के बीच सुरक्षा दूरी को बढ़ाकर लागू किया जाता है। सुरक्षा मार्जिन को उपयोगकर्ता द्वारा परिभाषित सुरक्षा पैरामीटर $n_\sigma$ द्वारा स्केल किए गए प्रेडिक्टिव अनिश्चितता (कोवेरिएंस मैट्रिक्स का ट्रेस) के आधार पर गतिशील रूप से समायोजित किया जाता है। तत्काल अगले कदम के लिए हार्ड कंस्ट्रेंट्स लागू किए जाते हैं, जबकि बाद के प्रेडिक्शन होराइजन में व्यवहार्यता सुनिश्चित करने के लिए स्लैक वेरिएबल्स (slack variables) अस्थायी ढील की अनुमति देते हैं।

प्रमुख योगदान (Key Contributions)
यह शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

SOWL-MPC फ्रेमवर्क: EGO–WORLD सिस्टम के लिए एक नवीन नियंत्रण रणनीति जो एक अनकोऑपरेटिव वर्ल्ड रोबोट की गुप्त स्टेट-फीडबैक पॉलिसी को ऑफलाइन प्रेडिक्टर्स पर भरोसा करने या केवल सिस्टम डायनेमिक्स सीखने के बजाय ऑनलाइन सीखती है। यह फॉर्मूलेशन डेटा दक्षता के लिए स्टेट स्पेस की तुलना में इनपुट स्पेस के निम्न आयामी (lower dimensionality) का लाभ उठाता है।
रोबोटिक्स में OVC का अनुप्रयोग: ऑनलाइन पॉलिसी पहचान और प्रक्षेपवक्र भविष्यवाणी में ऑनलाइन वेरिएशनल कंडिशनिंग का पहला अनुप्रयोग। यह SVGP मॉडल्स को स्ट्रीमिंग डेटा पर स्थिर कम्प्यूटेशनल जटिलता ( $O(M^3)$ प्रति अपडेट, जहाँ $M$ इंड्यूसिंग पॉइंट्स की संख्या है) के साथ निरंतर अपडेट करने में सक्षम बनाता है।
रियल-टाइम वैलिडेशन: ROS 2 (CHOIRBOT टूलबॉक्स के साथ एकीकृत) में एक पूर्ण-स्टैक कार्यान्वयन जो रियल-टाइम व्यवहार्यता प्रदर्शित करता है। इस दृष्टिकोण को ओवरटेकिंग और क्रॉसिंग युद्धाभ्यासों वाले व्यापक मोंटे कार्लो वर्चुअल प्रयोगों और वास्तविक हार्डवेयर परीक्षणों के माध्यम से मान्य किया गया था।

प्रायोगिक परिणाम (Experimental Results)
रणनीति का मूल्यांकन वर्चुअल (Webots/ROS 2) और वास्तविक दुनिया (NVIDIA JetRacer कारों के साथ इंडोर एरिना) दोनों सेटिंग्स में किया गया:

भविदन सटीकता (Prediction Accuracy): ETHZ MOBIL और LEMNISCATE ट्रैक्स पर वर्चुअल प्रयोगों में, SOWL-MPC ने ऑफलाइन-प्रशिक्षित GP बेसलाइन और कांस्टेंट वेलोसिटी (CV) बेसलाइन की तुलना में काफी बेहतर प्रदर्शन किया। SOWL-MPC के लिए औसत विस्थापन त्रुटि (Average Displacement Error - ADE) प्रारंभिक लर्निंग चरण के बाद लगभग 0.05 मीटर पर स्थिर हो गई, जबकि CV बेसलाइन के लिए त्रुटि 0.4 मीटर से अधिक थी और ऑफलाइन बेसलाइन के लिए यह समय-समय पर 0.7 मीटर से ऊपर उछल रही थी।
सुरक्षा गारंटी (Safety Guarantees): मोंटे कार्लो सिमुलेशन ने प्रदर्शित किया कि सुरक्षा पैरामीटर $n_\sigma$ को ट्यून करने से आक्रामकता और सुरक्षा के बीच संतुलन बनाया जा सकता है। $n_\sigma = 3$ के साथ, विधि ने 50 परीक्षणों में टकरावों से बचने में 100% सफलता दर प्राप्त की, जबकि एक डिटरमिनिस्टिक दृष्टिकोण ( $n_\sigma = 0$ ) 36% परीक्षणों में विफल रहा।
रियल-टाइम प्रदर्शन: प्रति कंट्रोल स्टेप औसत गणना समय $T=40$ तक के प्रेडिक्शन होराइजन के लिए भी 50 ms सैंपलिंग समय से काफी कम रहा, जो रियल-टाइम व्यवहार्यता की पुष्टि करता है।
वास्तविक दुनिया का सत्यापन (Real-World Validation): भौतिक हार्डवेयर पर, सिस्टम ने प्रत्याशित बचाव युद्धाभ्यास (anticipatory avoidance maneuvers) को सफलतापूर्वक निष्पादित किया, जिसमें ADE लगभग 0.05 मीटर पर स्थिर हो गया, जो वर्चुअल परिणामों की वास्तविक दुनिया की गतिकी में हस्तांतरणीयता की पुष्टि करता है।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि SOWL-MPC अज्ञात, अनुकूलनशील एजेंटों वाले वातावरण में रिएक्टिव सेफ्टी और प्रेडिक्टिव प्लानिंग के बीच के अंतर को पाटकर एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। केवल सिस्टम डायनेमिक्स को सीखने या ऑफलाइन प्रेडिक्टर्स पर निर्भर रहने के बजाय, स्पष्ट रूप से वर्ल्ड रोबोट की पॉलिसी को मॉडल और सीखने के माध्यम से, यह फ्रेमवर्क ऐसी सुरक्षा गारंटी प्राप्त करता है जो देखे गए वर्ल्ड रोबोट के व्यवहार के अनुकूल होती है। लेखक इस बात पर जोर देते हैं कि यह इस विशिष्ट रोबोटिक समस्या के लिए OVC का पहला अनुप्रयोग है, जो अनिश्चितता-जागरूक कंट्रोल लूप में सीधे एकीकृत की जा सकने वाली डेटा-कुशल गुप्त नीतियों की लर्निंग को सक्षम बनाता है। यह कार्य प्रदर्शित करता है कि सुरक्षित, प्रत्याशित नेविगेशन तब भी प्राप्त किया जा सकता है जब वर्ल्ड रोबोट का नियंत्रण तर्क पूरी तरह से अज्ञात हो और केवल शोर युक्त अवस्था अवलोकन ही उपलब्ध हों।

तकनीकी सारांश: सेफ ऑनलाइन वर्ल्ड पॉलिसी लर्निंग मॉडल प्रेडिक्टिव कंट्रोल (SOWL-MPC)

इसी तरह के और पेपर