🤖 AI

Situationally-Aware Dynamics Learning

यह शोध पत्र एक जनरलाइज्ड हिडन पैरामीटर मार्कोव डिसीजन प्रोसेस और बेयसियन ऑनलाइन चेंजपॉइंट डिटेक्शन का उपयोग करके हिडन स्टेट रिप्रेजेंटेशन के ऑनलाइन लर्निंग के लिए एक नवीन ढांचे का प्रस्ताव करता है, जो स्वायत्त रोबोटों को गुप्त पर्यावरणीय कारकों को अनुकूल रूप से मॉडल करने में सक्षम बनाता है और अनस्ट्रक्चर्ड, गतिशील भू-भागों में नेविगेशन प्रदर्शन और सुरक्षा में महत्वपूर्ण सुधार करता है।

मूल लेखक: Alejandro Murillo-Gonzalez, Lantao Liu

प्रकाशित 2026-04-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alejandro Murillo-Gonzalez, Lantao Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कार चला रहे हैं, लेकिन आपकी आँखों पर पट्टी बंधी है। आप स्टीयरिंग व्हील और गैस पेडल को महसूस कर सकते हैं, और आप इंजन की आवाज़ सुन सकते हैं, लेकिन आप सड़क देख नहीं सकते।

यदि आप बर्फ के एक टुकड़े (ice patch) से टकराते हैं, तो आपकी कार फिसल जाती है। यदि आप कीचड़ के एक टुकड़े से टकराते हैं, तो आपके पहिए घूमने लगते हैं। यदि आप एक खड़ी ढलान पर पहुँचते हैं, तो कार संघर्ष करती है। एक सामान्य "अंधे" ड्राइवर यह सोच सकता है, "मैंने गैस को उसी तरह दबाया जैसे मैं हमेशा दबाता हूँ, इसलिए कार को उसी तरह चलना चाहिए।" जब ऐसा नहीं होता, तो ड्राइवर भ्रमित हो जाता है, एक गलत अनुमान लगाता है, और दुर्घटनाग्रस्त हो सकता है।

यह शोध पत्र रोबोट्स को स्मार्ट अंधे ड्राइवर बनने के बारे में है। यह उन्हें दुनिया की अदृश्य स्थितियों को "महसूस" करने और बिना कैमरों या फैंसी सेंसर के तुरंत अनुकूल होने का एक तरीका देता है।

यहाँ उनके आविष्कार, "सिचुएशनल-अवेयर डायनेमिक्स लर्निंग" (Situationally-Aware Dynamics Learning) का सरल उपमाओं के साथ विवरण दिया गया है:

1. समस्या: "एक ही नियम सबके लिए" वाली गलती

रोबोट आमतौर पर नियमों को याद करके चलना सीखते हैं, जैसे: "यदि मैं गैस दबाता हूँ, तो मैं 1 मीटर आगे बढ़ता हूँ।"

लेकिन वास्तविक दुनिया अव्यवस्थित है।

परिदृश्य A: आप कंक्रीट पर गैस दबाते हैं। आप 1 मीटर आगे बढ़ते हैं।
परिदृश्य B: आप कीचड़ पर गैस दबाते हैं। आप केवल 10 सेंटीमीटर आगे बढ़ते हैं।
परिदृश्य C: आप बर्फ पर गैस दबाते हैं। आप पीछे की ओर फिसल जाते हैं।

यदि रोबोट को यह नहीं पता कि वह कीचड़ या बर्फ पर है, तो वह लगातार 1 मीटर आगे बढ़ने की उम्मीद करता रहता है। वह भ्रमित हो जाता है, उसकी योजना विफल हो जाती है, और वह फंस सकता है या पलट सकता है। रोबोट के पास जानकारी का एक महत्वपूर्ण हिस्सा गायब है: छिपा हुआ संदर्भ (hidden context)।

2. समाधान: "आंतरिक मौसम रिपोर्ट"

लेखकों ने एक ऐसी प्रणाली बनाई है जो रोबोट को यह समझने में मदद करती है कि वह किस "स्थिति" में है, केवल यह महसूस करके कि वह कैसे चल रहा है। वे इसे सिचुएशनल-अवेयर डायनेमिक्स लर्निंग कहते हैं।

इसे एक गिरगिट की तरह समझें।

एक सामान्य रोबोट एक छिपकली है जो चाहे जो भी हो, हरी ही रहती है।
यह नया रोबोट एक गिरगिट है जो तुरंत पृष्ठभूमि (background) से मेल खाने के लिए अपना रंग बदल लेता है।

रोबोट लगातार खुद से पूछता है: "रुको, मैंने गैस दबाई, लेकिन मैं उम्मीद के मुताबिक आगे नहीं बढ़ा। अभी कुछ अलग है। क्या यह फिसलन भरा है? क्या यह ऊबड़-खाबड़ है? क्या हवा चल रही है?"

3. यह कैसे काम करता है: "डिटेक्टिव" और "लाइब्रेरियन"

यह रहस्य सुलझाने के लिए सिस्टम दो मुख्य तरीकों का उपयोग करता है:

A. डिटेक्टिव (द चेंजपॉइंट डिटेक्टर)
रोबोट एक गणितीय उपकरण का उपयोग करता है (जो 'बेयसियन ऑनलाइन चेंजपॉइंट डिटेक्शन' का एक विस्तार है) जो एक अत्यंत संवेदनशील जासूस की तरह काम करता है।

यह वास्तविक समय में रोबोट के मूवमेंट डेटा पर नज़र रखता है।
यह पैटर्न में "ग्लिच" (खराबी) की तलाश करता है। यदि रोबोट आमतौर पर सुचारू रूप से चलता है लेकिन अचानक डगमगाने या फिसलने लगता है, तो डिटेक्टिव चिल्लाता है, "हे! भौतिकी (physics) के नियम बदल गए हैं! हम एक नई स्थिति में हैं!"
इसे यह जानने की ज़रूरत नहीं है कि स्थिति क्या है (जैसे, "कीचड़"); यह बस इतना जानता है कि "कीचड़ के नियम" "कंक्रीट के नियमों" से अलग हैं।

B. लाइब्रेरियन (द सिम्बोलिक रिप्रेजेंटेशन)
एक बार जब डिटेक्टिव किसी बदलाव का पता लगा लेता है, तो रोबंड केवल घबराता नहीं है। वह अपनी मानसिक लाइब्रेरी में जाता है।

वह इस नई स्थिति के लिए एक नया "फ़ाइल" या "प्रतीक" (symbol) बनाता है। आइए इसे "स्थिति #42" कहें।
वह "स्थिति #42" में रोबोट के चलने के डेटा को सहेजता है।
अगली बार जब रोबोट को वही डगमगाहट महसूस होती है, तो वह लाइब्रेरी की जाँच करता है, "स्थिति #42" पाता है, और कहता है, "आह, मैं स्थिति #42 में हूँ। मुझे इसके नियम पता हैं! मुझे धीरे चलाना होगा और अलग तरह से मुड़ना होगा।"

4. जादुई तत्व: अदृश्य को "महसूस करना"

अधिकांश रोबोटों को कीचड़ देखने के लिए कैमरे या हवा के झोंके को महसूस करने के लिए सेंसर की आवश्यकता होती है। इस रोबोट को उनकी आवश्यकता नहीं है।

यह प्रोप्रियोसेप्शन (proprioception) (अपनी आंतरिक गति की भावना) का उपयोग करता है।
उपमा: कल्पना कीजिए कि आप एक अंधेरे कमरे में चल रहे हैं। आपको फर्श देखने की ज़रूरत नहीं है कि वह चिपचिपा है या नहीं। आप बस अपने पैर के चिपकने को महसूस करते हैं। यह रोबोट अपने मोटरों और पहियों के माध्यम से उस "चिपचिपाहट" को महसूस करता है, छिपे हुए कारक का अनुमान लगाता है, और अनुकूलित होता है।

5. वास्तविक दुनिया के परिणाम: टेस्ट ड्राइव

लेखकों ने इसका परीक्षण दो बहुत अलग रोबोटों पर किया:

एक ग्राउंड रोबोट (UGV): इसे घास, कीचड़, चट्टानों और खड़ी ढलानों पर चलना था।
- परिणाम: जब यह फिसलन भरे मलबे (mulch) के टुकड़े पर पहुँचा, तो इसे एहसास हुआ, "ओह, मैं 'स्लिपरी मोड' में हूँ।" इसने अपनी गति धीमी कर दी और अपना रास्ता बदल लिया। इस सिस्टम के बिना चलने वाले अन्य रोबोट फंस गए या पलट गए।
एक उड़ने वाला रोबोट (क्वाड्रोटर): इसे हवा के अचानक बदलने के दौरान गेट्स के बीच से उड़ना था।
- परिणाम: जब हवा बदली, तो रोबोट ने उस धक्के को महसूस किया, उसे एहसास हुआ, "मैं 'गस्टी मोड' में हूँ," और रास्ते पर बने रहने के लिए उसने तुरंत अपनी उड़ान पथ को समायोजित किया।

यह क्यों महत्वपूर्ण है

यह एक बड़ी बात है क्योंकि:

यह तेज़ है: रोबोट चलते-चलते सीखता है। इसे सिम्युलेटर में महीनों तक प्रशिक्षित करने की आवश्यकता नहीं है।
यह सुरक्षित है: यह महसूस करते हुए कि चीजें "अजीब" हैं, रोबोट उस योजना को लागू करने की कोशिश करना बंद कर देता है जो काम नहीं करेगी। यह सतर्क और अनुकूलनशील बन जाता है।
यह सरल है: इसे महंगे कैमरों या सेंसरों की आवश्यकता नहीं है। इसे बस अपने चलने के तरीके पर ध्यान देने की आवश्यकता है।

संक्षेप में: यह शोध पत्र रोबोट्स को अंदाज़ा लगाना बंद करने और दुनिया के अदृश्य नियमों को महसूस करना सिखाता है, जिससे वे उसी अनुकूलन क्षमता के साथ नेविगेट कर पाते हैं जिसका उपयोग एक मानव ड्राइवर बर्फ पर फिसलती कार को महसूस करते समय करता है।

यहाँ एलेजांद्रो मुरिलो-गोंज़ालेज़ और लांताओ लियू के शोध पत्र "Situationally-Aware Dynamics Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जटिल, असंरचित वातावरण (जैसे कि ऑफ-रोड इलाके, बदलता मौसम) में काम करने वाले स्वायत्त रोबोटों को अव्यक्त (latent), अनऑब्जर्व्ड कारकों के कारण महत्वपूर्ण चुनौतियों का सामना करना पड़ता है। ये कारक—जैसे कि टेरेन घर्षण (terrain friction), पेलोड शिफ्ट, हवा के झोंके, या सेंसर बायस—रोबोट की आंतरिक स्थिति और बाहरी दुनिया की उसकी समझ को बाधित करते हैं।

मुख्य समस्या: जब एक रोबकार केवल आंशिक रूप से दृश्यमान (partially observable) अवस्था की जानकारी पर निर्भर होता है, तो एक ही नियंत्रण क्रिया (control action) छिपे हुए संदर्भ (context) के आधार पर बिल्कुल अलग परिणाम दे सकती है (जैसे कि कंक्रीट बनाम कीचड़ पर समान गति से गाड़ी चलाना)।
वर्तमान विधियों की सीमाएँ:
- पारंपरिक मॉडल-आधारित सुदृढीकरण शिक्षण (MBRL) अक्सर पूरी तरह से दृश्यमान अवस्थाओं को मानता है या विशेषाधिकार प्राप्त जानकारी (ground truth) की आवश्यकता होती है जो केवल सिमुलेशन में उपलब्ध होती है।
- सहायक निरूपण (auxiliary representations) जैसे कि लेटेंट वेरिएबल्स सीखने के लिए मौजूदा विधियाँ अक्सर बहु-चरणीय प्रशिक्षण, पर्यवेक्षित शिक्षण (supervised learning), या बड़े डेटासेट पर निर्भर करती हैं, जो उन्हें वास्तविक समय में, ऑनलाइन अनुकूलन के लिए अक्षम बनाती हैं।
- भौतिकी-आधारित मॉडल अनमॉडल (unmodeled), संदर्भ-निर्भर गतिकी (dynamics) को समझाने में विफल रहते हैं।

इस शोध का उद्देश्य रोबोट को वास्तविक समय में अनिश्चित और गतिशील स्थितियों के अनुकूल होने के लिए अनसुपरवाइज्ड तरीके से छिपी हुई अवस्थाओं के निरूपण (representations) ऑनलाइन सीखने में सक्षम बनाकर इस समस्या को हल करना है।

2. कार्यप्रणाली (Methodology)

लेखक सामान्यीकृत हिडन पैरामीटर मार्कोव डिसीजन प्रोसेस (GHP-MDPs) पर आधारित एक ढांचा प्रस्तावित करते हैं। मुख्य विचार रोबोट की "स्थिति" (situation) को स्टेट ट्रांजिशन के संयुक्त वितरण (joint distribution) के रूप में मॉडल करना है, जो लेटेंट कारकों के प्रभाव को कैप्चर करता है।

A. सैद्धांतिक ढांचा: GHP-MDP

इस समस्या को एक GHP-MDP के रूप में औपचारिक रूप दिया गया है जहाँ ट्रांजिशन फंक्शन $T(s, \theta, a, s')$ निम्नलिखित पर निर्भर करता है:

$s$ : दृश्यमान अवस्था (Observable state)।
$a$ : क्रिया (Action)।
$s'$ : अगली अवस्था (Next state)।
$\theta$ : एक लेटेंट पैरामीटर जो वर्तमान "स्थिति" (अंडरलाइंग डेटा जनरेटिंग प्रोसेस) का प्रतिनिधित्व करता है।

मानक हिडेंड पैरामीटर MDPs (HiP-MDPs) के विपरीत, जो यह मानते हैं कि एजेंट को पता है कि कौन से चर (variables) गायब हैं, यह ढांचा बिना किसी पूर्व ज्ञान के केवल इंटरेक्शन डेटा से लेटेंट कारकों का अनुमान लगाता है।

B. ऑनलाइन सिचुएशन डिस्कवरी (Multivariate BOCD)

वास्तविक समय में वर्तमान स्थिति $\theta$ की पहचान करने के लिए, लेखक मल्टीवेरिएट बेयसियन ऑनलाइन चेंजपॉइंट डिटेक्शन (BOCD) का विस्तार करते हैं:

ट्रांजिशन मॉडलिंग: रोबोट $(s_t, a_t, s_{t+1})$ टुपल्स के संयुक्त वितरण को मीन $\mu$ और प्रिसिजन मैट्रिक्स $\Lambda$ द्वारा पैरामीटराइज्ड एक मल्टीवेरिएट गौसियन वितरण के रूप में मॉडल करता है।
चेंजपॉइंट डिटेक्शन: एल्गोरिदम डेटा स्ट्रीम की निगरानी करता है ताकि यह पता लगाया जा सके कि कब अंतर्निहित वितरण बदल गया है (जो एक नई स्थिति का संकेत देता है, जैसे घास से कीचड़ में जाना)।
प्रोबेबिलिस्टिक अपडेट्स: एक Normal-Wishert प्रायर का उपयोग करके, सिस्टम वर्तमान वितरण के मापदंडों को पुनरावर्ती रूप से अपडेट करता है। यह गणना करता है:
- ग्रोथ प्रोबेबिलिटी: संभावना कि वर्तमान रन (डेटा का खंड) जारी रहेगा।
- चेंजपॉइंट प्रोबेबिलिटी: संभावना कि एक नई अंतर्निहित प्रक्रिया शुरू हुई है।
सिंबोलिक निरूपण: एक बार स्थिति की पहचान हो जाने के बाद, उसके वितरण मापदंडों को मोमेंट जनरेटिंग फंक्शन (MGF) का उपयोग करके एक सिंबोलिक निरूपण $\theta$ में मैप किया जाता है। इस सिंबल को फिर डायनेमिक्स मॉडल में फीड किया जाता है।

C. एडेप्टिव डायनेमिक्स लर्निंग और कंट्रोल

डायनेमिक्स मॉडल: प्रोबेबिलिस्टिक न्यूरल नेटवर्क (Gaussian MLPs) का एक एनसेम्बल अगली अवस्था की भविष्यवाणी करता है। इनपुट को वर्तमान स्थिति सिंबल $\theta$ के साथ संवर्धित (augment) किया जाता है।
प्रशिक्षण: मॉडल को विभिन्न स्थितियों में असंतुलित डेटा को संभालने के लिए वेटेड नेगेटिव लॉग-लाइक्लीहुड (NLL) लॉस का उपयोग करके ऑनलाइन प्रशिक्षित किया जाता है।
प्लानिंग: सिस्टम मॉडल प्रिडिक्टिव पाथ इंटीग्रल (MPPI) कंट्रोल का उपयोग करता है। प्लानर वर्तमान स्थिति-जागरूक डायनेमिक्स मॉडल के आधार पर एक्शन सीक्वेंस उत्पन्न करता है, जिससे यह अनुमान लगाने की क्षमता मिलती है कि वर्तमान वातावरण भविष्य की अवस्थाओं को कैसे प्रभावित करेगा।

3. प्रमुख योगदान (Key Contributions)

नया ढांचा: मल्टीवेरिएट BOCD के उपयोग से छिपे हुए अवस्था निरूपणों को ऑनलाइन, अनसुपरवाइज्ड तरीके से सीखने के लिए एक नए ढांचे की शुरुआत। यह रोबोटों को विशेषाधिकार प्राप्त जानकारी के बिना लेटेंट कारकों को पहचानने और अनुकूलित होने की अनुमति देता है।
सिंबोलिक सिचुएशन रिप्रेजेंटेशन: जटिल, सीखे गए ट्रांजिशन वितरण को सिंबोलिक निरूपणों (MGF के माध्यम से) में मैप करने की एक विधि, जिसका उपयोग ट्रांजिशन मॉडल को संवर्धित करने के लिए किया जा सकता है, जो प्रोबेबिलिस्टिक लर्निंग और सिंबोलिक रीजनिंग के बीच के अंतर को पाटता है।
डेटा दक्षता और मजबूती: यह दृष्टिकोण अनमॉडल डायनेमिक्स वाले परिदृश्यों में, विशेष रूप से, अत्याधुनिक MBRL और मॉडल-फ्री RL बेसलाइन्स की तुलना में डेटा दक्षता और पॉलिसी प्रदर्शन में काफी सुधार करता है।
इमर्जेंट सेफ बिहेवियर्स: सिस्टम बिना किसी स्पष्ट प्रोग्रामिंग के, स्थिति-जागरूक प्लानर द्वारा संचालित होकर, स्वाभाविक रूप से अनुकूल व्यवहार (जैसे फिसलन भरे इलाके पर धीमा होना, फंसने पर पीछे हटना) सीख लेता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे को दो अलग-अलग प्लेटफॉर्म पर मान्य किया गया: एक अनमैन्ड ग्राउंड व्हीकल (UGV) और एक क्वाड्रोटर (Quadrotor)।

A. अनमैन्ड ग्राउंड व्हीकल (UGV)

सेटअप: विविध सतहों (कीचड़, घास, कंक्रीट, मल्च) और खड़ी ढलानों वाले अनस्ट्रक्चर्ड टेरेन में नेविगेशन (सिमुलेशन और वास्तविक दुनिया)।
बेसलाइन्स: CaDM, PE+LSTM, TD-MPC2, PETS, मॉडल-फ्री RL (PPO, SAC, TD3), और एक फिजिक्स-आधारित डबिन्स मॉडल के विरुद्ध तुलना की गई।
मुख्य निष्कर्ष:
- प्रदर्शन: प्रस्तावित विधि ने उच्चतम सफलता दर (वास्तविक दुनिया के परीक्षणों में 100%) प्राप्त की और सभी बेसलाइन्स की तुलना में वेपॉइंट्स तक तेजी से पहुँची।
- डेटा दक्षता: इसने अन्य MBRL विधियों की तुलना में बहुत कम एपिसोड में प्रभावी नीतियां सीखीं।
- सुरक्षा: एक चुनौतीपूर्ण खड़ी ढलान वाले परिदृश्य में, जहाँ छिपे हुए उभार (bumps) थे, डबिन्स बेसलाइन के कारण रोबोट पलट गया, जबकि प्रस्तावित विधि ने अपनी वेलोसिटी और ट्रेजेक्टरी को अनुकूलित करके सफलतापूर्वक रास्ता निकाला।
- इमर्जेंट बिहेवियर: रोबोट ने बाधाओं को पार करने के लिए "पीछे हटने" (backing up) और "वेलोसिटी मॉड्यूलेशन" (फिसलन भरी ढलानों पर धीमा होना) जैसी रणनीतियाँ स्वायत्त रूप से विकसित कीं।

B. क्वाड्रोटर (Quadrotor)

सेटअप: रैंडमली स्विच होने वाले विंड फील्ड्स (थर्मल अपड्राफ्ट्स, विंड ग्रेडिएंट्स) वाले सिम्युलेटर में गेट्स के बीच से उड़ना।
बेसलाइन्स: बिना सिचुएशन अवेयरनेस वाले स्टैंडर्ड प्रोबेबिलिस्टिक एनसेम्बल (PETS) के विरुद्ध तुलना।
मुख्य निष्कर्ष:
- डेटा दक्षता: केवल 100k ट्रांजिशन के साथ, सिचुएशन-अवेयर मॉडल (SA-PETS) ने बेसलाइन से 34% बेहतर प्रदर्शन किया। 5M ट्रांजिशन के साथ, यह अंतर बढ़कर 43.6% हो गया।
- मजबूती: जटिल हवा वाले वातावरण में, बेसलाइन मॉडल का प्रदर्शन अधिक डेटा (और इस प्रकार अधिक लेटेंट फैक्टर्स) के आने के साथ काफी गिर गया, जबकि SA-PETS मॉडल मजबूत बना रहा, जो छिपे हुए कारकों को अलग करने की इसकी क्षमता को दर्शाता है।

5. महत्व और प्रभाव (Significance and Impact)

सिम-टू-रियल गैप को पाटना: यह विधि रोबोटों को व्यापक रिट्रेनिंग या विशेषाधिकार प्राप्त सिमुलेशन डेटा की आवश्यकता के बिना वास्तविक दुनिया की डायनेमिक्स के अनुकूल होने की अनुमति देती है।
सुरक्षा-क्रिटिकल ऑटोनॉमी: अनिश्चितता और लेटेंट फैक्टर्स को स्पष्ट रूप से मॉडल करके, सिस्टम सुरक्षित नियंत्रण नीतियां बनाता है, जिससे असंरचित वातावरण में विनाशकारी विफलताओं का जोखिम कम होता है।
व्याख्यात्मकता (Interpretability): "ब्लैक-बॉक्स" लेटेंट स्पेस के विपरीत, सिचुएशन रिप्रेजेंटेशन ट्रांजिशन डायनेमिक्स के सांख्यिकीय गुणों से प्राप्त होते हैं, जो यह समझने के लिए एक स्तर की व्याख्यात्मकता प्रदान करते हैं कि रोबोट क्यों अनुकूलित हो रहा है (जैसे कि सतह के घर्षण में परिवर्तन का पता लगाना)।
सामान्यीकरण (Generalizability): यह ढांचा प्लेटफॉर्म-स्वतंत्र है, जिसे ग्राउंड (UGV), एरियल (क्वाड्रोटर), और एक्वेटिक (परिशिष्ट में सिम्युलेटेड बोट) प्लेटफॉर्म पर सफलतापूर्वक प्रदर्शित किया गया है।

निष्कर्षतः, यह शोध पत्र स्वायत्त रोबोटों को उनके परिचालन संदर्भ (operational context) को ऑनलाइन और अनसुपरवाइज्ड तरीके से सीखने और तर्क करने में सक्षम बनाकर, वास्तविक दुनिया के वातावरण में "अनजान अज्ञात" (unknown unknowns) के प्रति अधिक लचीला बनाने की दिशा में एक महत्वपूर्ण कदम प्रस्तुत करता है।