💻 computer science

Ergodic Imitation for Adaptive Exploration around Demonstrations

यह शोध पत्र एक अनुकूली एर्गोडिक इमिटेशन फ्रेमवर्क (adaptive ergodic imitation framework) प्रस्तावित करता है जो पुनर्प्राप्त प्रदर्शनों (retrieved demonstrations) से एक लक्ष्य वितरण का निर्माण करता है ताकि ऐसी प्रक्षेपवक्र (trajectories) उत्पन्न की जा सकें जो ट्रैकिंग और अन्वेषण के बीच गतिशील रूप से इंटरपोलेट करने में सक्षम हों, जिससे रोबोटों को प्रशिक्षण-परिनियोजन विसंगतियों (training-deployment mismatches) से उबरने और पर्यावरणीय परिवर्तनों या अवलोकन त्रुटियों के बावजूद कार्यों को पूरा करने में सक्षम बनाया जा सके।

मूल लेखक: Ziyi Xu, Cem Bilaloglu, Yiming Li, Sylvain Calinon

प्रकाशित 2026-05-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziyi Xu, Cem Bilaloglu, Yiming Li, Sylvain Calinon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक मानव द्वारा इसे पूरी तरह से करने के वीडियो दिखाकर उसे एक विशिष्ट भूलभुलैया (maze) के माध्यम से चलना सिखा रहे हैं। इसे इमिटेशन लर्निंग (Imitation Learning) कहा जाता है।

आमतौर पर, रोबोट मानव के पथ की हूबहू नकल करने की कोशिश करता है, कदम-दर-कदम। लेकिन क्या होगा यदि आप भूलभुलैया में एक दीवार को हटा दें या बदल दें? रोबोट, वीडियो का सटीक रूप से पालन करने की कोशिश करते हुए, सीधे दीवार से टकरा जाएगा, फंस जाएगा और असफल हो जाएगा। वह "सोच" नहीं पाता या तालमेल नहीं बिठा पाता क्योंकि वह केवल वीडियो को याद कर रहा था।

यह शोध पत्र रोबोट को सिखाने का एक स्मार्ट तरीका प्रस्तावित करता है, जिसे एडेप्टिव एर्गोडिक इमिटेशन (Adaptive Ergodic Imitation) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "जीपीएस बनाम कोहरा" की उपमा

रोबोट के प्रशिक्षण डेटा (मानव के वीडियो) को एक जीपीएस रूट (GPS route) के रूप में सोचें।

सामान्य मोड (ट्रैकिंग): जब रोबोट वीडियो में दिखाए गए पथ पर चल रहा होता है, तो वह एक सख्त जीपीएस की तरह कार्य करता है। वह रेखा का सटीक रूप से अनुसरण करता है।
समस्या मोड (फंसना): यदि रोबंतु किसी दीवार से टकराता है या पथ बदल जाता है, तो जीपीएस कहता है, "आप मार्ग से भटक गए हैं!"
समाधान (एर्गोडिक एक्सप्लोरेशन): केवल घबराने या हार मान लेने के बजाय, रोबोट "कोहरा मोड" (Fog Mode) में स्विच कर देता है। वह सटीक रेखा का पालन करना छोड़ देता है और मूल पथ के आस-पास के क्षेत्र की खोज करना शुरू कर देता है। वह थोड़ा इधर-उधर घूमता है, बाधा के चारों ओर रास्ता खोजने के लिए, लेकिन वह मूल पथ के करीब रहता है ताकि वह रास्ता न भटक जाए।

2. रोबोट को कब स्विच करना है, यह कैसे पता चलता है

रोबोट के पास एक इन-बिल्ट "स्टैग्नेशन काउंटर" (Stagnation Counter - ठहराव काउंटर) होता है।

कल्पना कीजिए कि वीडियो में मौजूद मानव के साथ उसके कदमों के साथ एक आभासी घड़ी (virtual clock) चल रही है।
रोबोट के पास भी अपनी घड़ी है।
यदि रोबोट मानव की घड़ी के साथ तालमेल बनाए रखता है, तो वह "स्ट्रिक्ट जीपीएस मोड" में रहता है।
यदि रोबोट पीछे रह जाता है (क्योंकि वह किसी दीवार से टकरा गया है या भ्रमित है), तो दोनों घड़ियों के बीच का अंतर बहुत बड़ा हो जाता है। यह "कोहरा मोड" में स्विच करने को ट्रिगर करता है। रोबोट को एहसास होता है, "मैं फंस गया हूँ; मुझे नया रास्ता खोजने के लिए खोजबीन (explore) करने की आवश्यकता है।"

3. "चुंबकीय रबर बैंड" (The Magnetic Rubber Band)

यह शोध पत्र इस "कोहरा मोड" को बनाने के लिए एक गणितीय चाल का उपयोग करता है। कल्पना कीजिए कि मूल पथ एक रबर बैंड है।

ट्रैकिंग के दौरान: रबर बैंड कसकर बंधा होता है। रोबोट को पथ के केंद्र की ओर मजबूती से खींचा जाता है।
एक्सप्लोरेशन के दौरान: रबर बैंड ढीला और खिंचावदार हो जाता है। यह रोबोट को केंद्र से थोड़ा दूर जाने की अनुमति देता है ताकि वह बाधा के बीच का रास्ता ढूंढ सके।
आकार: शोध पत्र इस रबर बैंड को "एनिसोट्रोपिक" (anisotropic) बनाता है, जिसका अर्थ है कि यह आगे या पीछे की तुलना में बगल की ओर (दीवारों के चारों ओर जाने के लिए) अधिक खिंचता है। यह रोबोट को सामान्य दिशा में चलते रहने देते हुए भी बाधाओं के बगल से निकलने की अनुमति देता है।

4. सफलता का "हीट मैप" (The Heat Map of Success)

रोबोट केवल अनुमान नहीं लगाता कि उसे कहाँ जाना है। वह उन सभी सफल वीडियो को देखता है जो उसने देखे हैं और एक हीट मैप बनाता है।

वे क्षेत्र जहाँ मानव अक्सर चला है, वे "गर्म" (उच्च संभावना) होते हैं।
रोबोट यह सुनिश्चित करने के लिए एक विशेष गणितीय उपकरण (जिसे MMD कहा जाता है) का उपयोग करता है कि जैसे-जैसे वह घूमता है, वह बिना गोल-गोल घूमते हुए नए क्षेत्रों को कुशलतापूर्वक कवर करे। यह एक खोज और बचाव कुत्ते (search-and-rescue dog) की तरह है जो जानता है कि व्यक्ति पिछली बार कहाँ देखा गया था, लेकिन यदि सीधा रास्ता अवरुद्ध है, तो वह झाड़ियों के बीच सूंघने के लिए पर्याप्त स्मार्ट है।

परिणाम

अपने परीक्षणों में, शोधकर्ताओं ने रोबोट को संकीर्ण अंतराल वाली एक भूलभुलैया में रखा।

उन्होंने अंतराल (बाधाओं) को उन नई जगहों पर स्थानांतरित कर दिया जहाँ रोबोट ने पहले कभी नहीं देखा था।
पुराने तरीके: रोबोट मूल वीडियो का पालन करने की कोशिश करेगा, नई दीवार से टकराएगा और 100% बार असफल हो जाएगा।
यह नया तरीका: रोबोट को एहसास हुआ कि वह फंस गया है, उसने अपना "रबर बैंड" ढीला किया, मूल पथ के आसपास के क्षेत्र की खोज की, नया अंतराल पाया, और सफलतापूर्वक लक्ष्य तक पहुँच गया।

संक्षेप में: यह शोध पत्र रोबोट को "स्मार्ट फॉलोअर" बनाना सिखाता है। जब चीजें आसान होती हैं तो वे निर्देशों का पूरी तरह से पालन करते हैं, लेकिन यदि वे फंस जाते हैं, तो वे समस्या को हल करने के लिए मूल लक्ष्य को भूले बिना, तत्काल परिवेश की रचनात्मक रूप से खोज करना जानते हैं।

तकनीकी सारांश: प्रदर्शनों के आसपास अनुकूलनशील अन्वेषण के लिए एर्गोडिक इमिटेशन (Ergodic Imitation)

समस्या विवरण
रोबोटिक्स में, इमिटेशन लर्निंग (IL) एक महत्वपूर्ण चुनौती का सामना करती है: प्रशिक्षण स्थितियों और तैनाती वातावरण के बीच का अंतर, जो पर्यावरणीय परिवर्तनों, अपूर्ण अवलोकनों या नियंत्रण त्रुटियों के कारण होता है। जब एक रोबोट इन विसंगतियों के तहत एक नाममात्र (nominal) प्रक्षेपवक्र (trajectory) का पालन करने का प्रयास करता है, तो वह अक्सर फंस जाता है और कार्य को पूरा करने में विफल रहता है। जबकि डीप जेनेरेटिव मॉडल्स का उपयोग IL के लिए किया गया है, वे अक्सर प्रदर्शन डेटा पर ओवरफिट हो जाते हैं, जिससे वे सामान्यीकरण योग्य नीतियों के बजाय विशिष्ट एक्शन सीक्वेंस को याद कर लेते हैं। परिणामस्वरूप, वर्तमान दृष्टिकोण वितरण बदलाव (distribution shifts) के प्रति अत्यंत नाजुक बने रहते हैं। इसके अलावा, मौजूदा अनुकूलनशील अन्वेषण विधियाँ काफी हद तक असतत संक्रमणों (discrete transitions) तक सीमित हैं, जिनमें रोबोटिक असेंबली जैसे कार्यों के लिए आवश्यक सूक्ष्म अवस्था-स्थान समायोजन (state-space adjustments) की निरंतर अन्वेषण क्षमता का अभाव है। मुख्य समस्या एक ऐसी ऑनलाइन रणनीति की आवश्यकता है जो प्रदर्शनों पर आधारित रहे, लेकिन जब वातावरण प्रशिक्षण वितरण से विचलित हो जाए, तो कठोर ट्रैकिंग से अन्वेषण की ओर अनुकूल रूप से परिवर्तित हो सके।

कार्यप्रणाली
लेखक एक अनुकूलनशील एर्गोडिक इमिटेशन (Adaptive Ergodic Imitation) दृष्टिकोण प्रस्तावित करते हैं जो एक ही नियंत्रक के भीतर ट्रैकिंग और अन्वेषण को एकीकृत करता है। यह विधि विशेषज्ञ अवस्था प्रक्षेप पथों (expert state trajectories) के एक डेटासेट पर कार्य करती है, जो अवस्था-स्थान कवरेज पर ध्यान केंद्रित करने के लिए स्पष्ट एक्शन लेबल को छोड़ देती है।

फेज रिट्रीवल और प्रगति अनुमान (Phase Retrieval and Progress Estimation):
प्रत्येक री-प्लानिंग अंतराल पर, सिस्टम वर्तमान रोबोट अवस्था के आधार पर सबसे प्रासंगिक संदर्भ खोजने के लिए विशेषज्ञ डेटासेट को क्वेरी करता है। यह वर्तमान अवस्था की निकटतम विशेषज्ञ प्रक्षेप पथ बिंदु से तुलना करके एक "फेज एरर" $e(t)$ को परिभाषित करता है। प्रगति को ट्रैक करने के लिए एक वर्चुअल रेफरेंस क्लॉक $\tau(t)$ का उपयोग किया जाता है:

ट्रैकिंग मोड (Tracking Mode): यदि फेज एरर एक थ्रेशोल्ड ( $\epsilon$ ) के भीतर है, तो क्लॉक आगे बढ़ती है, और सिस्टम प्रदर्शन का अनुसरण करता है।
एक्सप्लोरेशन मोड (Exploration Mode): यदि एरर थ्रेशोल्ड से अधिक हो जाता है (जो ठहराव का संकेत देता है), तो क्लॉक फ्रीज हो जाती है, और स्टैग्नेशन काउंटर बढ़ता है। यह सिग्नल अन्वेषण की ओर बदलाव को ट्रिगर करता है।

ज्यामिति-निर्देशित वितरण जनरेशन (Geometry-Guided Distribution Generation):
यह विधि एक स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) का उपयोग करके एक लक्ष्य कण वितरण (target particle distribution) $\{q_j\}$ उत्पन्न करती है जो एक तापमान-समान प्रोग्रेस वेरिएबल $\theta$ के आधार पर तीन घटकों को मिश्रित करती है:

नोमिनल अट्रैक्शन (Nominal Attraction): एक ड्रिफ्ट टर्म जो कणों को निकटतम संदर्भ प्रक्षेप पथ की ओर खींचता है।
हीट-कर्नेल स्कोर (Heat-Kernel Score): एक स्कोर-आधारित टर्म जो कणों को उच्च संदर्भ घनत्व वाले क्षेत्रों की ओर पक्षपाती बनाता है।
एनिसोट्रोपिक डिफ्यूजन (Anisotropic Diffusion): एक डिफ्यूजन टर्म जिसे प्रक्षेप पथ के स्पर्शरेखीय (tangent) दिशा के बजाय उसके लंबवत (normal) दिशाओं में बड़ा होने के लिए डिज़ाइन किया गया है। यह प्रक्षेप पथ के साथ सामंजस्य बनाए रखते हुए उसके लंबवत अन्वेषण को प्रोत्साहित करता है।
जैसे-जैसे फेज एरर और स्टैग्नेशन काउंटर बढ़ता है, डिफ्यूजन एनवेलप चौड़ा होता जाता है, जिससे रोबोट को संदर्भ प्रक्षेप पथ के एक बड़े पड़ोस का अन्वेषण करने की अनुमति मिलती है।

MMD के साथ कवरेज-जागरूक एर्गोडिक कंट्रोल (Coverage-Aware Ergodic Control with MMD):
सिस्टम रोबोट के समय-औसत अवस्था विज़िटेशन और उत्पन्न लक्ष्य वितरण के बीच के अंतर को कम करने के लिए मैक्सिमम मीन ディस्पेंसी (MMD) मीट्रिक का उपयोग करने वाला एक रिसेडिंग-होराइजन कंट्रोलर नियोजित करता है। MMD ऑब्जेक्टिव में पिछले दस प्रक्षेप पथों को शामिल करके, नियंत्रक यह सुनिश्चित करता है कि नए प्लान पहले से कवर किए गए क्षेत्रों को दोहराने के बजाय पूरक हों। यह ढांचा $SE(3)$ और अन्य घुमावदार स्थानों का उपयोग करके ज्यामिति-जागरूक कर्नेल के माध्यम से स्वाभाविक रूप से विस्तारित होता है।

प्रमुख योगदान
पेपर चार प्राथमिक योगदानों को रेखांकित करता है:

एक एकीकृत विधि जो निरंतर व्यवहारों का स्पेक्ट्रम सक्षम करती है, जो अनुकूलनशील एर्गोडिक इमिटेशन द्वारा शासित है, जिसमें कठोर इमिटेशन से लेकर अनुकूलनशील अन्वेषण तक की सीमा शामिल है।
लक्ष्य वितरणों को अनुकूल रूप से संशोधित करने के लिए प्रदर्शन के माध्यम से कार्य प्रगति अनुमान का एक तंत्र।
लक्ष्य वितरणों को प्रेरित करने के लिए ट्रैकिंग और अन्वेषण दोनों को बढ़ावा देने हेतु ज्यामिति-निर्देशित एनिसोट्रोपिक डिफ्यूजन का उपयोग।
रिट्रीवल-आधारित इमिटेशन लर्निंग फ्रेमवर्क के भीतर MMD एर्गोडिक मीट्रिक का एकीकरण।

परिणाम
विधि का मूल्यांकन एक 2D नेविगेशन वातावरण में किया गया जिसमें संकीर्ण ऊर्ध्वाधर अंतराल (narrow vertical gaps) और एक अव्यवस्थित लक्ष्य क्षेत्र था।

प्रायोगिक सेटअप: नाममात्र लेआउट में सफल प्रदर्शन एकत्र किए गए थे। परीक्षण के दौरान, डिप्लॉयमेंट मिसमैच उत्पन्न करने के लिए गैप लोकेशन्स को शिफ्ट किया गया।
प्रदर्शन: जब एजेंट एक दीवार द्वारा बाधित हुआ (एक मिसमैच परिदृश्य), तो इसने संचित फेज एरर के माध्यम से कार्य-प्रगति मिसमैच का पता लगाया। इसने एनिसोट्रोपिक डिफ्यूजन के माध्यम से लक्ष्य वितरण को विस्तृत करके बाधा को ट्रिगर किया, जिससे एर्गोडिक कंट्रोलर को बाधा को पार करने के लिए अन्वेषण करने की अनुमति मिली।
मात्रात्मक विश्लेषण: नाममात्र लेआउट के आसपास एक गौसियन वितरण से सैंपल किए गए 50 गेट लोकेशन ऑफसेट्स वाले परीक्षणों में, प्रस्तावित विधि लगातार समाधान खोजने में सफल रही। इसके विपरीत, लेखक नोट करते हैं कि रिट्रीवल-आधारित या जेनेरेटिव-आधारित विधियाँ इन आउट-ऑफ-डिस्ट्रीब्यूशन परिदृश्यों में 0% सफलता दर प्राप्त करेंगी क्योंकि उनमें शिफ्ट किए गए गैप पोजीशन को संभालने की क्षमता नहीं है।

महत्व और दावे
यह पेपर एर्गोडिक कंट्रोल को केवल क्षेत्र कवरेज या खोज के उपकरण के रूप में नहीं, बल्कि इमिटेशन लर्निंग में अनुकूलनशील निष्पादन के लिए एक सिद्धांतगत तंत्र के रूप में स्थापित करता है। इसका महत्व शुद्ध प्रक्षेपवक्र प्लेबैक से स्थितिजन्य अनुकूलन (situational adaptation) की ओर बढ़ने में निहित है। ट्रैकिंग को अन्वेषण के एक विशेष मामले के रूप में मानकर, यह विधि रोबोट को तब प्रदर्शन के टेम्पोरल गुणों को पुनरुत्पादित करने की अनुमति देती है जब वातावरण अनुमति देता है, जबकि पर्यावरण विचलन होने पर स्वायत्त रूप से एर्गोडिक अन्वेषण की ओर संक्रमण करने में सक्षम बनाती है। यह दृष्टिकोण प्रदर्शनों में जमी हुई रहते हुए भी पर्यावरणीय विचलन को संभालने में सक्षम निरंतर व्यवहार स्पेक्ट्रम प्रदान करके वर्तमान IL विधियों की भंगुरता (brittleness) को संबोधित करता है।

1. "जीपीएस बनाम कोहरा" की उपमा

2. रोबोट को कब स्विच करना है, यह कैसे पता चलता है

3. "चुंबकीय रबर बैंड" (The Magnetic Rubber Band)

4. सफलता का "हीट मैप" (The Heat Map of Success)

परिणाम

इसी तरह के और पेपर