💻 computer science

Continual Domain Randomization

यह शोध पत्र कॉन्टिनुअल डोमेन रैंडमाइजेशन (CDR) का प्रस्ताव करता है, जो एक नवीन दृष्टिकोण है जो डोमेन रैंडमाइजेशन को कॉन्टिनुअल लर्निंग के साथ जोड़ता है ताकि सिमुलेशन मापदंडों के उपसमुच्चयों पर सुदृढीकरण लर्निंग (रिनफोर्समेंट लर्निंग) नीतियों को क्रमिक रूप से प्रशिक्षित किया जा सके, जिससे एक साथ किए जाने वाले रैंडमाइजेशन की उप-इष्टतमता (सब-ऑप्टिमैलिटी) को दूर किया जा सके और रोबोटिक कार्यों में सुदृढ़ सिम-टू-रियल ट्रांसफर प्राप्त किया जा सके।

मूल लेखक: Josip Josifovski, Sayantan Auddy, Mohammadhossein Malmir, Justus Piater, Alois Knoll, Nicolás Navarro-Guerrero

प्रकाशित 2026-04-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Josip Josifovski, Sayantan Auddy, Mohammadhossein Malmir, Justus Piater, Alois Knoll, Nicolás Navarro-Guerrero

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कप उठाना सिखाने की कोशिश कर रहे हैं। इसे करने का सबसे समझदारी भरा तरीका आमतौर पर यह होता है कि रोबोट को पहले कंप्यूटर सिमुलेशन में लाखों बार अभ्यास करने दिया जाए, ताकि वह असली रोबोट को तोड़ न दे या किसी को चोट न पहुँचा दे। लेकिन यहाँ एक समस्या है: एक कंप्यूटर सिमुलेशन कभी भी वास्तविक दुनिया की तरह पूरी तरह से सटीक नहीं होता। असली रोबोट थोड़ा भारी हो सकता है, उसके मोटर थोड़े धीमे हो सकते हैं, या उसके सेंसर थोड़े "शोर वाले" (noisy) हो सकते हैं। इस अंतर को "रियलिटी गैप" (reality gap) कहा जाता है। यदि आप एक रोबोट को एक आदर्श सिमुलेशन में प्रशिक्षित करते हैं, तो जब आप उसे वास्तविक दुनिया में रखते हैं, तो वह बुरी तरह विफल हो जाता है क्योंकि उसने सिमुलेशन की पूर्णता पर भरोसा करना सीख लिया था।

इसे ठीक करने के लिए, वैज्ञानिक एक तरकीब का उपयोग करते हैं जिसे डोमेन रैंडमाइजेशन (Domain Randomization) कहा जाता है। सिमुलेशन को परफेक्ट बनाने के बजाय, वे जानबूझकर उसमें गड़बड़ी पैदा करते हैं। वे एक रन में रोबोट को भारी बनाते हैं, अगले में हल्का, नकली सेंसर शोर जोड़ते हैं, या कंट्रोल्स में देरी करते हैं। विचार यह है कि यदि रोबोट इन सभी "बदली हुई" स्थितियों को संभालना सीख जाता है, तो वह वास्तविक दुनिया को संभालने के लिए पर्याप्त मजबूत होगा, जो कि खुद "अव्यवस्थित" होने का एक और रूप है।

पुराने तरीके के साथ समस्या
पारंपरिक तरीका ऐसा है जैसे आप अपने पहले ही दिन तेज़ लहरों, भारी तूफ़ान और ठंडे पानी वाले तूफ़ानी समुद्र में कूदकर तैरना सीखने की कोशिश कर रहे हों। यह बहुत कठिन है! रोबोट अभिभूत (overwhelmed) हो जाता है, भ्रमित हो जाता है, और एक गलत रणनीति सीख लेता है (या कुछ भी सीखने में विफल रहता है) क्योंकि कार्य बहुत कठिन है।

नया समाधान: कॉन्टिनुअल डोमेन रैंडमाइजेशन (CDR)
इस शोध के लेखकों ने एक स्मार्ट तरीका प्रस्तावित किया है, जिसे वे कॉन्टिनुअल डोमेन रैंडमाइजेशन (CDR) कहते हैं। इसे कार चलाना सीखने जैसा समझें:

आसान शुरुआत करें: पहले, आप एक खाली, आदर्श पार्किंग लॉट में गाड़ी चलाना सीखते हैं जहाँ न हवा है, न अन्य कारें और टायर एकदम परफेक्ट हैं। आप बुनियादी बातें सीख लेते हैं।
एक बार में एक चुनौती जोड़ें: एक बार जब आप इसमें कुशल हो जाते हैं, तो आप अचानक आपको तूफान में नहीं फेंक देते। इसके बजाय, आप केवल एक नई चुनौती जोड़ते हैं। शायद आप बारिश में गाड़ी चलाते हैं। एक बार जब आप बारिश में महारत हासिल कर लेते हैं, तो आप हवा जोड़ते हैं। एक बार जब आप हवा में महारत हासिल कर लेते हैं, तो आप भारी ट्रैफिक जोड़ते हैं।
सब कुछ याद रखें: पेचीदा हिस्सा यह है कि जब आप बारिश में गाड़ी चलाना सीखते हैं, तो आपको सूखी सड़क पर गाड़ी चलाने का तरीका भूलना नहीं चाहिए। यहीं पर "कॉन्टिनुअल लर्निंग" वाला हिस्सा आता है। रोबोट एक विशेष मेमोरी तकनीक (जिसे इलास्टिक वेट कंसोलिडेशन कहा जाता है) का उपयोग करता है जो एक "सुरक्षा जाल" (safety net) की तरह काम करती है। यह रोबोट को नए कौशल (जैसे बारिश को संभालना) सीखने की अनुमति देता है बिना पुराने कौशल (जैसे सूखी सड़क पर गाड़ी चलाना) को "भूलना" के।

उन्होंने इसका परीक्षण कैसे किया
शोधकर्ताओं ने इस विचार का दो कार्यों पर परीक्षण किया:

रीचिंग (Reaching): एक रोबोटिक आर्म जो एक विशिष्ट स्थान को छूने की कोशिश कर रहा है।
ग्रास्पिंग (Grasping): एक अधिक जटिल कार्य जहाँ एक रोबोटिक आर्म को एक बॉक्स ढूँढना होता है, अपने ग्रिपर को पूरी तरह से संरेखित (align) करना होता है, और उसे उठाना होता है।

उन्होंने अपने "चरण-दर-चरण" तरीके (CDR) की तुलना दो अन्य दृष्टिकोणों से की:

"परफेक्ट" सिम्युलेटर: केवल एक साफ, आदर्श दुनिया में प्रशिक्षण (जो वास्तविकता में विफल हो जाता है)।
"केओस" (Chaos) सिम्युलेटर: रोबोट पर सभी समस्याएँ (बारिश, हवा, ट्रैफिक) एक साथ डाल देना।
"भुलक्कड़" तरीका: समस्याओं को एक-एक करके जोड़ना लेकिन "मेमोरी सेफ्टी नेट" का उपयोग नहीं करना (जिससे रोबोट पिछले चरणों को भूल जाता है)।

परिणाम
परिणाम प्रभावशाली थे:

CDR के साथ प्रशिक्षित रोबोट ने सिमुलेशन में प्रभावी ढंग से सीखा।
जब वे रोबोट को वास्तविक दुनिया में ले गए, तो इसने "केओस" मोड में प्रशिक्षित रोबोट की तुलना में बेहतर या समान प्रदर्शन किया।
महत्वपूर्ण रूप से, CDR अधिक स्थिर था। इससे कोई फर्क नहीं पड़ता था कि उन्होंने चुनौतियों को किस क्रम में जोड़ा (पहले बारिश या पहले हवा); रोबोट ने अच्छी तरह से सीखा। "भुलक्कड़" तरीका, यदि चुनौतियों का क्रम बदल जाता है, तो संघर्ष करता है।

संक्षेप में
यह शोध पत्र दिखाता है कि रोबोट को एक साथ सभी रैंडम वेरिएबल्स के समुद्र में डुबोने के बजाय, उसे चरण-दर-चरण सिखाना बेहतर है, एक समय में एक कठिनाई जोड़ना और यह सुनिश्चित करना कि वह पिछले कार्यों को संभालना भी याद रखे। यह एक ऐसा रोबोट बनाता है जो प्रशिक्षण के दौरान वास्तविक दुनिया में परीक्षण की आवश्यकता के बिना, वास्तविक और अप्रत्याशित दुनिया के लिए तैयार है।

यहाँ जोसिप जोसिफोव्स्की और अन्य द्वारा लिखित शोध पत्र "कंटीन्यूअल डोमेन रैंडमाइजेशन" (Continual Domain Randomization) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रोबोटिक्स में डीप रीइन्फोर्समेंट लर्निंग (DRL) अक्सर सैंपल इनएफिशिएंसी (sample inefficiency) और सुरक्षा संबंधी चिंताओं को दूर करने के लिए सिम्युलेटेड वातावरण पर निर्भर करता है। हालाँकि, "रियलिटी गैप" (reality gap)—यानी सिमुलेशन और वास्तविक दुनिया के बीच का अंतर—अक्सर बिना किसी अतिरिक्त ट्यूनिंग के नीतियों (policies) को स्थानांतरित (transfer) करने पर खराब प्रदर्शन का कारण बनता है।

वर्तमान दृष्टिकोणों की सीमाएँ:
- परफेक्ट सिमुलेशन (Perfect Simulation): हार्डवेयर के घिसाव और पर्यावरणीय परिवर्तनों के कारण जटिल प्रणालियों के लिए इसे प्राप्त करना असंभव है।
- डोमेन एडेप्टेशन (Domain Adaptation/Finetuning): इसके लिए वास्तविक दुनिया के डेटा की आवश्यकता होती है, जो समय लेने वाला और संभावित रूप से असुरक्षित हो सकता है।
- मानक डोमेन रैंडमाइजेशन (Standard Domain Randomization - DR): यह रियलिटी गैप को कवर करने के लिए सभी सिमुलेशन मापदंडों (parameters) को एक साथ रैंडमाइज करता है। हालाँकि, एक साथ बहुत अधिक मापदंडों को रैंडमाइज करने से कार्य की जटिलता और एजेंट की अनिश्चितता बढ़ जाती है, जिससे अक्सर उप-इष्टतम (sub-optimal) नीतियाँ बनती हैं या अभिसरण (convergence) विफल हो जाता है।
- CL के बिना क्रमिक रैंडमाइजेशन (Sequential Randomization without CL): रैंडमाइजेशन के उपसमुच्चयों (subsets) पर क्रमिक रूप से प्रशिक्षण लेने से, जहाँ पिछले चरणों के ज्ञान को बनाए नहीं रखा जाता, कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) होता है। इसमें एजेंट हालिया रैंडमाइजेशन के प्रति ओवरफिट हो जाता है और पिछले रैंडमाइजेशन के प्रति अपनी मजबूती (robustness) खो देता है।

2. कार्यप्रणाली: कंटीन्यूअल डोमेन रैंडमाइजेशन (Methodology: CDR)

लेखक कंटीन्यूअल डोमेन रैंडमाइजेशन (CDR) का प्रस्ताव करते हैं, जो डोमेन रैंडमाइजेशन को कंटीन्यूअल लर्निंग (CL) के साथ जोड़ता है ताकि पिछले चरणों से ज्ञान बनाए रखते हुए रैंडमाइजेशन मापदंडों के विशिष्ट उपसमुच्चयों पर क्रमिक प्रशिक्षण सक्षम किया जा सके।

मुख्य वर्कफ़्लो (Core Workflow)

आरंभ (Initialization): एजेंट को पहले एक आदर्श सिमुलेशन (idealized simulation) (बिना रैंडमाइजेशन के) में आधारभूत कार्य सीखने के लिए प्रशिक्षित किया जाता है।
क्रमिक प्रशिक्षण (Sequential Training): इसके बाद एजेंट को सिमुलेशन के एक अनुक्रम (sequence) पर प्रशिक्षित किया जाता है, जहाँ प्रत्येक चरण रैंडमाइजेशन मापदंडों का एक विशिष्ट उपसमुच्चय (जैसे लेटेंसी, टॉर्क, नॉइज़) सक्षम करता है।
कंटीन्यूअल लर्निंग (Continual Learning): कैटास्ट्रोफिक फॉरगेटिंग को रोकने के लिए, सिस्टम पिछले रैंडमाइजेशन के प्रभावों को "याद रखने" के लिए रेगुलराइजेशन-आधारित CL एल्गोरिदम का उपयोग करता है।

एल्गोरिद्मिक कार्यान्वयन (Algorithmic Implementation)

लेखक प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) के साथ एलास्टिक वेट कंसोलिडेशन (EWC) का उपयोग करके दो वेरिएंट्स लागू करते हैं:

CDR- $\lambda$ (Offline):
- यह नीति नेटवर्क को रेगुलराइज करने के लिए EWC का उपयोग करता है।
- यह प्रत्येक पिछले कार्य के लिए नेटवर्क मापदंडों ( $\theta^*$ ) और एम्पिरिकल फिशर इंफॉर्मेशन मैट्रिक्स (FIM) का एक अलग स्नैपशॉट बनाए रखता है।
- लॉस फंक्शन (Loss Function): $L(\theta) = L_C(\theta) + \sum \frac{\lambda_i}{2} ||\theta - \theta^*_i||^2_{F_i}$
- ट्रेड-ऑफ (Trade-off): उच्च मेमोरी उपयोग (कार्यों की संख्या के साथ रैखिक स्केलिंग) लेकिन पिछले ज्ञान का मजबूत प्रतिधारण (retention)।
CDR-O $\lambda$ (Online):
- यह मेमोरी ओवरहेड को कम करने के लिए एक Online-EWC वेरिएंट का उपयोग करता है।
- यह केवल एक नेटवर्क स्नैपशॉट और एक एकल, संचयी फिशर इंफॉर्मेशन मैट्रिक्स बनाए रखता है।
- फिशर मैट्रिक्स को पुनरावर्ती रूप से अपडेट किया जाता है: $F^*_i = \gamma F^*_{i-1} + F_i$ ।
- ट्रेड-ऑफ (Trade-off): स्थिर मेमोरी उपयोग, लेकिन ऑफलाइन संस्करण की तुलना में बहुत पुराने कार्यों के लिए संभावित रूप से कमजोर प्रतिधारण।
नॉर्मलाइजेशन (Normalization): एक महत्वपूर्ण तकनीकी विवरण यह है कि प्रत्येक कार्य के बाद फिशर इंफॉर्मेशन मैट्रिक्स के तत्वों को $[0.0, 1.0]$ की सीमा में नॉर्मलाइज किया जाता है। यह विभिन्न कार्यों के आर्बिट्रेरी स्केलिंग से $\lambda$ को अलग करता है, जिससे पूरे अनुक्रम में एक ही $\lambda$ का उपयोग संभव हो पाता है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

लेखकों ने KUKA LBR iiwa 14 आर्म का उपयोग करके दो रोबोटिक मैनिपुलेशन कार्यों पर CDR का मूल्यांकन किया:

रीचिंग टास्क (Reaching Task): एक 2-जॉइंट आर्म जो लक्ष्य तक पहुँचता है।
ग्रास्पिंग टास्क (Grasping Task): एक 7-जॉइंट रेडंडेंट आर्म जिसमें Robotiq 3-फिंगर ग्रिपर है जो एक क्यूब को पकड़ता है।

रैंडमाइजेशन पैरामीटर्स:
तीन मापदंडों को विभिन्न क्रमों में क्रमिक रूप से रैंडमाइज किया गया था (जैसे टॉर्क $\to$ लेटेंसी $\to$ नॉइज़):

लेटेंसी (Latency - L): स्टेट ऑब्जर्वेशन में रैंडम देरी।
टॉर्क (Torque - T): रैंडमाइज्ड जॉइंट स्टिफनेस और डैम्पिंग।
नॉइज़ (Noise - N): सेंसर नॉइज़।

बेसलाइन्स (Baselines):

आइडियल (Ideal): गैर-रैंडमाइज्ड सिमुलेशन में प्रशिक्षित।
रैंडमाइज्ड (Randomized): सभी मापदंडों को एक साथ रैंडमाइज करके प्रशिक्षित।
फाइनट्यूनिंग (Finetuning): बिना CL के क्रमिक प्रशिक्षण (कोई रेगुलराइजेशन नहीं)।

4. मुख्य परिणाम (Key Results)

रीचिंग टास्क (Reaching Task)

सिम टू रियल (Sim2real) प्रदर्शन: आइडियल मॉडल सिमुलेशन में सबसे अच्छा प्रदर्शन करता है लेकिन वास्तविक दुनिया में (उच्च जिटर, कम रिवॉर्ड के कारण) विफल हो जाता है क्योंकि यह ओवरफिट हो गया। रैंडमाइज्ड बेसलाइन वास्तविकता में अच्छा प्रदर्शन करता है लेकिन सिमुलेशन में कम रिवॉर्ड प्राप्त करता है।
CDR प्रदर्शन: दोनों CDR वेरिएंट्स ने 'रैंडमाइज्ड' बेसलाइन के बराबर या उससे बेहतर सिम टू रियल ट्रांसफर हासिल किया।
- CDR-O $\lambda$ ने उच्चतम वास्तविक दुनिया के रिवॉर्ड और स्थिरता प्राप्त की।
- फाइनट्यूनिंग सिमुलेशन में अच्छा प्रदर्शन करता है लेकिन CDR की तुलना में वास्तविक दुनिया में खराब ट्रांसफर दिखाता है, जो पुष्टि करता है कि पिछले रैंडमाइजेशन को भूलना हानिकारक है।
ऑर्डर सेंसिटिविटी (Order Sensitivity): क्रमिक बेसलाइन्स (Finetuning) रैंडमाइजेशन के क्रम के प्रति अत्यधिक संवेदनशील थे। CDR, मापदंडों के क्रम के प्रति काफी अधिक मजबूत (robust) था।

ग्रास्पिंग टास्क (Grasping Task)

जटिलता: ग्रास्पिंग कार्य अधिक कठिन था, जिसके लिए उच्च सटीकता की आवश्यकता थी।
स्थिरता: CDR रणनीतियों ने फाइनट्यूनिंग की तुलना में कम वेरिएंस और अधिक स्थिर प्रशिक्षण प्रगति दिखाई।
वास्तविक दुनिया की सफलता:
- CDR-O $\lambda$ ने सिमुलेशन में 78% ग्रास्प सफलता दर और वास्तविकता में 60% (NLT ऑर्डरिंग के साथ) प्राप्त की, जो रैंडमाइज्ड बेसलाइन (40% वास्तविक सफलता) से बेहतर है।
- फाइनट्यूनिंग में उच्च वेरिएंस देखा गया; क्रम के आधार पर, यह सबसे अच्छा या सबसे खराब परफॉर्मर हो सकता था, जो इसकी अस्थिरता को दर्शाता है।
- CDR मॉडल रैंडमाइजेशन के क्रम के बावजूद सुसंगत प्रदर्शन प्रदान करते हैं।

रेगुलराइजेशन स्ट्रेंथ ( $\lambda$ )

कम $\lambda$ : मॉडल फाइनट्यूनिंग की तरह व्यवहार करते हैं (पिछले कार्यों को भूल जाते हैं), जिससे वास्तविक दुनिया में खराब ट्रांसफर होता है।
उच्च $\lambda$ : मॉडल बहुत कठोर हो जाते हैं, नए रैंडमाइजेशन के अनुकूल होने में असमर्थ होते हैं, जिससे सिमुलेशन और वास्तविकता दोनों में खराब प्रदर्शन होता है।
इष्टतम रेंज (Optimal Range): $\lambda$ की एक मध्यम रेंज ने सबसे अच्छा संतुलन प्रदान किया, जिससे अनुकूलन (adaptation) और मजबूती (robustness) दोनों संभव हुए।

5. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क: कंटीन्यूअल डोमेन रैंडमाइजेशन (CDR) का परिचय, जो डोमेन रैंडमाइजेशन को एक कंटीन्यूल लर्निंग समस्या के रूप में मानता है ताकि कैटास्ट्रोफिक फॉरगेटिंग के बिना जटिलता को क्रमिक रूप से पेश किया जा सके।
मेमोरी दक्षता: एक ऑनलाइन CDR (CDR-O $\lambda$ ) वेरिएंट का विकास जो पारंपरिक EWC के रैखिक मेमोरी स्केलिंग से बचता है, जिससे यह लंबे रैंडमाइजेशन अनुक्रमों के लिए स्केलेबल बन जाता है।
ऑर्डर के प्रति मजबूती: यह प्रदर्शन करना कि CDR, मानक क्रमिक फाइनट्यूनिंग की तुलना में रैंडमाइजेशन मापदंडों को पेश करने के क्रम के प्रति कम संवेदनशील है।
ज़ीरो-शॉट ट्रांसफर (Zero-Shot Transfer): बिना किसी वास्तविक दुनिया के प्रशिक्षण डेटा या डोमेन एडेप्टेशन के वास्तविक रोबोट पर सफल ज़ीरो-शॉट सिम टू रियल ट्रांसफर।

6. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र रोबोटिक RL में एक महत्वपूर्ण बाधा को संबोधित करता है: उच्च रैंडमाइजेशन के साथ प्रशिक्षण की कठिनाई और किसी विशिष्ट सिमुलेशन के प्रति ओवरफिट होने के जोखिम के बीच का ट्रेड-ऑफ। कंटीन्यूल लर्निंग को एकीकृत करके, CDR एजेंटों को "सीखना सीखने" (learn how to learn) में सक्षम बनाता है, जिससे एक ऐसी नीति बनती है जो विविध गतिशीलता (dynamics) के प्रति मजबूत होती है।

व्यावहारिक प्रभाव: CDR सिम टू रियल ट्रांसफर के लिए एक लचीला, सामान्य ढांचा प्रदान करता है जिसमें सभी रैंडमाइजेशन मापदंडों को पहले से परिभाषित करने या फाइन-ट्यूनिंग के लिए वास्तविक दुनिया के डेटा तक पहुँच की आवश्यकता नहीं होती है।
भविष्य का कार्य: लेखक अनुकूलतम मापदंड श्रेणियों को गतिशील रूप से निर्धारित करने के लिए CDR को स्वचालित या सक्रिय डोमेन रैंडमाइजेशन के साथ जोड़ने और विज़न-आधारित रैंडमाइजेशन तक इस दृष्टिकोण का विस्तार करने का सुझाव देते हैं।

संक्षेप में, CDR स्थिर रैंडमाइजेशन और सरल क्रमिक फाइनट्यूनिंग दोनों का एक बेहतर विकल्प प्रदान करता है, जो जटिल रोबोटिक मैनिपुलेशन कार्यों में अत्याधुनिक (state-of-the-art) सिम टू रियल प्रदर्शन प्राप्त करता है।