🤖 machine learning

Statistical Guarantees for Offline Domain Randomization

यह शोध पत्र यह सिद्ध करके ऑफलाइन डोमेन रैंडमाइजेशन (ODR) के लिए प्रथम सांख्यिकीय गारंटी स्थापित करता है कि अधिकतम-संभावना अनुमान (maximum-likelihood estimation) के माध्यम से ऑफलाइन वास्तविक दुनिया के डेटा से एक सिम्युलेटर पैरामीटर वितरण को फिट करना, सौम्य नियमितता शर्तों के तहत वास्तविक गतिकी (true dynamics) की सुसंगत अभिसरण (consistent convergence) प्रदान करता है, जिससे इसकी अनुभवजन्य सफलता के लिए एक सिद्धांतगत सैद्धांतिक आधार प्राप्त होता है।

मूल लेखक: Arnaud Fickinger, Abderrahim Bendahi, Stuart Russell

प्रकाशित 2026-02-05

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arnaud Fickinger, Abderrahim Bendahi, Stuart Russell

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Statistical Guarantees for Offline Domain Randomization" का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "वीडियो गेम" बनाम "असली दुनिया"

कल्पना कीजिए कि आप एक रोबोट को चलना सिखा रहे हैं। आप उसे असली दुनिया में आसानी से नहीं सिखा सकते क्योंकि अगर वह गिर गया, तो उसके पैर टूट सकते हैं या किसी को चोट लग सकती है। इसलिए, आप उसे कंप्यूटर सिमुलेशन (एक वीडियो गेम) में सिखाते हैं।

समस्या यह है कि वीडियो गेम एकदम सटीक नहीं होता। गुरुत्वाकर्षण (gravity) थोड़ा कम या ज़्यादा हो सकता है, फर्श थोड़ा फिसलन भरा हो सकता है, या रोबोट के जोड़ (joints) असलियत से अधिक सख्त हो सकते हैं। गेम और वास्तविकता के बीच के इस अंतर को "Sim-to-Real Gap" कहा जाता है। जब आप गेम में प्रशिक्षित रोबोट को असली दुनिया में लाते हैं, तो वह अक्सर लड़खड़ा जाता है और विफल हो जाता है।

पुराना समाधान: "अंधेरे में तीर चलाना" (Standard Domain Randomization)

इसे ठीक करने के लिए, शोधकर्ता डोमेन रैंडमाइजेशन (Domain Randomization - DR) नामक एक तरकीब का उपयोग करते हैं। केवल एक आदर्श दिखने वाले वीडियो गेम में रोबोट को प्रशिक्षित करने के बजाय, वे हजारों थोड़े अलग संस्करण बनाते हैं।

एक संस्करण में, फर्श बहुत फिसलन भरा है।
दूसरे में, रोबोट भारी है।
तीसरे में, तेज़ हवा चल रही है।

रोबोट इन सभी अलग-अलग संस्करणों पर प्रशिक्षण लेता है ताकि जब वह अंततः असली दुनिया में पहुँचे, तो वह किसी भी स्थिति के लिए तैयार रहे।

खामी: इसे करने का पुराना तरीका आँखों पर पट्टी बाँधकर तीर चलाने जैसा है। आप संभावनाओं की एक बहुत बड़ी सीमा चुन लेते हैं (जैसे, "घर्षण (friction) 0 से 100 के बीच कहीं भी हो सकता है") और उस पूरी सीमा से रैंडम नंबर चुनते हैं। यह काम तो करता है, लेकिन यह अक्षम (inefficient) है। आप रोबोट को उन परिदृश्यों पर प्रशिक्षित करने में समय बर्बाद कर सकते हैं जो भौतिक रूप से असंभव हैं (जैसे, शून्य घर्षण वाला फर्श), जिससे समय और डेटा दोनों की बर्बादी होती है।

नया समाधान: "सुरागों का अध्ययन करना" (Offline Domain Randomization)

यह पेपर ऑफलाइन डोमेन रैंडमाइजेशन (Offline Domain Randomization - ODR) पेश करता है।

कल्पना कीजिए कि आपके पास पुराने, धूल भरे लॉग्स (डेटा) का एक बक्सा है जो एक ऐसे रोबोट का है जो पहले ही असली दुनिया में चल चुका है। आपने अभी तक रोबोट को प्रशिक्षित नहीं किया है, लेकिन आपके पास इन रिकॉर्ड्स का विवरण है कि वास्तव में क्या हुआ था।

ODR कहता है: "आइए पहले इन लॉग्स को देखें। जो वास्तव में हुआ, उसके आधार पर घर्षण, वजन और गति की सबसे संभावित सीमा क्या है?"
अंधेरे में अंदाज़ा लगाने के बजाय, ODR गणित का उपयोग करके एक वितरण (distribution/आकार) को फिट करता है जो वास्तविक दुनिया के डेटा से मेल खाता है। यह कहता है, "ठीक है, डेटा बताता है कि घर्षण संभवतः 0.4 और 0.6 के बीच है, न कि 0 से 100 के बीच।"

फिर, यह रोबोट को केवल उन्हीं वास्तविक परिदृश्यों का उपयोग करके प्रशिक्षित करता है।

यह पेपर वास्तव में क्या सिद्ध करता है (The "Statistical Guarantees")

लोग पहले से ही ODR और इसके जैसे एल्गोरिदम (जैसे DROPO) का उपयोग कर रहे थे और अच्छे परिणाम देख रहे थे, लेकिन कोई भी गणितीय रूप से यह सिद्ध नहीं कर पाया था कि यह क्यों काम करता है। यह पेपर उन "रसीदों" या गणितीय प्रमाणों को प्रदान करता है कि ODR एक ठोस और विश्वसनीय विधि है।

लेखक ODR को एक जासूसी खेल के रूप में देखते हैं:

सुराग (The Clue): ऑफलाइन डेटा (लॉग्स)।
संदिग्ध (The Suspect): वास्तविक दुनिया का असली भौतिक विज्ञान (जो हमें पता नहीं है)।
जासूस (The Detective): ODR एल्गोरिदम।

पेपर जासूस के बारे में दो मुख्य बातें सिद्ध करता है:

1. वीक कंसिस्टेंसी (Weak Consistency): "जासूस अधिक सुरागों के साथ बेहतर होता जाता है"

पेपर सिद्ध करता है कि यदि आप ODR एल्गोरिदम को अधिक और अधिक डेटा देते हैं, तो वास्तविक दुनिया के बारे में उसका अनुमान सत्य के और करीब आता जाता है।

उदाहरण: कल्पना कीजिए कि आप एक शहर में लोगों की औसत ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं। यदि आप 5 लोगों से पूछते हैं, तो आप बहुत गलत हो सकते हैं। यदि आप 10,000 लोगों से पूछते हैं, तो आपका अनुमान वास्तविक औसत के बहुत करीब होगा।
पेपर का दावा: जैसे-जैसे ऑफलाइन डेटा बढ़ता है, ODR एल्गोरिदम का "रैंडमाइजेशन डिस्ट्रीब्यूशन" वास्तविक दुनिया के भौतिक विज्ञान की ओर अभिसरण (converge/मूव) करता है। यह केवल अनुमान नहीं लगाता; यह सांख्यिकीय रूप से सत्य की ओर बढ़ता है।

2. स्ट्रॉन्ग कंसिस्टेंसी (Strong Consistency): "जासूस लगभग निश्चित रूप से सही है"

यह एक और भी मजबूत गारंटी है। पेपर दिखाता है कि कुछ सुचारू (smooth) स्थितियों के तहत (जैसे कि भौतिक विज्ञान अचानक और अप्रत्याशित रूप से नहीं बदलता), एल्गोरिदम केवल संभवतः सही नहीं होता; यह लगभग निश्चित रूप से (almost surely) सही होता है।

उदाहरण: "वीक कंसिस्टेंसी" यह कहने जैसा है कि, "यदि मैं पर्याप्त बार एक सिक्का उछालता हूँ, तो हेड्स का अनुपात 50% के करीब होगा।" "स्ट्रॉंग कंसिस्टेंसी" यह कहने जैसा है कि, "यदि मैं पर्याप्त बार सिक्का उछालता हूँ, तो मैं 100% निश्चित हूँ कि अनुपात अंततः ठीक 50% पर स्थिर हो जाएगा और वहीं रहेगा।"
पेपर का दावा: पर्याप्त डेटा और सुचारू भौतिक विज्ञान के साथ, ODR एल्गोरिदम अंततः सटीक वास्तविक दुनिया के मापदंडों (parameters) पर लॉक हो जाएगा और उससे भटकना बंद कर देगा।

"बारीक बातें" (Assumptions and Relaxations)

लेखक ईमानदारी से स्वीकार करते हैं कि उनका गणित कुछ नियमों (मान्यताओं) पर आधारित है। वे जांचते हैं कि क्या ये नियम वास्तविक दुनिया में तर्कसंगत हैं:

डेटा: वे मानते हैं कि डेटा वास्तविक दुनिया का एक निष्पक्ष नमूना है। वे दिखाते हैं कि भले ही डेटा पूरी तरह से रैंडम न हो (लेकिन एक स्थिर पैटर्न का पालन करता हो), गणित फिर भी काम करता है।
"असंभव" परिदृश्य: वे मानते हैं कि एल्गोरिदम भौतिक रूप से असंभव डेटा को समझाने की कोशिश नहीं करता है। वे दिखाते हैं कि भले ही डेटा कुछ क्षेत्रों में "पतला" (thin) हो, गणित को फिर भी काम करने के लिए बदला जा सकता है।
स्मूथनेस (Smoothness): वे मानते हैं कि यदि आप एक भौतिक पैरामीटर को थोड़ा बदलते हैं (जैसे, रोबोट के हाथ को 1% भारी बनाना), तो परिणाम सुचारू रूप से बदलता है, न कि अचानक और अराजक तरीके से। वे सिद्ध करते हैं कि अधिकांश वास्तविक दुनिया के भौतिक विज्ञान के लिए, जो आमतौर पर 'स्मूथ' होते हैं, यह बात लागू होती है।

सारांश

यह पेपर एक लोकप्रिय तकनीक जिसे ऑफलाइन डोमेन रैंडमाइजेशन कहा जाता है—जो रोबोट को वास्तविक दुनिया को संभालने के लिए सिखाने के लिए पिछले डेटा का उपयोग करता है—उसे एक कठोर गणितीय आधार प्रदान करता है।

यह सिद्ध करता है कि:

यह काम करता है: आप जितना अधिक डेटा इसमें डालेंगे, यह वास्तविक दुनिया के भौतिक विज्ञान का अनुमान लगाने में उतना ही बेहतर होता जाएगा।
यह विश्वसनीय है: यह केवल भाग्यशाली नहीं है; यह गणितीय रूप से गारंटी देता है कि जैसे-जैसे डेटा बढ़ेगा, यह सत्य की ओर बढ़ेगा।
यह व्यावहारिक है: गणित के लिए आवश्यक सख्त नियम इतने लचीले हैं कि वे वास्तविक दुनिया की रोबोटिक्स समस्याओं पर लागू हो सकते हैं।

संक्षेप में, पेपर कहता है: "आप ऑफलाइन डोमेन रैंडमाइजेशन पर भरोसा कर सकते हैं। यह केवल एक भाग्यशाली अनुमान नहीं है; यह सिमुलेशन और वास्तविकता के बीच के अंतर को पाटने का एक सांख्यिकीय रूप से सुदृढ़ तरीका है।"

तकनीकी सारांश: ऑफलाइन डोमेन रैंडमाइजेशन के लिए सांख्यिकीय गारंटी (Statistical Guarantees for Offline Domain Randomization)

समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL) एजेंट अक्सर सिमुलेशन से वास्तविक दुनिया में तैनात होने पर "सिम-टू-रियल गैप" (sim-to-real gap) के कारण विफल हो जाते हैं, जो सिम्युलेटेड डायनेमिक्स और वास्तविकता के बीच विसंगतियों के कारण होता है। जबकि डोमेन रैंडमाइजेशन (DR) भौतिक मापदंडों की एक विस्तृत रेंज पर यूनिफॉर्म रैंडमाइजेशन (UDR) का उपयोग करके इस अंतराल को कम करने के लिए एक प्रमुख रणनीति है, मानक DR वास्तविक सिस्टम से एकत्र किए गए मौजूदा ऑफलाइन डेटा की अनदेखी करता है।

ऑफलाइन डोमेन रैंडमाइजेशन (ODR) इसे संबोधित करता है, जो पॉलिसी ट्रेनिंग से पहले एक ऑफलाइन डेटासेट पर सिम्युलेटर मापदंडों के वितरण (distribution) को फिट करने के लिए डेटा का उपयोग करता है। हालांकि DROPO और DROID जैसे अनुभवजन्य (empirical) तरीकों ने सफलता दिखाई है, ODR के सैद्धांतिक आधार अभी भी अनछुए हैं। विशेष रूप से, यह अज्ञात है कि क्या फिट किया गया वितरण बढ़ते डेटा के साथ वास्तविक डायनेमिक्स की ओर अभिसरित (converge) होता है, या सिम-टू-रियल गैप को कम करने में ODR सैद्धांतिक रूप से UDR की तुलना में कैसा प्रदर्शन करता है।

कार्यप्रणाली और सूत्रीकरण (Methodology and Formulation)

लेखक ODR को एक पैरामेट्रिक फैमिली ऑफ सिम्युलेटर्स पर मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) समस्या के रूप में प्रस्तुत करते हैं।

सेटअप: वातावरण को एक एपिसोडिक मार्कोव डिसीजन प्रोसेस (MDP) के रूप में मॉडल किया गया है। वास्तविक-विश्व वातावरण $M_{\xi^*}$ है, जहाँ $\xi^*$ अज्ञात वास्तविक पैरामीटर वेक्टर है। एक सिम्युलेटर क्लास $\mathcal{U} = \{M_\xi : \xi \in \Xi\}$ को परिभाषित किया गया है।
ऑफलाइन डेटा: एक ऑफलाइन डेटासेट $\mathcal{D} = \{(s_i, a_i, s'_i)\}_{i=1}^N$ एक अज्ञात बिहेवियर पॉलिसी के तहत वास्तविक सिस्टम से एकत्र किया गया है।
एस्टिमेशन (Estimation): लक्ष्य एक वितरण $p_\phi(\xi)$ का अनुमान लगाना है (जो $\phi = (\mu, \Sigma)$ द्वारा पैरामीट्रिक है, जिसे गॉसियन माना गया है) जो देखे गए ट्रांजिशन की संभावना (likelihood) को अधिकतम करता है। उद्देश्य है:
$\hat{\phi}_N = \arg\max_{\phi \in \Phi} \sum_{(s,a,s') \in \mathcal{D}} \log \left( \mathbb{E}_{\xi \sim p_\phi(\xi)} [P_\xi(s' | s, a)] \right)$
यह सूत्रीकरण ट्रांजिशन प्रोबेबिलिटी को सीखे गए वितरण द्वारा भारित (weighted) सिम्युलेटर ट्रांजिशन्स के मिश्रण (mixture) के रूप में मानता है।
पॉलिसी ट्रेनिंग: एक बार जब $\hat{\phi}_N$ सीख लिया जाता है, तो इस वितरण का उपयोग डोमेन रैंडमाइजेशन के लिए प्रायर (prior) के रूप में करके सिम्युलेटर में एक पॉलिसी को प्रशिक्षित किया जाता है।

मुख्य योगदान और सैद्धांतिक परिणाम (Key Contributions and Theoretical Results)

यह शोध पत्र ODR के लिए पहले सांख्यिकीय स्थिरता (statistical consistency) प्रमाण प्रदान करता है, यह स्थापित करते हुए कि किन परिस्थितियों में सीखा गया वितरण वास्तविक डायनेमिक्स की ओर अभिसरित होता है।

1. कमजोर स्थिरता (Weak Consistency - Section 4)

हल्की रेगुलैरिटी, पॉजिटिविटी और आइडेंटिफिएबिलिटी धारणाओं के तहत, लेखक सिद्ध करते हैं कि ODR एस्टिमेटर कमजोर रूप से सुसंगत (weakly consistent) है।

मान्यताएं (Assumptions):
- सिम्युलेटर रेगुलैरिटी: ट्रांजिशन डेंसिटीज पैरामीटर्स के सापेक्ष बाउंडेड और निरंतर हैं।
- कॉम्पैक्टनेस: पैरामीटर स्पेस कॉम्पैक्ट है।
- मिक्सचर पॉजिटिविटी: प्रेरित मिश्रण घनत्व (induced mixture density) डेटा सपोर्ट पर स्ट्रिक्टली पॉजिटिव है।
- आइडेंटिफिएबिलिटी: एकमात्र मिश्रण वितरण जो वास्तविक ट्रांजिशन कर्नेल को पूरी तरह से रिकवर करता है, वह वास्तविक पैरामीटर्स $\xi^*$ पर डेजेनरेट वितरण है।
परिणाम: जैसे-जैसे डेटासेट का आकार $N \to \infty$ होता है, एम्पिरिकल मैक्सिमाइज़र $\hat{\phi}_N$ संभाव्यता (probability) में वास्तविक पैरामीटर $\phi^* = (\xi^*, 0)$ की ओर अभिसरित होता है।
$\hat{\phi}_N \xrightarrow{P} \phi^*$

2. मजबूत स्थिरता (Strong Consistency - Section 5)

लॉग-लाइकेलीहुड फंक्शन पर एक यूनिफॉर्म लिप्सचिट्ज़ निरंतरता (Uniform Lipschitz Continuity) धारणा जोड़कर, लेखक इस परिणाम को मजबूत स्थिरता (strong consistency) में अपग्रेड करते हैं।

मान्यता: लॉग-लाइकेलीहुड फंक्शन वितरणत्मक मापदंडों $\phi$ के संबंध में यूनिफॉर्म लिप्सचिट्ज़ निरंतर है।
परिणाम: एस्टिमेटर लगभग निश्चित रूप से (almost surely) वास्तविक पैरामीटर की ओर अभिसरित होता है।
$\hat{\phi}_N \xrightarrow{a.s.} \phi^*$
इसका अर्थ है कि प्रायिकता एक (probability one) के साथ, अनुमानित वितरण वास्तविक सिम्युलेटर मापदंडों पर सटीक रूप से कोलैप्स हो जाता है।

3. व्यावहारिकता और छूट (Practicality and Relaxations - Section 6)

लेखक अपनी मान्यताओं की व्यावहारिकता का विश्लेषण करते हैं और व्यापक प्रयोज्यता के लिए उन्हें शिथिल (relaxations) करने के उपाय प्रदान करते हैं:

i.i.d. धारणा: स्वतंत्र और समान रूप से वितरित (i.i.d.) डेटा की आवश्यकता को स्ट्रिक्ट स्टेशनरिटी और एरगोडिसिटी (ergodicity) में बदला जा सकता है, जो फिक्स्ड बिहेवियर पॉलिसी द्वारा एकत्र किए गए डेटा के लिए लागू होता है।
मिक्सचर पॉजिटिविटी: स्ट्रिक्ट पॉजिटिविटी धारणा को एक लॉगारिदमिक टेल कंडीशन में शिथिल किया जा सकता है, जो लाइट-टेल्ड परिवारों (जैसे गॉसियन) की अनुमति देता है जहाँ घनत्व शून्य के करीब पहुँच सकता है।
लिप्सचिट्ज़ निरंतरता: लिप्सचिट्ज़ आवश्यकता के लिए एक पर्याप्त स्थिति प्रदान की गई है: सिम्युलेटर का ट्रांजिशन कर्नेल भौतिक मापदंडों के सापेक्ष बाउंडेड ग्रेडिएंट्स और हेसियन (Hessians) के साथ दो बार निरंतरतः अवकलनीय ( $C^2$ ) होना चाहिए। यह उन सिम्युलेटर्स द्वारा संतुष्ट किया जाता है जो स्मूथ फिजिक्स द्वारा संचालित होते हैं।
आंशिक कवरेज (Partial Coverage): उन मामलों में जहाँ डेटासेट पूरे स्टेट-एक्शन स्पेस को कवर नहीं करता है, एस्टिमेटर एक एकल बिंदु के बजाय मापदंडों के एक आइडेंटिफाइड सेट (identified set) $Q^*_\mu$ की ओर अभिसरित होता है जो डेटा के आधार पर अवलोकन योग्य रूप से अविभेद्य (indistinguishable) हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह ऑफलाइन डोमेन रैंडमाइजेशन को एक सिद्धांतिक आधार (principled footing) पर रखता है। स्थिरता सिद्ध करके, यह इस अनुभवजन्य अवलोकन को मान्य करता है कि ODR विधियाँ (जैसे DROPO) हाथ से ट्यून किए गए यूनिफॉर्म DR की तुलना में बेहतर प्रदर्शन करती हैं। यह कार्य अनुभवजन्य सफलता और सैद्धांतिक समझ के बीच के अंतर को पाटता है, यह प्रदर्शित करते हुए कि ऑफलाइन लॉग केवल निष्क्रिय डेटासेट नहीं बल्कि सिद्धांत आधारित डोमेन रैंडमाइजेशन के लिए शक्तिशाली उपकरण हैं।

लेखक स्पष्ट रूप से कहते हैं कि उनके परिणाम यह स्पष्ट करते हैं कि कब ऑफलाइन डेटा डाउनस्ट्रीम ऑफलाइन RL के लिए रैंडमाइजेशन वितरण के चयन को ठोस रूप से निर्देशित कर सकता है। वे सार्वभौमिक रूप से सिम-टू-रियल गैप को हल करने का दावा नहीं करते हैं, बल्कि उन सांख्यिकीय गारंटियों को प्रदान करते हैं जो यह न्यायसंगत बनाने के लिए आवश्यक हैं कि किन स्थितियों में (जहाँ मूल धारणाएं या उनकी छूट लागू होती है) ODR का उपयोग किया जा सकता है। यह कार्य अनुभवजन्य सफलताओं को एक एकल ढांचे में सैद्धांतिक गारंटी के साथ एकीकृत करता है, जो ODR की व्यापक अनुप्रयोग क्षमता को न्यायसंगत ठहराने के लिए नैदानिक (diagnostics) और छूट प्रदान करता है।