How Should a Simulation-to-Reality Transfer Budget Be Spent?

तकनीकी सारांश: सिमुलेशन-टू-रियलिटी ट्रांसफर बजट को कैसे खर्च किया जाना चाहिए?

समस्या विवरण
रोबोट लर्निंग में, "रियलिटी गैप" तब उत्पन्न होता है जब सिमुलेशन में प्रशिक्षित नीतियां वास्तविक हार्डवेयर पर विफल हो जाती हैं क्योंकि सिमुलेटेड और वास्तविक डायनेमिक्स के बीच विसंगतियां होती हैं। दो प्राथमिक रणनीतियां इसे संबोधित करती हैं: सिस्टम आइडेंटिफिकेशन (ID), जो भौतिक मापदंडों का अनुमान लगाने और सिम्युलेटर को ट्यून करने के लिए वास्तविक-रोबोट डेटा का उपयोग करता है, और डोमेन रैंडमाइजेशन (DR), जो मजबूत व्यवहार सीखने के लिए रैंडमाइज्ड सिम्युलेटर के एक वितरण (distribution) पर नीतियां प्रशिक्षित करता है। दोनों रणनीतियां एक ही सीमित संसाधन के लिए प्रतिस्पर्धा करती हैं: वास्तविक-रोबोट इंटरेक्शन टाइम (रोलआउट्स) का सीमित बजट। जबकि मौजूदा साहित्य अक्सर इन विधियों का अलग-अलग अध्ययन करता है, सटीक माप (ID) बनाम एक व्यापक रैंडमाइजेशन वितरण (DR) को सही ठहराने के बीच का ट्रेडऑफ़ अच्छी तरह से समझ में नहीं आया है। यह शोध पत्र इस चुनाव को एक बजट-एलोकेशन समस्या के रूप में देखता है: दिए गए निश्चित वास्तविक-रोबोट रोलआउट की संख्या के साथ, उन्हें आइडेंटिफिकेशन और रैंडमाइजेशन की चौड़ाई के बीच कैसे विभाजित किया जाना चाहिए?

कार्यप्रणाली (Methodology)
लेखकों ने भौतिक हार्डवेयर के भ्रामक चरों (confounding variables) को अलग करने के लिए एक नियंत्रित सिम-टू-सिम अध्ययन आयोजित किया।

• सेटअप: एक "रियलिटी" सिम्युलेटर ($R$) जिसमें छिपे हुए, स्थिर पैरामीटर (बॉब मास $m$ और रॉड लेंथ $\ell$) थे, लक्ष्य सिस्टम के रूप में कार्य करता था। एक "ट्रेनिंग" सिम्युलेटर ($T$) था जिसमें इन मापदंडों को समायोजित किया जा सकता था। वास्तविक पैरामीटर $\theta^* = (2.0, 1.5)$ पर सेट किए गए थे, जो नॉमिनल प्रायर $\theta_0 = (1.0, 1.0)$ से काफी भिन्न थे।
• बजट आवंटन: अध्ययन ने दो स्वतंत्र चरों को बदला:
  1. $n$ (आइडेंटिफिकेशन बजट): $R$ पर उपयोग किए गए रोलआउट्स की संख्या जिनका उपयोग मापदंडों का अनुमान लगाने के लिए किया जाता है। इन रोलआउट्स में एक रैंडम-टॉर्क एक्साइटेशन पॉलिसी का उपयोग किया गया। मापदंडों का अनुमान गॉसियन सेंसर नॉइज़ ($\sigma=1.0$) के अधीन, वन-स्टेप एंगुलर-वेलोसिटी प्रेडिक्शन एरर को कम करने वाले ग्रिड सर्च के माध्यम से लगाया गया।
  2. $w$ (रैंडमाइजेशन विड्थ): मापदंडों को रैंडमाइज करने के लिए उपयोग किए जाने वाले यूनिफॉर्म डिस्ट्रीब्यूशन की चौड़ाई, जिसे पॉइंट एस्टीमेट $\hat{\theta}$ के एक अंश के रूप में परिभाषित किया गया है। $w=0$ का अर्थ है पॉइंट एस्टीमेट पर प्रशिक्षण; बड़ा $w$ का अर्थ है $\hat{\theta}$ के केंद्र में एक व्यापक बैंड।
• प्रशिक्षण और मूल्यांकन: प्रत्येक $(n, w)$ कॉन्फ़िगरेशन के लिए, एक सॉफ्ट एक्टर-क्रिटिक (SAC) पॉलिसी को 75,000 स्टेप्स के लिए प्रशिक्षित किया गया। प्रदर्शन का मूल्यांकन छिपे हुए टारगेट सिस्टम $R$ पर 20 डिटर्मिनिस्टिक एपिसोड के माध्यम से जीरो-शॉट रिटर्न द्वारा किया गया।
• स्कोप: अध्ययन ने दस सीड्स के माध्यम से $n \in \{0, 5, 10, 25, 50\}$ और $w \in \{0, 0.1, 0.2, 0.3, 0.5\}$ का स्वीप किया, जिसमें कुल 250 रन हुए। सांख्यिकीय महत्व का आकलन पेयर्ड-बूटस्ट्रैप कॉन्फिडेंस इंटरवल का उपयोग करके किया गया।

मुख्य परिणाम
प्रयोगों ने माप बनाम रैंडमाइजेशन की चौड़ाई के मूल्य में एक स्पष्ट पदानुक्रम प्रकट किया:

1. मापन की प्रधानता (Measurement Dominance): आइडेंटिफिकेशन के लिए वास्तविक-रोबोट रोलआउट्स का आवंटन ($n$) प्रदर्शन का प्राथमिक चालक था। पहले कुछ रोलआउट्स के साथ ही ट्रांसफर गैप तेजी से कम हो गया। विशेष रूप से, $n=0$ से $n=10$ तक जाने से रिटर्न में भारी सुधार (लगभग +427 पॉइंट्स) हुआ, जबकि $n=10$ के बाद $n$ बढ़ाने से मिलने वाला लाभ घटता गया (diminishing returns)।
2. पॉइंट एस्टीमेट्स रैंडमाइजेशन से बेहतर हैं: जैसे ही कोई वास्तविक डेटा उपलब्ध हुआ ($n > 0$), पॉइंट पैरामीटर्स पर प्रशिक्षण ($w=0$) ने किसी भी विस्तृत रैंडमाइजेशन बैंड पर प्रशिक्षण की तुलना में काफी बेहतर प्रदर्शन किया। यहाँ तक कि एक संकीर्ण बैंड ($w=0.2$) भी $w=0$ की तुलना में सांख्यिकीय रूप से कम रिटर्न वाला रहा।
3. रैंडमाइजेशन माप का विकल्प नहीं हो सकता: व्यापक रैंडमाइजेशन जो सैद्धांतिक रूप से वास्तविक सिस्टम को समाहित करता है (जैसे, प्रायर-रेंज बेसलाइन जो $[0.3, 3.0]$ को कवर करती है), माप का विकल्प बनने में विफल रहा। $n=0$ और वाइड रैंडमाइजेशन के साथ प्रशिक्षित पॉलिसियाँ खराब प्रदर्शन करती थीं (रिटर्न $\approx -749$), जो $n=0, w=0$ बेसलाइन के समान थी, और $n=50, w=0$ "प्योर फिडेलिटी" बेसलाइन (रिटर्न $\approx -337$) से काफी खराब थी।
4. मजबूती (Robustness): ये निष्कर्ष विभिन्न रियलिटी गैप्स (छोटे, मुख्य, बड़े) और सेंसर नॉइज़ स्तरों में भी कायम रहे। हालांकि नॉइज़ स्तरों के साथ बजट कर्व का विशिष्ट "नी" (knee) बदल गया (जैसे, उच्च नॉइज़ पर अधिक रोलआउट की आवश्यकता), गुणात्मक क्रम बना रहा: माप महत्वपूर्ण है, और माप के बाद बैंड को चौड़ा करना हानिकारक है।

योगदान और महत्व
यह पेपर कोई नया एल्गोरिदम प्रस्तावित नहीं करता है, बल्कि एक निश्चित बजट के तहत आइडेंटिफिकेशन-बनाम-रैंडमाइजेशन ट्रेडऑफ़ का एक मापने योग्य लक्षण वर्णन प्रदान करता है।

• औपचारिकीकरण (Formalization): यह ID बनाम DR के चुनाव को एक एकल बजट-एलोकेशन समस्या के रूप में तैयार करता है और पूर्ण रिटर्न सरफेस को मैप करता है।
• अनुभवजन्य साक्ष्य (Empirical Evidence): यह प्रदर्शित करता है कि एक ऐसे शासन (regime) में जहाँ डायनेमिक्स आइडेंटिफिएबल हैं और सिम्युलेटर फैमिली में टारगेट सिस्टम मौजूद है, चौड़ाई से माप (breadth) का महत्व अधिक है। आइडेंटिफिकेशन के लिए कुछ रोलआउट्स ही ट्रांसफर गैप का अधिकांश हिस्सा बंद कर देते हैं।
• रणनीतिक सिफारिश: लेखक निष्कर्ष निकालते हैं कि सिम-टू-रियल पाइपलाइनों को उन मापदंडों को मापने को प्राथमिकता देनी चाहिए जिन्हें सिम्युलेटर के मॉडल क्लास के भीतर पहचाना जा सकता है। डोमेन रैंडमाइजेशन का उपयोग केवल उस अनिश्चितता के लिए किया जाना चाहिए जो माप के बाद शेष रहती है, न कि इसके विकल्प के रूप में।

सीमाएं और स्कोप
लेखक स्पष्ट रूप से नोट करते हैं कि ये परिणाम एक "बेनाइन रिजीम" (benign regime) लागू होते हैं जहाँ:

• सिम्युलेटर अच्छी तरह से निर्दिष्ट है (कोई स्ट्रक्चरल मॉडल मिसमैच नहीं)।
• केवल दो पैरामीटर अज्ञात हैं।
• वास्तविक सिस्टम सिम्युलेटर फैमिली द्वारा प्रस्तुत किया जा सकता है।

लेखक स्वीकार करते हैं कि वास्तविक दुनिया के परिदृश्यों में स्ट्रक्चरल मिसमैच (जैसे, अनमॉडलड फ्रिक्शन, बैकलेश, या कॉन्टैक्ट डायनेमिक्स) के शामिल होने पर, जहाँ कोई भी पैरामीटर फिट पूरी तरह से टारगेट को पुनरुत्पादित नहीं कर सकता, रैंडमाइजेशन की चौड़ाई का मूल्य बढ़ सकता है। वर्तमान निष्कर्ष उस कठिन सेटिंग के लिए एक बेसलाइन के रूप में कार्य करते हैं, जो सुझाव देते हैं कि जब पैरामीटर्स को पहचाना जा सकता है, तो रैंडमाइजेशन से पहले फिडेलिटी (सटीकता) आनी चाहिए।