Rapid co-design of Buoyancy-assisted robots for Challenging Locomotion using Gaussian Evolutionary Specialists

तकनीकी सारांश: गॉसियन इवोल्यूशनरी स्पेशलिस्ट्स का उपयोग करके उछाल-सहायता प्राप्त रोबोटों का तीव्र सह-डिज़ाइन (Co-design)

समस्या विवरण (Problem Statement)

यह शोध पत्र रोबोट सह-डिज़ाइन (robot co-design) की चुनौती को संबोधित करता है, जिसमें रोबोट की आकृति (morphology - भौतिक संरचना) और नियंत्रण नीतियों (control policies) का संयुक्त अनुकूलन शामिल है, ताकि ऐसे कार्य प्रदर्शन को प्राप्त किया जा सके जो अकेले किसी भी घटक द्वारा संभव नहीं है। विशेष रूप से, लेखक बॉयन्सी-असिस्टेड लाइट लेग्ड यूनिट (BALLU) पर ध्यान केंद्रित करते हैं, जो एक द्विपाद (bipedal) रोबोट है जो वजन को कम करने के लिए हीलियम गुब्बारों का उपयोग करता है।

मुख्य कठिनाई सह-डिज़ाइन प्रक्रिया की कम्प्यूटेशनल लागत में निहित है। यह एक द्वि-स्तरीय अनुकूलन (bi-level optimization) समस्या है:

1. बाहरी लूप (Outer Loop): आकृति डिज़ाइन स्पेस की खोज करता है।
2. आंतरिक लूप (Inner Loop): प्रत्येक संभावित आकृति के लिए, एक मजबूत नियंत्रक को प्रशिक्षित किया जाना चाहिए (आमतौर पर सुदृढीकरण शिक्षण, RL के माध्यम से)।

मौजूदा दृष्टिकोणों में महत्वपूर्ण बाधाएं हैं:

• बार-बार RL प्रशिक्षण: प्रत्येक आकृति उम्मीदवार के लिए नए सिरे से एक नीति (policy) को प्रशिक्षित करना कम्प्यूटेशनल रूप से अत्यधिक महंगा है।
• यूनिवर्सल नीतियां (Universal Policies): आकृति मापदंडों पर आधारित एक एकल "यूनिवर्सल" नीति को प्री-ट्रेन करना, ताकि ज़ीरो-शॉट मूल्यांकन संभव हो सके, व्यवहार संबंधी विविधता पतन (behavioral diversity collapse) के कारण विफल हो जाता है। नीति एक एकल, उप-इष्टतम लोकोमोशन रणनीति पर अभिसरित (converge) हो जाती है क्योंकि विविध आकृतियों से प्राप्त परस्पर विरोधी ग्रेडिएंट्स औसत होकर समाप्त हो जाते हैं।
• एंड-टू-एंड मिक्सचर-ऑफ-एक्सपर्ट्स (MoE): जबकि MoE आर्किटेक्चर सैद्धांतिक रूप से विशेषज्ञ (specialized experts) बनाने की अनुमति देते हैं, वे इस संदर्भ में प्रतिनिधित्व पतन (representation collapse) से ग्रस्त होते हैं। राउटर प्रशिक्षण के शुरुआती चरणों में विशेषज्ञों के बीच अंतर करने में विफल रहता है, जिससे सभी विशेषज्ञ समान व्यवहारों की ओर अभिसरित हो जाते हैं, जिससे मिश्रण अप्रभावी हो जाता है।

कार्यप्रणाली: गॉसियन इवोल्यूशनरी स्पेशलिस्ट्स (GES)

लेखक गॉसियन इवोल्यूशनरी स्पेशलिस्ट्स (GES) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो डिज़ाइन स्पेस के विभाजन को नियंत्रण नीतियों के सीखने से अलग करता है ताकि यूनिवर्सल या एंड-टू-एंड MoE नीतियों की विफलता मोड के बिना स्पष्ट रूप से विविध व्यवहारों को कैप्चर किया जा सके।

मुख्य तंत्र (Core Mechanism):
GES $K$ विशेषज्ञ नीतियों को बनाए रखता है, जिनमें से प्रत्येक एक गॉसियन टेरिटरी (Gaussian territory) (जो डिज़ाइन पैरामीटर स्पेस में एक माध्य $\mu_k$ और विकर्ण सहप्रसरण $\Sigma_k$ द्वारा परिभाषित है) से जुड़ी होती है। यह ढांचा तीन चरणों वाले एक पुनरावृत्ति लूप (iterative loop) में कार्य करता है जब तक कि डिज़ाइन स्पेस पर्याप्त रूप से कवर न हो जाए (95% मोंटे कार्लो कवरेज):

1. आरंभीकरण (Initialization):

   • $K$ गॉसियन केंद्रों को फार्टेस्ट पॉइंट सैंपलिंग (FPS) के बाद लॉयड रिलैक्सेशन (Lloyd'-s Relaxation) का उपयोग करके सामान्यीकृत डिज़ाइन स्पेस में अच्छी तरह से वितरित और स्थान-भरने वाले कवरेज के लिए आरंभीकृत किया जाता है।
   • प्रत्येक विशेषज्ञ को एक रैंडम MLP के रूप में आरंभीकृत किया जाता है।

2. पुनरावृत्ति टेरिटरी विकास (Iterative Territory Evolution):

   • प्रशिक्षण (Train): प्रत्येक विशेषज्ञ $\pi_k$ अपनी वर्तमान गॉसियन टेरिटरी से डिज़ाइन सैंपल लेता है और पिछले चेकपॉइंट्स से पुनः आरंभ करके PPO के माध्यम से प्रशिक्षण लेता है ताकि सीखे गए व्यवहारों को बनाए रखा जा सके।
   • जांच (Probe): सभी गॉसियन टेरिटरीज की सीमाओं ($2\sigma$) के पास उम्मीदवार डिज़ाइन सैंपल किए जाते हैं। इन उम्मीदवारों का सभी $K$ विशेषज्ञों द्वारा मूल्यांकन किया जाता है। प्रत्येक उम्मीदवार को उस विशेषज्ञ को प्रतिस्पर्धी रूप से सौंपा जाता है जो उच्चतम कार्य प्रदर्शन स्कोर ($J$) प्राप्त करता है।
   • रीफिट (Refit): प्रत्येक विशेषज्ञ के लिए गॉसियन पैरामीटर्स ($\mu_k, \Sigma_k$) को उन डिज़ाइनों के माध्य और सहप्रसरण को दर्शाने के लिए अपडेट किया जाता है जिन्हें उसने जांच चरण में "जीता" था। यह टेरिटरीज को विस्तार करने और अनुभवजन्य प्रदर्शन के आधार पर अनुकूलित होने की अनुमति देता है।

3. सह-डिज़ाइन एकीकरण (Co-Design Integration):

   • प्रशिक्षण पूरा होने के बाद, विशेषज्ञ बाहरी डिज़ाइन अनुकूलन लूप (जैसे, बायेसियन ऑप्टिमाइज़ेशन) के लिए ज़ीरो-शॉट इवैल्यूएटर्स के रूप में कार्य करते हैं।
   • एक नए उम्मीदवार डिज़ाइन के लिए, एक ज्यामितीय राउटर गॉसियन संभावना के आधार पर निकटतम विशेषज्ञ का चयन करता है, और विशेषज्ञ के प्रदर्शन का सीधे मूल्यांकन किया जाता है, जिससे पुन: प्रशिक्षण की आवश्यकता समाप्त हो जाती है।

प्रमुख योगदान (Key Contributions)

1. विफलता मोड की पहचान: यह शोध पत्र व्यवहार संबंधी विविधता पतन को पहचानता है, जो रोबोट सह-डिज़ाइन में यूनिवर्सल नीतियों का एक पहले से अज्ञात विफलता मोड है, जहाँ नीतियां आकृति के बावजूद एक ही रणनीति की ओर अभिसरित हो जाती हैं। यह यह भी बताता है कि कैसे प्रतिनिधित्व पतन एंड-टू-एंड MoE प्रशिक्षण को कमजोर करता है।
2. GES ढांचा: GES का प्रस्ताव एक दो-चरणीय ढांचे के रूप में है जो दोनों पतन समस्याओं को हल करने के लिए पुनरावृत्ति गॉसियन टेरिटरी विकास का उपयोग करता है। डिज़ाइन विभाजन को विशेषज्ञता से अलग करके, GES यह सुनिश्चित करता है कि प्रत्येक विशेषज्ञ डिज़ाइन स्पेस के एक स्थिर, सुपरिभाषित क्षेत्र पर प्रशिक्षण ले।
3. हार्डवेयर सत्यापन: भौतिक हार्डवेयर पर GES-अनुकूलित डिज़ाइन का सफल परिनियोजन, जो बाधा पार करने की क्षमताओं में महत्वपूर्ण सुधार प्रदर्शित करता है।

परिणाम (Results)

इस पद्धति को सिमुलेशन (Isaac Lab) और हार्डवेयर पर BALLU प्लेटफॉर्म पर सत्यापित किया गया।

• सिमुलेशन प्रदर्शन:

  • बाधा पार करना (2D स्पेस): GES ने एक मोनोलिथिक यूनिवर्सल पॉलिसी (e2e MLP) की तुलना में 25.5% और एक एंड-टू-एंड MoE की तुलना में 8.62% औसत प्रदर्शन सुधार हासिल किया। GES डिज़ाइन ने 38 सेमी की यूनिवर्सल पॉलिसी की तुलना में 54 सेमी तक की बाधाओं को पार किया।
  • बाधा पार करना (3D स्पेस): GES ने यूनिवर्सल पॉलिसी पर 31.7% पीक गेन दिखाया, जिसमें औसत सुधार 18.8% था।
  • रैंप क्लाइंबिंग: GES ने 2D स्पेस में बेसलाइन्स की तुलना में औसत प्रदर्शन में लगभग 13% का सुधार किया।
  • दक्षता: GES ने महंगी RL पुन: प्रशिक्षण को सीधे मूल्यांकन से बदलकर कुल सह-डिज़ाइन वॉल-क्लॉक समय को 37% (लगभग 100 घंटे से घटाकर ~63 घंटे) कम कर दिया।

• हार्डवेयर परिणाम:

  • एक सह-डिज़ाइन किया गया BALLU (जो $GCR=0.86, SPCF=0.008$ के लिए अनुकूलित है) ने सफलतापूर्वक 24 सेमी की बाधा को पार किया।
  • यह बेसलाइन BALLU डिज़ाइन की तुलना में 3 गुना सुधार है, जो केवल 8 सेमी की बाधा पार कर सकता था।
  • परिणाम पुष्टि करते हैं कि सिमुलेशन में खोजे गए आकृति सुधार, सिम-टू-रियल गैप के बावजूद, भौतिक प्लेटफॉर्म पर प्रभावी रूप से स्थानांतरित होते हैं।

• व्यवहार विश्लेषण:

  • बेसलाइन्स के विपरीत, GES विशेषज्ञों ने व्यवहार संबंधी विविधता बनाए रखी। विज़ुअलाइज़ेशन ने दिखाया कि एक ही रोबोट डिज़ाइन को नियंत्रित करने वाले विभिन्न विशेषज्ञ बाधाओं को पार करने के लिए गुणात्मक रूप से भिन्न फुट ट्रेजेक्टरी और रणनीतियाँ उत्पन्न करते हैं।
  • एंड-टू-एंड MoE बेसलाइन प्रतिनिधित्व पतन से ग्रस्त था, जहाँ विशेषज्ञों के बीच डिज़ाइनों को समान रूप से वितरित किया गया था, जबकि GES ने कठोर विभाजन स्थापित किया जहाँ प्रत्येक विशेषज्ञ अपने विशिष्ट सबस्पेस में प्रभावी था।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि GES यूनिवर्सल नीतियों और मानक MoE आर्किटेक्चर की मौलिक सीमाओं को पार करके रोबोट सह-डिज़ाइन के लिए एक स्केलेबल और कुशल समाधान प्रदान करता है। पुनरावृत्ति टेरिटरी विकास के माध्यम से विविध व्यवहारों को स्पष्ट रूप से कैप्चर करके, GES उच्च-प्रदर्शन वाले रोबोट मॉर्फोलॉजी की खोज करने में सक्षम बनाता है जो अन्यथा पतन वाले इवैल्यूएटर्स द्वारा छूट जाते। इस ढांचे को प्लेटफॉर्म-अज्ञेय (platform-agnostic) के रूप में प्रस्तुत किया गया है, हालांकि वर्तमान सत्यापन उछाल-सहायता प्राप्त लेग्ड रोबोट्स के लिए विशिष्ट है। लेखक नोट करते हैं कि विधि यह मानती है कि विशेषज्ञों की संख्या निश्चित है और डिज़ाइन स्पेस निरंतर (continuous) तथा सीमित (bounded) है, जिन्हें भविष्य के अनुकूलन के क्षेत्र के रूप में पहचाना गया है।