Amortising Trajectory Optimisation for Residual MPC via Implicit Contact Differentiation

कल्पना कीजिए कि आप एक रोबोट को चलना, जग्लिंग करना या फुटबॉल खेलना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, रोबोट को एक "दिमाग" की आवश्यकता होगी जो उसके सिर में भविष्य का अनुकरण (simulate) कर सके, यह देखने के लिए कि कौन सा मूव सबसे अच्छा काम करता है। इसे ट्रैजेक्टरी ऑप्टिमाइज़ेशन (trajectory optimisation) कहा जाता है। सबसे कठिन हिस्सा कॉन्टैक्ट (contact) है। जब रोबोट का पैर जमीन से टकराता है, या गेंद दीवार से टकराकर वापस आती है, या हाथ किसी कप को पकड़ता है, तो भौतिकी (physics) बहुत जटिल और अप्रत्याशित हो जाती है। यह बिल्कुल वैसा ही है जैसे यह अनुमान लगाना कि जब आप जेन्गा (Jenga) के ब्लॉक से एक ब्लॉक खींचते हैं, तो ढेर कैसे गिरेगा; बल में मामूली बदलाव भी परिणाम में भारी बदलाव ला सकते हैं।

इन भविष्यवाणियों को करने के लिए, वैज्ञानिक डिफरेंशिएबल सिमुलेशन (differentiable simulation) का उपयोग करते हैं। इसे एक सुपर-पावर्ड वीडियो गेम इंजन की तरह समझें जो न केवल आपको अगला फ्रेम दिखाता है, बल्कि यह भी बताता है कि यदि आप कंट्रोल को थोड़ा सा हिलाते हैं, तो खेल कैसे बदलेगा। यह "नज सेंसिटिविटी" (nudge sensitivity) रोबोट को अपनी गलतियों से तुरंत सीखने की अनुमति देती है। हालाँकि, एक समस्या है: कॉन्टैक्ट-भारी कार्यों के लिए इन 'नज' (nudges) की गणना करना अविश्वसनीय रूप से महंगा है। यह एक स्लो मोशन फिल्म बनाने जैसा है, जहाँ हर बार जब कैमरा किसी टकराव पर ज़ूम करता है, तो फिल्म का रील लंबा होता जाता है, और अंततः सीन पूरा होने से पहले ही आपकी हार्ड ड्राइव भर जाती है। यह पेपर इस मेमोरी की समस्या को हल करता है और दिखाता है कि रोबोट जटिल कॉन्टैक्ट स्किल्स को बहुत तेज़ी से और अधिक विश्वसनीय तरीके से कैसे सीख सकते हैं।

---

समस्या: रोबोट के दिमाग में "मेमोरी मॉन्स्टर"

कल्पना कीजिए कि आप एक भूलभुलैया (maze) सुलझाने की कोशिश कर रहे हैं। एक रोबोट को भूलभुलैया सुलझाने के लिए सिखाने का मानक तरीका यह है कि उसे भूलभुलैया के माध्यम से चलने दें, दीवार से टकराने दें, और फिर टेप को पीछे घुमाकर देखें कि वह कहाँ गलत हुआ था। रोबोटिक भौतिकी की दुनिया में, इस "टेप को पीछे घुमाने" को अनरोल्ड ऑटोमैटिक डिफरेंशिएशन (unrolled automatic differentiation) कहा जाता है।

समस्या तब आती है जब रोब besteht दीवार (या फर्श, या किसी अन्य वस्तु) से टकराता है। उस टक्कर की भौतिकी को समझने के लिए, कंप्यूटर को कई बार जटिल गणना करनी पड़ती है, जैसे कि एक जासूस सुरागों की जांच और पुन: जांच करता है जब तक कि उत्तर सटीक न हो जाए। यदि कंप्यूटर को सही उत्तर पाने के लिए 10 बार जांच करने की आवश्यकता है, तो "अनरोल्ड टेप" को उन सभी 10 जांचों की मेमोरी को स्टोर करना होगा। यदि आप चाहते हैं कि उत्तर और भी अधिक सटीक हो, तो आपको शायद 100 बार जांच करने की आवश्यकता हो सकती है। अचानक, मेमोरी टेप 100 गुना लंबा हो जाता है।

यह एक भयानक समझौता (trade-off) पैदा करता है। यदि आप चाहते हैं कि रोबोट सटीक हो (100 बार जांच करे), तो आप अपने कंप्यूटर की मेमोरी खत्म होने के कारण एक समय में केवल कुछ ही रोबोट चला सकते हैं। यदि आप तेजी से सीखने के लिए एक साथ हजारों रोबोट चलाना चाहते हैं, तो आपको जांच को छोटा करना होगा (शायद केवल 5 बार), जिसका अर्थ है कि रोबोट एक ढीले और गलत उत्तर से सीख रहा है। यह एक डांस स्टेप सीखने जैसा है जहाँ आप केवल वीडियो के पहले पांच सेकंड देखते हैं; आप स्टेप्स तो सीख जाएंगे, लेकिन आप अंत में होने वाले महत्वपूर्ण स्पिन को मिस कर देंगे।

समाधान: "मैजिक स्नैपशॉट"

इस पेपर के लेखकों ने, MuJoCo फिजिक्स सिम्युलेटर (जो रोबोट रिसर्च के लिए एक लोकप्रिय टूल है) के साथ काम करते हुए, मेमोरी मॉन्स्टर से बचने का एक चतुर तरीका खोजा है। पूरे टेप को पीछे घुमाने के बजाय, उन्होंने इम्प्लिसिट फंक्शन थ्योरम (Implicit Function Theorem - IFT) नामक एक गणितीय ट्रिक का उपयोग किया।

इसे इस तरह सोचें: कल्पना कीजिए कि एक जासूस ने रहस्य सुलझा लिया है। आपको अपनी 100 पन्नों की नोट्स दिखाने के बजाय, वे बस आपको अंतिम सुलझा हुआ केस फाइल और एक "मैजिक स्नैपशॉट" सौंप देते हैं। यह स्नैपशॉट आपको ठीक बताता है कि यदि आप एक सूक्ष्म विवरण को बदलते हैं, तो समाधान कैसे बदलेगा, बिना उनके बिखरे हुए नोट्स देखे।

तकनीकी शब्दों में, यह पेपर स्टेशनैरिटी रेसिडुअल (stationarity residual) (एक फैंसी तरीका यह कहने का कि "वह बिंदु जहाँ गणित कहता है कि हम समाप्त हो गए हैं") का डिफरेंशिएशन करता है, न कि वहां तक पहुँचने के चरणों का।

• पुराना तरीका (Unrolled AD): सॉल्वर के हर एक स्टेप को स्टोर करता है। यदि आप 1 स्टेप से 10 स्टेप पर जाते हैं, तो आपकी मेमोरी का उपयोग 10.6 गुना बढ़ जाता है।
• नया तरीका (IFT): मेमोरी की एक लगभग स्थिर मात्रा स्टोर करता है। भले ही आप सॉल्वर के प्रयास को 1 स्टेप से 10 स्टेप तक बढ़ा दें, मेमोरी का उपयोग 4% से भी कम बदलता है।

यह एक गेम-चेंजर है। इसका मतलब है कि कंप्यूटर एक अत्यंत सटीक उत्तर मांग सकता है (100 बार जांच करना) बिना मेमोरी खत्म किए। वास्तव में, जब इस पेपर ने 256 एक्टिव कॉन्टैक्ट्स (जैसे एक रोबोट जिसकी कई उंगलियां मेज को छू रही हैं) के साथ परीक्षण किया, तो नए तरीके ने पुराने तरीके की तुलना में 20 गुना कम मेमोरी का उपयोग किया। 16 कॉन्टैक्ट्स और एक जटिल रोबोट मॉडल के साथ, इसने 6 गुना कम मेमोरी का उपयोग किया।

परिणाम: रोबोटों को "विजडम डिस्टिल" करना सिखाना

इस नई, मेमोरी-कुशल टूल के साथ, लेखकों ने केवल गणित को तेज़ बनाने तक ही सीमित नहीं रहे; उन्होंने इसका उपयोग रोबोटों को बेहतर सिखाने के लिए किया। उन्होंने एक सिस्टम बनाया जिसे वे ऑप्टिमाइज़र डिस्टिलेशन (Optimiser Distillation) कहते हैं।

कल्पना कीजिए कि एक मास्टर शेफ (शिक्षक) एक जटिल रेसिपी को परफेक्ट करने में घंटों बिताता है। यह शेफ धीमा है लेकिन अविश्वसनीय रूप से सटीक है। फिर, आपके पास एक सु-शेफ (छात्र या पॉलिसी) है जो तेज़ है लेकिन उसे मार्गदर्शन की आवश्यकता है।

1. शिक्षक: कंप्यूटर एक पूर्ण, लॉन्ग-होरिज़न ऑप्टिमाइज़ेशन (जैसे मास्टर शेफ पूरे भोजन की योजना बना रहा है) चलाता है ताकि मूव्स का एक सटीक क्रम मिल सके। यह नए मेमोरी-सेविंग ट्रिक की मदद से बैचों में किया जाता है।
2. छात्र: रोबोट इन परफेक्ट सीक्वेंस से सीखता है, जिससे एक "पॉलिसी" (एक सेट ऑफ इंस्टिंक्ट्स) बनती है जो सामान्य योजना को जानती है।
3. हाइब्रिड: जब रोबोट वास्तव में कार्य कर रहा होता है, तो वह केवल पॉलिसी का आँख बंद करके पालन नहीं करता है। वह बड़े चित्र (लॉन्ग-टर्म प्लान) के लिए पॉलिसी का उपयोग करता है, लेकिन अचानक आए झटकों या फिसलन को संभालने के लिए एक त्वरित, लोकल "रेसिडुअल" सुधार (एक शॉर्ट-होरिज़न ऑप्टिमाइज़र) जोड़ता है।

लेखकों ने तीन अलग-अलग रोबोटों पर इसका परीक्षण किया:

• फिंगर (Finger): एक छोटी भुजा जो एक टॉप (top) को घुमा रही है।
• फ्रंका (Franka): एक बड़ी भुजा जो एक बॉक्स को धकेल रही है।
• यूनिट्री (Unitree): एक चार पैरों वाला कुत्ता जैसा रोबोट जो दौड़ रहा है।

परिणाम प्रभावशाली थे। जब प्लानिंग हॉरिजन (कितना आगे देखना है) छोटा था (केवल 6 स्टेप्स), तो मानक तरीका (iLQR) अक्सर विफल हो गया। लेकिन इस "डिस्टिल्ड" पॉलिसी के मार्गदर्शन के साथ, सफलता दर नाटकीय रूप से बढ़ गई:

• तीनों कार्यों (Finger, Franka, और Unitree) में: मानक iLQR की तुलना में सफलता दर में 28 से 98 प्रतिशत अंक की वृद्धि हुई।

फ्रंका रोबोट के लिए जो बॉक्स को धकेल रहा था, मानक अल्पदृष्टि वाला रोबोट मुश्किल से सफल हो पाया, जबकि नया हाइब्रिड रोबोट बहुत कम "लुकअहेड" के साथ सफल रहा, जो साबित करता है कि पॉलिसी ने दीर्घकालिक रणनीति प्रदान की जबकि लोकल ऑप्टिमाइज़र ने कठिन कॉन्टैक्ट क्षणों को संभाला।

यह क्यों मायने रखता है

यह पेपर केवल एक सैद्धांतिक विचार का सुझाव नहीं देता है; यह एक वर्किंग, ओपन-सोर्स टूल प्रदान करता है जो खेल के नियम बदल देता है। यह सिद्ध करके कि आप भारी मेमोरी लागत के बिना उच्च-सटीक कॉन्टैक्ट डेरिवेटिव प्राप्त कर सकते हैं, लेखकों ने रोबोट लर्निंग की एक बड़ी बाधा को दूर कर दिया है। उन्होंने दिखाया है कि आपको "तेज़ लेकिन ढीला" और "धीमा लेकिन सटीक" के बीच चुनाव करने की आवश्यकता नहीं है। आप दोनों पा सकते हैं।

लेखक इन निष्कर्षों को लेकर आश्वस्त हैं, क्योंकि उन्होंने मानक संख्यात्मक तरीकों (फाइनाइट डिफरेंसेस) के विरुद्ध भी इसकी पुष्टि की है और दिखाया है कि उनका नया तरीका पुराने तरीकों की सटीकता से मेल खाता है जबकि संसाधनों का एक अंश ही उपयोग करता है। उन्होंने अपना कोड सार्वजनिक रूप से जारी कर दिया है, जिससे अन्य लोग तेज़, स्मार्ट और अधिक कुशल रोबोट बना सकें जो वास्तविक दुनिया की जटिल भौतिकी को संभाल सकें।