Learning Fault-Tolerant Locomotion with Adaptive Gait Timing

एक ऐसी दुनिया की कल्पना करें जहाँ रोबोट केवल सख्त, भारी मशीनें नहीं हैं जो किसी ठोकर लगने या कोई पुर्जा टूटने पर काम करना बंद कर देती हैं। इसके बजाय, उन्हें लचीले एथलीटों के रूप में देखें, जो लड़खड़ाने में सक्षम हैं, यह महसूस करने में सक्षम हैं कि उनकी एक मांसपेशी कमजोर है, और तुरंत बिना गिरे दौड़ने का एक नया तरीका खोज लेते हैं। यह "लेग्ड रोबोटिक्स" (legged robotics) का सपना है, एक ऐसा क्षेत्र जहाँ वैज्ञानिक पैरों वाले मशीनों को—जैसे कुत्ते या घोड़े—मलबे, जंगलों या असमान शहरी सड़कों जैसे अव्यवस्थायुक्त, वास्तविक स्थानों में चलना सिखाते हैं। बड़ी चुनौती क्या है? जब एक रोबोट के पैर का मोटर विफल हो जाता है (शायद वह शक्ति खो देता है या फंस जाता है), तो रोबोट बस वही काम जारी नहीं रख सकता जो वह कर रहा था। उसे अपने पूरे शरीर को पुनर्गठित करना होगा, अपना वजन बदलना होगा और अपने कदम रखने के तरीके को बदलना होगा, वह भी एक पल के भीतर। यह विशेष रूप से भारी रोबोटों के लिए कठिन है; एक छोटे खिलौना रोबोट के विपरीत जो गलती सुधारने के लिए पागलों की तरह उछल-कूद कर सकता है, एक भारी रोबोट एक सुमो पहलवान की तरह है जो नाचने की कोशिश कर रहा है। यदि वह बहुत तेजी से या आक्रामक रूप से हिलता है, तो वह पलट सकता है। इसलिए, सवाल यह बनता है: हम एक भारी रोबोट को एक सुंदर, अनुकूलनशील नर्तक कैसे सिखाएं, तब भी जब उसका एक पैर घायल हो?

यह शोध पत्र "डीप रीइन्फोर्समेंट लर्निंग" (deep reinforcement learning) नामक आर्टिफिशियल इंटेलिजेंस के एक प्रकार का उपयोग करते हुए एक चतुर समाधान प्रस्तुत करता है। इसे एक वीडियो गेम प्रशिक्षण पद्धति के रूप में समझें जहाँ रोबोट परीक्षण और त्रुटि (trial and error) के माध्यम से सीखता है, लेकिन एक विशेष मोड़ के साथ। शोधकर्ताओं ने 68 किलोग्राम के एक चतुष्पाद (quadruped) रोबोट (जिसे क्योन/Kyon नाम दिया गया है) को तब भी चलते रहने के लिए सिखाया जब उसका एक मोटर अचानक पूरी शक्ति खो देता है। उन्होंने केवल रोबोट को यह नहीं बताया कि, "यदि आपका बायां पैर टूट जाए, तो X करें।" इसके बजाय, उन्होंने रोबोट को इसे अपने आप समझने दिया। इसका असली रहस्य एक प्रशिक्षण सेटअप था जहाँ रोबोट के "मस्तिष्क" (एक्टर/actor) को केवल यह अनुमान लगाना था कि क्या गलत हुआ है, जो केवल इस आधार पर कि उसका शरीर कैसा महसूस कर रहा है (प्रोपियोसेप्शन/proprioception), जबकि उसके "कोच" (क्रिटिक/critic) को अभ्यास के दौरान सटीक सच्चाई पता थी। मस्तिष्क को कोच की समझ की नकल करने के लिए मजबूर करके, रोबोट ने केवल अपनी गतिविधियों में अंतर को महसूस करके अपनी चोटों का अनुमान लगाना सीख लिया।

टीम ने पाया कि केवल रोबोट को यह बताना कि उसे अपने पैर कहाँ रखने हैं, पर्याप्त नहीं था। उन्होंने रोबोट के नियंत्रणों में एक विशेष "गेट फ्रीक्वेंसी" (gait frequency) नॉब जोड़ा, जिससे रोबोट को चलते समय अपने कदमों की लय को तेज या धीमा करने की अनुमति मिली। यह एक गेम-चेंजर साबित हुआ। जब एक पैर विफल हो गया, तो रोबोट केवल लंगड़ाया नहीं; उसने अपनी टाइमिंग को गतिशील रूप से समायोजित किया, कभी तीन पैरों वाली चाल (trot) पर स्विच किया तो कभी संतुलन बनाए रखने के लिए अपने स्ट्राइड की लंबाई बदल दी। उन्होंने ऊबड़-खाबड़, सीढ़ीदार इलाकों में उच्च-सटीकता वाले सिमुलेशन में और वास्तविक, समतल फर्श पर वास्तविक 68 किलोग्राम के रोबोट के साथ इसका परीक्षण किया। परिणामों ने दिखाया कि रोबोट अचानक मोटर विफलताओं को झेल सकता है, संतुलन बनाए रख सकता है और बिना किसी पूर्व-निर्धारित "चोट योजना" के आगे बढ़ता रह सकता है।

यहाँ बताया गया है कि यह जादू कैसे काम करता है, रोजमर्रा की अवधारणाओं में तोड़कर:

"शिक्षक-छात्र" का खेल
कल्पना करें कि आप ट्रेनिंग व्हील्स के साथ साइकिल चलाना सीख रहे हैं, लेकिन आपका शिक्षक सड़क का एक छिपा हुआ नक्शा देख सकता है जिसे आप नहीं देख सकते। शोध पत्र की पद्धति में, "क्रिटिक" वह शिक्षक है जो सब कुछ देखता है: रोबोट की सटीक स्थिति, इलाके और यहाँ तक कि कौन सा मोटर टूटा हुआ है। "एक्टर" वह छात्र है जो केवल हवा और हैंडल बार को महसूस करता है (रोबोट के सेंसर)। प्रशिक्षण के दौरान, शिक्षक छात्र का मार्गदर्शन करता है, लेकिन छात्र को यह सीखना होता है कि वह साइकिल को महसूस करके शिक्षक के नक्शे का अनुमान कैसे लगाए। शोधकर्ताओं ने एक विशेष नियम जोड़ा: छात्र का "अनुमान" (एक छिपा हुआ मानसिक मानचित्र) शिक्षक के मानचित्र से जितना संभव हो सके उतना मेल खाना चाहिए। यह रोबोट को अपने शरीर में उन सूक्ष्म परिवर्तनों के प्रति अविश्वसनीय रूप से संवेदनशील होने के लिए मजबूर करता है जो एक टूटे हुए मोटर का संकेत देते हैं, जिससे वह बिना यह सुने कि, "हे, तुम्हारा पैर टूट गया है!", प्रतिक्रिया करने में सक्षम हो जाता है।

अनुकूलनशील लय (The Adaptive Rhythm)
अधिकांश रोबोट एक सख्त ताल पर चलते हैं, जैसे कि एक मार्चिंग बैंड। यदि एक पैर टूट जाता है, तो एक मार्चिंग बैंड रोबोट उसी ताल को बनाए रखने की कोशिश कर सकता है, जिससे आमतौर पर दुर्घटना होती है। हालाँकि, इस शोध पत्र का रोबोट एक जैज़ ड्रमर बनना सीख गया। शोधकर्ताओं ने रोबोट को एक "गेट फ्रीक्वेंसी" एक्शन दिया, जो इसके कदमों की गति के लिए एक वॉल्यूम नॉब की तरह है। जब रोबोट ने कोई समस्या महसूस की (जैसे मोटर की शक्ति कम होना), तो वह केवल घबराया नहीं; उसने अपनी लय को समायोजित किया। यदि वह एक पैर पर खड़ा था (सिंगल सपोर्ट), तो उसने अगला पैर जल्दी नीचे रखने के लिए अपनी लय तेज कर दी। यदि वह दो पैरों पर था (डबल सपोर्ट), तो वह स्थिर होने के लिए धीमा हो गया। इस लचीलेपन ने भारी रोबोट को सुरक्षित रूप से अपना वजन पुनर्वितरित करने में मदद की, जो कि कठोर, पूर्व-निर्धारित रोबोट अक्सर करने में विफल रहते हैं।

हेवीवेट चुनौती (The Heavyweight Challenge)
यह 68 किलोग्राम के रोबोट के लिए क्यों मायने रखता है? शोध पत्र बताता है कि भारी रोबोट प्रयोगशालाओं में देखे जाने वाले छोटे रोबोटों से अलग होते हैं। एक छोटा रोबोट तेजी से उछल सकता है और संभल सकता है, लेकिन एक भारी रोबol का मोमेंटम (momentum) अधिक होता है और उसके मोटर्स द्वारा संभाले जा सकने वाले बल की सीमाएं सख्त होती हैं। यदि एक भारी रोबोट अचानक, आक्रामक सुधार करने की कोशिश करता है, तो वह अपने स्वयं के जोड़ों को तोड़ सकता है या गिर सकता है। शोधकर्ताओं ने पाया कि "आक्रामक" रणनीतियाँ जो छोटे बॉट्स के लिए काम करती हैं, वे बड़े पैमाने पर लागू नहीं होती हैं। इसके बजाय, कुंजी "अनुकूलनशील गेट टाइमिंग" (adaptive gait timing) थी। रोबोट को यह बताने के बजाय कि उसे कहाँ कदम रखना है, उसे यह बदलने देने से कि वह कब कदम रखे, वह बिना सुपरहीरो बने स्थिरता बनाए रख सका।

उन्होंने क्या पाया (और क्या नहीं)
प्रयोग, जो एक अत्यंत सटीक कंप्यूटर सिमुलेशन और एक वास्तविक रोबोट पर चलाए गए, ने दिखाया कि यह विधि काम करती है। रोबोट अपने 12 जोड़ों में से किसी भी जोड़ में अचानक शक्ति हानि को संभाल सकता था। दिलचस्प बात यह है कि रोबोट ने पाया कि घुटने के जोड़ (knee-joint) की विफलता सबसे कठिन होती है, जो अक्सर उसे तीन पैरों वाली "ट्रिपॉड" चाल पर स्विच करने के लिए मजबूर करती है। शोधकर्ताओं ने यह भी परीक्षण किया कि रोबोट को कितनी "मेमोरी" (स्मृति) की आवश्यकता थी। उन्होंने पाया कि केवल कुछ कदमों पीछे देखना (3 कदमों का इतिहास) रोबोट के लिए यह समझने के लिए पर्याप्त था कि क्या गलत हुआ है; और अधिक पीछे देखने से बहुत अधिक मदद नहीं मिली।

हालाँकि, इस सफलता की कुछ सीमाएँ भी हैं। रोबोट का परीक्षण वास्तविक दुनिया में समतल जमीन पर और सिमुलेशन में असमान, सीढ़ीदार इलाके पर किया गया था। वास्तविक दुनिया के परीक्षणों में इसके पास जमीन को "देखने" के लिए कैमरा या LiDAR नहीं था; यह पूरी तरह से अपने आंतरिक सेंसरों और इलाके की ऊंचाई के प्री-लोडेड मैप पर निर्भर था। शोध पत्र सुझाव देता है कि जमीन को वास्तविक समय में देखने के लिए एक वास्तविक धारणा प्रणाली (जैसे कैमरा) जोड़ना अगला तार्किक कदम होगा, लेकिन यह इस विशिष्ट अध्ययन का हिस्सा नहीं था। साथ ही, हालांकि रोबोट ने गिरावट को झेला और चलना जारी रखा, अध्ययन ने लोकोमोशन (चलने) पर ध्यान केंद्रित किया, न कि इस पर कि यदि वह वास्तव में गिर जाता है तो वह कैसे उठेगा।

संक्षेप में, यह शोध पत्र सुझाव देता है कि रोबोट को अपने शरीर को "सुनने" और चलते समय अपनी चलने की लय को समायोजित करने की शिक्षा देकर, हम भारी, व्यावहारिक रोबोट बना सकते हैं जो बिना किसी मैनुअल ओवरराइड के टूटे हुए हिस्सों को संभालने के लिए पर्याप्त मजबूत हों। यह उन मशीनों की ओर एक कदम है जो केवल आदेशों का पालन नहीं करतीं, बल्कि चीजें गलत होने पर जीवित प्राणियों की तरह अनुकूलित होती हैं।