Semantic Audio-driven Understanding for Dynamic Humanoid Whole Body Control
यह शोध पत्र एक नवीन मल्टी-मोडल फ्रेमवर्क प्रस्तुत करता है जो निरंतर ऑडियो स्ट्रीम के आधार पर वास्तविक समय में मोशन स्किल्स को स्वायत्त रूप से चुनने और निष्पादित करने द्वारा डायनेमिक ह्यूमनाइड होल-बॉडी कंट्रोल को सक्षम बनाता है, जो टेम्पोरल अलाइनमेंट के लिए संगीत और डायरेक्ट कमांड ग्राउंडिंग के लिए स्पीच के बीच अंतर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ रोबोट केवल एक कठोर, पहले से लिखे गए स्क्रिप्ट का पालन नहीं करते जैसे कि एक मार्चिंग बैंड हर दिन एक ही धुन बजाता है, बल्कि वे अपने आस-पास की दुनिया को "सुन" सकते हैं और मौके पर ही नृत्य कर सकते हैं। यह मानव रूपी रोबोटिक्स (humanoid robotics) का रोमांचक क्षेत्र है, जहाँ वैज्ञानिक धातु और प्लास्टिक को मानव की तरह सहजता से हिलना-डुलना सिखा रहे हैं। लंबे समय तक, एक रोबोट को चलने या हाथ हिलाने के लिए इंजीनियरों को हर एक जोड़ (joint) की गति को बड़ी मेहनत से प्रोग्राम करना पड़ता था, जैसे कि एक बच्चे को उंगलियों की हर हरकत का वर्णन करके उसके जूते के फीते बांधना सिखाना। लेकिन हाल ही में, "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) नामक एक शक्तिशाली नए टूल ने खेल बदल दिया है। इसे ऐसे समझें जैसे एक रोबोट साइकिल चलाना सीख रहा हो, न कि किसी मैनुअल को पढ़कर, बल्कि एक हज़ार बार गिरकर जब तक कि वह अंततः संतुलन बनाना न सीख जाए। अब, ये रोबोट इंसानों को देखकर जटिल, स्वाभाविक गतिविधियाँ सीख सकते हैं, जिससे कौशल का एक ऐसा पुस्तकालय बनता है जो आश्चर्यजनक रूप से जीवंत दिखता है। हालाँकि, इसमें एक पेंच है: जबकि रोबोटों ने यह सीख लिया है कि कैसे हिलना है, वे अभी भी वास्तव में यह नहीं जानते कि कब हिलना है या उनके आस-पास जो हो रहा है उसके आधार पर क्या करना है। वे एक शानदार नर्तक की तरह हैं जो किताब का हर स्टेप जानता है लेकिन उसे कार्य करने से पहले किसी के "कूद जाओ!" या "घूमो!" चिल्लाने की आवश्यकता होती है। यह शोध पत्र उस लापता कड़ी को संबोधित करता है, यह पूछता है कि हम रोबोट को संगीत सुनने या मानव आवाज सुनने की क्षमता कैसे दे सकते हैं और तुरंत निर्णय ले सकते हैं कि, "आह, यह एक साल्सा बीट है, मुझे यह विशिष्ट नृत्य करना चाहिए," या "उस व्यक्ति ने 'नमस्ते करने के लिए हाथ हिलाओ' कहा, इसलिए मैं वह करूँगा," और वह भी वास्तविक समय (real-time) में।
इस अध्ययन के पीछे के शोधकर्ताओं ने, Unitree G1 नामक रोबोट के साथ काम करते हुए, एक चतुर "मस्तिष्क" बनाया है जो इन रोबोटिक गतिविधियों के लिए एक कंडक्टर के रूप में कार्य करता है। रोबोट के किसी इंसान द्वारा बटन दबाने का इंतज़ार करने के बजाय, यह प्रणाली ध्वनि के निरंतर प्रवाह को सुनती है—जैसे पार्टी में बज रहा कोई गाना या किसी व्यक्ति का रोबोट से बात करना—और तुरंत तय करती है कि कौन सी क्रिया करनी है। यह एक सुपर-स्मार्ट डीजे होने जैसा है जो न केवल संगीत बजाता है, बल्कि बीट के आधार पर लाइटिंग और नर्तकों की गतिविधियों को भी नियंत्रित करता है।
यहाँ बताया गया है कि उनकी प्रणाली कैसे काम करती है, जिसे सरल चरणों में विभाजित किया गया है। सबसे पहले, रोबोट के "कान" (माइक्रोफोन) ध्वनि को पकड़ते हैं और उसे पाँच सेकंड के छोटे टुकड़ों में काट देते हैं। इसे हर कुछ सेकंड में ऑडियो का एक त्वरित स्नैपशॉट लेने की तरह समझें। सिस्टम फिर एक सरल प्रश्न पूछता है: "क्या यह संगीत है, क्या यह कोई बोल रहा है, या यह केवल शोर है?" यदि यह संगीत है, तो रोबोट गाने की पहचान करने के लिए एक हाई-टेक "फिंगरप्रिंट" स्कैनर का उपयोग करता है। वह केवल गाने का शीर्षक नहीं जानता; वह ठीक से जानता है कि गाने में वह कहाँ है। क्या यह धीमी शुरुआत है? तेज़ कोरस है? यह रोबोट को गाने के विशिष्ट भाग को एक विशिष्ट नृत्य की गति से मिलाने की अनुमति देता है। यदि गाना एक धीमी बैलेड से बदलकर एक तेज़ पॉप ट्रैक में बदल जाता है, तो रोबट तुरंत अपनी नृत्य शैली बदल देता है।
यदि ध्वनि भाषण (speech) है, तो सिस्टम और भी सीधा है। यह सुनता है कि व्यक्ति क्या कह रहा है, शब्दों को टेक्स्ट में बदलता है, और उस टेक्स्ट को पहले से सीखे गए कौशल से मिलाता है। यदि कोई "नाच" कहता है, तो रोबोट एक नृत्य की गति ढूँढ लेता है। यदि वे "चलो" कहते हैं, तो वह चलना शुरू कर देता है। इस सेटअप की खूबसूरती यह है कि यह सब एक एकीकृत प्रणाली है। चाहे इनपुट संगीत हो या कोई आदेश, रोबोट अपने कौशल के पुस्तकालय से कौन सी गति निकालनी है, यह तय करने के लिए उसी "स्विचबोर्ड" का उपयोग करता है।
टीम ने इस विचार का परीक्षण दो तरीकों से किया। पहले, उन्होंने इसे एक कंप्यूटर सिमुलेशन में चलाया, जो एक आभासी दुनिया है जहाँ वे रोबोट के गिरने की चिंता किए बिना उसकी प्रतिक्रियाओं का परीक्षण कर सकते थे। उन्होंने अलग-अलग गानों का एक "मैशअप" चलाया, जिसमें हर 20 और 30 सेकंड में ट्रैक बदला गया। उन्होंने पाया कि जब गाने हर 30 सेकंड में बदले गए, तो रोबोट ने बहुत खूबसूरती से, सहजता से मूव्स के बीच बदलाव किया। हालाँकि, जब उन्होंने इसे हर 20 सेकंड में बदलने का प्रयास किया, तो रोबोट कभी-कभी लड़खड़ा गया। यह पता चला कि रोबोट को मूव्स के बीच अपना संतुलन वापस पाने के लिए थोड़े समय की आवश्यकता होती है, और 20 सेकंड सुरक्षित रूप से ट्रांज़िशन पूरा करने के लिए पर्याप्त नहीं थे। इन तेज़ परिदृश्यों में, रोबोट को सीधा रहने के लिए कभी-कभी एक साधारण "चलने" वाले मोड पर वापस जाना पड़ा, जो यह दर्शाता है कि जबकि "सुनने" वाला हिस्सा बेहतरीन काम करता है, भौतिक "नृत्य" वाले हिस्से की एक गति सीमा (speed limit) है।
फिर, वे इस सिस्टम को कंप्यूटर से बाहर निकालकर वास्तविक Unitree G1 रोबोट पर ले गए। परिणाम उत्साहजनक थे। रोबोट ने एक लाइव सेटिंग में संगीत को सफलतापूर्वक सुना और सही नृत्य की चालें चुनीं, जिससे यह सिद्ध हुआ कि उनके द्वारा बनाया गया "मस्तिष्क" वास्तविक दुनिया में भी उतना ही अच्छा काम करता है जितना कि सिमुलेशन में। रोबोट संगीत को "सुन" सका, लय को समझ सका, और बिना किसी इंसान द्वारा हर कदम के लिए बटन दबाए, संबंधित पूर्ण-शरीर (whole-body) की गतिविधियों को निष्पादित कर सका।
लेखक सुझाव देते हैं कि यह दृष्टिकोण एक बड़ा कदम है क्योंकि यह रोबोटों को पूर्व-लिखित मशीनों से दूर ले जाता है जो केवल वही करते हैं जो उन्हें बताया जाता है, और उन्हें स्वायत्त एजेंटों (autonomous agents) की ओर ले जाता है जो अपने वातावरण के प्रति प्रतिक्रिया कर सकते हैं। वे इस बात पर ज़ोर देते हैं कि इस सिस्टम को हर नया गाना जोड़ने के लिए फिर से प्रशिक्षित करने की आवश्यकता नहीं है; यह नए ध्वनियों के लिए सही मूव खोजने के लिए एक स्मार्ट मैचिंग सिस्टम का उपयोग करता है। हालांकि वे नोट करते हैं कि वर्तमान सिस्टम संगीत के 30-सेकंड के टुकड़ों के साथ सबसे अच्छा काम करता है (क्योंकि रोबोट को मूव्स के बीच स्थिर होने के लिए समय चाहिए), उनका मानना है कि यह एक ठोस आधार है। लेख इस बात के साथ समाप्त होता है कि यह विधि रोबोटों के लिए गतिशील, अप्रत्याशित वातावरण, जैसे कि एक डांस स्टेज या फुटबॉल के मैदान में प्रदर्शन करने का द्वार खोलती है, जहाँ वे सुन सकते हैं, समझ सकते हैं, और वास्तविक समय में प्रतिक्रिया दे सकते हैं, जिससे वे मशीनों के बजाय प्रदर्शन में सच्चे साथी बन जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।