SeMoCo: A Semantic-First Motion Codec for Motion Language Modeling
यह शोध पत्र SeMoCo को प्रस्तुत करता है, जो एक सिमेंटिक-फर्स्ट मोशन कोडेक है जो पुनर्निर्माण सटीकता (reconstruction accuracy) और भाषा-सशर्त मोशन जनरेशन (language-conditioned motion generation) दोनों में सुधार करने के लिए मोशन टोकन को सिमेंटिक और काइनेमैटिक घटकों में विभाजित करता है, साथ ही बड़े पैमाने पर -MotionVerse डेटासेट का निर्माण भी करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटर को मानव गति (human movement) को समझाना एक ऐसी समस्या है जो भाषा और भौतिकी के मिलन बिंदु पर स्थित है। वर्षों से, शोधकर्ता मशीनों को पाठ विवरणों (text descriptions) से यथार्थवादी गति उत्पन्न करने के लिए सिखाने का प्रयास कर रहे हैं, जिससे वे एक साधारण वाक्य के आधार पर किसी व्यक्ति के चलने या कूदने का वीडियो बनाने के लिए कह सकें। ऐसा करने के लिए, कंप्यूटरों को शरीर के निरंतर, तरल प्रवाह को एक ऐसे प्रारूप में बदलने का तरीका चाहिए, जिसे वे संसाधित कर सकें, ठीक वैसे ही जैसे किसी बोले गए वाक्य को अक्षरों की एक श्रृंखला में बदला जाता है। शुरुआती प्रयासों ने गति को डेटा के एक सुचारू, अटूट प्रवाह के रूप में माना, लेकिन एक हालिया दृष्टिकोण ने दिखाया है कि गति को अलग-अलग, व्यक्तिगत इकाइयों में तोड़ने से—जैसे वाक्य में शब्दों को तोड़ना—कंप्यूटर अधिक जटिल और विविध क्रियाएं उत्पन्न कर सकते हैं। हालाँकि, एक महत्वपूर्ण बाधा बनी हुई थी: गति को इन इकाइयों में तोड़ने के लिए उपयोग किए जाने वाले उपकरण मुख्य रूप से गति को यथासंभव सटीक रूप से पुनर्गठित करने के लिए डिज़ाइन किए गए थे, न कि यह समझने के लिए कि उस गति का वास्तव में अर्थ क्या है। उन्होंने वजन के सूक्ष्म बदलाव और स्क्वाट (squat) जैसी बड़ी क्रिया को एक ही प्रकार के डेटा के रूप में माना, जिससे कंप्यूटर को केवल परीक्षण और त्रुटि (trial and error) के माध्यम से अंतर सीखने के लिए मजबूर होना पड़ा।
शोधकर्ताओं की एक टीम ने 'सेमोको' (SeMoCo) नामक एक नई प्रणाली पेश की है जो इस अनुवाद के होने के तरीके को बदल देती है। कंप्यूटर को गति के अर्थ का अनुमान लगाने के लिए मजबूर करने के बजाय, यह नई विधि दोनों कार्यों को शुरुआत से ही अलग कर देती है। यह प्रणाली गति के हर क्षण को सूचना के एक छोटे पैकेट के रूप में मानती है जिसमें दो अलग-अलग भाग होते हैं: एक प्राथमिक कोड जो क्रिया के सामान्य अर्थ को पकड़ता है, और माध्यमिक कोडों की एक श्रृंखला जो शरीर के हिलने-डुलने के सूक्ष्म विवरणों को भरती है। यह दृष्टिकोण स्पीच रिकग्निशन (speech recognition) के काम करने के तरीके से प्रेरित है, जहाँ एक शब्द के मूल अर्थ को वक्ता की आवाज़ के विशिष्ट सूक्ष्म अंतरों से अलग किया जाता है। कंप्यूटर को क्रिया के अर्थ के लिए एक समर्पित "स्लॉट" देकर, यह प्रणाली यह अनुमान लगाने में सक्षम होती है कि गति की कहानी के आधार पर आगे क्या होगा, जबकि एक अलग प्रक्रिया जोड़ों (joints) की सटीक ज्यामिति को संभालती है।
शोधकर्ताओं ने इस प्रणाली को मानव गति के एक विशाल संग्रह का उपयोग करके बनाया, जिसे उन्होंने 'ओमेगा-मोशनवर्स' (Ω-MotionVerse) नाम दिया। यह डेटासेट विभिन्न स्रोतों, जिनमें पेशेवर मोशन कैप्चर और वीडियो पुनर्निर्माण शामिल हैं, से रिकॉर्ड की गई लगभग एक हजार घंटों की गति को एक साथ लाता है और उन्हें एक एकल, सुसंगत प्रारूप में मानकीकृत करता है। उन्होंने अपने नए कोडेक (codec), सेमोको को इस डेटा पर प्रशिक्षित किया ताकि वह गति को इन दोहरी-परत वाले पैकेटों में संकुचित करना सीख सके। इसका परिणाम यह है कि यह प्रणाली पिछले तरीकों की तुलना में उच्च सटीकता के साथ किसी व्यक्ति की गति को पुनर्गठित कर सकती है, जिससे जोड़ों की स्थिति में त्रुटि को एक ऐसे स्तर तक कम कर दिया गया है जो मुश्किल से ही दिखाई देता है। इससे भी महत्वपूर्ण बात यह है कि जब शोधकर्ताओं ने इन पैकेटों का उपयोग पाठ विवरणों से नई गतियाँ उत्पन्न करने के लिए किया, तो कंप्यूटर ने ऐसी क्रियाएँ उत्पन्न कीं जो न केवल शारीरिक रूप से यथार्थवादी थीं, बल्कि अर्थपूर्ण (semantically correct) भी थीं, जो प्रॉम्प्ट के इरादे के साथ अधिक विश्वसनीयता से मेल खाती थीं।
मुख्य नवाचार इस बात में निहित है कि प्रणाली सूचना को कैसे व्यवस्थित करती है। पुराने तरीकों में, कंप्यूटर को एक ही समय में गति के अर्थ और जोड़ों के विवरण को समझना पड़ता था, जिससे अक्सर एक समझौता होता था जहाँ एक दूसरे की कीमत पर प्रभावित होता था। सेमोको इसे एक "सिमेंटिक-फर्स्ट" (अर्थ-प्रथम) दृष्टिकोण का उपयोग करके टाल देता है। जब प्रणाली गति के एक छोटे अंतराल को देखती है, तो वह पहले व्यापक क्रिया की पहचान करती है, जैसे कि "बैठना" या "मुड़ना", और इसे एक विशिष्ट टोकन असाइन करती है। फिर यह अंगों के सटीक प्रक्षेपवक्र (trajectory) और पैरों के जमीन के संपर्क का वर्णन करने के लिए टोकन के एक अलग सेट का उपयोग करती है। यह अलगाव एक लैंग्वेज मॉडल को क्रियाओं के अनुक्रम—क्रियाओं की प्रगति—पर ध्यान केंद्रित करने की अनुमति देता है, बिना हर जोड़ के कोण की जटिल गणित में उलझे। मॉडल पिछले कार्यों के आधार पर अगली क्रिया की भविष्यवाणी करता है, और फिर उस क्रिया के विशिष्ट विवरणों को भर देता है, जिससे एक पीढ़ी प्रक्रिया (generation process) बनती है जो कुशल और सटीक दोनों है।
अपने कार्य का परीक्षण करने के लिए, शोधकर्ताओं ने मोशन जनरेशन और प्रेडिक्शन के मानक बेंचमार्क का उपयोग करते हुए कई मौजूदा मॉडलों के विरुद्ध अपनी प्रणाली की तुलना की। रिकॉर्ड की गई गति को उसके संकुचित रूप से पुनर्गठित करने के कार्य में, सेमोको ने अन्य सभी विधियों को पछाड़ दिया, और अनुमानित जोड़ों तथा वास्तविक जोड़ों के बीच की दूरी को मापने में सबसे कम त्रुटि दर प्राप्त की। टेक्स्ट से नई गतियाँ उत्पन्न करने के लिए पूछे जाने पर, प्रणाली ने मजबूत परिणाम दिखाए, विशेष रूप से पाठ विवरण के साथ उत्पन्न गति के मिलान की क्षमता में। शोधकर्ताओं ने पाया कि जबकि बड़े मॉडल टेक्स्ट-आधारित मोशन उत्पन्न करने में बेहतर प्रदर्शन करते हैं, आकार का लाभ सार्वभौमिक नहीं था; पिछले मोशन के एक छोटे क्लिप के आधार पर भविष्य की गति की भविष्यवाणी करने के लिए, उनके मॉडल का एक छोटा, अधिक विशिष्ट संस्करण वास्तव में बेहतर प्रदर्शन करता है। यह सुझाव देता है कि सूचना का ढांचा उतना ही महत्वपूर्ण है जितना कि कंप्यूटर की मेमोरी का विशाल आकार।
यह अध्ययन एक ट्रेड-ऑफ (trade-off) को भी रेखांकित करता है जो इस नए डिज़ाइन में निहित है। गति के अर्थ को प्राथमिकता देकर, यह प्रणाली अर्थ को पूरी तरह से अनदेखा करने वाली प्रणाली की तुलना में पुनर्निर्माण की पूर्ण सटीकता में थोड़ा खर्च (cost) उठाती है। हालाँकि, शोधकर्ता तर्क देते हैं कि यह किसी भी ऐसे अनुप्रयोग के लिए एक आवश्यक और लाभकारी विनिमय है जहाँ कंप्यूटर को भाषा के आधार पर क्रियाओं को समझने और उत्पन्न करने की आवश्यकता होती है। यह प्रणाली यह दावा नहीं करती है कि इसने मानव गति निर्माण की समस्या को पूरी तरह से हल कर लिया है, लेकिन यह यह दिखाकर एक स्पष्ट मार्ग प्रदान करती है कि "क्या" और "कैसे" को अलग करने से बेहतर परिणाम मिलते हैं। यह कार्य प्रदर्शित करता है कि जब कंप्यूटर को किसी गति के पीछे के इरादे को समझने का एक स्पष्ट, संरचित तरीका दिया जाता है, तो वह ऐसी क्रियाएं उत्पन्न कर सकता है जो न केवल शारीरिक रूप से प्रशंसनीय हैं, बल्कि उपयोगकर्ता के निर्देशों के प्रति वास्तव में उत्तरदायी भी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।