GestureLSM: Latent Shortcut based Co-Speech Gesture Generation with Spatial-Temporal Modeling

बातचीत के शांत क्षणों में, जब केवल शब्द अपर्याप्त महसूस होते हैं, तब मानव शरीर अपनी स्वयं की भाषा बोलता है। कंधों का एक झटका, हाथ का एक घुमाव, या मुद्रा में बदलाव अक्सर उस वाक्य से कहीं अधिक वजन रखता है जो बोला जा रहा है। ये गतिविधियाँ यादृच्छिक नहीं हैं; वे समय और समन्वय का एक बारीकी से बुना हुआ ताना-बाना हैं, जहाँ हाथ, भुजाएँ और धड़ भावना और अर्थ व्यक्त करने के लिए एक एकीकृत लय में चलते हैं। दशकों से, वैज्ञानिकों और इंजीनियरों ने कंप्यूटर को इस मौन संवाद की नकल करना सिखाने का प्रयास किया है, इस उम्मीद में कि डिजिटल अवतारों को वास्तविक लोगों में पाई जाने वाली स्वाभाविक तरलता दी जा सके। चुनौती हमेशा दोहरी रही है: ऐसी गतिविधियाँ बनाना जो वास्तव में मानवीय लगें, और ऐसा करने के लिए पर्याप्त तेज़ होना ताकि यह वास्तविक समय (रियल-टाइम) में हो सके। पिछले प्रयासों ने अक्सर शरीर को अलग-अलग हिस्सों के संग्रह के रूप में माना, जैसे पैरों की परवाह किए बिना बाहों को हिलाना, या चेहरे पर विचार किए बिना हाथों को हिलाना, जिसके परिणामस्वरूप इशारे बिखरे हुए और यांत्रिक महसूस होते थे। इसके अलावा, इन गतियों को उत्पन्न करने के लिए आवश्यक जटिल गणित में आमतौर पर लाइव इंटरैक्शन के लिए उपयोगी होने के लिए बहुत अधिक समय लग जाता था, जिससे तकनीक जो कर सकती थी और जो लोगों को चाहिए था, उसके बीच एक अंतर रह जाता था।

शोधकर्ताओं की एक टीम ने अब 'जेस्चर एलएसएम' (GestureLSM) नामक एक नई प्रणाली के साथ इस अंतर को पाट दिया है, जिसे उच्च गुणवत्ता और वास्तविक समय की गति के साथ भाषण और टेक्स्ट स्क्रिप्ट से पूर्ण-शरीर के इशारे उत्पन्न करने के लिए डिज़ाइन किया गया है। उनके नवाचार का मूल इस बात में निहित है कि वे मानव शरीर को कैसे देखते हैं। शरीर को एक एकल, अखंड ब्लॉक या अलग-अलग अंगों के सेट के रूप में देखने के बजाय, यह प्रणाली विभिन्न क्षेत्रों के बीच की अंतःक्रियाओं को स्पष्ट रूप से मॉडल करती है, जैसे कि हाथों और धड़ के बीच का संबंध। कंप्यूटर को यह सिखाकर कि एक इशारा शरीर के अंगों के बीच एक संवाद है, यह प्रणाली सुसंगत और स्वाभाविक गतिविधियाँ उत्पन्न करती है। जब कोई व्यक्ति कहता है "मैं पूरी तरह से सहमत हूँ," तो सिस्टम जानता है कि उंगलियाँ संकेत कर सकती हैं, भुजाएँ बढ़ सकती हैं, और धड़ थोड़ा झुक सकता है, जो संदेश को पुख्ता करने के लिए मिलकर काम करते हैं। यह दृष्टिकोण उन अजीब, असंबद्ध गतियों से बचाता है जो पहले की विधियों में बाधा डालती थीं, जहाँ शरीर के अंग एक-दूसरे से स्वतंत्र रूप से चलते प्रतीत होते थे।

इस स्तर के समन्वय को प्राप्त करने के लिए, शोधकर्ताओं ने एक ऐसा मॉडल बनाया है जो दो अलग-अलग प्रकार के संबंधों पर ध्यान देता है। पहला, यह एक ही क्षण में पूरे शरीर को एक साथ देखता है, यह सुनिश्चित करता है कि बाएं हाथ की स्थिति दाएं हाथ और सिर के सापेक्ष तर्कसंगत हो। फिर, यह समय के साथ शरीर की गति को देखता है, एक सेकंड से दूसरे सेकंड तक गति के प्रवाह को ट्रैक करता है। यह दोहरा फोकस सिस्टम को एक मुद्रा के संरचनात्मक संतुलन और एक इशारे की गतिशील प्रगति, दोनों को सीखने की अनुमति देता है। परिणाम एक डिजिटल प्रदर्शन है जो मानवीय अभिव्यक्ति की सूक्ष्म बारीकियों को पकड़ता है, एक सूक्ष्म झुकाव से लेकर एक विस्तृत, प्रभावशाली प्रसार तक, जो बोले गए शब्दों के साथ पूरी तरह से तालमेल बिठाता है।

गति दूसरा बड़ा अवरोध था जिसे टीम को पार करने की आवश्यकता थी। कई मौजूदा प्रणालियाँ ऐसी विधियों पर निर्भर करती हैं जिनमें एक एकल गति को परिष्कृत करने के लिए दर्जनों बार गणना करने की आवश्यकता होती है, जो वास्तविक दुनिया के उपयोग के लिए बहुत धीमी प्रक्रिया है। नया सिस्टम एक अलग गणितीय दृष्टिकोण का उपयोग करता है जो गति की गति और दिशा को सीधे मॉडल करता है, जिससे यह बहुत कम चरणों में अंतिम परिणाम तक पहुँच जाता है। हालाँकि, शोधकर्ताओं ने पाया कि यह तेज़ विधि, सैद्धांतिक रूप से आशाजनक होने के बावजूद, कभी-कभी निम्न-गुणवत्ता वाले परिणाम देती थी या अभी भी बहुत अधिक समय लेती थी। इसे हल करने के लिए, उन्होंने एक ऐसी तकनीक पेश की जो मॉडल को गति उत्पन्न करने की प्रक्रिया के माध्यम से "शॉर्टकट" सीखने की अनुमति देती है। एक लंबी राह के हर छोटे कदम को उठाने के बजाय, सिस्टम एक गति के गंतव्य का अधिक प्रत्यक्ष रूप से अनुमान लगाना सीखता है, जबकि यात्रा की सहजता और सटीकता को बनाए रखता है। उन्होंने समय के साथ सिस्टम के सीखने के तरीके को भी समायोजित किया, अपना ध्यान उन क्षणों पर केंद्रित किया जहाँ गलती करने की सबसे अधिक संभावना थी, जिससे आउटपुट की गुणवत्ता में और सुधार हुआ।

इस नए दृष्टिकोण की प्रभावशीलता का परीक्षण मानव इशारों के एक बड़े डेटासेट का उपयोग करके मौजूदा विविध विधियों के विरुद्ध किया गया। परिणामों ने दिखाया कि नया सिस्टम पहले की किसी भी विधि की तुलना में काफी अधिक यथार्थवादी और भाषण के साथ बेहतर तालमेल बिठाने वाले इशारे उत्पन्न करता है। गति के मामले में, सिस्टम एक सेकंड से भी कम समय में इशारों का एक पूरा वाक्य उत्पन्न कर सकता है, जो अन्य तकनीकों द्वारा आवश्यक सेकंडों या मिनटों की तुलना में एक नाटकीय सुधार है। यह गति वास्तविक समय के अनुप्रयोगों, जैसे कि इंटरैक्टिव डिजिटल अवतार या वर्चुअल असिस्टेंट का समर्थन करने के लिए पर्याप्त तेज़ है जो उपयोगकर्ताओं को तुरंत प्रतिक्रिया दे सकें। शोधकर्ताओं ने मानव प्रतिभागियों के साथ भी एक अध्ययन किया, जिन्होंने लगातार नए सिस्टम के इशारों को अन्य अग्रणी तकनीकों द्वारा उत्पन्न इशारों की तुलना में अधिक स्वाभाविक, सुचारू और बेहतर समयबद्ध रेट किया।

इस कार्य के निहितार्थ केवल डिजिटल पात्रों को बेहतर दिखाने तक ही सीमित नहीं हैं। कंप्यूटर को उच्च-गुणवत्ता वाले, वास्तविक समय के इशारे उत्पन्न करने में सक्षम बनाकर, यह तकनीक आभासी वातावरण में अधिक इमर्सिव और आकर्षक बातचीत के द्वार खोलती है। मनोरंजन, शिक्षा या संचार के लिए, एक ऐसा अवतार होना जो एक इंसान की तरह स्वाभाविक गरिमा के साथ चल सके, हमारे डिजिटल स्थानों के अनुभव को बदल देता है। शोधकर्ताओं ने अपने सिस्टम का उपयोग करके 3D बॉडी पोज़ उत्पन्न करने और फिर उन्हें 2D वीडियो पर प्रोजेक्ट करने का उपयोग करके इस क्षमता का प्रदर्शन किया, जिससे एनिमेटेड पात्र बनाए गए जिन्हें विशिष्ट कहानियों या अनुप्रयोगों के लिए अनुकूलित किया जा सकता है। वास्तविक समय में भाषण को तरल, अभिव्यंजक गति में बदलने की यह क्षमता मानव-कंप्यूटर संपर्क के क्षेत्र में एक महत्वपूर्ण कदम है, जो हमें एक ऐसे भविष्य के करीब लाता है जहाँ डिजिटल जीव न केवल शब्दों के माध्यम से, बल्कि शरीर की पूर्ण, प्राकृतिक भाषा के माध्यम से हमसे संवाद कर सकते हैं।