InteractGesture: Progressive Chunk Guidance for Continuous Streaming Co-Speech Gesture Control
यह शोध पत्र InteractGesture को पेश करता है, जो एक मॉडल-अज्ञेय (model-agnostic), इन्फरेंस-टाइम विधि है जो निरंतर स्ट्रीमिंग परिदृश्यों में सूक्ष्म, स्थानिक रूप से नियंत्रणीय को-स्पीच जेस्चर जनरेशन को सक्षम करने के लिए प्रोग्रेसिव चंक गाइडेंस (Progressive Chunk Guidance) का उपयोग करती है, ताकि सीमा संबंधी विसंगतियों को हल करने के लिए चंक सीमाओं के पार नियंत्रण ग्रेडिएंट्स को प्रसारित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक डिजिटल मानव की कल्पना करें जो आपसे बात कर रहा है, उसके होंठ उसके शब्दों के साथ बिल्कुल सही तालमेल में हिल रहे हैं, उसके हाथ किसी बात पर जोर देने के लिए स्वाभाविक रूप से संकेत कर रहे हैं। वर्षों से, वैज्ञानिकों ने कंप्यूटर को ऑडियो सुनकर ये गतिविधियाँ बनाने के लिए प्रशिक्षित किया है, जिसके परिणामस्वरूप ऐसे पात्र बनते हैं जो आश्चर्यजनक यथार्थवाद के साथ बोल और हिल सकते हैं। हालाँकि, एक महत्वपूर्ण सीमा बनी हुई है: जबकि कंप्यूटर जानता है कि किसी पात्र को कैसे हाथ हिलाना है या कंधे उचकाना है, उसे यह नहीं बताया जा सकता कि उसका हाथ अंतरिक्ष में वास्तव में कहाँ पहुँचेगा। यदि कोई एनिमेटर चाहता कि पात्र की दाहिनी कलाई मेज पर रखी किसी विशिष्ट वस्तु को छुए, या कोहनी किसी बाधा से बचने के लिए एक सटीक पथ का अनुसरण करे, तो मौजूदा तकनीक इसका पालन नहीं कर सकती थी। गतिविधियाँ एक संपूर्ण इकाई के रूप में उत्पन्न की जाती थीं, जिससे शरीर के व्यक्तिगत अंगों का विशिष्ट स्थान किसी निर्देश के बजाय संयोग पर छोड़ दिया जाता था। प्राकृतिक भाषण-संचालित गति और सटीक स्थानिक नियंत्रण के बीच यह अंतर वास्तव में संवादात्मक वर्चुअल एजेंट बनाने में एक बड़ी बाधा रहा है।
मेटा और यूनिवर्सिटी ऑफ नॉर्थ कैरोलिना एट चार्लोट के शोधकर्ताओं द्वारा पेश किया गया एक नया दृष्टिकोण, 'इंटरैक्टजेस्चर' (InteractGesture) नामक एक विधि के साथ इस अंतर को पाटता है। यह प्रणाली कंप्यूटर को भाषण के आधार पर पात्र के हाव-भाव उत्पन्न करने की अनुमति देती है और साथ ही यह भी सुनिश्चित करती है कि वह कलाई या कोहनी जैसे विशिष्ट जोड़ों को कहाँ जाना है, इसके सख्त निर्देशों का पालन हो। शोधकर्ताओं ने कंप्यूटर के मूवमेंट जनरेटर को एक 'ब्लैक बॉक्स' के रूप में माना जिसे धीरे से निर्देशित किया जा सकता था। पूरे सिस्टम को फिर से प्रशिक्षित करने या उसके आंतरिक मस्तिष्क को बदलने के बजाय, उन्होंने वास्तविक समय में कंप्यूटर के अनुमानों को समायोजित किया। जैसे ही सिस्टम एक गतिविधि की योजना बनाता, शोधकर्ता उन योजनाओं को एक 3D कंकाल (skeleton) में डिकोड करते, फिर जाँचते कि क्या हाथ सही जगह पर हैं, और यदि वे नहीं थे, तो वे योजना को अंतिम रूप देने से पहले उसे वांछित स्थान की ओर धकेल देते। यह प्रक्रिया इतनी तेजी से होती है कि कंप्यूटर भाषण की प्राकृतिक लय और उपयोगकर्ता के स्थानिक निर्देशों की कठोर मांगों के बीच संतुलन बनाना सीख जाता है।
चुनौती तब काफी कठिन हो जाती है जब भाषण निरंतर होता है, जैसे कि एक लंबी बातचीत, न कि केवल एक छोटा क्लिप। कंप्यूटर आमतौर पर लंबे ऑडियो को छोटे, ओवरलैपिंग सेगमेंट या 'चंक्स' (chunks) में संसाधित करते हैं। अतीत में, एक बार सेगमेंट उत्पन्न हो जाने के बाद, उसे एक ही स्थान पर स्थिर कर दिया जाता था। यदि कोई उपयोगकर्ता चाहता कि पात्र का हाथ अगले सेगमेंट में किसी लक्ष्य तक पहुँचे, तो कंप्यूटर पिछले सेगमेंट की गति को सुचारू संक्रमण (transition) बनाने के लिए पीछे जाकर समायोजित नहीं कर सकता था। इसके परिणामस्वरूप अक्सर झटकेदार, अप्राकृतिक उछाल आते थे जहाँ हाथ अचानक अपनी स्थिति में आ जाता था। शोधकर्ताओं ने पहचान की कि पिछले आंदोलनों का यह कठोर लॉक होना ही इन त्रुटियों का प्राथमिक कारण था। इसे हल करने के लिए, उन्होंने 'प्रोग्रेसिव चंक गाइडेंस' (Progressive Chunk Guidance) नामक एक रणनीति विकसित की। हाल के आंदोलनों को फ्रीज करने के बजाय, यह विधि हाल के कुछ आंदोलनों को संपादन योग्य रखती है। जैसे ही नया ऑडियो आता है, सिस्टम पिछले सेगमेंट के संदर्भ को लगातार अपडेट करता है, जिससे भविष्य के निर्देश पिछले आंदोलनों को सुचारू संरेखण में लाने के लिए धीरे से प्रेरित कर सकते हैं। यह एक फिल्म को शूट करते समय ही संपादित करने जैसा है, जहाँ निर्देशक यह सुनिश्चित करने के लिए अभिनेता के पिछले कदम को समायोजित कर सकता है कि अगला कदम पूरी तरह से सटीक लगे, बिना पूरी फिल्म खत्म होने का इंतजार किए।
इस दृष्टिकोण के परिणामों का परीक्षण मानव भाषण और गति के एक बड़े डेटासेट पर किया गया। टीम ने अपनी नई विधि की तुलना पुरानी तकनीकों से की, जिसमें एक सामान्य दृष्टिकोण शामिल है जो गति उत्पन्न होने के बाद जोड़ों को जबरदस्ती स्थान पर लाने की कोशिश करता है, और एक अन्य जो प्रत्येक सेगमेंट को स्वतंत्र रूप से नियंत्रित करने का प्रयास करता है। पुराने तरीके अक्सर ऐसी गतिविधियाँ उत्पन्न करते थे जो या तो कठोर या अप्राकृतिक दिखती थीं, या वे लक्ष्य स्थितियों तक पहुँचने में विफल रहती थीं, और कुछ मामलों में लगभग बीस सेंटीमीटर की चूक भी करती थीं। इसके विपरीत, नई विधि ने मूल भाषण-संचालित हाव-भाव की तरल और प्राकृतिक गुणवत्ता को बनाए रखते हुए, औसतन छह सेंटीमीटर से थोड़ा अधिक का त्रुटि स्तर प्राप्त किया। सिस्टम ने पात्र के हाथों को विशिष्ट बिंदुओं तक सफलतापूर्वक निर्देशित किया, भुजाओं के जटिल पथों का अनुसरण किया, और यहाँ तक कि पात्र को एक विशिष्ट दिशा में संकेत करने के लिए उन्मुख भी किया, और यह सब करते हुए गतिविधियों का समय आवाज के साथ पूरी तरह से सिंक (sync) रहा।
यह कार्य यह प्रदर्शित करता है कि भाषण-संचालित एनीमेशन का प्राकृतिक प्रवाह और एक मानव एनिमेटर का सटीक नियंत्रण, दोनों होना संभव है। कंप्यूटर को अपनी योजनाएँ उत्पन्न करते समय उन्हें परिष्कृत करने की अनुमति देकर, और हाल के अतीत को भविष्य के निर्देशों को समायोजित करने के लिए पर्याप्त लचीला रखकर, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो उपयोगकर्ता के स्थानिक आदेशों का सम्मान करती है और गति की जीवंत गुणवत्ता से समझौता नहीं करती है। ये निष्कर्ष बताते हैं कि डिजिटल मानव जल्द ही एक वास्तविक अभिनेता के समान विस्तार के साथ निर्देशित किए जा सकते हैं, जो आभासी वस्तुओं के साथ संवाद करने और जटिल वातावरण में उस स्तर की सटीकता के साथ नेविगेट करने में सक्षम होंगे जो पहले पहुंच से बाहर था। शोधकर्ताओं ने अपने उपकरणों को दूसरों के उपयोग के लिए उपलब्ध करा दिया है, जिससे भविष्य में अधिक संवादात्मक और उत्तरदायी वर्चुअल सहायकों और पात्रों के लिए द्वार खुल गए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।