GestureFM : Compact Latent Flow Matching for Low-Latency Co-Speech Body-Motion Generation
GestureFM एक कॉम्पैक्ट लेटेंट फ्लो मैचिंग फ्रेमवर्क है जो SMPL-X पोज़ेस को एक लेटेंट स्पेस में कंप्रेस करके और चंक-बाउंड्री विच्छिन्नता (discontinuities) को हल करने के लिए एक लाइटवेट स्मूदर का उपयोग करके, न्यूनतम फर्स्ट-चंक लेटेंसी के साथ प्रतिस्पर्धी मोशन क्वालिटी प्राप्त करते हुए, लो-लेटेंसी, हाई-क्वालिटी स्ट्रीमिंग को-स्पीच बॉडी-मोशन जनरेशन को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त से बात कर रहे हैं, और बात करते समय आपके हाथ, भुजाएं और शरीर स्वाभाविक रूप से आपके शब्दों के साथ थिरक रहे हैं। इसे "को-स्पीच जेस्चर" (co-speech gesture) कहा जाता है, और यह मानव संचार का एक बहुत बड़ा हिस्सा है। अब, एक वीडियो गेम कैरेक्टर या वर्चुअल असिस्टेंट की कल्पना करें जो बिल्कुल ऐसा ही करना चाहता है। चुनौती यह है कि कंप्यूटर को आपकी आवाज़ सुननी होगी, यह समझना होगा कि आप क्या कह रहे हैं, और तुरंत कैरेक्टर के शरीर को उसके अनुरूप हिलाना होगा। लेकिन पेच यह है कि यदि कंप्यूटर आपके पूरे वाक्य के खत्म होने तक रुक जाता है, तो कैरेक्टर एक ऐसे रोबोट की तरह लगेगा जो हमेशा एक कदम पीछे रहता है। वास्तविक महसूस करने के लिए, कैरेक्टर को आपके बोलने के दौरान ही हिलना शुरू करना होगा। यह "लो-लेटेंसी स्ट्रीमिंग जनरेशन" (low-latency streaming generation) की दुनिया है—यानी बिना किसी लैग के एक डिजिटल इंसान को वास्तविक समय में चलाना।
इसे करने के लिए, वैज्ञानिक विशेष गणितीय तरकीबों का उपयोग करते हैं। एक तरकीब "वेरिएशनल ऑटोएनकोडर" (Variational Autoencoder - VAE) है, जो एक सुपर-एफिशिएंट कंप्रेशन ऐप की तरह है। यह एक विशाल, जटिल 3D बॉडी मूवमेंट को एक बहुत ही छोटे, सरल कोड ("लेटेंट स्पेस") में सिकोड़ देता है, जिसे संभालना कंप्यूटर के लिए बहुत आसान होता है। दूसरी तरकीब "फ्लो मैचिंग" (Flow Matching) है, जो एक रैंडम स्केच से एक सटीक चित्र तक एक सीधी, सुचारू रेखा खींचने जैसा है। एक धुंधले कलाकार की तरह चरण-दर-चरण चित्र का अनुमान लगाने के बजाय, फ्लो मैचिंग उस सटीक रास्ते को सीख लेती है जिसे अपनाना है, जिससे कंप्यूटर बहुत तेज़ी से अंतिम चित्र बना पाता है। सबसे बड़ा सवाल जो शोधकर्ता हल करने की कोशिश कर रहे हैं वह यह है: क्या हम इन उपकरणों को मिलाकर एक वर्चुअल इंसान को इतनी तेज़ी और सुगमता से चला सकते हैं कि वह वास्तव में वहां मौजूद लगे, भले ही हम अभी बोल ही क्यों न रहे हों?
यहाँ GestureFM आता है, एक नया अध्ययन जो ठीक इसी सवाल का जवाब देने की कोशिश करता है। शोधकर्ताओं, जिए लुई, तियानमेई सन और ज़ियान लुई ने एक ऐसा सिस्टम बनाया है जिसे लगभग शून्य देरी के साथ बोलने से शारीरिक गतिविधियों को उत्पन्न करने के लिए डिज़ाइन किया गया है। वे अपने सिस्टम को "GestureFM" कहते हैं क्योंकि यह एक संकुचित "लेटेंट" स्पेस के भीतर उस "फ्लो मैचिंग" जादू का उपयोग करता है।
यह उनका सिस्टम कैसे काम करता है, इसे एक सरल उदाहरण से समझते हैं: कल्पना कीजिए कि आप फोन कॉल पर अपने दोस्त को एक डांस समझा रहे हैं, लेकिन आप उन्हें एक बार में केवल आपकी आवाज़ के छोटे, 1-सेकंड के क्लिप ही भेज सकते हैं। आपके दोस्त को जो कुछ भी अब तक सुनाई दिया है, उसके आधार पर उसे तुरंत नाचना शुरू करना होगा। GestureFM वह "दोस्त" है जो इसमें अविश्वसनीय रूप से कुशल है। सबसे पहले, यह एक "जेस्चर VAE" का उपयोग करके मानव शरीर की जटिल 168-आयामी गतिविधियों (जैसे आपके जोड़ों के सभी कोण) को एक छोटे, 44-टोकन कोड में बदल देता है। यह एक पूरी फिल्म को कुछ त्वरित स्केच नोट्स में बदलने जैसा है। फिर, एक "ऑडियो-कंडीशन्ड फ्लो मैचिंग ट्रांसफार्मर" आपकी आवाज़ (विशेष रूप से लॉग-मेल फीचर्स जैसे ध्वनि पैटर्न) को सुनता है और उन स्केच नोट्स का उपयोग करके अगली एक सेकंड की गति को चित्रित करता है।
उनकी खोज का सबसे रोमांचक हिस्सा इसकी गति और दक्षता है। टीम ने पाया कि वे केवल 22 मिलीसेकंड में गति का पहला हिस्सा उत्पन्न कर सकते हैं। इसे समझने के लिए, यह वास्तविक समय की गति का 0.022 गुना है। इसका मतलब है कि कंप्यूटर वास्तविक जीवन की तुलना में लगभग 45 गुना तेज़ी से काम कर रहा है, जिससे आपके बोलने के दौरान मूवमेंट होने के लिए पर्याप्त जगह बचती है।
उन्होंने यह भी परीक्षण किया कि कंप्यूटर को गति बनाने के लिए कितने "स्टेप्स" (चरणों) की आवश्यकता थी। कई AI सिस्टम में, अधिक स्टेप्स लेने का मतलब आमतौर पर बेहतर चित्र लेकिन धीमी गति होता है। हालाँकि, GestureFM ने कुछ चौंकाने वाला पाया: अधिक स्टेप्स लेने से वास्तव में मूवमेंट बहुत बेहतर नहीं हुआ। चाहे वे 2 स्टेप्स लें या 32 स्टेप्स, मूवमेंट की गुणवत्ता (जिसे फ्रैचेट जेस्चर डिस्टेंस या FGD स्कोर द्वारा मापा जाता है) लगभग एक समान रही। इस कारण से, वे अधिकतम गति प्राप्त करने के लिए केवल 2 स्टेप्स (K=2) का उपयोग करने की सलाह देते हैं, जिससे बिना किसी गुणवत्ता हानि के सबसे तेज़ गति मिलती है।
लेकिन एक छोटी सी समस्या थी। चूंकि सिस्टम 1-सेकंड के टुकड़ों में मूवमेंट बनाता है, इसलिए एक टुकड़े से दूसरे टुकड़े के बीच का ट्रांज़िशन कभी-कभी थोड़ा झटकेदार महसूस होता है, जैसे कोई वीडियो अटक रहा हो। इसे ठीक करने के लिए, उन्होंने एक "7-फ्रेम लोकल स्मूदर" जोड़ा। इसे एक छोटे संपादक के रूप में सोचें जो एक सेकंड के मूवमेंट के अंत को अगले सेकंड की शुरुआत के साथ धीरे से मिला देता है। इस सरल सुधार ने "वेलोसिटी जंप" (अचानक होने वाले झटके) को 85% तक कम कर दिया, जिससे संगीत के साथ डांस की टाइमिंग को बिगाड़े बिना गति बहुत सुचारू हो गई।
शोधकर्ताओं ने कुछ अन्य विचारों का भी परीक्षण किया ताकि वे इसे और बेहतर बना सकें, लेकिन उन्होंने उनमें से कुछ को खारिज कर दिया। उदाहरण के लिए, उन्होंने पिछले मूवमेंट के अंत को अगले टुकड़े में पास करके सिस्टम को "मेमोरी" देने की कोशिश की। दुर्भाग्य से, इससे मूवमेंट की गुणवत्ता बहुत खराब हो गई (FGD स्कोर 0.253 से बढ़कर 1.740 हो गया)। उन्होंने महसूस किया कि ऐसा इसलिए हुआ क्योंकि सिस्टम को एकदम सटीक, वास्तविक दुनिया के मूवमेंट डेटा पर प्रशिक्षित किया गया था, लेकिन जब इसने परीक्षण के दौरान अपने स्वयं के "मेमोरी" का उपयोग करने की कोशिश की, तो यह अपनी ही गलतियों से भ्रमित हो गया। इसलिए, उन्होंने निर्णय लिया कि फिलहाल, प्रत्येक टुकड़े को स्वतंत्र रखना और किनारों को ठीक करने के लिए स्मूथिंग ट्रिक का उपयोग करना ही बेहतर है।
अंत में, GestureFM दिखाता है कि आप पूरे वाक्य के खत्म होने का इंतज़ार किए बिना वर्चुअल इंसानों के लिए उच्च-गुणवत्ता वाली, लो-लेटेंसी बॉडी मूवमेंट बना सकते हैं। डेटा को कंप्रेस करके, फ्लो मैचिंग का उपयोग करके, और एक साधारण स्मूथिंग फ़िल्टर जोड़कर, उन्होंने एक ऐसा सिस्टम हासिल किया है जो अत्यंत तेज़ (22 ms लेटेंसी) और बहुत सटीक है, जो बोलने की लय के साथ पूरी तरह मेल खाता है। यह डिजिटल इंसानों को बनाने की दिशा में एक बड़ा कदम है जो केवल बोलते ही नहीं, बल्कि वास्तविक समय में हमारे साथ चलते-फिरते भी हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।