StreamTalk: Streaming Co-Speech Gesture Generation with Key-Pose Anchoring

कल्पना कीजिए कि आप एक रोबोट को गाना सुनते हुए नृत्य करना सिखाने की कोशिश कर रहे हैं। रोबोट को संगीत के साथ बिल्कुल सटीक तालमेल में अपने हाथ और शरीर हिलाना होगा, लेकिन यहाँ एक पेंच है: संगीत लाइव स्ट्रीम हो रहा है, एक-एक सेकंड करके। रोबोट पूरे गाने के खत्म होने का इंतज़ार नहीं कर सकता; उसे हर बीट के साथ कदम मिलाते हुए आगे बढ़ना होगा। यह को-स्पीच जेस्चर जनरेशन (co-speech gesture generation) की दुनिया है, जो कंप्यूटर विज्ञान का एक ऐसा क्षेत्र है जो डिजिटल अवतारों को बात करते समय स्वाभाविक रूप से हिलने-डुलने में मदद करने के लिए समर्पित है। मुख्य चुनौती रियल-टाइम स्ट्रीमिंग (real-time streaming) है: सिस्टम को बिना यह जाने कि व्यक्ति आगे क्या कहेगा या क्या करेगा, तुरंत गति (motion) उत्पन्न करनी होगी।

लंबे समय तक, ये सिस्टम एक ऐसे अंधे व्यक्ति की तरह काम करते थे जो अंधेरे में कदम बढ़ा रहा हो। वे देखते थे कि वे पिछले कुछ सेकंड पहले कहाँ थे (गति के पिछले कुछ क्षण) और वर्तमान ध्वनि के आधार पर अनुमान लगाते थे कि उन्हें आगे कहाँ जाना है। समस्या यह है कि हर अनुमान में एक छोटी, अदृश्य त्रुटि होती है। यदि आप हज़ार कदम उठाते हैं, तो वे छोटी त्रुटियाँ जमा होती जाती हैं। हाइकर धीरे-धीरे रास्ते से भटक जाता है, और अंत में रास्ते के बजाय किसी दलदल में पहुँच जाता है। डिजिटल दुनिया में, इसे ड्रिफ्ट (drift) कहा जाता है: रोबोट की हरकतें अजीब, अप्राकृतिक या वास्तविकता से कटी हुई दिखने लगती हैं, खासकर एक मिनट के बाद। यह शोध पत्र इसी समस्या को हल करता है, और पूछता है: हम एक रोबोट को सही रास्ते पर कैसे रख सकते हैं जब वह केवल अपने पैरों के नीचे की जमीन ही देख सकता है?

---

समस्या: भटकता हुआ डांसर (The Drifting Dancer)

इस शोध पत्र के लेखकों ने देखा कि बात करने वाले रोबोटों को चलाने के तरीके मौलिक रूप से "ओपन-लूप" (open-loop) हैं। कल्पना कीजिए कि आप अपने दोस्त के साथ "टेलीफोन" गेम खेल रहे हैं, लेकिन वाक्य बोलने के बजाय, आप नृत्य की मुद्राएं (dance moves) फुसफुसा रहे हैं। आप अपने दोस्त को पहली मुद्रा बताते हैं, वह उसे करता है और फिर आपको अगली मुद्रा बताता है, और इसी तरह। यदि आप पहली मुद्रा में एक छोटी सी गलती करते हैं, तो आपका दोस्त उस गलती को कॉपी करता है और उसमें अपनी एक और छोटी त्रुटि जोड़ देता है। जब तक आप गाने के अंत तक पहुँचते हैं, नृत्य उस चीज़ से पूरी तरह अलग हो चुका होता है जिससे आपने शुरुआत की थी।

AI की दुनिया में, गति के इन "क्लिप्स" को एक के बाद एक बनाया जाता है। AI पिछले क्लिप के अंतिम कुछ फ्रेमों को देखता है और कहता है, "ठीक है, इसके आधार पर, मैं अगले 60 फ्रेम बनाऊंगा।" वह ऐसा बार-बार करता है। शोध पत्र बताता है कि भले ही आधुनिक AI छोटे, विश्वसनीय क्लिप बनाने में बहुत अच्छा है, लेकिन उसके पास यह जांचने का कोई तरीका नहीं है कि क्या वह अभी भी सही रास्ते पर है। यह एक ऐसी कार चलाने जैसा है जिसका GPS टूटा हुआ है और जो केवल आपके पीछे की सड़क दिखाता है। आप धीरे-धीरे खेत में भटक सकते हैं, लेकिन आपको इसका एहसास तब तक नहीं होगा जब तक आप कीचड़ में फंस न जाएं। यह "ड्रिफ्ट" गति को अप्राकृतिक बना देता है, जैसे हाथ हवा में तैर रहे हों या शरीर अपनी लय खो रहा हो, विशेष रूप से बातचीत के लंबे समय (जैसे एक मिनट) के दौरान।

समाधान: "डेस्टिनेशन एंकर" (The "Destination Anchor")

StreamTalk के पीछे का बड़ा विचार AI को अंधे होकर अनुमान लगाने से रोकना और इसके बजाय उसे एक "डेस्टिनेशन एंकर" देना है। लेखकों ने महसूस किया कि समस्या यह नहीं है कि AI अच्छी हरकतें नहीं कर सकता; समस्या यह है कि उसे यह नहीं पता कि क्लिप के अंत में उसे कहाँ होना चाहिए।

इसे ठीक करने के लिए, उन्होंने StreamTalk नामक एक सिस्टम बनाया जो एक "क्लोज्ड-लूप फीडबैक सिस्टम" की तरह काम करता है। यह इस प्रकार काम करता है:

1. रफ ड्राफ्ट (The Rough Draft): सबसे पहले, AI गति का एक "कोर्स" (coarse) क्लिप बनाता है, ठीक वैसे ही जैसे पुराने तरीकों में किया जाता था।
2. रियलिटी चेक (The Reality Check): इस क्लिप को दुनिया के सामने भेजने से पहले, सिस्टम रुकता है। यह उत्पन्न क्लिप के बिल्कुल अंतिम पोज़ (pose) को देखता है और "अच्छे" पोज़ की एक विशाल लाइब्रेरी (उस विशिष्ट वक्ता के वास्तविक मानव आंदोलनों का डेटाबेस) से पूछता है, "हे, सबसे स्वाभाविक दिखने वाला पोज़ कौन सा है जो इससे मिलता-जुलता हो?"
3. एंकर (The Anchor): सिस्टम लाइब्रेरी से उस सबसे अच्छे मैच होने वाले पोज़ को पकड़ लेता है। यह डेस्टिनेशन एंकर है। यह एक जहाज के लिए लाइटहाउस (प्रकाश स्तंभ) की तरह है।
4. रिफाइनमेंट (The Refinement): AI फिर अपने रफ ड्राफ्ट को लेता है और उसे थोड़ा सुधारता है, उस एंकर का उपयोग एक मार्गदर्शक के रूप में करता है ताकि यह सुनिश्चित हो सके कि क्लिप का अंत ठीक वहीं हो जहाँ उसे होना चाहिए। यह एक मूर्तिकार की तरह है जो पत्थर के एक खुरदरे ब्लॉक को तराशता है और फिर अंतिम विवरणों को चिकना करने के लिए एक सटीक टेम्पलेट का उपयोग करता है।

यह प्रक्रिया हर एक क्लिप के अंत में होती है, जिससे एक "क्लोज्ड लूप" बनता है जहाँ सिस्टम लगातार खुद को सुधारता रहता है, जिससे उन छोटी त्रुटियों को बड़ी आपदा में बदलने से रोका जा सके।

AI को संकेतों से सीखना सिखाना

एक कठिन हिस्सा था: AI को शुरू से ही इन "एंकरों" को स्वीकार करने के लिए प्रशिक्षित करने की आवश्यकता थी। यदि आप एक छात्र को हमेशा उत्तर कुंजी (answer key) दिखाकर प्रशिक्षित करते हैं, तो वे घबरा जाएंगे जब आप उन्हें केवल एक संकेत देंगे। इसलिए, लेखकों ने स्टोकेस्टिक एंकर मास्किंग (Stochastic Anchor Masking - SAM) नामक एक प्रशिक्षण तकनीक विकसित की।

प्रशिक्षण के दौरान, वे एक आदर्श मोशन वीडियो लेते और यादृच्छिक रूप से अधिकांश फ्रेमों को छिपा (mask) देते, जिससे केवल शुरुआत के कुछ फ्रेम और अंत में एक एकल "एंकर" फ्रेम बचता। वे AI को केवल उन दो बिंदुओं के आधार पर बीच के गायब हिस्सों को समझने के लिए मजबूर करते। इसने AI को "इनपेंटिंग" (inpainting) करना सिखाया—यानी केवल बिखरे हुए संकेतों का उपयोग करके खाली जगहों को भरना। इस तरह, जब वास्तविक सिस्टम चलता है और डेटाबेस से "डेस्टिनेशन एंकर" का उपयोग करता है, तो AI पहले से ही उस एकल बिंदु का उपयोग करके पूरी गति को निर्देशित करने में विशेषज्ञ होता है।

परिणाम: सुचारू, रियल-टाइम डांसिंग

लेखकों ने अपने मॉडल का परीक्षण BEAT2 नामक डेटासेट पर किया, जिसमें 25 अलग-अलग वक्ताओं के उच्च-गुणवत्ता वाले 3D मोशन डेटा शामिल हैं। उन्होंने अपने तरीके की तुलना मौजूदा सर्वश्रेष्ठ प्रणालियों से की।

• ड्रिफ्ट को रोकना (Stopping the Drift): परिणामों ने दिखाया कि जहाँ अन्य तरीके कुछ समय बाद अजीब दिखने लगते हैं और प्राकृतिक गति से भटक जाते हैं, वहीं StreamTalk स्थिर रहा। उन्होंने इसे 'फ्रेचेट जेस्चर डिस्टेंस' (Fréchet Gesture Distance - FGD) नामक मीट्रिक का उपयोग करके मापा, और StreamTalk ने सर्वश्रेष्ठ स्कोर प्राप्त किए, जिसका अर्थ है कि इसकी हरकतें सांख्यिकीय रूप से वास्तविक मानव गति के सबसे करीब थीं।
• रियल-टाइम स्पीड (Real-Time Speed): जटिल AI के साथ एक बड़ी चिंता गति है। लेखकों ने दिखाया कि StreamStreamTalk एक मानक हाई-एंड ग्राफिक्स कार्ड (NVIDIA V100) पर 76 फ्रेम्स प्रति सेकंड (FPS) की गति से चलता है। यह रियल-टाइम अनुप्रयोगों के लिए पर्याप्त तेज़ है, जिसका अर्थ है कि रोबोट बिना किसी लैग (lag) के नाच और बोल सकता है।
• एक एंकर ही काफी है (One Anchor is Enough): शोध पत्र ने परीक्षण किया कि क्या अधिक "एंकर" (अधिक लाइटहाउस) का उपयोग करने से मदद मिलेगी। आश्चर्यजनक रूप से, उन्होंने पाया कि क्लिप के अंत में केवल एक एंकर का उपयोग करना सबसे सटीक (sweet spot) था। अधिक एंकरों का उपयोग करने से गति झटकेदार और खराब हो गई। वास्तव में, AI को बस एक स्पष्ट दिशा की आवश्यकता होती, न कि सुधारों के एक ग्रिड की।

यह क्यों महत्वपूर्ण है

StreamTalk केवल एक छोटा बदलाव नहीं है; यह स्ट्रीमिंग मोशन के बारे में सोचने के मौलिक तरीके को बदल देता है। ओपन-लूप में त्रुटियों को जमा होने देने के बजाय, यह एक आवधिक "चेक-इन" पेश करता है जो गति को वास्तविकता की ओर वापस खींचता है। यह शोध पत्र सिद्ध करता है कि एक स्मार्ट रिट्रीवल सिस्टम (सही एंकर ढूंढना) को एक विशेष प्रशिक्षण पद्धति (बिखरे हुए संकेतों से सीखना) के साथ जोड़कर, हम ऐसे डिजिटल अवतार बना सकते हैं जो मिनटों तक स्वाभाविक रूप से बात और चल सकते हैं।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण स्ट्रीमिंग जेस्चर जनरेशन में लंबे समय से चली आ रही 'डिस्ट्रीब्यूशनल ड्रिफ्ट' की समस्या को प्रभावी ढंग से हल करता है, जो अधिक यथार्थवादी वर्चुअल प्रेजेंटर्स, टेलीप्रेजेंस अवतार और इंटरैक्टिव गेम पात्रों के लिए मार्ग प्रशस्त करता है जो बिना भटके, हमारे साथ कदम से कदम मिलाकर चल सकें।