ExpGest: Expressive Speaker Generation Using Diffusion Model and Hybrid Audio-Text Guidance
ExpGest एक नवीन डिफ्यूजन-आधारित फ्रेमवर्क है जो मौजूदा विधियों की सीमाओं को दूर करने के लिए, जो अक्सर कठोर और केवल ऊपरी शरीर तक सीमित गतिविधियों को उत्पन्न करती हैं, सिंक्रोनाइज़्ड ऑडियो और टेक्स्ट मार्गदर्शन के साथ-साथ एक विशेष नॉइज़ इमोशन क्लासिफायर का लाभ उठाकर अभिव्यंजक, नियंत्रणीय फुल-बॉडी जेस्चर उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म निर्देशित कर रहे हैं, लेकिन एक असली अभिनेता को काम पर रखने के बजाय, आप एक कंप्यूटर से एक आभासी पात्र (virtual character) बनाने के लिए कह रहे हैं जो बात कर सके, चल सके और भाव व्यक्त कर सके। समस्या यह है कि अधिकांश कंप्यूटर प्रोग्राम जो यह करते हैं, वे रोबोटिक कठपुतलियों की तरह होते हैं। वे शायद आवाज़ तेज़ होने पर अपने हाथ हिला दें, लेकिन वे बहुत सख्त (stiff) दिखते हैं, वे यह नहीं समझते कि क्या कहा जा रहा है, और वे वास्तव में एक ऐसे दृश्य को "अभिनय" नहीं कर सकते जहाँ पात्र बात करते हुए एक घेरे में घूम रहा हो।
यह शोध पत्र ExpGest पेश करता है, जो एक नया सिस्टम है जो कंप्यूटर को बहुत बेहतर अभिनेता बनने की शिक्षा देता है। इसे एक विंड-अप खिलौने से एक पूर्ण 'मेथड एक्टर' (method actor) में अपग्रेड करने के रूप में सोचें।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. "दो-मस्तिष्क" दृष्टिकोण (ऑडियो + टेक्स्ट)
अधिकांश पुराने सिस्टम केवल आवाज़ की संगीत (लय, पिच, गति) को सुनते हैं। यदि आप शांत, सपाट आवाज़ में कहते हैं "मैं गुस्से में हूँ!", तो पुराना रोबोट शायद सिर्फ कंधे उचका देगा क्योंकि आवाज़ शांत लग रही है।
ExpGest के पास दो मस्तिष्क मिलकर काम कर रहे हैं:
- मस्तिष्क A (संगीतकार): आवाज़ की ध्वनि को सुनता है (क्या यह तेज़ है? क्या यह तेज़ है?)।
- मस्तिष्क B (पाठक): बोले जा रहे शब्दों को पढ़ता है (क्या व्यक्ति "मैं बहुत गुस्से में हूँ" या "मैं खुश हूँ" कह रहा है?)।
इन दोनों को मिलाकर, कंप्यूटर समझ जाता है कि भले ही आवाज़ धीमी हो, लेकिन शब्द गुस्से से चिल्ला रहे हो सकते हैं। यह पात्र को सही संकेत (gestures) करने की अनुमति देता है, जैसे कि मुट्ठी भींचना, भले ही आवाज़ चिल्ला न रही हो।
2. "जादुई पेंटब्रश" (डिफ्यूजन मॉडल)
कंप्यूटर वास्तव में पात्र को कैसे चलाता है? यह एक डिफ्यूजन मॉडल (Diffusion Model) का उपयोग करता है।
कल्पना कीजिए कि आपके पास किसी व्यक्ति के नाचने की एक स्पष्ट, सुंदर पेंटिंग है। अब, कल्पना कीजिए कि आप उस पेंटिंग में धीरे-धीरे 'स्टैटिक नॉइज़' (जैसे टीवी का शोर/झिलमिलाहट) जोड़ते हैं जब तक कि वह पेंटिंग पूरी तरह से पहचानने योग्य सफेद शोर में न बदल जाए।
- पुराना तरीका: कंप्यूटर एक कठोर नियम पुस्तिका के आधार पर नृत्य के अगले चरण का अनुमान लगाने की कोशिश करता है।
- ExpGest का तरीका: कंप्यूटर एक खाली कैनवास से शुरू करता है जो "टीवी के शोर" (रैंडम नॉइज़) से भरा होता है। फिर यह धीरे-धीरे "डिनोइज़िंग" (denoising) करता है, यानी परत दर परत स्टैटिक को हटाता है, जो आपके ऑडियो और टेक्स्ट निर्देशों द्वारा निर्देशित होता है, जब तक कि अराजकता से एक आदर्श, तरल नृत्य उभर न आए। यह कोहरे से एक मूर्ति गढ़ने जैसा है।
3. "उंगली बनाम हाथ" का कमाल
शोधकर्ताओं ने मानव गति के बारे में एक दिलचस्प बात देखी:
- उंगलियां संवेदनशील पक्षियों की तरह हैं; वे शब्दों के अर्थ पर प्रतिक्रिया करती हैं (जैसे, उंगलियों से "एक, दो, तीन" गिनना)।
- हाथ और पैर भारी लंगर (anchors) की तरह हैं; वे आवाज़ की भावना और वॉल्यूम पर प्रतिक्रिया करते हैं (जैसे, चिल्लाते समय हाथों को बेतहाशा लहराना)।
ExpGest इन्हें अलग करता है। यह कंप्यूटर को बताता है: "उंगलियों को चलाने के लिए शब्दों का उपयोग करें, लेकिन हाथों को चलाने के लिए आवाज़ के लहजे का उपयोग करें।" यह गति को अविश्वसनीय रूप से स्वाभाविक बनाता है, न कि एक रोबोट की तरह जहाँ उसके सभी जोड़ एक साथ हिल रहे हों।
4. "इमोशन कोच" (नॉइज़ क्लासिफायर)
आमतौर पर, यदि आप चाहते हैं कि कोई पात्र "गुस्से में" हो, तो आप बस कंप्यूटर को कहते हैं "इमोशन को 1 पर सेट करें।" यह एक रोबोट को बटन दबाने जैसा है। इसके परिणामस्वरूप अक्सर एक नकली, सख्त गुस्सा दिखाई देता है।
ExpGest एक चतुर तकनीक का उपयोग करता है जिसे नॉइज़ इमोशन क्लासिफायर (Noise Emotion Classifier) कहा जाता है।
- कल्पना कीजिए कि कंप्यूटर एक चित्र बनाने की कोशिश कर रहा है, लेकिन वह धुंधले कमरे में फंसा हुआ है।
- "इमोशन कोच" धुंध के बाहर खड़ा एक मार्गदर्शक है। हर बार जब कंप्यूटर कोई हरकत करता है, तो कोच फुसफुसाता है, "आप बहुत शांत हो रहे हैं, थोड़ा और 'गुस्से' की ओर झुकें!"
- कंप्यूटर अपने "शोर" (अपने रैंडम अनुमानों) को कोच के निर्देशानुसार समायोजित करता है। यह पात्र को खुश से दुखी, या शांत से उग्र होने के बीच सहजता से बदलने की अनुमति देता है, बिना ग्लिच (glitchy) दिखे।
5. "चलना और बोलना" का संयोजन
अंत में, अधिकांश सिस्टम केवल एक पात्र को स्थिर खड़े होकर हाथ हिलाने दे सकते हैं। ExpGest पहला ऐसा सिस्टम है जो पात्र को बात करते समय लोकोमोट (locomote) (चलना, दौड़ना, बैठना) करने की अनुमति देता है।
इसे एक ऐसे दृश्य की तरह सोचें जहाँ एक पात्र भाषण देते समय इधर-उधर टहल रहा है। ExpGest एक टेक्स्ट निर्देश ले सकता है जैसे "पात्र एक घेरे में चलता है, फिर बैठ जाता है" और इसे भाषण के ऑडियो के साथ मिला सकता है। यह एक पूर्ण-शरीर प्रदर्शन बनाता है जहाँ चलना और बोलना एक साथ स्वाभाविक रूप से होता है।
निष्कर्ष
ExpGest ऐसा है जैसे आपने एक आभासी अभिनेता को एक स्क्रिप्ट, एक निर्देशक और मानव मनोविज्ञान की पूरी समझ दे दी हो। केवल संगीत की ताल पर हिलने के बजाय, पात्र अब कहानी को समझता है, भावनाओं को महसूस करता है, और अपने पूरे शरीर को (चलने वाले पैरों से लेकर अभिव्यंजक उंगलियों तक) इस तरह से हिलाता है जो वास्तव में मानवीय लगता है।
परिणाम? आभासी वक्ता जो केवल बात करते हुए नहीं दिखते; वे बातचीत को जीते हुए दिखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।