CETalk: Continuous Valence-Arousal Control for Audio-Driven 3D Talking Head Generation
यह शोधपत्र CETalk प्रस्तुत करता है, जो एक ऑडियो-संचालित 3D टॉकिंग हेड जनरेशन फ्रेमवर्क है, जो निरंतर वैलेंस-अराउज़ल (Valence-Arousal) निरूपण और एक मल्टी-स्केल टेम्पोरल मॉडलिंग आर्किटेक्चर का लाभ उठाकर डिस्क्रीट इमोशन कैटेगरीज की सीमाओं को पार करते हुए सूक्ष्म भावनात्मक नियंत्रण और सटीक लिप सिंक्रोनाइज़ेशन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल मीडिया की तेजी से बदलती दुनिया में, जीवंत आभासी मानव (वर्चुअल ह्यूमन्स) बनाने की क्षमता विज्ञान कथाओं के क्षेत्र से निकलकर व्यावहारिक अनुप्रयोग में आ गई है। इन डिजिटल अवतारों का उपयोग तेजी से वर्चुअल असिस्टेंट के रूप में, वर्चुअल रियलिटी संचार में, और इंटरैक्टिव मनोरंजन के लिए किया जा रहा है। इस क्षेत्र में एक केंद्रीय चुनौती इन पात्रों को केवल अपने मुंह से नहीं, बल्कि अपने चेहरे से बोलने में सक्षम बनाना है। जबकि शुरुआती सिस्टम बोले गए शब्दों के साथ होंठों की गतिविधियों को सफलतापूर्वक मिला सकते थे, वे उन सूक्ष्म, बदलते भावों को व्यक्त करने में अक्सर संघर्ष करते थे जो मानवीय बातचीत को वास्तविक बनाते हैं। पारंपरिक दृष्टिकोण भावनाओं को "खुश", "दुखी" या "क्रोधित" जैसे अलग-अलग, पृथक बक्सों के रूप में देखते थे। यह तरीका व्यापक स्तर पर तो काम करता था लेकिन मानवीय भावनाओं की तरल, निरंतर प्रकृति को पकड़ने में विफल रहा, जहाँ एक मुस्कान धीरे-धीरे चिंता की दृष्टि में बदल सकती है या जहाँ उत्साह शांति से उमड़ने से पहले धीरे-धीरे बढ़ता है। इसके अलावा, बोलने का समय और भावना का समय मौलिक रूप से भिन्न होता है; शब्दों की तीव्र ध्वनियों से मेल खाने के लिए मुंह को तेजी से हिलना चाहिए, जबकि भावनात्मक अभिव्यक्तियाँ अक्सर पूरे चेहरे पर अधिक धीरे-धीरे विकसित होती हैं।
हेफेई यूनिवर्सिटी ऑफ टेक्नोलॉजी के शोधकर्ताओं ने इन विशिष्ट समस्याओं को हल करने के लिए CETalk नामक एक नई प्रणाली विकसित की है। भावनाओं को कठोर श्रेणियों में मजबूर करने के बजाय, यह प्रणाली भावनाओं का वर्णन करने के लिए एक निरंतर द्वि-आयामी मानचित्र (टू-डायमेंशनल मैप) का उपयोग करती है, जो यह ट्रैक करती है कि कोई भावना कितनी सकारात्मक या नकारात्मक है और वह कितनी सक्रिय या निष्क्रिय महसूस होती है। यह दृष्टिकोण कंप्यूटर को ऐसे चेहरे के एनिमेशन उत्पन्न करने की अनुमति देता है जो सहजता से बदलते हैं, जो मानवीय बातचीत के प्राकृतिक उतार-चढ़ाव को दर्शाते हैं। टीम ने अपने सिस्टम को प्रशिक्षित करने के लिए एक बड़ा नया डेटासेट बनाया, जिसमें मौजूदा वीडियो रिकॉर्डिंग से 3D चेहरे की गतिविधियों का पुनर्निर्माण किया गया और प्रत्येक फ्रेम के लिए इन निरंतर भावनात्मक मूल्यों का स्वचालित रूप से अनुमान लगाया गया। इस डेटा ने कंप्यूटर को भाषण के लिए आवश्यक तेज, सटीक गतिविधियों और मूड व्यक्त करने वाली धीमी, व्यापक परिवर्तनों के बीच अंतर करने के लिए सिखाने हेतु आवश्यक आधार प्रदान किया।
नई प्रणाली का मुख्य आधार यह है कि वह समय को कैसे संभालती है। शोधकर्ताओं ने महसूस किया कि भाषण और भावना अलग-अलग गति पर कार्य करते हैं, ठीक वैसे ही जैसे एक ड्रमर निरंतर, तेज ताल बनाए रखता है जबकि एक गायक एक लंबा, धीमा स्वर थामे रहता है। इसे प्रबंधित करने के लिए, सिस्टम प्रोसेसिंग को दो समानांतर पथों में विभाजित करता है। एक पथ मुंह और जबड़े के उच्च-गति विवरणों पर ध्यान केंद्रित करता है, यह सुनिश्चित करता है कि प्रत्येक शब्दांश ऑडियो के साथ पूरी तरह से सिंक्रोनाइज़ हो। दूसरा पथ चेहरे की धीमी, व्यापक गतिविधियों पर ध्यान केंद्रित करता है जो भावनाओं को व्यक्त करती हैं, जैसे कि भौंहों का सिकुड़ना या आंखों का फैलना। इन सूचनाओं के दो प्रवाहों को फिर एक स्मार्ट एकीकरण प्रणाली द्वारा वापस लाया जाता है जो क्षण-दर-क्षण यह निर्णय लेती है कि भाषण की गतिविधियों को बनाम भावनात्मक अभिव्यक्ति को कितना महत्व दिया जाए। यह अनुमति देता है कि अंतिम एनिमेशन लिप-सिंकिंग में सटीक और भावनात्मक गहराई में समृद्ध दोनों हो।
अपने कार्य का परीक्षण करने के लिए, टीम ने तीन अलग-अलग वीडियो डेटा सेट का उपयोग करके अपने सिस्टम की तुलना कई मौजूदा विधियों से की। परिणामों ने दिखाया कि उनके दृष्टिकोण ने पिछले सर्वोत्तम तरीकों की तुलना में काफी अधिक सटीक लिप मूवमेंट और अधिक यथार्थवादी चेहरे की अभिव्यक्तियाँ उत्पन्न कीं। MEAD डेटासेट पर परीक्षणों में, उनके सिस्टम ने लिप मूवमेंट की त्रुटियों को लगभग 7.48 मिलीमीटर और समग्र चेहरे की गति की त्रुटियों को लगभग 9.91 मिलीमीटर तक कम कर दिया, जिससे उन्होंने उस विशिष्ट बेंचमार्क पर अन्य सभी परीक्षणित तकनीकों को पछाड़ दिया। केवल सटीकता के अलावा, सिस्टम ने निरंतर भावनात्मक निर्देशों का पालन करने की बेहतर क्षमता प्रदर्शित की। एक चेहरे को धीरे-धीरे नकारात्मक अवस्था से सकारात्मक अवस्था की ओर बदलने के निर्देश पर, सिस्टम ने उच्च सटीकता के साथ पथ का अनुसरण किया, जो लक्षित भावनात्मक प्रक्षेपवक्र (ट्रैजेक्टरी) के साथ प्रतिस्पर्धियों की तुलना में बहुत बेहतर तरीके से मेल खाता है।
शोधकर्ताओं ने यह भी प्रदर्शित किया कि यह प्रणाली भावना की तीव्रता पर सूक्ष्म नियंत्रण की अनुमति देती है। इनपुट मानों को समायोजित करके, वे किसी पात्र की अभिव्यक्ति को आवाज के साथ सिंक्रोनाइज़ेशन को तोड़े बिना सूक्ष्म रूप से अधिक तीव्र या अधिक मंद बना सकते हैं। नियंत्रण का यह स्तर ऐसे डिजिटल मानव बनाने के लिए अत्यंत महत्वपूर्ण है जो वास्तव में जीवित महसूस होते हैं, जो वास्तविक मानवीय संपर्क को परिभाषित करने वाले सूक्ष्म, निरंतर भावनात्मक बदलावों के सक्षम होते हैं। विविक्त (डिस्क्रीट) श्रेणियों से दूर जाकर और मानवीय प्रभाव की निरंतर प्रकृति को अपनाकर, यह कार्य वर्चुअल संचार को एक मशीन देखने जैसा कम और एक व्यक्ति से जुड़ने जैसा अधिक बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।