Emotion Intensity Matters: Generating Realistic Expressions in Virtual Humans with CVAEs
यह शोध पत्र वास्तविक मानव चेहरे के भावों के एक छोटे डेटासेट पर प्रशिक्षित एक कंडीशनल वेरिएशनल ऑटोएनकोडर (CVAE) प्रस्तावित करता है ताकि बिना किसी मानवीय हस्तक्षेप के, अर्थ संबंधी निरंतरता बनाए रखते हुए और विभिन्न भावनात्मक तीव्रताओं को सटीक रूप से दर्शाते हुए, नियंत्रणीय, यथार्थवादी वर्चुअल ह्यूमन एनिमेशन उत्पन्न किए जा सकें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटर ग्राफिक्स की दुनिया में, एक ऐसा पात्र बनाना जो वास्तव में जीवंत महसूस करे, एक कलाकार के लिए सबसे कठिन कार्यों में से एक है। हालांकि हम लंबे समय से ऐसे आभासी मानव बनाने में सक्षम रहे हैं जो वास्तविक दिखते हैं, लेकिन उन्हें वास्तविक महसूस कराने के लिए केवल एक अच्छे चेहरे से अधिक की आवश्यकता होती है; इसके लिए भावना की सूक्ष्म, बदलती भाषा की आवश्यकता होती है। दशकों से, एनिमेटरों ने 'परफॉरमेंस-ड्रिवन एनिमेशन' नामक एक पद्धति पर भरोसा किया है, जहाँ कैमरे एक वास्तविक अभिनेता के चेहरे को कैप्चर करते हैं और उन गतिविधियों को एक डिजिटल पात्र पर मैप करते हैं। यह अच्छा काम करता है, लेकिन इसके लिए हर एक अभिव्यक्ति के लिए एक मानव कलाकार की आवश्यकता होती है और यह फिर से शुरुआत किए बिना विविधताओं को बनाने की क्षमता को सीमित करता है। एक नया दृष्टिकोण यह सीखने का प्रयास करता है कि कंप्यूटर मानवीय भावनाओं के नियमों को समझें ताकि वे बिना किसी कैमरे के सामने अभिनेता की आवश्यकता के, अपने आप नई अभिव्यक्तियाँ बना सकें। चुनौती यह रही है कि भावनाएँ स्थिर नहीं होतीं; वे शक्ति में बदलती रहती हैं, उदासी के एक हल्के संकेत से लेकर शोक की एक भारी लहर तक। अधिकांश कंप्यूटर मॉडल इस बारीकी को पकड़ने में संघर्ष करते हैं, जिससे अक्सर चेहरे बहुत चिकने या सामान्य दिखने लगते हैं, जिनमें उस विशिष्ट तीव्रता का अभाव होता है जो एक भावना को विश्वसनीय बनाती है।
ब्राजील के पोंटिफिकल कैथोलिक यूनिवर्सिटी ऑफ रियो ग्रांडे डो सुल के शोधकर्ताओं ने इस समस्या को हल करने का एक नया तरीका विकसित किया है, जिसका लक्ष्य कंप्यूटर को विभिन्न स्तरों की तीव्रता के साथ यथार्थवादी भावनात्मक अभिव्यक्तियाँ उत्पन्न करना सिखाना है। उन्होंने छह बुनियादी मानवीय भावनाओं पर ध्यान केंद्रित किया: खुशी, क्रोध, भय, उदासी, घृणा और आश्चर्य। कंप्यूटर से केवल एक वीडियो की नकल करने के लिए कहने के बजाय, उन्होंने एक सिस्टम को वास्तविक मानव प्रदर्शनों के संग्रह से इन भावनाओं की अंतर्निहित संरचना को सीखने के लिए प्रशिक्षित किया। टीम ने सोलह अलग-अलग लोगों (आठ पुरुष और आठ महिला) के वीडियो फुटेज एकत्र किए, जो इन छह भावनाओं को दो अलग-अलग स्तरों की शक्ति: कम और उच्च स्तर पर प्रदर्शित कर रहे थे। इस फुटेज से, उन्होंने एक आभासी चेहरे के नियंत्रण करने वाले विशिष्ट संख्यात्मक मान निकाले, जैसे कि भौंह कितनी ऊपर उठती है या मुंह कितना चौड़ा खुलता है। इसके परिणामस्वरूप 7,680 विशिष्ट क्षणों का एक डेटासेट प्राप्त हुआ, जो इतने जटिल कार्य के लिए अपेक्षाकृत छोटी संख्या है, जिसका उपयोग शोधकर्ताओं ने अपने मॉडल को सिखाने के लिए किया।
उनकी पद्धति का मूल एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जिसे 'कंडीशनल वेरिएशनल ऑटोएनकोडर' कहा जाता है। सरल शब्दों में, यह प्रणाली एक छात्र की तरह काम करती है जो उदाहरणों के एक सेट का अध्ययन करता है और फिर एक विवरण के आधार पर नए चित्र बनाना सीखता है। कंप्यूटर को चेहरे के डेटा के साथ लेबल दिए गए जो बताते थे कि कौन सी भावना दिखाई जा रही थी, वह कितनी तीव्र थी, और व्यक्ति पुरुष था या महिला। सिस्टम ने इस जानकारी को एक संक्षिप्त आंतरिक प्रतिनिधित्व में संकुचित करना सीखा, जो अनिवार्य रूप से एक मानसिक मानचित्र बनाता है कि प्रत्येक भावना विभिन्न स्तरों पर कैसी दिखती है। जब एक नई अभिव्यक्ति बनाने के लिए कहा जाता, तो कंप्यूटर को निर्देश दिया जा सकता था कि "एक महिला के लिए उच्च-तीव्रता वाला खुश चेहरा" या "एक पुरुष के लिए कम-तीव्रता वाला उदास चेहरा" बनाए, और यह उन निर्देशों से मेल खाने वाले नए चेहरे के आंदोलनों का एक सेट तैयार कर देता। शोधकर्ताओं ने पाया कि सिस्टम सफलतापूर्वक सुसंगत भावनात्मक विविधताएं बना सकता था, लेकिन शुरुआती परिणामों में एक दोष था जो इस प्रकार की तकनीक में आम है: अभिव्यक्तियाँ बहुत चिकनी थीं। कंप्यूटर विवरणों को औसत (एवरेज) निकालने की प्रवृत्ति रखता था, जिससे चेहरे शांत और थोड़े सुस्त दिखने लगते थे, जिससे वास्तविक मानवीय भावनाओं के तीखे शिखर गायब हो जाते थे।
इस स्मूथिंग प्रभाव को ठीक करने के लिए, टीम ने अपनी प्रक्रिया में एक दूसरा चरण जोड़ा, जो एक 'रिफाइनमेंट लेयर' (परिष्करण परत) के रूप में कार्य करता है। उन्होंने उन वास्तविक मानवीय अभिव्यक्तियों और पहले कंप्यूटर मॉडल द्वारा बनाए गए थोड़े सुस्त संस्करणों के बीच के अंतर की गणना की। फिर उन्होंने एक दूसरे, विशेष सिस्टम को इन अंतरों के पैटर्न को सीखने के लिए प्रशिक्षित किया। यह दूसरा सिस्टम एक सुधार उपकरण की तरह कार्य करता था, जो यह पहचानता था कि पहले मॉडल ने कहाँ चूक की है और उसमें खोई हुई ऊर्जा और गतिशीलता को वापस जोड़ता था। जब यह सुधार लागू किया गया, तो आभासी चेहरों में स्वाभाविक जीवंतता लौट आई। मुंह की गतिविधियाँ अधिक स्पष्ट हो गईं, और भावनाओं की तीव्रता वास्तविक मानव प्रदर्शनों के स्तरों के करीब आ गई। सांख्यिकीय परीक्षणों ने पुष्टि की कि अंतिम, सुधारे गए अभिव्यक्तियाँ वास्तविक मानव डेटा की तुलना में बहुत करीब थीं, जिससे चेहरे के नियंत्रणों के हिलने-डुलने के तरीके में समानता प्रभावी रूप से दोगुनी हो गई।
अध्ययन ने यह भी मापा कि एक अलग, स्वतंत्र कंप्यूटर प्रोग्राम इन नए आभासी चेहरों में भावनाओं को कितनी अच्छी तरह पहचान सकता है। सुधार चरण से पहले, कंप्यूटर कभी-कभी भावनाओं को पहचानने में संघर्ष करता था, विशेष रूप से भय या आश्चर्य जैसी जटिल भावनाओं के साथ। सुधार चरण के बाद, अधिकांश भावनाओं के लिए पहचान दर में महत्वपूर्ण सुधार हुआ, जिससे पता चलता कि जोड़े गए विवरण केवल यादृच्छिक शोर (नॉइज़) नहीं बल्कि वास्तविक भावनात्मक संकेत थे। शोधकर्ताओं ने नोट किया कि सिस्टम दोनों निम्न और उच्च तीव्रता स्तरों में अच्छी तरह से काम करता है, जो यह सिद्ध करता है कि यह हर नए परिदृश्य के लिए पुन: प्रशिक्षित हुए बिना मानवीय अभिव्यक्ति की पूरी श्रृंखला को संभाल सकता है। हालांकि इस प्रणाली को यह देखने के लिए कि चेहरे वास्तविक दर्शकों को कितने स्वाभाविक लगते हैं, अभी भी मानव पर्यवेक्षकों के साथ और अधिक परीक्षण की आवश्यकता है, लेकिन परिणाम दर्शाते हैं कि वास्तविक दुनिया के डेटा के अपेक्षाकृत छोटे सेट से नियंत्रणीय, अभिव्यंजक आभासी पात्र बनाना संभव है। यह दृष्टिकोण निरंतर मानव अभिनेताओं या मैन्युअल कलात्मक समायोजन की आवश्यकता के बिना मानवीय भावनाओं के पूर्ण स्पेक्ट्रम को व्यक्त करने वाले डिजिटल पात्रों को बनाने के लिए एक मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।