Identity-Consistent Expression Fields: A Disentangled Neural Radiance Field Framework for Few-Shot Facial Expression Synthesis
यह शोध पत्र आइडेंटिटी-कंसिस्टेंट एक्सप्रेशन फील्ड्स (ICEF) का प्रस्ताव करता है, जो एक डिसेंटैंगल्ड न्यूरल रेडिएंस फील्ड फ्रेमवर्क है जो स्थिर पहचान विशेषताओं को गतिशील अभिव्यक्ति विरूपणों से अलग करता है और कम-शॉट (few-shot) परिदृश्यों में, यहाँ तक कि नवीन अभिव्यक्तियों तक एक्सट्रपलेशन करते समय भी, उच्च-गुणवत्ता वाले, पहचान-संरक्षित चेहरे की अभिव्यक्ति संश्लेषण को प्राप्त करने के लिए एक कॉन्फिडेंस-वेटेड वार्पिंग तंत्र का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को अपने एक विशेष मित्र का चित्र बनाना सिखाने की कोशिश कर रहे हैं। आपके पास केवल उनकी तीन तस्वीरें हैं: एक मुस्कुराते हुए, एक हैरान होते हुए, और एक सामान्य चेहरे वाली। आपका लक्ष्य रोबोट से उसी मित्र का एक बिल्कुल नया चित्र बनवाना है, जिसमें वे कोई अजीब, अतिरंजित चेहरा बना रहे हों जो आपने पहले कभी नहीं देखा, जैसे कि अपनी जीभ बाहर निकालना और एक भौंह ऊपर उठाना। यह न्यूरल रेडिएंस फील्ड्स (NeRF) की दुनिया है, जो कंप्यूटर द्वारा 2D तस्वीरों को 3D दुनिया में बदलने का एक चतुर तरीका है। एक NeRF को त्रिकोणों से बने 3D मॉडल के रूप में नहीं, बल्कि एक जादुई "धुंध" के रूप में सोचें जिसे पता है कि आप जहाँ से भी देख रहे हों, उस स्थान पर रंग और घनत्व (density) बिल्कुल क्या होना चाहिए।
लंबे समय तक, ये 3D "धुंध-मशीनें" एक नए कोण से चेहरे को दिखाने में तो बेहतरीन थीं, लेकिन जब उनसे किसी अभिव्यक्ति (expression) को बदलने (जैसे मुस्कान से उदासी में बदलने) के लिए कहा गया, तो वे अक्सर भ्रमित हो जाती थीं। वे पूरे चेहरे को बदलने की कोशिश करती थीं, लेकिन ऐसा करते समय, वे अनजाने में व्यक्ति की विशिष्ट विशेषताओं को भी बदल देती थीं। यह एक वीडियो गेम में किसी पात्र की पोशाक बदलने की कोशिश करने जैसा है, लेकिन गेम इंजन कपड़ों के साथ-साथ पात्र की नाक का आकार या त्वचा की बनावट भी बदल देता है। फिल्मों या वीडियो गेम के लिए वर्चुअल अवतार बनाने के संदर्भ में यह एक बड़ी समस्या है, क्योंकि आप चाहते हैं कि पात्र खुद जैसा ही दिखे, बस कुछ अलग कर रहा हो, न कि वह किसी अजनबी में बदल जाए।
यहाँ एक नया विचार आता है जिसे ICEF (आइडेंटिटी-कंसिस्टेंट एक्सप्रेशन फील्ड्स) कहा जाता है। इस शोध पत्र के पीछे के शोधकर्ताओं ने गौर किया कि पिछले तरीके एक ही, उलझे हुए "फीचर वॉल्यूम" (चेहरे के सभी विवरणों का एक डिजिटल कंटेनर) को एक नई अभिव्यक्ति के अनुरूप ढालने की कोशिश करते थे। समस्या यह थी कि वह कंटेनर बहुत अधिक लचीला था; जब उसे एक नई, अनदेखी अभिव्यक्ति में ढलने के लिए कहा जाता था, तो वह व्यक्ति की पहचान (identity) को भी अभिव्यक्ति के साथ ही विकृत कर देता था। ICEF एक स्मार्ट दृष्टिकोण का सुझाव देता है: एक बड़े, उलझे हुए कंटेनर के बजाय, चेहरे को दो अलग-अलग भागों में विभाजित करें। पहले, एक स्थिर, अपरिवर्तनीय "ID कार्ड" रखें जिसमें व्यक्ति के चेहरे के सभी अद्वितीय विवरण (उनकी त्वचा की बनावट, नाक का सटीक आकार, आंखों का रंग) एक तटस्थ अवस्था में हों। दूसरा, एक अलग, लचीला "मोल्ड" (सांचा) बनाएं जो केवल चेहरे के उन हिस्सों को हिलाता है जो चेहरा बनाने पर वास्तव में बदलते हैं (जैसे कि मुंह, आंखें और भौहें)।
शोध पत्र प्रस्तावित करता है कि इन दोनों को सख्ती से अलग करके, कंप्यूटर नई अभिव्यक्ति बनाने के लिए "मोल्ड" को खींच सकता है बिना "ID कार्ड" को छुए। यह सुनिश्चित करने के लिए कि मोल्ड गलती से ID कार्ड को न पकड़ ले, उन्होंने एक विशेष नियम (एक "रेगुलराइज़र") जोड़ा है जो कंप्यूटर को बताता है: "केवल मुंह और आंखों को हिलाएं; माथे और गालों को अकेला छोड़ दें।" इसके अलावा, उन्होंने महसूस किया कि यदि आप कंप्यूटर को ऐसी अभिव्यक्ति बनाने के लिए कहते हैं जो दी गई कुछ तस्वीरों से बहुत अलग है, तो वह गलतियाँ करना शुरू कर सकता है। इसे ठीक करने के लिए, ICEF एक "कॉन्फिडेंस मीटर" का उपयोग करता है। यदि नई अभिव्यक्ति उन उदाहरणों से बहुत दूर है जिन्हें वह जानता है, तो सिस्टम स्वचालित रूप से चेहरे को हिलाने के एक सरल, सुरक्षित तरीके पर स्विच हो जाता है, बजाय इसके कि वह अपने जटिल, जोखिम भरे अनुमानों पर भरोसा करे।
अपने परीक्षणों में, लेखकों ने पाया कि यह विधि व्यक्ति को स्वयं जैसा दिखने बनाए रखने में बहुत बेहतर काम करती है, विशेष रूप से तब जब नई अभिव्यक्ति प्रशिक्षण तस्वीरों से बहुत भिन्न हो। उन्होंने दिखाया कि जबकि पुराने तरीके सीमा तक पहुँचने पर व्यक्ति की पहचान को धुंधला या विकृत करने लगते थे, ICEF पहचान को स्पष्ट और सुसंगत बनाए रखता है। यह शोध पत्र यह दावा नहीं करता है कि यह हर संभव चेहरे के लिए एक आदर्श, पूर्ण उत्पाद है, लेकिन यह सुझाव देता है कि यह "विभाजन" की रणनीति 'फ्यू-शॉट फेशियल एनिमेशन' में पहचान के खोने (identity drift) की विशिष्ट समस्या को हल करने का एक ठोस तरीका है। यह उन डिजिटल अवतारों की दिशा में एक कदम है जो अपनी पहचान खोए बिना किसी भी दृश्य को निभाने में सक्षम हो सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।