Agent-Driven Multi-View Facial Prior Learning for Identity-Preserving Pose-Guided Generation
यह शोध पत्र ADF-Pose का प्रस्ताव करता है, जो एक एजेंट-संचालित फ्रेमवर्क है जिसमें एक आइडेंटिटी प्रायर एक्सट्रैक्टर (Identity Prior Extractor) और एक मल्टीमॉडल आइडेंटिटी कन्वर्टर (Multimodal Identity Converter) शामिल है, जो विशेष रूप से बड़े पोज़ परिवर्तनों के तहत चेहरे की पहचान और सूक्ष्म विवरणों को प्रभावी ढंग से बनाए रखने के लिए डिज़ाइन किया गया है जहाँ मौजूदा विधियाँ संघर्ष करती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक दोस्त की तस्वीर लेने की कोशिश कर रहे हैं, लेकिन उनसे अपना सिर घुमाने के लिए कहने के बजाय, आप एक कंप्यूटर से यह कल्पना करने के लिए कह रहे हैं कि वे किसी अलग दिशा में देखते हुए कैसे दिखेंगे। लक्ष्य एक ऐसी नई तस्वीर बनाना है जो बिल्कुल उसी व्यक्ति जैसी दिखे, जिसमें उनका अनूठा चेहरा, उनके जबड़े का आकार और उनकी त्वचा की बनावट बनी रहे, जबकि उन्हें एक नई मुद्रा (पोज़) में रखा जाए। यह 'पोज़-गाइडेड इमेज जनरेशन' (pose-guided image generation) की चुनौती है। वर्षों से, कंप्यूटर लोगों के शरीर को हिलाने, उनके हाथ-पैर को एक नई स्थिति के अनुरूप बदलने में काफी कुशल हो गए हैं। हालाँकि, जब कंप्यूटर सिर घुमाने की कोशिश करता है, तो परिणाम अक्सर गलत महसूस होता है। चेहरा अपना विशिष्ट आकार खो सकता है, आँखें एक-दूसरे से दूर जा सकती हैं, या त्वचा एक चिकने, प्लास्टिक के मास्क जैसी लग सकती है। कंप्यूटर संघर्ष करता है क्योंकि वह आमतौर पर पूरे व्यक्ति को एक बड़ी तस्वीर के रूप में देखता है, जिससे वे सूक्ष्म, महत्वपूर्ण विवरण छूट जाते हैं जो एक चेहरे को वास्तव में अद्वितीय बनाते हैं, विशेष रूप से तब जब वह चेहरा कैमरे से दूसरी ओर मुड़ा हुआ हो।
शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक नया दृष्टिकोण विकसित किया है, जो चेहरे के साथ उस स्तर की देखभाल करता है जो इसे पहले कभी नहीं मिली। एक नए कोण से चेहरा कैसा दिखेगा, इसके लिए एक एकल, धुंधले अनुमान पर निर्भर रहने के बजाय, उनका सिस्टम कई दृष्टिकोणों से व्यक्ति के चेहरे का एक विस्तृत मानसिक मॉडल बनाता है। वे अपनी इस विधि को ADF-Pose कहते हैं। यह पहले मूल फोटो में चेहरे को अलग करता है और फिर एक स्मार्ट, स्वचालित सहायक का उपयोग करके चेहरे के गायब हिस्सों की कल्पना करता है। यदि फोटो में व्यक्ति थोड़ा बाईं ओर देख रहा है, तो सिस्टम केवल यह अनुमान नहीं लगाता कि दाहिना हिस्सा कैसा दिखेगा; बल्कि यह उस हिस्से का एक तार्किक, सत्यापित संस्करण बनाता है, और यह सुनिश्चित करने के लिए अपना काम जाँचता है कि नाक, मुँह और जबड़ा अभी भी उसी व्यक्ति के हों। यह प्रक्रिया "फेशियल प्रायर्स" (facial priors) का एक सेट बनाती है, जो अनिवार्य रूप से सामने, बाईं और दाईं ओर से उस व्यक्ति के चेहरे के सत्यापित ब्लूप्रिंट (खाके) हैं।
एक बार जब ये ब्लूप्रिंट तैयार हो जाते हैं, तो सिस्टम उन्हें व्यक्ति की चेहरे की विशेषताओं के लिखित विवरण के साथ जोड़ता है। फिर यह संयुक्त जानकारी को एक शक्तिशाली इमेज जनरेटर में डाल देता है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो शून्य से यथार्थवादी चित्र बनाने के लिए जाना जाता है। जनरेटर इस विस्तृत ब्लूप्रिंट और विवरण का उपयोग ड्राइंग प्रक्रिया के हर चरण में करता है, शुरुआती कच्चे स्केच से लेकर त्वचा की बनावट के अंतिम सूक्ष्म सुधार तक। यह सुनिश्चित करता है कि व्यक्ति की पहचान स्थिर रहे, जिससे शरीर के हिलने पर चेहरा बदलने या आकार खोने से बच सके। शोधकर्ताओं ने फैशन और स्ट्रीट फोटोग्राफी की बड़ी संग्रहों पर इस पद्धति का परीक्षण किया, और अपने परिणामों की तुलना मौजूदा सर्वश्रेष्ठ तकनीकों से की। उन्होंने पाया कि उनका सिस्टम चेहरे को मूल व्यक्ति जैसा बनाए रखने में काफी बेहतर था, भले ही सिर को तेजी से बगल की ओर घुमाया गया हो।
परिणामों ने इस बात में स्पष्ट सुधार दिखाया कि सिस्टम पहचान को कितनी अच्छी तरह सुरक्षित रखता है। फैशन छवियों के एक डेटासेट का उपयोग करते हुए परीक्षणों में, नई विधि ने चेहरे की समानता के लिए 0.312 का स्कोर प्राप्त किया, जो पिछले सर्वश्रेष्ठ स्कोर 0.275 से उल्लेखनीय उछाल है। इसने अधिक स्पष्ट विवरण भी उत्पन्न किए, जिससे अग्रणी विकल्प की तुलना में चेहरे की बनावट की धुंधलापन लगभग 7.4 प्रतिशत कम हो गया। जब चित्रों को अगल-बगल देखा जाता है, तो अंतर चौंकाने वाला होता है। पुराने तरीके अक्सर ऐसे चेहरे बनाते थे जो विश्वसनीय तो लगते थे लेकिन सामान्य (generic) थे, जिनमें विशेषताएं नरम हो जाती थीं या अनुपात थोड़ा गलत होता था। हालाँकि, नया सिस्टम, प्रोफाइल व्यू (बगल से दिखने वाले दृश्य) में व्यक्ति को घुमाने के बावजूद, जबड़े के विशिष्ट उभार, आँखों की सटीक दूरी और मुँह के आसपास की महीन रेखाओं को बरकरार रखता है। सिस्टम ने शरीर के बाकी हिस्से की वास्तविकता से समझौता किए बिना इन विवरणों को बनाए रखा, जिससे कपड़े और मुद्रा स्वाभाविक दिखे।
शोधकर्ताओं ने अपने सिस्टम को समझने के लिए इसके विभिन्न हिस्सों का विश्लेषण भी किया। उन्होंने पाया कि जिस चरण में सिस्टम चेहरे के गायब दृश्यों का निर्माण और सत्यापन करता है, वह सबसे महत्वपूर्ण था। इस चरण के बिना, चेहरा अपना अनूठा आकार खो देता। दूसरा सबसे महत्वपूर्ण हिस्सा वह तरीका था जिससे सिस्टम ने लिखित विवरणों के साथ दृश्य ब्लूप्रिंट को जोड़ा, जिससे यह सुनिश्चित हुआ कि कंप्यूटर न केवल यह समझे कि चेहरा कैसा दिखता है, बल्कि उसकी विशेषताओं का आपस में क्या संबंध है। अंत में, इस जानकारी को इमेज जनरेटर में प्रक्रिया के हर चरण में डालने की विधि ने यह सुनिश्चित किया कि जैसे-जैसे छवि स्पष्ट होती जाए, पहचान के विवरण खो न जाएं। हालाँकि यह प्रणाली पूर्ण नहीं है और यदि मूल चेहरा बहुत अधिक ढका हुआ हो या देखने के लिए बहुत छोटा हो तो संघर्ष कर सकती है, फिर भी यह एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करती है। यह केवल पिक्सेल को इधर-उधर चलाने से आगे बढ़कर वास्तव में मानव चेहरे की जटिल, अद्वितीय ज्यामिति को समझने और संरक्षित करने की ओर बढ़ता है, जिससे कंप्यूटर ऐसे नए पोज़ बना सकते हैं जो वास्तव में उसी व्यक्ति के लगते हैं जिनका वे प्रतिनिधित्व करने के लिए बनाए गए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।