Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation
यह शोध पत्र व्यक्तिगत व्यक्ति छवि निर्माण (पर्सनलाइज्ड पर्सन इमेज जनरेशन) में चेहरे की सटीकता (फेशियल फिडेलिटी) और समग्र उपस्थिति की निरंतरता के बीच के संतुलन को हल करने के लिए डायनेमिक बैलेंसिंग स्केलिंग (DBS) रणनीति द्वारा संवर्धित एक डुअल-ब्रांच फ्रेमवर्क पेश करता है, साथ ही समग्र पहचान मूल्यांकन के लिए पेक्सल्स-100 (Pexels-100) बेंचमार्क का विमोचन भी करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मूवी स्टूडियो में निर्देशक हैं, लेकिन कलाकारों को काम पर रखने के बजाय, आपके पास एक जादुई कैमरा है जो आपके द्वारा वर्णित किसी भी पात्र को प्रकट कर सकता है। आप एक ऐसा नायक चाहते हैं जो बिल्कुल आपके सबसे अच्छे दोस्त जैसा दिखे—वही मुस्कान, वही आँखें, वही अनोखी नाक—लेकिन मंगल ग्रह पर स्पेस सूट पहने हुए हो, या शायद एक मध्यकालीन जंगल में ड्रैगन की सवारी कर रहा हो। यह "पर्सनलाइज्ड इमेज जनरेशन" का सपना है। लंबे समय तक, एआई कलाकारों को दो निराशाजनक विकल्पों में से एक को चुनना पड़ता था: या तो पात्र को आपके दोस्त के चेहरे जैसा बिल्कुल सटीक बनाएं, लेकिन यह भूल जाएं कि उन्होंने क्या पहना था या उनका शरीर कैसा दिखता था; या उन्हें एकदम सही पोशाक और मुद्रा में सजाएं, लेकिन अंत में एक अजनबी का चेहरा प्राप्त करें। यह एक ऐसा केक बनाने की कोशिश करने जैसा था जहाँ आप फ्रॉस्टिंग को एकदम सही बना सकते थे या स्पंज को एकदम सही, लेकिन एक ही समय में दोनों को कभी नहीं। यह शोध पत्र आर्टिफिशियल इंटेलिजेंस के इसी विशिष्ट कोने में उतरता है, जो व्यक्ति के "संपूर्ण स्वरूप" (उनका चेहरा और उनकी पूरी पोशाक और वाइब) को सुसंगत बनाए रखने की कठिन समस्या से निपटता है—जब एआई को उन्हें नई स्थितियों में रखने के लिए कहा जाता है।
युक्सुआन ज़ियाओ और सहयोगियों के नेतृत्व में इस अध्ययन के पीछे के शोधकर्ताओं ने पक्ष लेना बंद करने का निर्णय लिया। उन्होंने शुरुआत एक "नेइव डुअल-ब्रांच" (Naive Dual-Branch) सिस्टम बनाकर की, जो अनिवार्य रूप से एआई के लिए एक दो-लेन वाला हाईवे है। एक लेन बड़ी तस्वीर (कपड़े, शरीर का आकार, हेयरस्टाइल) पर ध्यान केंद्रित करती है, और दूसरी लेन चेहरे के सूक्ष्म विवरणों पर ज़ूम करती है। उन्होंने पाया कि हालांकि यह दो-लेन वाला दृष्टिकोण एक अच्छी शुरुआत थी, लेकिन यह थोड़ा अराजक था। "फेस लेन" बहुत तेज़ गाड़ी चला रही थी और पूरे कार पर कब्जा कर रही थी, जबकि "अपीयरेंस लेन" रियरव्यू मिरर में कहीं खो गई थी। परिणाम? बेहतरीन चेहरे, लेकिन कपड़े कभी-कभी कुछ अजीब चीज़ों में बदल जाते थे, या शरीर का आकार दब जाता था।
इस ट्रैफिक जाम को ठीक करने के लिए, टीम ने एक चतुर ट्रैफिक कंट्रोल सिस्टम बनाया जिसे डायनेमिक बैलेंसिंग स्केलिंग (DBS) कहा जाता है। इसे एक ऑर्केस्ट्रा के स्मार्ट कंडक्टर के रूप में सोचें। कंडक्टर दो मुख्य तरकीबों का उपयोग करता है। पहले, वे एडेप्टिव टेम्पोरल गेटिंग (Adaptive Temporal Gating) का उपयोग करते हैं, जो एक डिमर स्विच की तरह है जो गाने के विभिन्न क्षणों के दौरान चेहरे और शरीर के संगीतकारों की आवाज़ को बदल देता है। प्रक्रिया के शुरुआती चरणों में, कंडक्टर चेहरे को एक स्थिर, विश्वसनीय धुन बजाने दे सकता है ताकि पहचान स्थापित हो सके, लेकिन जैसे-जैसे गाना आगे बढ़ता है, वे धीरे से शरीर और कपड़ों की आवाज़ बढ़ा देते हैं ताकि वे दब न जाएं। दूसरा, उन्होंने रीजन-अवेयर ऑप्टिमाइज़ेशन (Region-Aware Optimization) पेश किया। कल्पना कीजिए कि एआई एक चित्र बना रहा है, और यह आमतौर पर पूरे कैनवास पर एक ही ब्रश दबाव के साथ पेंट करता है। यह नई तरकीब एआई को बताती है, "हे, चेहरे को पेंट करते समय बहुत सावधान और सटीक रहें, लेकिन यह भी न भूलें कि कपड़ों और बैकग्राउंड को भी उतना ही ध्यान दें।" यह सुनिश्चित करता है कि एआई आँखों के प्रति जुनूनी होकर शर्ट को अनदेखा न कर दे।
टीम ने अपने द्वारा बनाए गए एक कस्टम बेंचमार्क पर इसका परीक्षण किया जिसे पेक्सेल्स-100 (Pexels-100) कहा जाता है, जिसमें यह देखने के लिए 100 अलग-अलग फुल-बॉडी इमेज शामिल हैं कि एआई विभिन्न दृश्यों में व्यक्ति की पहचान को कितनी अच्छी तरह बरकरार रखता है। परिणाम उत्साहजनक थे। उनके तरीके ने अन्य ओपन-सोर्स टूल्स की तुलना में बहुत बेहतर संतुलन बनाया, जिससे चेहरा पहचानने योग्य बना रहा और साथ ही यह भी सुनिश्चित हुआ कि कपड़े और शरीर सही दिखें। वास्तव में, उनका दृष्टिकोण इतना अच्छा प्रदर्शन कर गया कि इसने कुछ महंगे, क्लोज्ड-सोर्स कमर्शियल सिस्टम्स को भी टक्कर दी। हालांकि, लेखक सावधानी से नोट करते हैं कि यह अभी भी हर समस्या के लिए जादू की छड़ी नहीं है। यदि आप एआई को एक जटिल जिम्नास्टिक फ्लिप करते हुए या हाथों की जटिल हरकतें दिखाते हुए चित्रित करने के लिए कहते हैं, तो छवि अभी भी थोड़ी डगमगा सकती है या विकृत हो सकती है, क्योंकि अंतर्निहित एआई मॉडल अभी भी उन कठिन भौतिक संरचनाओं के साथ संघर्ष करता है। लेकिन अधिकांश रोजमर्रा के परिदृश्यों के लिए, यह नया "कंडक्टर" आखिरकार एआई को तालमेल में गाने में मदद करता है, जिससे पूरा व्यक्ति केवल उनके चेहरे के रूप में नहीं, बल्कि उनके संपूर्ण व्यक्तित्व के रूप में दिखाई देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।