Pro-Pose: Unpaired Full-Body Portrait Synthesis via Canonical UV Maps
Pro-Pose एक नवीन विधि है जो कैनोनिकल UV मैप्स और मल्टी-इमेज फाइन-ट्यूनिंग का लाभ उठाकर अनपेयर्ड, इन-द-वाइल्ड फुल-बॉडी पोर्ट्रेट्स को स्टैंडर्डाइज्ड मिनिमल क्लोथिंग वाले कंट्रोलेबल, हाई-फिडेलिटी अवतारों में रूपांतरित करती है ताकि पहचान को सुरक्षित रखते हुए वर्चुअल ट्राई-ऑन जैसे डाउनस्ट्रीम अनुप्रयोगों के लिए मजबूत रिपोजिंग सक्षम की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास आपकी अपनी एक साधारण सी सेल्फी है। शायद लाइटिंग अजीब है, आपने भारी सर्दियों का कोट पहना हुआ है, और आप एक बिखरे हुए कमरे में खड़े हैं। अब, कल्पना कीजिए कि आप देखना चाहते हैं कि आप पूरी तरह से अलग कपड़ों में या शायद हैंडस्टैंड करते हुए, या बस एक प्रोफेशनल स्टूडियो में बेहतरीन लाइटिंग के साथ कैसे दिखेंगे।
आमतौर पर, ऐसा करना कंप्यूटरों के लिए एक बुरा सपना होता है। वे आपके कपड़ों, बैकग्राउंड और अजीब कोणों (angles) से भ्रमित हो जाते हैं। अक्सर वे आपका चेहरा किसी अजनबी जैसा बना देते हैं या आपके शरीर का आकार गलत कर देते हैं।
यहाँ आता है Pro-Pose, एक नया AI टूल जिसे गूगल और यूनिवर्सिटी ऑफ टेक्सस के शोधकर्ताओं द्वारा विकसित किया गया है। Pro-Pose को एक "डिजिटल दर्जी और फोटोग्राफर" के रूप में समझें जो एक ही भूमिका में हैं। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:
1. समस्या: "बिखरा हुआ कमरा" बनाम "स्टूडियो"
ज्यादातर फोटो जो हम लेते हैं, वे "इन-द-वाइल्ड" (प्राकृतिक परिवेश में) होती हैं। वे बिखरी हुई होती हैं। यदि आप डिजिटल रूप से एक नई शर्ट पहनकर देखना चाहते हैं (वर्चुअल ट्राई-ऑन), तो कंप्यूटर भ्रमित हो जाता है क्योंकि आपके वर्तमान कपड़े आपके शरीर के आकार को छिपा रहे होते हैं। यह बिल्कुल वैसा ही है जैसे किसी व्यक्ति का आकार मापने की कोशिश करना जबकि उसने तीन भारी कोट और एक टोपी पहनी हो।
2. समाधान: "डिजिटल पुतला" (कैनोनिकल UV मैप्स)
Pro-Pose के पास एक चतुर तरकीब है। आपकी बिखरी हुई फोटो को सीधे एडिट करने के बजाय, यह पहले आपको एक मानकीकृत डिजिटल पुतले (standardized digital mannequin) में बदल देता है।
- रूपक (Metaphor): कल्पना कीजिए कि आप किसी व्यक्ति की फोटो लेते हैं, और फिर तुरंत उनके कपड़े और त्वचा को हटाकर उनके शरीर का एक सपाट, 2D "मैप" (जैसे कि एक कागज की गुड़िया का पैटर्न) बना देते हैं। इसे UV मैप कहा जाता है।
- जादू: इस मैप पर, Pro-Pose आपको एक साधारण, मानक काले टैंक टॉप और शॉर्ट्स पहने हुए चित्रित करता है। यह आपके बिखरे हुए बैकग्राउंड, भारी कोट और खराब लाइटिंग को हटा देता है।
- यह क्यों मदद करता है: अब कंप्यूटर को पता है कि आपके शरीर का आकार और चेहरा कैसा दिखता है, बिना किसी भटकाव के। यह एक साफ, खाली कैनवास की तरह है।
3. "डोनर" ट्रिक: बिना नकल किए हिलना-डुलना सीखना
यहाँ सबसे कठिन हिस्सा है: आप कंप्यूटर को यह कैसे सिखाते हैं कि वह इस पुतले को एक नई मुद्रा (जैसे कि हैंडस्टैंड) में ले जाए, बिना मूल फोटो के हिस्सों को "कॉपी और पेस्ट" किए?
यदि आप केवल AI को कहते हैं, "इस व्यक्ति को हिलाओ," तो वह मूल फोटो के किनारों को देखकर यह अनुमान लगाने की कोशिश कर सकता है कि शरीर कहाँ जाता है। यह गलत है क्योंकि इससे वह वास्तव में यह नहीं सीख पाता कि शरीर कैसे काम करता है।
- उपमा (Analogy): कल्पना कीजिए कि आप किसी छात्र को लेटे हुए व्यक्ति का चित्र बनाना सिखा रहे हैं। यदि आप उन्हें खड़े हुए व्यक्ति की फोटो दिखाते हैं, तो वे केवल उसकी बाहरी रेखा (outline) को ट्रेस कर सकते हैं।
- सुधार: Pro-Pose एक "डोनर" (Donor) रणनीति का उपयोग करता है। यह आपके शरीर के "मैप" को लेता है और इसके कुछ हिस्सों को अन्य लोगों के मास्क से ढक देता है जो अलग-अलग मुद्राओं में हैं।
- परिणाम: AI अब आपके मूल फोटो के किनारों को देखकर नकल नहीं कर सकता। इसे मजबूर होकर यह समझना पड़ता है कि मानव शरीर की 3D संरचना क्या है ताकि वह छूटे हुए हिस्सों को भर सके। यह एक पहेली की तरह है जहाँ टुकड़े बार-बार अपना आकार बदलते रहते हैं, जिससे AI को मानव शरीर की वास्तविक संरचना सीखने के लिए मजबूर होना पड़ता है।
4. "पर्सनल टच" (फाइन-ट्यूनिंग)
कभी-कभी, AI आपकी नाक को थोड़ा गलत बना सकता है या आपके बालों का रंग थोड़ा अलग हो सकता है। इसे ठीक करने के लिए, Pro-Pose में एक "पर्सनलाइजेशन" मोड है।
- रूपक: इस बेस AI को एक मास्टर मूर्तिकार के रूप में सोचें जो एक आदर्श मानव मूर्ति बनाना जानता है। लेकिन यदि आप अपनी विशिष्ट मूर्ति चाहते हैं, तो आप मूर्तिकार को आपकी कुछ अतिरिक्त तस्वीरें देते हैं।
- क्रिया: AI आपकी कुछ अतिरिक्त तस्वीरों का उपयोग करके खुद को जल्दी से "फाइन-ट्यून" करता है। यह आपकी विशिष्ट चेहरे और शरीर की बारीकियों को लॉक करने के लिए अपनी याददाश्त को एडजस्ट करता है, जिससे यह सुनिश्चित होता है कि अंतिम परिणाम बिल्कुल आपकी तरह दिखे, न कि किसी सामान्य व्यक्ति की तरह।
5. प्रतिफल: वर्चुअल ट्राई-ऑन और बहुत कुछ
एक बार जब Pro-Pose ने आपका यह साफ, पोज़-नियंत्रित "डिजिटल जुड़वां" बना लिया, तो असली जादू शुरू होता है:
- वर्चुअल ट्राई-ऑन: क्योंकि आपका शरीर अब एक साफ, मानकीकृत आकार (काला टैंक टॉप) है, AI द्वारा पहना जाने वाला कोई भी नया कपड़ा आप पर बिल्कुल सही बैठेगा। अब कोई अजीब गड़बड़ी नहीं होगी जहाँ शर्ट आपके मूल जैकेट में मिल जाती है।
- पोज़ कंट्रोल: आप AI से कह सकते हैं कि वह आपको नाचने, कूदने या मॉडल की तरह पोज़ देने के लिए कहे, और वह आपके चेहरे और शरीर के आकार को पूरी तरह से बरकरार रखते हुए ऐसा करेगा।
सारांश
Pro-Pose एक जादुई फोटो स्टूडियो की तरह है जो:
- आपकी बिखरी हुई, रोज़मर्रा की फोटो लेता है।
- उसे एक साफ, मानक "बॉडी मैप" में बदल देता है।
- नकल करने से बचने के लिए और शरीर को किसी भी मुद्रा में चलाने के लिए एक चतुर "डोनर" ट्रिक का उपयोग करता है।
- आपको कोई भी पोशाक पहनने या कोई भी पोज़ देने की अनुमति देता है, और वह भी आपके चेहरे और पहचान को 100% वास्तविक रखते हुए।
यह एक एकल, अपूर्ण स्नैपशॉट को एक बहुमुखी, उच्च-गुणवत्ता वाले डिजिटल अवतार में बदल देता है जिसे आप अपनी इच्छानुसार नियंत्रित कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।