FashionPose: Unified Text-Driven Fashion Synthesis with Joint Geometric and Photometric Control

कल्पना कीजिए कि आप एक फिल्म के सेट पर निर्देशक हैं, लेकिन कलाकारों को काम पर रखने के बजाय, आप एक डिजिटल कलाकार को एक विशिष्ट पोशाक पहने हुए व्यक्ति का चित्र बनाने का निर्देश दे रहे हैं। कंप्यूटर विज़न की दुनिया में—जो कंप्यूटर को "देखने" और चित्र बनाने के लिए सिखाने का विज्ञान है—यह एक कठिन काम है। आमतौर पर, यदि आप चाहते हैं कि कंप्यूटर एक नए पोज़ में किसी व्यक्ति का चित्र बनाए, तो आपको उसे एक कठोर कंकाल (skeleton) देना होगा, जैसे कि कपड़ों को थामे रखने के लिए एक वायरफ्रेम पुतले जैसा। यह एक ऐसे कठपुतली को कपड़े पहनाने जैसा है जहाँ आप जोड़ों को तभी हिला सकते हैं जब आपके पास पहले से बना हुआ ब्लूप्रिंट हो। इसके अलावा, अधिकांश डिजिटल कलाकार एक "स्टूडियो" में काम करते हैं जहाँ रोशनी सपाट और उबाऊ होती है। यदि आप उन्हें सूर्यास्त के समय एक धूप वाले पार्क में खड़े व्यक्ति का चित्र बनाने के लिए कहते हैं, तो कंप्यूटर अक्सर भ्रमित हो जाता है, जिससे व्यक्ति एक ऐसे स्टिकर की तरह दिखता है जिसे एक ऐसे बैकग्राउंड पर चिपका दिया गया है जो उसकी लाइटिंग से मेल नहीं खाता। यह शोध पत्र इस समस्या का समाधान करता है कि कैसे आप केवल अपने शब्दों का उपयोग करके कंप्यूटर को एक यथार्थवादी फैशन इमेज बनाने के लिए कह सकते हैं, जिसमें बिना किसी पूर्व-निर्धारित कंकाल या स्टूडियो सेटिंग के, जटिल शारीरिक गतिविधियों और जटिल लाइटिंग को भी संभाला जा सके।

इस कार्य के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व चुआनचेंग शी (Chuancheng Shi) और उनके सहयोगियों ने किया है, FashionPose नामक एक नई प्रणाली प्रस्तावित की है। इसे एक "जादुई अनुवादक" के रूप में सोचें जो आपके प्राकृतिक भाषा के विवरणों को सीधे एक 3D-तैयार फैशन शो में बदल देता है, जिससे कठोर वायरफ्रेम की आवश्यकता समाप्त हो जाती है। उनका तर्क है कि पुराना तरीका—पूर्व-निर्धारित कंकालों पर निर्भर रहना और वातावरण को अनदेखा करना—बहुत सीमित है। इसके बजाय, उनकी प्रणाली एक सरल वाक्य जैसे "एक आरामदायक कमरे में धूप वाली खिड़की के पास खड़ी एक लड़की" को एक उच्च-गुणवत्ता वाली छवि में बदलने के लिए एक तीन-चरणीय "कैस्केडेड" (cascaded) प्रक्रिया का उपयोग करती है, जहाँ लड़की का पोज़ आपके शब्दों से मेल खाता है और सूरज की रोशनी उसके कपड़ों पर बिल्कुल वैसे ही पड़ती है जैसा वर्णित है।

सबसे पहले, प्रणाली एक रचनात्मक निर्देशक की तरह कार्य करती है जो आपकी कहानी सुनता है और एक पोज़ का खाका तैयार करता है। किसी पूर्व-निर्धारित कंकाल को खोजने के बजाय, यह एक "द्विदिश विरोधाभासी संरेखण" (bidirectional contrastive alignment) तंत्र का उपयोग करता है। कल्पना कीजिए कि यह "हॉट एंड कोल्ड" (hot and cold) के खेल जैसा है जहाँ कंप्यूटर आपके शब्दों के भाव (जैसे "क्रॉस की हुई टांगें" या "ऊपर उठे हुए हाथ") को सीधे शरीर की ज्यामिति (geometry) से मिलाना सीखता है, बिना किसी टेम्पलेट की आवश्यकता के। कंप्यूटर को यह सिखाने के लिए, टीम ने PoseCap नामक एक विशाल नई लाइब्रेरी बनाई, जिसमें 40,000 से अधिक टेक्स्ट विवरण और बॉडी की-पॉइंट्स के जोड़े शामिल हैं। यह AI को यह सीखने में सक्षम बनाता है कि "धूप वाली खिड़की के पास खड़ा होना" केवल एक बैकग्राउंड विवरण नहीं है; बल्कि यह एक संकेत है कि रोशनी व्यक्ति पर कैसे पड़नी चाहिए।

इसके बाद, प्रणाली "कॉस्ट्यूम डिज़ाइनर" चरण की ओर बढ़ती है। एक बार जब इसके पास पोज़ आ जाता है, तो यह व्यक्ति की एक हाई-फिडेलिटी (high-fidelity) छवि उत्पन्न करती है। महत्वपूर्ण बात यह है कि यह एक "आइडेंटिटी-एंकोर्ड" (identity-anchored) रणनीति का उपयोग करती है। कल्पना कीजिए कि आपके पास एक विशिष्ट मॉडल की फोटो है जिसने एक विशिष्ट जैकेट पहनी है। सिस्टम उस जैकेट और मॉडल के चेहरे को लेता है, उन्हें स्थिर करता है, और फिर उन्हें आपके द्वारा वर्णित नए पोज़ में खींचता और मोड़ता है। यह सुनिश्चित करता है कि भले ही व्यक्ति कोई जटिल नृत्य मुद्रा कर रहा हो, जैकेट के बटन और मॉडल का चेहरा बिल्कुल वैसा ही रहे, जिससे "पिघलते चेहरे" या "विकृत कपड़ों" जैसी गड़बड़ियाँ नहीं होतीं जो अन्य AI आर्ट टूल्स में आम हैं।

अंत में, प्रणाली "लाइटिंग क्रू" को संभालती है। यहीं पर FashionPose पुराने तरीकों की तुलना में चमकता है। इसमें एक "प्रॉम्प्ट-कंडीशन्ड रीलाइटिंग" (prompt-conditioned relighting) मॉड्यूल शामिल है। यदि आपके टेक्स्ट में "गोल्डन ऑवर" या "सॉफ्ट स्टूडियो लाइटिंग" लिखा है, तो यह मॉड्यूल उत्पन्न व्यक्ति पर छाया और हाइलाइट्स को उस विशिष्ट वातावरण के अनुरूप समायोजित करता है। यह एक लाइटिंग तकनीशियन की तरह है जो आपकी स्क्रिप्ट पढ़ता है और मूड के अनुसार स्पॉटलाइट्स को घुमाता है, जिससे यह सुनिश्चित होता है कि व्यक्ति ऐसा न लगे जैसे उसे किसी दूसरी फोटो से काटकर चिपकाया गया हो।

टीम ने अपनी प्रणाली का कड़ाई से परीक्षण किया। उन्होंने पाया कि FashionPose ने सटीकता और यथार्थवाद दोनों में मौजूदा तरीकों को पछाड़ दिया। अपने परीक्षणों में, सिस्टम ने एक कीपॉइंट एरर (MSE) 243.8 प्राप्त किया, जो कि अगली सर्वश्रेष्ठ विधियों (जो लगभग 262.2 के आसपास थीं) की तुलना में कम (बेहतर) है। जब छवियों के समग्र लुक की बात आई, जिसे FID नामक मीट्रिक से मापा गया (जहाँ कम स्कोर बेहतर है), तो FashionPose ने 5.6690 का स्कोर किया, जो पिछले सर्वश्रेष्ठ टूल संयोजन (जिसका स्कोर 6.3671 था) को भी पीछे छोड़ गया। उपयोगकर्ता अध्ययनों में, जहाँ वास्तविक लोगों ने वोट दिया कि कौन सी छवियां सबसे अच्छी दिखती हैं, FashionPose को पोज़ निरंतरता के लिए 46.8% और समग्र सौंदर्य गुणवत्ता के लिए 55.9% मामलों में प्राथमिकता दी गई।

शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि अच्छे परिणाम प्राप्त करने के लिए आपको एक पूर्व-मौजूद कंकाल या "स्टूडियो-जैसे" तटस्थ बैकग्राउंड की आवश्यकता है। उनका तर्क है कि बाहरी पोज़ एस्टिमेटर्स पर निर्भर रहने से AI की क्षमता सीमित हो जाती है और वातावरण को अनदेखा करने से अवास्तविक छवियां बनती हैं जहाँ लाइटिंग पोज़ से मेल नहीं खाती। यह सिद्ध करके कि एक एकल टेक्स्ट प्रॉम्प्ट ज्यामिति (geometry) और फोटोमेट्री (प्रकाश व्यवस्था) दोनों को एक साथ नियंत्रित कर सकता है, वे वर्चुअल फैशन के लिए एक नया रास्ता सुझाते हैं। हालांकि वे यह दावा नहीं करते कि उन्होंने ब्रह्मांड की हर समस्या को हल कर दिया है, लेकिन उनके प्रयोग बताते हैं कि यह एकीकृत दृष्टिकोण व्यक्तिगत, दृश्य-जागरूक (scene-aware) वर्चुअल फैशन प्रदर्शन के लिए एक बहुत अधिक मजबूत और लचीला समाधान बनाता है, जिससे किसी के लिए भी केवल एक वाक्य टाइप करके किसी भी सेटिंग में कपड़े देखना आसान हो जाता है।