Controllable Clothing: Precise Labels and Generation for Virtual Try-On with Latent Diffusion Models

कल्पना कीजिए कि आप एक रोबोट को कपड़े पहनना सिखाने की कोशिश कर रहे हैं। आप उसे एक व्यक्ति की फोटो और एक शानदार नए जैकेट की फोटो दिखाते हैं और उससे पूछते हैं, "क्या तुम इस जैकेट को इस व्यक्ति को पहना सकते हो?" यह वर्चुअल ट्राई-ऑन (VITON) की दुनिया है, जो कंप्यूटर विज़न की एक शाखा है जहाँ मशीनें इस पहेली को सुलझाने की कोशिश करती हैं कि कपड़े अलग-अलग शरीरों पर कैसे दिखते हैं। इसे करने के लिए, रोबोट एक विशेष प्रकार के "दिमाग" का उपयोग करता है जिसे डिफ्यूजन मॉडल (diffusion model) कहा जाता है। एक डिफ्यूजन मॉडल को एक जादुई कलाकार की तरह समझें जो एक ऐसे कैनवास से शुरुआत करता है जो स्टैटिक (जैसे टीवी का शोर या बर्फ जैसा सफेद शोर) से ढका होता है और धीरे-धीरे, कदम-दर-कदम, उस शोर को हटाकर एक तस्वीर प्रकट करता है। यदि आप इस कलाकार को "एक लाल शर्ट" जैसा टेक्स्ट विवरण देते हैं, तो यह उसे पेंट कर सकता है। लेकिन यदि आप चाहते हैं कि यह ठीक वही विशिष्ट शर्ट उसी विशिष्ट व्यक्ति पर पेंट करे, जिसमें आस्तीन कोहनी पर समाप्त होती है और कॉलर बिल्कुल सही जगह पर बैठता है, तो कलाकार अक्सर भ्रमित हो जाता है। यह एक लाल शर्ट बहुत लंबी, बहुत छोटी, या गलत रंग की बना सकता है। यह ऑनलाइन स्टोर के लिए एक बड़ी समस्या है, क्योंकि यदि कोई ग्राहक एक ऐसी नकली तस्वीर के आधार पर शर्ट खरीदता है जो वास्तविकता से मेल नहीं खाती, तो वह नाखुश होगा।

मैक्स रहमन लिंडर की यह रिपोर्ट इसी भ्रम को दूर करती है। लेखक पूछते हैं: "क्या होगा अगर हम रोबोट को केवल एक अस्पष्ट विवरण देने के बजाय एक रूलर (पैमाना) और निर्देशों का एक सेट दे सकें?" यह पेपर कंट्रोलेबल क्लोथिंग (ControllableClothing) नामक एक नई विधि प्रस्तावित करता है। केवल रोबोट को तस्वीरें दिखाने के बजाय, लेखक की टीम कपड़ों और व्यक्ति के शरीर को गणितीय सटीकता के साथ मापती है—यह गणना करती है कि कंधे का कितना हिस्सा ढका हुआ है, नेकलाइन कितनी गहरी है, और आस्तीन कितनी लंबी है। वे इन मापों को एक गुप्त कोड (लेबल) में बदलते हैं और छवियों के साथ-साथ इस कोड को रोबोट को खिलाते हैं। परिणाम एक ऐसा सिस्टम है जो केवल यह अनुमान नहीं लगाता कि कपड़े कहाँ जाते हैं; बल्कि यह एक मानचित्र का पालन करता है। पेपर सुझाव देता है कि इन सटीक मापों और एक विशेष "अडेप्टर" (एक उपकरण जो रोबोट को कोड समझने में मदद करता है) का उपयोग करके, उत्पन्न छवियां बहुत अधिक नियंत्रणीय हो जाती हैं। हालाँकि, लेखक सावधानी बरतते हुए नोट करते हैं कि हालांकि अब रोबोट इन नियमों का पालन कर सकता है, लेकिन इसे हर सूक्ष्म विवरण को पूरी तरह से सटीक बनाने के लिए अभी भी और अभ्यास की आवश्यकता है, और उनके द्वारा बनाए गए कुछ नए उपकरणों का अभी भी परीक्षण किया जा रहा है कि क्या वे उम्मीद के मुताबिक काम करते हैं।

"शोर-साफ करने वाले" कलाकार का जादू

यह समझने के लिए कि यह कैसे काम करता है, आइए रोबोट के दिमाग को देखें। यह पेपर लेटेंट डिफ्यूजन मॉडल (latent diffusion model) नामक एक प्रकार के AI का उपयोग करता है। कीचड़ भरे पानी की एक बाल्टी की कल्पना करें। यदि आप इसे मिलाते रहेंगे, तो यह और भी गंदा होता जाएगा जब तक कि यह केवल भूरा कीचड़ न बन जाए। एक डिफ्यूजन मॉडल इसके विपरीत करना सीखता है: यह सीखता है कि उस भूरे कीचड़ को कैसे लिया जाए और धीरे-धीरे, सावधानी से, गंदगी को पानी से अलग किया जाए जब तक कि आपके पास फिर से एक स्पष्ट तस्वीर न आ जाए। कंप्यूटर की दुनिया में, "कीचड़" रैंडम शोर (noise) है, और "स्पष्ट तस्वीर" कपड़े पहने हुए व्यक्ति की फोटो है।

लंबे समय तक, ये रोबट शून्य से नई तस्वीरें बनाने में तो माहिर थे लेकिन सख्त नियमों का पालन करने में खराब थे। यदि आपने एक ऐसी शर्ट मांगी जिसकी आस्तीन ठीक कोहनी पर समाप्त होती हो, तो रोबोट केवल अनुमान लगा सकता है। यह एक बच्चे को घर बनाने के लिए कहने जैसा है जिसका दरवाजा ठीक 3 इंच चौड़ा हो; वे एक दरवाजा तो बना सकते हैं, लेकिन यह शायद ही कभी बिल्कुल उस आकार का होता है जो आप चाहते थे। इन समस्याओं को ठीक करने के पिछले प्रयासों में GANs (एक अन्य प्रकार का AI) का उपयोग किया गया था, लेकिन वे अक्सर कठोर थे और वास्तविक सिलवटें या रोशनी नहीं बना पाते थे। फिर डिफ्यूजन मॉडल्स आए, जो चीजों को वास्तविक दिखाने में बहुत बेहतर हैं, लेकिन वे अभी भी "सटीक प्लेसमेंट" की समस्या से जूझ रहे थे।

नया समाधान: रोबोट को एक रूलर देना

लेखक का मुख्य विचार सरल है: अनुमान लगाना बंद करें और मापना शुरू करें।

अतीत में, यदि आप एक शर्ट आज़माना चाहते थे, तो आप बस रोबोट को शर्ट और व्यक्ति को दिखा देते थे। रोबोट शर्ट को फिट होने के लिए "वार्प" (मोड़ने) की कोशिश करता था। लेकिन लेखक ने महसूस किया कि इसे सही करने के लिए, रोबोट को यह जानना आवश्यक है कि शर्ट कैसे फिट होती है। क्या यह तंग है? क्या यह ढीली है? क्या आस्तीन कलाई पर रुकती है या कोहनी पर?

इसलिए, टीम ने एक प्री-प्रोसेसिंग पाइपलाइन बनाई। इससे पहले कि रोबोट तस्वीर देखे, वे अन्य स्मार्ट टूल्स का उपयोग करते हैं:

1. कपड़ों को काटना: वे एक "मास्क" का उपयोग करते हैं ताकि उस हिस्से को छिपाया जा सके जहाँ नया शर्ट जाएगा।
2. सब कुछ मापना: वे कंप्यूटर विज़न का उपयोग करके व्यक्ति के कूल्हों से शर्ट के निचले हिस्से तक की दूरी, गर्दन की चौड़ाई और कंधे का कितना हिस्सा ढका हुआ है, इसे मापते हैं।
3. एक "स्कोरकार्ड" बनाना: वे इन मापों को नंबरों और लेबल में बदलते हैं। उदाहरण के लिए, केवल "लंबी आस्तीन" कहने के बजाय, वे कह सकते हैं "आस्तीन हाथ की लंबाई के 0.8 पर समाप्त होती है।"

"अडेप्टर" टूल: अनुवादक

रोबोट का दिमाग (डिफ्यूजन मॉडल) पेंटिंग करने में पहले से ही बहुत अच्छा है, लेकिन वह "मापन" की भाषा नहीं बोलता है। इसे ठीक करने के लिए, लेखक ने एक विशेष उपकरण बनाया जिसे अडेप्टर (adapter) कहा जाता है। इस अडेप्टर को एक अनुवादक के रूप में सोचें।

अनुवादक "स्कोरकार्ड" (माप और लेबल) और शर्ट की तस्वीर लेता है, और उन्हें उस भाषा में बदल देता है जिसे रोबोट समझता है। फिर यह पेंटिंग करते समय रोबोट के कान में ये निर्देश फुसफुसाता है।

• IP-Adapter: यह हिस्सा रोबोट को शर्ट के लुक (पैटर्न, रंग) को समझने में मदद करता है।
• T2I-Adapter: यह हिस्सा रोबोट को विवरणों को समझने और उन्हें कहाँ रखना है, इसमें मदद करता है।

लेखक ने पेंटिंग की "अप-सैंपलिंग" प्रक्रिया के लिए विशेष रूप से इस अनुवादक का एक नया, कस्टम संस्करण बनाया है। यह वह चरण है जहाँ रोबोट बारीक विवरण जोड़ता है, जैसे कपड़े की बनावट या फोल्ड पर प्रकाश कैसे पड़ता है। इस चरण में माप डेटा को इंजेक्ट करके, रोबोट रूलर के निर्देशों के आधार पर विवरणों को समायोजित कर सकता है।

प्रयोगों ने क्या दिखाया

लेखक ने इस नए सिस्टम को हजारों लोगों और कपड़ों की छवियों पर प्रशिक्षित किया। यहाँ उन्होंने क्या पाया:

• यह काम करता है, लेकिन यह एक प्रगतिशील कार्य है: जब उन्होंने "डायल" (माप लेबल) को घुमाया, तो रोबel वास्तव में कपड़ों को बदल देता था। उदाहरण के लिए, यदि उन्होंने रोबोट को नेकलाइन को गहरा करने के लिए कहा (1 से -2 तक संख्या बदलकर), तो रोबोट ने गहरी नेकलाइन बनाई। यदि उन्होंने इसे केवल एक कंधे को ढकने के लिए कहा, तो इसने वैसा ही किया।
• शब्दों से बेहतर हैं नंबर: लेखक ने पाया कि रोबोट को एक विशिष्ट संख्या (जैसे फ्लोट वैल्यू) देना एक श्रेणी (जैसे "लंबी आस्तीन") देने से बेहतर काम करता है। यह एक शेफ को "थोड़ा नमक डालें" कहने के बजाय "5 ग्राम नमक डालें" कहने जैसा है। रोबोट संख्या का अधिक सटीकता से पालन कर सका।
• "मास्क" का कमाल: टीम ने रोबोट को यह भी सिखाया कि मास्क के पीछे छिपे चित्र के हिस्सों को अनदेखा करे। उन्होंने पाया कि यदि उन्होंने रोबोट को बताया कि "मास्क यहाँ समाप्त होता है, लेकिन आप इसके ऊपर पेंट कर सकते हैं," तो रोबोट मास्क लाइन के ऊपर नया कपड़ा बना देगा। यह बहुत बड़ी बात है क्योंकि इसका मतलब है कि आप किसी ऐसे व्यक्ति की फोटो ले सकते हैं जिसने लंबी शर्ट पहनी हो और रोबोट को उसे क्रॉप टॉप में बदलने के लिए कह सकते हैं, और रोबोट मास्क क्षेत्र के ऊपर का पेट वाला हिस्सा पेंट करना जान जाएगा।
• सीमाएँ: पेपर स्वीकार करता है कि रोबोट अभी भी पूर्ण नहीं है। जब कपड़ों में बहुत जटिल पैटर्न या विवरण थे, तो रोबोट कभी-कभी उन्हें खो देता था। लेखक को संदेह है कि ऐसा इसलिए है क्योंकि उनके द्वारा बनाए गए नए "अप-सैंपलिंग" टूल को अभी पर्याप्त प्रशिक्षण नहीं मिला है। रोबोट अभी भी अपने नए रूलर का उपयोग करना सीख रहा है।

लेखक किन चीज़ों को "ना" कहता है

लेखक बहुत स्पष्ट था कि क्या काम नहीं करता है या किस पर ध्यान केंद्रित नहीं है:

• केवल टेक्स्ट प्रॉम्प्ट पर्याप्त नहीं हैं: उन्होंने केवल शब्दों का उपयोग करके रोबोट से "आस्तीन लंबी करने" के लिए कहा, लेकिन रोबोट अक्सर उन्हें अनदेखा कर देता था या गलत कर देता था। मापन आवश्यक था।
• वन-हॉट एनकोडिंग (One-hot encoding) आदर्श नहीं है: उन्होंने आस्तीन की लंबाई जैसी चीजों के लिए सरल "ऑन/ऑफ" स्विच (जैसे "क्या यह लंबी है? हाँ/नहीं") का उपयोग करने की कोशिश की, लेकिन पाया कि निरंतर संख्याएं (जैसे 0 से 1 तक का स्लाइडर) बहुत बेहतर नियंत्रण देती हैं।
• यह हर चीज़ के लिए जादुई समाधान नहीं है: लेखक नोट करता है कि यदि रोबोट को ऐसे डेटासेट पर प्रशिक्षित किया जाता है जहाँ उसने पहले से ही उत्तर याद कर लिए हैं, तो नए निर्देश जोड़ने से मदद नहीं मिल सकती है। उन्हें नया सिस्टम काम करने के लिए नए सिरे से शुरुआत करनी पड़ी।

निष्कर्ष

यह पेपर सुझाव देता है कि सटीक मापन के साथ स्मार्ट "अडेप्टर" उपकरणों को जोड़कर, हम वर्चुअल ट्राई-ऑन सिस्टम को बहुत अधिक नियंत्रण दे सकते हैं। यह कोई हल हो चुकी समस्या नहीं है—रोबोट को सूक्ष्म विवरणों को पूर्ण बनाने के लिए अभी भी अधिक प्रशिक्षण की आवश्यकता है, और नए उपकरणों को अभी भी अधिक परीक्षण की आवश्यकता है—लेकिन दिशा आशाजनक है। लेखक दिखाता है कि यदि आप AI को एक रूलर और निर्देशों का एक सेट देते हैं, तो यह अनुमान लगाना बंद कर सकता है और आदेशों का पालन करना शुरू कर सकता है, जिससे ऐसी छवियां बनती हैं जो वास्तविक ग्राहक को मिलने वाली चीज़ के बहुत करीब होती हैं। यह एक ऐसे भविष्य की ओर एक कदम है जहाँ आप ऑनलाइन कपड़े आज़मा सकते हैं, और जो तस्वीर आप देखते हैं, वही आपको मिलेगी जब पैकेज घर पहुँचता है।