💻 computer science

Garment Particles: A 2D--3D Symmetric Garment Representation for Generation and Editing

यह शोध पत्र "गारमेंट पार्टिकल्स" (Garment Particles) का परिचय देता है, जो एक नवीन 5D पॉइंट-क्लाउड प्रतिनिधित्व है जो उच्च-स्तरीय इनपुट से सहज गारमेंट जनरेशन और दोनों डोमेन में जटिल निम्न-स्तरीय संपादन, दोनों के लिए एक एकीकृत ढांचे को सक्षम करने हेतु 2D सिलाई पैटर्न और 3D ज्यामिति को एकीकृत करता है।

मूल लेखक: Kiyohiro Nakayama, I-chao Shen, Ruofan Liu, Yiming Wang, Gordon Wetzstein, Takeo Igarashi

प्रकाशित 2026-05-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kiyohiro Nakayama, I-chao Shen, Ruofan Liu, Yiming Wang, Gordon Wetzstein, Takeo Igarashi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फैशन डिज़ाइनर हैं। आमतौर पर, आपको दो बहुत अलग काम करने पड़ते हैं जो आपस में तालमेल नहीं रखते:

द आर्किटेक्ट (वास्तुकार): आप कागज के एक टुकड़े पर एक सपाट, 2D मानचित्र (सिलाई पैटर्न) खींचते हैं।
द स्कल्प्टर (मूर्तिकार): आप यह देखने के लिए कि वह कैसा दिखता है, उस कागज को एक पुतले (मैनेक्विन) पर ड्रेप करते हैं।

समस्या यह है कि यदि आप 3D लुक में बदलाव करते हैं (जैसे स्कर्ट को चौड़ा करना), तो आपको वापस जाकर सपाट मानचित्र को फिर से खींचना पड़ता है। यदि आप सपाट मानचित्र में बदलाव करते हैं, तो आपको 3D मॉडल को फिर से ड्रेप करना पड़ता है। यह एक निराशाजनक बार-बार होने वाले लूप जैसा है।

यह शोध पत्र कपड़ों के बारे में सोचने का एक नया तरीका पेश करता है जिसे "गारमेंट पार्टिकल्स" (Garment Particles) कहा जाता है।

मुख्य विचार: "जादुई धूल" का बादल

कपड़े को एक सपाट मानचित्र या एक 3D आकार के रूप में सोचने के बजाय, लेखक इसे 5D "जादुई धूल" (कणों) के एक बादल के रूप में कल्पना करते हैं।

इन जादुई धूल के कणों में से प्रत्येक की एक दोहरी पहचान होती है:

पहचान A: यह सपाट सिलाई पैटर्न पर कहाँ स्थित है (2D)।
पहचान B: यह अंतिम 3D शर्ट पर कहाँ स्थित है (3D)।

चूंकि धूल का हर कण एक ही समय में दोनों अपनी "सपाट पता" (flat address) और अपना "3D पता" जानता है, इसलिए कंप्यूटर तुरंत देख सकता है कि एक में किया गया बदलाव दूसरे को कैसे प्रभावित करता है। यह एक जादुई बादल की तरह है जहाँ आप किसी जगह को चुटकी भर दबाकर 3D शर्ट को तंग कर सकते हैं, और सपाट मानचित्र बिना रेखाएं दोबारा खींचे अपने आप सिकुड़ जाता है।

यह कैसे काम करता है: दो-चरणीय नृत्य

यह शोध पत्र एक प्रणाली का वर्णन करता है जिसमें दो मुख्य भाग हैं जो मिलकर काम करते हैं:

1. द ड्रीमर (गारमेंट पार्टिकल्स फ्लो)
यह एक AI है जो यह सीखता है कि कपड़े कैसे बनाए जाते हैं। यह इन जादुई धूल के कणों के एक बादल को लेता है और उन्हें सुंदर, वास्तविक शर्ट, पैंट और ड्रेस के रूप में व्यवस्थित करना सीखता है।

यह क्या कर सकता है: आप इसे बता सकते हैं, "हुड वाली एक शर्ट और एक पेंसिल स्कर्ट बनाओ," या उसे किसी ड्रेस की तस्वीर दिखा सकते हैं, और वह उस पोशाक का प्रतिनिधित्व करने वाला एकदम सही धूल का बादल बना देगा।
सीक्रेट सॉस: क्योंकि यह सपाट मानचित्र और 3D आकार के बीच के संबंध को समझता है, इसलिए यह केवल अनुमान नहीं लगाता; यह एक ऐसा डिज़ाइन बनाता है जिसे सिलना भौतिक रूप से संभव है।

2. द ट्रांसलेटर (पार्टिकल्स-टू-पैटर्न फ्लो)
एक बार जब AI ने धूल का यह जादुई बादल बना लिया है, तो एक इंसान को इसे वास्तव में सिलने की आवश्यकता होती है। दूसरा भाग एक अनुवादक के रूप में कार्य करता है। यह धूल के बादल को लेता है और इसे वापस एक साफ, सटीक 2D सिलाई पैटर्न में बदल देता है जिसे एक वास्तविक दर्जी (या सिलाई मशीन) उपयोग कर सके।

आप इसके साथ क्या कर सकते हैं? ("एडिटिंग" का जादू)

सबसे शानदार बात यह है कि चूंकि AI एक साथ सपाट मानचित्र और 3D आकार दोनों को समझता है, इसलिए आप कपड़ों को उन तरीकों से एडिट कर सकते हैं जो फैशन डिज़ाइन में पीएचडी के बिना पहले असंभव थे। यह शोध पत्र चार विशिष्ट तरीकों का प्रदर्शन करता है:

"मिक्स-एंड-मैच" (इंटरपोलेशन): आप एक "टी-शर्ट" का बादल और एक "जैकेट" का बादल ले सकते हैं, और एक स्लाइडर को हिलाकर उन्हें मिला सकते हैं। परिणाम एक नई, अनूठी शैली में एक सहज संक्रमण है जो दोनों का एक प्राकृतिक विकास जैसा दिखता है।
"3D स्कल्प्टर": कल्पना करें कि आपने VR हेडसेट पहना हुआ है और आप अपने हाथों से अपने सामने तैरती हुई एक 3D शर्ट के हिस्सों को खींच रहे हैं, दबा रहे हैं या हटा रहे हैं। सिस्टम तुरंत समझ जाता है कि उस 3D आकार को वास्तविक बनाने के लिए सपाट सिलाई पैटर्न को कैसा दिखना चाहिए।
"पैटर्न पेंटर": आप स्क्रीन पर सपाट सिलाई पैटर्न खोल सकते हैं, एक नया आकार पेंट कर सकते हैं (जैसे आस्तीन को लंबा करना), और सिस्टम स्वचालित रूप से 3D शर्ट को उसके अनुरूप अपडेट कर देता है।
"सिलुएट कैमिलियन" (आकृति बदलने वाला): आप साइड से एक ड्रेस की एक साधारण रूपरेखा (सिलुएट) खींच सकते हैं, और सिस्टम उस सटीक आकार के साथ एक पूर्ण 3D गारमेंट तैयार कर देगा, जिसमें सही सिलाई पैटर्न भी शामिल होगा।

यह क्यों महत्वपूर्ण है

इससे पहले, कंप्यूटर या तो 3D आकार बनाने में अच्छे थे (लेकिन वे आपको बता नहीं सकते थे कि उन्हें कैसे सिलना है) या सपाट पैटर्न बनाने में अच्छे थे (लेकिन वे भविष्यवाणी नहीं कर सकते थे कि वे शरीर पर कैसे दिखेंगे)।

यह शोध पत्र एक पुल बनाता है। यह एक एकल "भाषा" (5D पार्टिकल क्लाउड) बनाता है जो "सपाट मानचित्र" और "3D आकार" दोनों को धाराप्रवाह बोलती है। यह रचनात्मक स्वतंत्रता का एक नया प्रकार प्रदान करता है जहाँ आप सहज रूप से कपड़े डिज़ाइन कर सकते हैं, चाहे आप कपड़े के टुकड़ों के रूप में सोच रहे हों या व्यक्ति पर अंतिम लुक के रूप में, बिना इस तकनीकी उलझन में फंसे।

संक्षेप में: यह फैशन डिज़ाइन के जटिल, बार-बार होने वाले संघर्ष को एक सुचारू, जादुई प्रवाह में बदल देता है जहाँ सपाट पैटर्न और 3D कपड़े हमेशा एक-दूसरे के साथ पूर्ण तालमेल में रहते हैं।

तकनीकी सारांश: गारमेंट पार्टिकल्स (Garment Particles)

समस्या विवरण

गारमेंट डिज़ाइन एक जटिल प्रक्रिया है जो दो अलग-अलग मोडों में फैली हुई है: सहज, उच्च-स्तरीय निर्माण (जैसे, टेक्स्ट या छवियों से) और 2D सिलाई पैटर्न एवं 3D ड्रेप्ड ज्योमेट्री का सटीक, निम्न-स्तरीय संपादन। मौजूदा फ्रेमवर्क आमतौर पर इस स्पेक्ट्रम के केवल एक छोर को संबोधित करते हैं। उद्योग-मानक उपकरण (जैसे, CLO3D) सटीक निम्न-स्तरीय संपादन की अनुमति देते हैं लेकिन इसके लिए 2D पैटर्न और 3D ड्रेपिंग के बीच कारण संबंध (causal relationship) के विशेषज्ञ ज्ञान की आवश्यकता होती है। इसके विपरीत, हालिया जनरेटिव मॉडल उच्च-स्तरीय इनपुट से पैटर्न बना सकते हैं लेकिन वे अक्सर मोडैलिटी-विशिष्ट प्रशिक्षण पर निर्भर करते हैं और उनमें 2D तथा 3D दोनों डोमेनों में सममित (symmetric), पुनरावृत्ति योग्य संपादन करने की क्षमता की कमी होती है। इसके अलावा, मौजूदा प्रतिनिधित्व, जैसे कि ज्योमेट्री इमेज, एक विषमता प्रदर्शित करते हैं जहाँ 3D उपस्थिति 2D पैनल के आकार (पिक्सेल ओपेसिटी) पर निर्भर करती है, जिससे प्रतिनिधित्व पर सीधे 3D उद्देश्यों को अनुकूलित करना कठिन हो जाता है। मुख्य चुनौती एक एकीकृत प्रतिनिधित्व और फ्रेमवर्क विकसित करना है जो मल्टीमॉडल जनरेशन और 2D पैटर्न एवं 3D ज्योमेट्री दोनों में बहुमुखी, ट्रेनिंग-फ्री संपादन का समर्थन करता हो।

कार्यप्रणाली

1. गारमेंट पार्टिकल्स प्रतिनिधित्व (Garment Particles Representation)

लेखक गारमेंट पार्टिकल्स प्रस्तावित करते हैं, जो एक नवीन 5D पॉइंट-क्लाउड प्रतिनिधित्व है जो 2D सिलाई पैटर्न और उसके 3D ड्रेप्ड ज्योमेट्री दोनों को सममित रूप से एनकोड करता है।

गणितीय सूत्रीकरण: एक गारमेंट को एक पैरामेट्रिक सतह $\mathbf{r}: U \to \mathbb{R}^3$ के रूप में मॉडल किया गया है, जहाँ $U$ 2D सिलाई पैटर्न डोमेन है और $\mathbf{r}(U)$ 3D ज्योमेट्री है। यह प्रतिनिधित्व ग्राफ $\Gamma(\mathbf{r}) = \{(\mathbf{x}, \mathbf{r}(\mathbf{x})) \mid \mathbf{x} \in U\}$ है।
विविक्तकरण (Discretization): इस ग्राफ को 5D पॉइंट क्लाउड $\mathbf{X}_{\mathbf{r}} = \{(\mathbf{x}_{\mathbf{r}}, f_{\mathbf{x}_{\mathbf{r}}})\}$ में विविक्त किया गया है, जहाँ प्रत्येक बिंदु में 2D निर्देशांक, 3D निर्देशांक और एक बाउंड्री फ्लैग ( $f$ ) शामिल है जो यह दर्शाता है कि क्या बिंदु पैनल के किनारे पर स्थित है।
गुण: यह प्रतिनिधित्व 2D डोमेन ( $\pi_D$ ) या 3D इमेज स्पेस ( $\pi_I$ ) में डिफरेंशिएबल प्रोजेक्शन की अनुमति देता है, जिससे पैटर्न और ड्रेप के बीच सममित इंटरैक्शन संभव होता है।

2. गारमेंट पार्टिकल्स फ्लो (Garment Particles Flow - GPF)

इन पार्टिकल्स को उत्पन्न और संपादित करने के लिए, लेखक गारमेंट पार्टिकल्स फ्लो पेश करते हैं, जो एक रेक्टिफाइड फ्लो-आधारित जनरेटिव मॉडल है।

आर्किटेक्चर: मॉडल एक डिफ्यूजन ट्रांसफॉर्मर (DiT) आर्किटेक्चर का उपयोग करता है। यह एक प्रोबेबिलिटी फ्लो मैपिंग सीखता है जो शोर (noise) $\mathbf{X}_0$ को गारमेंट पार्टिकल्स $\mathbf{X}_1$ में बदलता है।
कंडीशनिंग: GPF क्रॉस-अटेंशन मैकेनिज्म के माध्यम से मल्टीमॉडल कंडीशनिंग (टेक्स्ट, इमेज, स्केच) का समर्थन करता है। टेक्स्ट को CLIP का उपयोग करके एनकोड किया जाता है, और इमेज को एक फ्रोजन DINOv2 एनकोडर का उपयोग करके एनकोड किया जाता है।
प्रशिक्षण: मॉडल को गारमेंटकोडडाटा v2 (GCDv2) डेटासेट पर प्रशिक्षित किया गया है, जो संयुक्त 2D-3D गारमेंट स्पेस पर एक प्रायर स्पेस सीखता है।

3. पार्टिकल्स-टू-पैटर्न फ्लो (Particles-to-Pattern Flow - PPF)

चूंकि जनरेटेड पार्टिकल्स अनऑर्डर्ड पॉइंट क्लाउड्स होते हैं, इसलिए सिमुलेशन-रेडी, वेक्टरकृत सिलाई पैटर्न प्राप्त करने के लिए एक तंत्र की आवश्यकता होती है।

कार्य: PPF एक कंडीशनल फ्लो मॉडल है जो जनरेटेड गारमेंट पार्टिकल्स $\mathbf{X}$ को एक स्ट्रक्चर्ड सिलाई पैटर्न $P$ में मैप करता है।
प्रतिनिधित्व: आउटपुट पैटर्न को क्रमबद्ध पैनलों और किनारों (क्यूबिक बेज़ियर कर्व्स या आर्च) के एक टेंसर के रूप में दर्शाया गया है, जिसमें स्टिचिंग फ्लैग्स और बाउंड्री कंडीशंस शामिल हैं।
मजबूती (Robustness): नियत (deterministic) रिग्रेशन के विपरीत, PPF पैटर्न रिकवरी को एक कंडीशनल जनरेशन कार्य के रूप में मानता है, जो इसे इनपुट पार्टिकल्स के शोर के प्रति मजबूत बनाता है।

4. डिफ्यूजन पोस्टीरियर सैंपलिंग (DPS) के माध्यम से संपादन

इस फ्रेमवर्क की एक प्रमुख विशेषता डिफ्यूजन पोस्टीरियर सैंपलिंग (DPS) का उपयोग करके ट्रेनिंग-फ्री संपादन करने की क्षमता है।

तंत्र: विशिष्ट संपादन के लिए मॉडल को फिर से प्रशिक्षित करने के बजाय, सैंपलिंग स्टेप्स के दौरान एक ऑब्जेक्टिव फंक्शन $\mathcal{L}$ द्वारा जनरेशन को निर्देशित किया जाता है। मॉडल जनरेटेड सैंपल के प्रोजेक्शन और उपयोगकर्ता के ऑब्जर्वेशन के बीच लॉस को कम करने के लिए पोस्टीरियर मीन को ऑप्टिमाइज़ करता है।
अनुप्रयोग:
- पॉइंट-क्लाउड-कंडीशन्ड जनरेशन: विशिष्ट 3D पॉइंट क्लाउड (अर्थ मूवर डिस्टेंस का उपयोग करके) से मेल खाने के लिए जनरेशन को गाइड करना।
- गारमेंट कंप्लीशन: आंशिक 3D ज्योमेट्री को पूरा करना।
- सिलाई पैटर्न एडिटिंग: सीधे 2D पैटर्न को संपादित करना और संगत 3D ड्रेप को पुन: उत्पन्न करना ( $\pi_D$ प्रोजेक्शन का उपयोग करके)।
- सिलुएट-कंडीशन्ड जनरेशन: ऐसे गारमेंट्स बनाना जो मनमाने दृष्टिकोणों से 2D सिलुएट से मेल खाते हों।

मुख्य योगदान

गारमेंट पार्टिकल्स: एक सममित, 5D पॉइंट-क्लाउड प्रतिनिधित्व जो 2D सिलाई पैटर्न और 3D ड्रेप्ड ज्योमेट्री को संयुक्त रूप से एनकोड करता है, जिससे ऑब्जेक्टिव-गाइडेड सैंपलिंग के लिए एक पूर्णतः डिफरेंशिएबल पाइपलाइन सक्षम होती है।
गारमेंट पार्टिकल्स फ्लो (GPF): एक रेक्टिफाइड फ्लो मॉडल जो मल्टीमॉडल इनपुट से गारमेंट पार्टिकल्स उत्पन्न करता है और गारमेंट जनरेशन में स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त करता है।
पार्टिकल्स-टू-पैटर्न फ्लो (PPF): एक मॉडल जो जनरेटेड पार्टिकल्स को सिमुलेशन-रेडी, वेक्टरकृत सिलाई पैटर्न में परिवर्तित करता है।
DPS के माध्यम से बहुमुखी संपादन: एक फ्रेमवर्क जो बिना रिट्रेनिंग के विविध संपादन परिदृश्यों (पैटर्न एडिटिंग, 3D कंप्लीशन, सिलुएट कंडीशनिंग) को सक्षम करता है, जो प्रतिनिधित्व की सममित प्रकृति का लाभ उठाता है।

परिणाम और मूल्यांकन

जनरेशन प्रदर्शन

मॉडल का मूल्यांकन GCDv2 डेटासेट पर AIpparel, ChatGarment, SewingLDM, और Design2GarmentCode सहित बेसलाइन्स के विरुद्ध किया गया।

टेक्स्ट-कंडीशन्ड जनरेशन: GPF ने डिस्ट्रीब्यूशन मेट्रिक्स (Coverage, MMD, 1-NNA, p-FID) और CLIP एलाइनमेंट में SOTA स्कोर प्राप्त किया। इसने बेसलाइन्स की तुलना में बेहतर विविधता और फिडेलिटी प्रदर्शित की, जो अक्सर गलत पैनल काउंट या स्टाइल जैसे आर्टिफैक्ट्स उत्पन्न करते हैं।
इमेज-कंडीशन्ड जनरेशन: GCDv2 रेंडरिंग्स, गारमेंट स्केच और इन-द-वाइल्ड इमेजेस पर मूल्यांकन किया गया। GPF ने पैनल सटीकता, इंटरसेक्शन-ओवर-यूनियन (IOU), और स्टिच सटीकता में बेसलाइन्स को पछाड़ दिया, जिससे ऐसे पैटर्न प्राप्त हुए जो ग्राउंड ट्रुथ से बारीकी से मेल खाते हैं।
रनटाइम: जनरेशन का समय (लगभग 4 सेकंड) अन्य डिफ्यूजन-आधारित तरीकों के तुलनीय है और बाहरी क्वेरी की आवश्यकता वाले LLM-आधारित दृष्टिकोणों की तुलना में काफी तेज़ है।

संपादन क्षमताएं

पेपर DPS द्वारा सक्षम कई संपादन अनुप्रयोगों को प्रदर्शित करता है:

इंटरपोलेशन: लेटेंट स्पेस में विभिन्न गारमेंट स्टाइल (जैसे, एसिमेट्रिक से सिमेट्रिक स्लीव्स) के बीच सुचारू संक्रमण, जो वेक्टर-आधारित या ज्योमेट्री-इमेज बेसलाइन्स में देखे जाने वाले अचानक परिवर्तनों से बचता है।
3D एडिटिंग: उपयोगकर्ता एक मिलान सिलाई पैटर्न उत्पन्न करने के लिए मार्गदर्शन करने हेतु 3D पॉइंट क्लाउड में पॉइंट्स जोड़ सकते हैं, हटा सकते हैं या ट्रांसलेट कर सकते हैं।
2D पैटर्न एडिटिंग: उपयोगकर्ता 2D सिलाई पैटर्न को संशोधित कर सकते हैं (जैसे, स्कर्ट को चौड़ा करना), और मॉडल संगत 3D ड्रेप को पुन: उत्पन्न करता है।
सिलुएट एडिटिंग: विभिन्न कैमरा एंगल से यूजर-ड्रॉन सिलुएट्स से मेल खाने वाले गारमेंट्स बनाना।

भौतिक सत्यापन (Physical Validation)

फैब्रिकेशन: पाइपलाइन द्वारा अनकंडीशनली जनरेट किए गए दो गारमेंट्स (एक एसिमेट्रिक पेंसिल स्कर्ट और एक टर्टलनेक शर्ट) को एक दर्जी द्वारा सफलतापूर्वक बनाया गया, जो आउटपुट की भौतिक व्यवहार्यता की पुष्टि करता है।
सिमुलेशन सक्सेस रेट (SSR): मॉडल ने उच्च SSR (लगभग 90%) प्राप्त किया, जो दर्शाता है कि जनरेटेड ज्योमेट्री ड्रेपिंग सिमुलेशन के लिए भौतिक रूप से वैध है।

महत्व और दावे

पेपर का दावा है कि गारमेंट पार्टिकल्स सहज उच्च-स्तरीय डिज़ाइन और पेशेवर निम्न-स्तरीय संपादन के बीच के अंतर को पाटता है। 2D पैटर्न और 3D ज्योमेट्री को एक एकल, सममित प्रतिनिधित्व में एकीकृत करके, यह फ्रेमवर्क निम्नलिखित की अनुमति देता है:

सममित संपादन (Symmetric Editing): 2D या 3D डोमेन में से किसी एक में संपादन करने और परिवर्तनों को दूसरे डोमेन में सही ढंग से प्रसारित करने की क्षमता, जो पिछले मोडैलिटी-विशिष्ट या विषम (asymmetric) प्रतिनिधित्वों में कमी थी।
ट्रेनिंग-फ्री लचीलापन: DPS का उपयोग प्रत्येक नए संपादन उद्देश्य के लिए विशिष्ट डेटासेट एकत्र करने या मॉडल को फिर से प्रशिक्षित करने की आवश्यकता के बिना संपादन के एक विस्तृत श्रृंखला को सक्षम करता है।
व्यावहारिक उपयोगिता: पाइपलाइन सिमुलेशन-रेडी सिलाई पैटर्न बनाती है, जो शुद्ध दृश्य जनरेशन से आगे बढ़कर भौतिक सिमुलेशन और मैन्युफैक्चरिंग के लिए उपयोगी एसेट्स प्रदान करती है।

लेखक सीमाओं को भी स्वीकार करते हैं, जैसे कि पॉइंट क्लाउड की विविक्त (discrete) प्रकृति के कारण सूक्ष्म समायोजन (जैसे, डार्ट साइजिंग) कठिन होना, और वर्तमान में एक सिंगल बॉडी टाइप और पोज़ पर निर्भरता। भविष्य के कार्य के रूप में मल्टी-बॉडी इनपुट को संभालने और हार्ड मैन्युफैक्चरिंग कंस्ट्रेंट्स को लागू करने के लिए मॉडल का विस्तार करने का सुझाव दिया गया है।