Image-Guided Geometric Stylization of 3D Meshes

यहाँ शोध पत्र "Image-Guided Geometric Stylization of 3D Meshes" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान 3D जनरेटिव मॉडल और स्टाइलिंग विधियाँ महत्वपूर्ण सीमाओं का सामना कर रही हैं:

• सीमित ज्यामितीय नियंत्रण (Limited Geometric Control): अधिकांश मौजूदा 3D स्टाइलिंग तकनीकें अंतर्निहित ज्यामिति (geometry) को बदलने के बजाय उच्च-आवृत्ति वाली सतह की बनावट (रंग, पैटर्न) को स्थानांतरित करने पर ध्यान केंद्रित करती हैं।
• टेक्स्ट प्रॉम्प्ट्स की अस्पष्टता (Ambiguity of Text Prompts): टेक्स्ट-गाइडेड विरूपण (deformation) अक्सर विशिष्ट, जटिल ज्यामितीय शैलियों (जैसे, एक फायर हाइड्रेंट की कठोर संरचना या एक मकड़ी की अभिव्यंजक मुद्रा) को कैप्चर करने में संघर्ष करता है क्योंकि टेक्स्ट विवरण स्थानिक संरचना के संबंध में स्वाभाविक रूप से अस्पष्ट होते हैं।
• टोपोलॉजिकल अखंडता (Topological Integrity): वॉल्यूमेट्रिक रिप्रजेंटेशन (जैसे, NeRFs) में अक्सर कठोर टोपोलॉजिकल संरचनाओं की कमी होती है, जिससे वे मानक 3D पाइपलाइनों (UV मैप्स, रिगिंग, रीमेशिंग) के साथ असंगत हो जाते हैं।
• अनुकूलन अस्थिरता (Optimization Instability): सीधे मेश वर्टिक्स को अनुकूलित करना या 3D ज्यामिति के लिए मानक लेटेंट डिफ्यूजन एनकोडर का उपयोग करना अक्सर अस्थिर ग्रेडिएंट्स, खंडित विरूपण, या वैश्विक संरचनात्मक परिवर्तनों को पकड़ने में विफलता का कारण बनता है।

लेखक एक वैध 3D मेश को विकृत (deform) करने के लिए एक फ्रेमवर्क का प्रस्ताव करते हैं ताकि संदर्भ छवि (reference image) की ज्यामितीय शैली को व्यक्त किया जा सके, जबकि मेश की मूल टोपोलॉजी और पार्ट-लेवल सिमेंटिक्स को सुरक्षित रखा जा सके।

2. कार्यप्रणाली (Methodology)

प्रस्तावित पाइपलाइन, GeoStyle, इमेज-आधारित स्टाइल संदर्भों द्वारा निर्देशित एक 'कोर्स-टू-फाइन' (coarse-to-fine) अनुकूलन प्रक्रिया के माध्यम से एक स्रोत मेश को एक स्टाइल वाले संस्करण में बदल देती है।

A. स्टाइल निष्कर्षण (LoRA + DreamBooth)

टेक्स्ट प्रॉम्प्ट्स पर निर्भर रहने के बजाय, यह विधि संदर्भ छवियों से सीधे ज्यामितीय शैली निकालती है।

• तंत्र (Mechanism): यह स्टाइल संदर्भ छवियों के एक छोटे सेट पर DreamBooth का उपयोग करके एक प्री-ट्रेंड लेटेंट डिफ्यूजन मॉडल (SDXL) को फाइन-ट्यून करता है।
• दक्षता (Efficiency): कंप्यूटेशनल लागत को कम करने के लिए, मॉडल को LoRA (Low-Rank Adaptation) वेट्स का उपयोग करके अनुकूलित किया जाता है।
• परिणाम: प्रशिक्षित LoRA वेट्स लक्षित ज्यामितीय शैली (आकार, अनुपात और संरचनात्मक लक्षणों सहित) के एक संक्षिप्त, अमूर्त प्रतिनिधित्व के रूप में कार्य करते हैं, जो अनुकूलन लक्ष्य (optimization target) के रूप में कार्य करता है।

B. Score Distillation Sampling (SDS) के माध्यम से विरूपण

मुख्य विरूपण तंत्र मेश की ज्यामिति को स्टाइल वितरण की ओर ले जाने के लिए Score Distillation Sampling (SDS) का उपयोग करता है।

• प्रति-फेस जैकोबियन (Per-Face Jacobians): सीधे वर्टेक्स पोजीशन को अनुकूलित करने के (जिससे विखंडन होता है) के बजाय, यह विधि प्रति-फेस जैकोबियन मैट्रिसेस ($J_i \in \mathbb{R}^{3\times3}$) को अनुकूलित करती है। यह सुसंगत, बड़े पैमाने पर आकार परिवर्तन की अनुमति देता है।
• वर्टेक्स रिकवरी: अनुकूलित जैकोबियन्स के आधार पर पॉइसन समीकरण (Poisson equation) को हल करके वास्तविक वर्टेक्स पोजीशन को पुनः प्राप्त किया जाता है।
• अनुमानित VAE एनकोडर (Approximated VAE Encoder): एक महत्वपूर्ण नवाचार SDXL में VAE के लिए एक अनुमानित लीनियर एनकोडर का उपयोग करना है। मानक VAE एनकोडर कंप्यूटेशनल रूप से भारी होते हैं और ज्यामिति अनुकूलन के लिए अस्थिर ग्रेडिएंट प्रदान करते हैं। लेखकों ने रेंडर की गई छवियों से लेटेंट स्पेस में मैपिंग ($z \approx A\bar{x}$) को अनुमानित करने के लिए एक लीनियर मैट्रिक्स $A$ को फिट किया है, जो अनुकूलन को काफी स्थिर और तेज़ बनाता है।

C. Coarse-to-Fine विरूपण पाइपलाइन

मेश की पहचान को नष्ट किए बिना वैश्विक संरचनात्मक परिवर्तनों और सूक्ष्म विवरणों दोनों को संभालने के लिए, लेखक एक दो-चरणीय रणनीति अपनाते हैं:

1. कोर्स स्टेज (वैश्विक संरचना - Global Structure):

   • सहायक मेश और केज (Auxiliary Mesh & Cages): स्रोत मेश के वर्टेक्स से बना एक सहायक मेश (spheres से बना) बनाया जाता है। सिमेंटिक पार्ट्स को सेगमेंट (PartField का उपयोग करके) किया जाता है, और इन पार्ट्स पर ओरिएंटेड बाउंडिंग बॉक्स (OBBs) फिट किए जाते हैं।
   • केज कोएफिशिएंट्स (Cage Coefficients): विरूपण इन OBBs (स्केल, रोटेशन, ट्रांसलेशन) को बदलने द्वारा संचालित होता है। स्रोत मेश के वर्टेक्स को उन 'केज कोएफिशिएंट्स' के आधार पर हिलाया जाता है जो OBB ट्रांसफॉर्मेशन को इंटरपोलेट करते हैं।
   • लॉस (Loss): यह चरण सहायक मेश पर एक SDS लॉस और एक Cage Loss ($L_{cage}$) को कम करता है ताकि यह सुनिश्चित हो सके कि लक्षित मेश सहायक मेश की सिमेंटिक संरचना का पालन करता है, जिससे टोपोलॉजी के ढहने (collapse) को रोका जा सके।

2. फाइन स्टेज (स्थानीय विवरण - Local Details):

   • केज रेगुलराइजेशन को धीरे-धीरे कम किया जाता है, और अनुकूलन प्रति-फेस जैकोबियन्स को परिष्कृत करने पर ध्यान केंद्रित करता है।
   • यह चरण सूक्ष्म-स्तरीय ज्यामितीय विवरणों और सतह के विविधताओं को कैप्चर करता है, जबकि कोर्स स्टेज में स्थापित वैश्विक पोज़ को बनाए रखता है।

D. रेगुलराइजेशन (Regularization)

• सिमेट्री लॉस (Symmetry Loss): यदि स्रोत मेश में रिफ्लेक्टिव सिमेट्री है, तो विरूपण के दौरान आंतरिक निरंतरता बनाए रखने के लिए एक सिमेट्री लॉस ($L_{sym}$) लागू किया जाता है।
• जैकोबियन रेगुलराइजेशन (Jacobian Regularization): एक टर्म ($L_{reg}$) जैकोबियन्स को आइडेंटिटी मैट्रिक्स के करीब रहने के लिए प्रोत्साहित करता है ताकि स्रोत मेश से अत्यधिक विचलन को रोका जा सके।

3. मुख्य योगदान (Key Contributions)

1. इमेज-गाइडेड ज्यामितीय स्टाइलिंग: एक नया फ्रेमवर्क जो 2D छवियों से जटिल ज्यामितीय शैलियों को 3D मेश में स्थानांतरित करता है, जो टेक्स्ट प्रॉम्प्ट्स की अस्पष्टता को दूर करता है।
2. अनुमानित VAE एनकोडर: एक महत्वपूर्ण तकनीकी योगदान जो SDXL से 3D मेश ज्यामिति तक स्थिर और कुशल ग्रेडिएंट प्रोपेगेशन को सक्षम बनाता है, जो लेटेंट डिफ्यूजन-आधारित 3D अनुकूलन में एक बड़ी बाधा को हल करता है।
3. Coarse-to-Fine विरूपण रणनीति: एक पाइपलाइन जो केज-गाइडेड सिमेंटिक विरूपण (वैश्विक संरचना के लिए) और प्रति-फेस जैकोबियन अनुकूलन (स्थानीय विवरणों के लिए) को जोड़ती है, जो वैध टोपोलॉजी और सिमेंटिक निरंतरता सुनिश्चित करती है।
4. LoRA-आधारित स्टाइल निष्कर्षण: समग्र ज्यामितीय गुणों को कैप्चर करने के लिए केवल सतह की बनावट के बजाय एक संक्षिप्त, स्टाइल-विशिष्ट ऑप्टिमाइज़र बनाने के लिए DreamBooth और LoRA का उपयोग करना।

4. प्रयोगात्मक परिणाम (Experimental Results)

• गुणात्मक तुलना (Qualitative Comparison): यह विधि अभिव्यंजक ज्यामितीय विरूपण उत्पन्न करने में बेसलाइन्स (Paparazzi, Neural 3D Mesh Renderer, MeshUp, Text2Mesh, TextDeformer) से बेहतर प्रदर्शन करती है। बेसलाइन्स अक्सर वैश्विक संरचना को बदलने में विफल रहते हैं या शोर (noise) पैदा करते हैं, जबकि GeoStyle सफलतापूर्वक पोज़, सिलुएट और संरचनात्मक कठोरता को स्थानांतरित करता है।
• यूजर स्टडी (User Study): 32 प्रतिभागियों के अध्ययन में, GeoStyle ने ज्यामिति संरेखण (Geometry Alignment) (स्टाइल संदर्भ से मेल खाना) और सौंदर्यपूर्ण स्टाइल ट्रांसफर (Aesthetic Style Transfer) के लिए उच्चतम रैंकिंग प्राप्त की। हालांकि कुछ बेसलाइन्स ने "कंटेंट प्रिजर्वेशन" पर उच्च स्कोर किया, लेकिन यह उनकी मेश को महत्वपूर्ण रूप से विकृत करने की अक्षमता के कारण था।
• एब्लेशन स्टडीज (Ablation Studies):
  • अनुमानित एनकोडर के बिना: मॉडल सार्थक रूप से वैश्विक आकारों को विकृत करने में विफल रहता है और स्रोत मेश के करीब रहता है।
  • केज/सहायक मेश के बिना: विरूपण विकृत हो जाता है और सिमेंटिक सामंजस्य खो देता है।
  • सिमेट्री लॉस के बिना: सममित (symmetric) वस्तुओं की आंतरिक निरंतरता खो जाती है।
• लचीलापन (Flexibility): सिस्टम अतिरिक्त कंडीशनिंग का समर्थन करता है, जैसे टेक्स्ट प्रॉम्प्ट्स को इमेज स्टाइल के साथ मिलाना (जैसे, "इसे जिराफ बनाओ" एक विशिष्ट कलात्मक शैली के साथ) और स्थानीयकृत विरूपण (मेश के विशिष्ट भागों को स्टाइल करना)।

5. महत्व (Significance)

यह कार्य 2D इमेज सौंदर्यशास्त्र और 3D ज्यामितीय संरचना के बीच के अंतर को पाटता है। इमेज-ड्रिवन ज्यामितीय विरूपण को सक्षम करके, यह कलाकारों और रचनाकारों को विशिष्ट 3D एसेट्स बनाने की अनुमति देता है जो एनिमेशन, रेंडरिंग और निर्माण के लिए आवश्यक वैध टोपोलॉजी को बनाए रखते हैं। यह विधि केवल टेक्चर ट्रांसफर से आगे बढ़कर, वस्तु के वास्तविक आकार और पोज़ को हेरफेर करके "किसी विशिष्ट कलात्मक शैली जैसा दिखने के लिए वस्तु को कैसे बनाया जाए" की चुनौती का समाधान करती है, और साथ ही मानक 3D वर्कफ़्लो (UVs, रिगिंग) के साथ संगतता बनाए रखती है। अनुमानित VAE एनकोडर का परिचय शक्तिशाली लेटेंट डिफ्यूजन मॉडल को ज्यामिति अनुकूलन कार्यों में एकीकृत करने के लिए एक व्यावहारिक समाधान प्रदान करता है।