💻 computer science

Owner3D: Ownership-Guided Style Writing for Training-Free Localized 3D Stylization

Owner3D एक ट्रेनिंग-मुक्त ढांचा है जो स्थानीयकृत 3D शैलीकरण (stylization) के लिए स्वामित्व-निर्देशित शैली लेखन (ownership-guided style writing) और सीमा द्वि-स्लॉट (boundary dual slots) का लाभ उठाता है ताकि बड़े पुनर्निर्माण मॉडलों के भीतर लक्षित क्षेत्रों में संदर्भ शैलियों को सख्ती से इंजेक्ट किया जा सके, जिससे बिना किसी अतिरिक्त प्रशिक्षण के स्टाइल लीकेज को काफी कम किया जा सके और गैर-लक्षित स्वरूपों को संरक्षित किया जा सके।

मूल लेखक: Suchang Tao, Kaifeng Shi, Zhiyan Liu, Zhuoyuan Jiang, Yuqi Ouyang

प्रकाशित 2026-08-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Suchang Tao, Kaifeng Shi, Zhiyan Liu, Zhuoyuan Jiang, Yuqi Ouyang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कलाकार हैं जिसके पास एक जादुई पेंटब्रश है जो तुरंत एक साधारण 3D मूर्ति को एक उत्कृष्ट कृति (मास्टरपीस) में बदल सकता है। कंप्यूटर विज्ञान की दुनिया में, इसे "3D स्टाइलिज़ेशन" (3D stylization) कहा जाता है। लंबे समय तक, कलाकार या तो पूरी मूर्ति को एक साथ पेंट कर सकते थे, या उन्हें हर नए स्टाइल के लिए मूर्ति को शून्य से बड़ी मेहनत से फिर से बनाना पड़ता था। लेकिन हाल ही में, एक नए प्रकार का "लार्ज रिकंस्ट्रक्शन मॉडल" (LRM) सामने आया है। इन मॉडल्स को सुपर-फास्ट शेफ के रूप में सोचें जो किसी वस्तु की कुछ तस्वीरों को देखकर तुरंत एक पूर्ण, खाने योग्य 3D मॉडल तैयार कर सकते हैं। समस्या क्या है? ये शेफ विवरणों (डिटेल्स) के मामले में थोड़े अनाड़ी होते हैं। यदि आप उनसे मूर्ति की केवल टोपी को लाल रंग से पेंट करने के लिए कहते हैं, तो वे अक्सर गलती से चेहरे और हाथों को भी लाल कर देते हैं, क्योंकि "रेसिपी" जिसका उपयोग वे वस्तु के लुक को याद रखने के लिए करते हैं, पूरी मूर्ति में साझा होती है। यह पेपर इस गड़बड़ी को दूर करता है, और पूछता है: हम शेफ को यह कैसे बता सकते हैं, "टोपी को पेंट करो, लेकिन चेहरे को अकेला छोड़ दो," बिना शेफ को फिर से प्रशिक्षित किए या पूरा नया किचन बनाए?

इस पेपर के लेखक, सिचुआन यूनिवर्सिटी की एक टीम, एक चतुर नया टूल पेश करती है जिसे Owner3D कहा जाता है। उनकी मुख्य खोज यह है कि आप बिना किसी अतिरिक्त प्रशिक्षण या धीमी, चरण-दर-चरण पुनर्निर्माण के सटीक, स्थानीयकृत 3D पेंटिंग प्राप्त कर सकते हैं। उन्होंने पाया कि मॉडल को एक सरल "ओनरशिप मैप" (ownership map) देकर—एक डिजिटल लेबल जो कहता है "यह हिस्सा टोपी का है, वह हिस्सा चेहरे का है"—वे पेंटिंग प्रक्रिया को ठीक वहीं निर्देशित कर सकते हैं जहाँ उसे होना चाहिए।

Owner3D कैसे काम करता है, इसके लिए कुछ मजेदार उपमाएँ यहाँ दी गई हैं:

1. "ओनरशिप-गाइडेड स्टाइल राइटिंग" (Ownership-Guided Style Writing)
कल्पना कीजिए कि मॉडल की आंतरिक स्मृति एक विशाल व्हाइटबोर्ड की तरह है जहाँ वह वस्तु की विशेषताओं को लिखता है। आमतौर पर, जब आप किसी नए स्टाइल (जैसे सूर्यास्त का पैटर्न) के लिए कहते हैं, तो मॉडल उस पैटर्न को पूरे व्हाइटबोर्ड पर लिख देता है, जिससे सब कुछ ढक जाता है। Owner3D नियमों को बदल देता है। यह एक सख्त संपादक की तरह कार्य करता है जो मॉडल को एक "राइट मास्क" (Write Mask) सौंपता है। यह मास्क एक स्टेंसिल की तरह है जो कहता है, "आप केवल व्हाइटबोर्ड के 'टोपी' वाले हिस्से पर सूर्यास्त का पैटर्न लिख सकते हैं।" मॉडल अभी भी उसी एक व्हाइटबोर्ड ("ट्राईप्लेन") का उपयोग करता है, लेकिन संपादक यह सुनिश्चित करता है कि नया स्टाइल केवल वहीं लिखा जाए जहाँ उसका स्थान है। यह "स्टाइल लीकेज" (style leakage) को रोकता है जहाँ सूर्यास्त गलती से मूर्ति के चेहरे पर फैल जाता है।

2. "बाउंड्री डुअल स्लॉट्स" (Boundary Dual Slots)
कभी-कभी, टोपी और चेहरे के बीच की रेखा धुंधली होती है। मॉडल की स्मृति में, किनारे पर मौजूद पिक्सेल टोपी और चेहरे दोनों द्वारा साझा किए जा सकते हैं। यदि आपके पास उस किनारे के लिए केवल एक मेमोरी स्लॉट है, तो मॉडल भ्रमित हो जाता है और शैलियों को मिला देता है। Owner3D इसे "बाउंड्री डुअल स्लॉट्स" जोड़कर हल करता है। इसे टोपी के किनारे पर एक छोटे, विशेष दराज के रूप में सोचें। इसके अंदर, मॉडल दो अलग-अलग नोट्स रखता है: एक नोट टोपी के नए स्टाइल के लिए और दूसरा नोट चेहरे के मूल लुक के लिए। जब मॉडल को उस कठिन किनारे को पेंट करने की आवश्यकता होती है, तो वह उस दराज में झाँक सकता है और सही नोट चुन सकता है, यह सुनिश्चित करते हुए कि टोपी लाल रहे और चेहरा त्वचा के रंग का ही रहे, भले ही वे आपस में जुड़े हों।

3. "सरफेस-फर्स्ट टेक्सचर रीडआउट" (Surface-First Texture Readout)
अंत में, जब मॉडल आपको अंतिम 3D ऑब्जेक्ट दिखाने के लिए तैयार होता है, तो उसे यह तय करना होता है कि सतह के हर छोटे बिंदु के लिए कौन सा रंग दिखाना है। कभी-कभी, मॉडल अनिश्चित होता है कि कोई बिंदु टोपी का है या चेहरे का क्योंकि वह इसे सभी कोणों से स्पष्ट रूप से नहीं देख पाता। Owner3D एक "सरफेस-फर्स्ट" रणनीति का उपयोग करता है। यह एक जासूस की तरह है जो सबसे पहले प्रत्यक्ष साक्ष्य पर भरोसा करता है। यदि मॉडल मूल तस्वीरों से उस बिंदु को स्पष्ट रूप से देख सकता है, तो वह उस "सतह" के साक्ष्य का उपयोग निर्णय लेने के लिए करता है। यदि वह गायब है, तो वह 3D सुरागों पर निर्भर होता है, और फिर व्हाइटबोर्ड के सुरागों पर। यह पदानुक्रम (hierarchy) सुनिश्चित करता है कि मॉडल सबसे विश्वसनीय रंग चुने, जिससे अंतिम छवि में धुंधले या गलत रंग होने से बचा जा सके।

परिणाम
टीम ने 49 वास्तविक दुनिया की वस्तुओं (जैसे कुर्सियाँ और लैंप) और 16 विभिन्न स्टाइल संदर्भों वाले एक बेंचमार्क पर Owner3D का परीक्षण किया। उन्होंने पाया कि उनका तरीका मौजूदा टूल्स की तुलना में बहुत बेहतर है। 'StyleSplat' नामक विधि की तुलना में, Owner3D ने "अपीयरेंस लीकेज" (जहाँ स्टाइल गलत क्षेत्रों में फैलता है) को 86.4% कम कर दिया। LAENeRF नामक दूसरी विधि की तुलना में, इसने लीकेज को 89.9% कम कर दिया।

शायद सबसे प्रभावशाली बात यह है कि Owner3D प्रत्येक ऑब्जेक्ट-स्टाइल पेयर के लिए लगभग 31.10 सेकंड में यह सब कर लेता है। अन्य विधियाँ जो समान 3D एडिटिंग करने की कोशिश करती हैं, उनमें मिनटों या घंटों लग सकते हैं, या उन्हें हर नई वस्तु के लिए मॉडल को फिर से प्रशिक्षित करने की आवश्यकता होती है। Owner3D, हालांकि, पूर्व-प्रशिक्षित मॉडल के साथ तुरंत काम करता है, जो इसे 3D एसेट्स को संपादित करने का एक तेज़ और कुशल तरीका बनाता है।

संक्षेप में, Owner3D साबित करता है कि कार के एक हिस्से को ठीक करने के लिए आपको पूरे इंजन को फिर से बनाने की आवश्यकता नहीं है। केवल स्वामित्व मानचित्रों (ownership maps) और स्मार्ट मेमोरी स्लॉट्स के साथ मॉडल को निर्देशित करके, आप 3D वस्तु के विशिष्ट भागों को उच्च सटीकता के साथ पेंट कर सकते हैं, जिससे बाकी वस्तु पूरी तरह से बरकरार रहती है। यह 3D एडिटिंग को टैबलेट पर पेंटिंग करने जितना आसान और मजेदार बनाने की दिशा में एक कदम है, लेकिन वास्तविक, इंटरैक्टिव 3D दुनिया के लिए।

Owner3D का तकनीकी सारांश: प्रशिक्षण-मुक्त स्थानीयकृत 3D शैलीकरण (Stylization) के लिए स्वामित्व-निर्देशित (Ownership-Guided) स्टाइल राइटिंग

समस्या विवरण (Problem Statement)

स्थानीयकृत 3D शैलीकरण (Localized 3D stylization) का लक्ष्य एक 3D ऑब्जेक्ट के एक विशिष्ट अर्थपूर्ण भाग (जैसे कि कुर्सी की सीट या छत) के स्वरूप को संशोधित करना है, जबकि शेष सतहों की ज्यामिति और स्वरूप को सुरक्षित रखना है। जबकि लार्ज रिकंस्ट्रक्शन मॉडल्स (LRMs) विरल छवियों (sparse images) से कुशल, फीड-फॉरवर्ड 3D एसेट जनरेशन को सक्षम करते हैं, इस ढांचे के भीतर स्थानीयकृत शैलीकरण लागू करना तीन महत्वपूर्ण चुनौतियां पेश करता है:

स्टाइल लीकेज (Style Leakage): LRMs में, शैली को रेंडरिंग से पहले मध्यवर्ती अपीयरेंस रिप्रेजेंटेशन (appearance representations) में इंजेक्ट किया जाता है। फलस्वरूप, अंतिम-छवि मास्किंग (final-image masking) गैर-लक्ष्य क्षेत्रों में अवांछित शैली प्रसार को नहीं रोक सकती है।
सीमा अस्पष्टता (Boundary Ambiguity): कॉम्पैक्ट ट्राईप्लेन रिप्रेजेंटेशन (triplane representations) विभिन्न सतह क्षेत्रों के बीच अपीयरेंस फीचर्स साझा करते हैं। अर्थपूर्ण सीमाओं (semantic boundaries) के पास, लक्ष्य और गैर-लक्ष्य भाग सीमित प्रतिनिधित्व क्षमता के लिए प्रतिस्पर्धा करते हैं, जिससे फीचर चयन में अस्पष्टता आती है।
अपूर्ण दृश्यता (Incomplete Visibility): जब दृश्यता अपूर्ण होती है, तो टेक्सचर क्वेरीज़ (texture queries) के "स्वामित्व" (ownership) को निर्धारित करना कठिन होता है, जिससे टेक्सचर रीडआउट के दौरान अविश्वसनीय फीचर चयन होता है।

मौजूदा तरीके, जैसे कि लेट क्रॉस-अटेंशन (late cross-attention) में स्टाइल कीज़ को इंजेक्ट करने वाले, स्वाभाविक रूप से वैश्विक (global) होते हैं और सटीक पार्ट-लेवल कंट्रोल के लिए संघर्ष करते हैं। अन्य दृष्टिकोण जो अनुकूलित सीन रिप्रेजेंटेशन या पुनरावृत्ति अनुकूलन (iterative optimization) पर निर्भर करते हैं, वे फीड-फॉरवर्ड पुनर्निर्माण की दक्षता और स्केलेबिलिटी की कमी रखते हैं।

कार्यप्रणाली (Methodology)

Owner3D एक प्रशिक्षण-मुक्त ढांचा (training-free framework) है जो सीधे LRM पुनर्निर्माण प्रक्रिया में स्थानीयकृत अपीयरेंस कंट्रोल को एकीकृत करता है। यह एक फ्रोजन (frozen) LRM बैकबोन (विशेष रूप से InstantMesh-Large) पर कार्य करता है और तीन मुख्य मॉड्यूल के माध्यम से इन्फरेंस पाइपलाइन को संशोधित करता है:

1. स्वामित्व-निर्देशित स्टाइल राइटिंग (Ownership-Guided Style Writing)
यह मॉड्यूल स्टाइल इंजेक्शन को केवल लक्षित भाग से जुड़े डिकोडर क्वेरीज़ तक सीमित करता है।

स्वामित्व अनुमान (Ownership Estimation): एक कंटेंट-ओनली LRM पास सतह स्वामित्व का अनुमान लगाने के लिए ज्योमेट्री को पुनर्गठित करता है। SAM 3 का उपयोग करके लक्षित सेगमेंटेशन और डेप्थ-कंसिस्टेंसी चेक्स के माध्यम से, प्रत्येक 3D बिंदु के लिए एक 'सरफेस ओनरशिप स्कोर' की गणना की जाती है। इसे ट्राईप्लेन सेल्स पर प्रोजेक्ट किया जाता है ताकि एक "राइट मास्क" ( $W_k$ ) और एक 3D स्वामित्व क्षेत्र ( $M_{3D}$ ) बनाया जा सके।
गेटेड स्टाइल इंजेक्शन (Gated Style Injection): अंतिम छह अपीयरेंस-डिकोडर लेयर्स में, फ्रेमवर्क एक कंटेंट-रिलेटिव स्टाइल रेसिड्यूल ( $\Delta = Y^s - Y^c$ ) की गणना करता है, जो स्टाइल रेफरेंस द्वारा पेश किए गए अपीयरेंस परिवर्तन को अलग करता है। इस रेसिड्यूल को हिडन स्टेट में जोड़ने से पहले स्वामित्व मानचित्र ( $g_i$ ) द्वारा गेट किया जाता है:
$H_i^{\ell+1} = \mathcal{F}_\ell(H_i^\ell + Y_i^{c,\ell} + \alpha g_i \Delta_i^{s,\ell})$
यह सुनिश्चित करता है कि स्टाइल केवल लक्षित-स्वामित्व वाली क्वेरीज़ पर लिखा जाए, जिससे अलग ग्लोबल स्टाइल और कंटेंट रिप्रेजेंटेशन बनाए रखने के बजाय एक एकल स्थानीयकृत स्टाइलिश ट्राईप्लेन प्राप्त होता है।

2. बाउंड्री डुअल स्लॉट्स (Boundary Dual Slots)
उस ट्राईप्लेन क्षमता की समस्या को हल करने के लिए जहाँ लक्ष्य और गैर-लक्ष्य सतहें सीमाओं के पास एक ही स्थानीय ट्राईप्लेन सपोर्ट साझा करती हैं, Owner3D एक स्पार्स लोकल कैपेसिटी एक्सपेंशन पेश करता है।

डिटेक्शन: सीमा स्थानों की पहचान वहां की जाती है जहां एक ट्राईप्लेन सेल का स्थानीय पड़ोस (neighborhood) लक्षित-स्वामित्व वाले और संरक्षित-स्वामित्व वाले दोनों क्षेत्रों को समाहित करता है।
डुअल स्टोरेज: इन सक्रिय सीमा स्थानों पर, सिस्टम दो अलग-अलग फीचर स्रोतों को बनाए रखता है: एक "स्टाइल स्लॉट" जो स्थानीय रूप से स्टाइलिश फीचर को स्टोर करता है और एक "प्रिजर्व स्लॉट" जो मूल पुनर्निर्माण फीचर को स्टोर करता है। यह साझा ट्राईप्लेन सेल को परस्पर विरोधी फीचर्स के बीच समझौता करने के लिए मजबूर होने से रोकता है।

3. सरफेस-फर्स्ट टेक्सचर रीडआउट (Surface-First Texture Readout)
रेंडरिंग के दौरान, फ्रेमवर्क स्वामित्व साक्ष्य के आधार पर प्रत्येक सतह क्वेरी के लिए सबसे विश्वसनीय अपीयरेंस फीचर्स को पदानुक्रमित (hierarchically) रूप से चुनता है।

प्राथमिकता तर्क (Priority Logic): सिस्टम सरफेस ओनरशिप (दृश्य स्रोत दृश्यों से प्राप्त) को प्राथमिक साक्ष्य के रूप में प्राथमिकता देता है। यदि उपलब्ध न हो, तो यह 3D स्वामित्व क्षेत्र ( $M_{3D}$ ) पर जाता है, और अंततः ट्राईप्लेन राइट मास्क पर आता है।
फीचर चयन: निर्धारित स्वामित्व स्कोर और इस आधार पर कि क्या क्वेरी एक बाउंड्री स्लॉट पर है, रेंडरर उपयुक्त फीचर का चयन करता है: स्टाइलिश फीचर, संरक्षित फीचर, या डिफ़ॉल्ट फीचर (अस्पष्ट क्षेत्रों में हार्ड स्विचिंग से बचने के लिए)।

प्रमुख योगदान (Key Contributions)

पेपर चार प्राथमिक योगदानों का दावा करता है:

Owner3D फ्रेमवर्क: एक प्रशिक्षण-मुक्त स्थानीयकृत 3D शैलीकरण ढांचा जो फीड-फॉरवर्ड पुनर्निर्माण पाइपलाइन के भीतर नियंत्रणीय पार्ट-लेवल एडिटिंग सक्षम करता है, जो मौजूदा बेसलाइन्स की तुलना में गैर-लक्ष्य लीकेज को काफी कम करता है।
स्वामित्व-निर्देशित स्टाइल राइटिंग: एक LRM के लिए एक प्रतिमान (paradigm) जो एक एकल स्थानीयकृत स्टाइलिश ट्राईप्लेन को बनाए रखते हुए लक्षित भाग के लिए स्थानीयकृत संदर्भ-शैली इंजेक्शन को स्थानीयकृत करता है, जिससे अलग ग्लोबल स्टाइल और कंटेंट रिप्रेजेंटेशन की आवश्यकता नहीं होती।
बाउंड्री डुअल स्लॉट्स: साझा ट्राईप्लेन सपोर्ट के कारण होने वाली अपीयरेंस अस्पष्टता को दूर करने के लिए एक तंत्र, जो सीमाओं के पास लक्ष्य और गैर-लक्ष्य क्षेत्रों के लिए स्वतंत्र स्थानीय फीचर प्रतिनिधित्व सक्षम करता है।
सरफेस-फर्स्ट टेक्सचर रीडआउट: एक मजबूत फीचर रिकवरी रणनीति जो सतह स्वामित्व साक्ष्य को प्राथमिकता देती है और अपूर्ण दृश्यता के तहत प्रगतिशील रूप से 3D और ट्राईप्लेन संकेतों का लाभ उठाती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Google Scanned Objects (GSO) और PartNet से निर्मित एक बेंचमार्क पर Owner3D का मूल्यांकन किया, जिसमें 49 3D ऑब्जेक्ट्स और 16 स्टाइल रेफरेंस शामिल थे। इसकी तुलना Gaussian-splatting-आधारित, NeRF-आधारित और इमेज-स्पेस शैलीकरण विधियों से की गई।

प्रदर्शन: Owner3D ने सर्वश्रेष्ठ Style Fidelity स्कोर (0.1545) और न्यूनतम Leakage स्कोर (0.0042) प्राप्त किया।
लीकेज में कमी: StyleSplat और LAENeRF की तुलना में, Owner3D ने अपीयरेंस लीकेज को क्रमशः 86.4% और 89.9% तक कम कर दिया।
दक्षता: यह विधि अत्यधिक कुशल है, जिसे प्रति ऑब्जेक्ट-स्टाइल पेयर केवल 31.10 सेकंड की आवश्यकता होती है, जो अन्य 3D बेसलाइन्स से बेहतर प्रदर्शन करती है जिन्हें अक्सर मिनटों की आवश्यकता होती है।
एब्लेशन (Ablation): गेटेड मिक्सिंग या बाउंड्री डुअल स्लॉट्स जैसे घटकों को हटाने से स्टाइल लोकलाइजेशन में महत्वपूर्ण गिरावट आई और गैर-लक्ष्य फीचर ड्रिफ्ट बढ़ गया, जो प्रत्येक मॉड्यूल की आवश्यकता को प्रमाणित करता है।

महत्व और दावे (Significance and Claims)

पेपर Owner3D को लार्ज रिकंस्ट्रक्शन मॉडल्स में नियंत्रणीय अपीयरेंस एडिटिंग के लिए एक व्यावहारिक समाधान के रूप में प्रस्तुत करता है। इसका महत्व निम्नलिखित में निहित है:

प्रशिक्षण-मुक्त संचालन: यह LRM को फाइन-ट्यून किए बिना या अतिरिक्त 3D मॉडल को प्रशिक्षित किए बिना उच्च गुणवत्ता वाला स्थानीयकृत शैलीकरण प्राप्त करता है।
स्वामित्व का एकीकरण: यह प्री-रेंडरिंग स्टाइल राइटिंग को विनियमित करने के लिए फिक्स्ड रिकंस्ट्रक्शन प्रक्रिया में स्वामित्व मार्गदर्शन को सफलतापूर्वक एकीकृत करता है, जो पिछले ग्लोबल इंजेक्शन विधियों में मौजूद क्षमता का अभाव है।
मजबूती (Robustness): यह ट्राईप्लेन शेयरिंग और अपूर्ण दृश्यता की विशिष्ट चुनौतियों का समाधान करता है, यह सुनिश्चित करता है कि लक्षित क्षेत्रों को स्टाइलिश किए जाने पर भी गैर-लक्ष्य क्षेत्र संरक्षित रहें।

लेखक निष्कर्ष निकालते हैं कि Owner3D स्टाइल फिडेलिटी, अपीयरेंस प्रिजर्वेशन और मल्टी-व्यू कंसिस्टेंसी का एक बेहतर संतुलन प्रदान करता है, जो स्थानीयकृत 3D एडिटिंग के लिए एक स्केलेबल पथ प्रदान करता है। भविष्य के कार्य में बेहतर क्षेत्र नियंत्रण और समृद्ध अपीयरेंस रिप्रेजेंटेशन की खोज की बात कही गई है।

समस्या विवरण (Problem Statement)

कार्यप्रणाली (Methodology)

प्रमुख योगदान (Key Contributions)

प्रयोगात्मक परिणाम (Experimental Results)

महत्व और दावे (Significance and Claims)

इसी तरह के और पेपर