💻 computer science

JanusMesh: Fast and Zero-Shot 3D Visual Illusion Generation via Cross-Space Denoising

JanusMesh एक तेज़, प्रशिक्षण-मुक्त ढांचा है जो निर्बाध ज्यामितीय संलयन के लिए एक क्रॉस-स्पेस डुअल-ब्रांच डिनोइज़िंग प्रक्रिया और यथार्थवादी रेंडरिंग के लिए एक व्यू-कंडीशन्ड टेक्सचर सिंथेसिस मॉड्यूल का उपयोग करके विभिन्न देखने के कोणों से अलग अर्थ वाले उच्च-गुणवत्ता वाले 3D दृश्य भ्रम उत्पन्न करता है।

मूल लेखक: Siang-Ling Zhang, Huai-Hsun Cheng, Tsung-Ju Yang, Yu-Lun Liu

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Siang-Ling Zhang, Huai-Hsun Cheng, Tsung-Ju Yang, Yu-Lun Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई मूर्ति है जो इस बात पर निर्भर करती है कि आप किस तरफ से खड़े हैं, वह पूरी तरह से एक अलग वस्तु की तरह दिखती है। यदि आप इसे सामने से देखते हैं, तो यह एक मोर है। यदि आप पीछे की ओर घूमते हैं, तो यह एक अनानास है। लेकिन यदि आप इसे बगल से देखते हैं, तो यह केवल एक अजीब, अमूर्त आकार (abstract blob) जैसा दिखता है।

यह JanusMesh के पीछे का मुख्य विचार है, जो एक नया कंप्यूटर प्रोग्राम है जो इन "3D दृश्य भ्रमों" (3D visual illusions) को स्वचालित रूप से और बहुत तेज़ी से बनाता है।

यहाँ इसका एक सरल विवरण दिया गया है, जिसमें रोज़मर्रा के उदाहरणों का उपयोग किया गया है:

समस्या: पुराने तरीके धीमे या अस्त-व्यस्त थे

इस शोध पत्र से पहले, ऐसे भ्रम बनाना हाथ से घर बनाने जैसा था:

"धीमा मूर्तिकार" (The "Slow Sculptor") तरीका: कुछ प्रोग्राम डिजिटल मिट्टी के एक ब्लॉक को धीरे-धीरे तराशने की कोशिश करते थे, और इसे तब तक बदलते रहते थे जब तक कि यह दो कोणों से सही न दिखने लगे। इसमें एक वस्तु के लिए लगभग 40 मिनट लगते थे और अक्सर रंग बहुत चमकीले और भड़कीले होते थे (जैसे कोई नियॉन साइन जो आँखों को चुभ जाए)।
"गोंद" (The "Glue") तरीका: अन्य तरीकों ने एक मोर के 3D मॉडल और एक अनानास के 3D मॉडल को लिया, उन्हें आधा काट दिया, और उन्हें आपस में जोड़ दिया। यह बहुत बुरा दिखता था। आप उस बदसूरत "सीवन" (seam) को देख सकते थे जहाँ उन्हें जोड़ा गया था, और जब आपको मोर देखना चाहिए था, तब भी अनानास का पिछला हिस्सा दिखाई दे रहा होता था।

समाधान: JanusMesh (द "फास्ट एंड स्मार्ट" तरीका)

लेखकों ने एक ऐसा सिस्टम बनाया है जो इसे बिना किसी विशिष्ट डेटा पर प्रशिक्षित हुए केवल 3 से 5 मिनट में कर देता है। इसे "जीरो-शॉट" (Zero-Shot) कहा जाता है, जिसका अर्थ है कि आप बस कोई भी दो शब्द टाइप कर सकते हैं (जैसे "एक नाव" और "एक तोता"), और यह तुरंत इसे समझ लेता है।

वे इसे दो मुख्य चरणों में करते हैं:

चरण 1: "आकार बदलने वाला" (The "Shape Shifter" - Geometry)

इसे भ्रम के कंकाल के रूप में सोचें।

दो दिमाग, एक शरीर: कंप्यूटर दो अलग-अलग "सपनों" (एक मोर के लिए और एक अनानास के लिए) के साथ शुरू करता है। इन्हें अलग रखने के बजाय, यह उन्हें तब मिला देता है जब वे अभी भी सपने के रूप में होते हैं।
स्मूदी ब्लेंडर: कल्पना कीजिए कि आपके पास मोर का एक डिजिटल 3D आकार और एक अनानास का है। यदि आप उन्हें बस आपस में मिला देते हैं, तो यह एक गड़बड़ी बन जाएगी। JanusMesh एक विशेष गणितीय ट्रिक का उपयोग करता है जिसे SDF Blending कहा जाता है। इसे स्मूदी बनाने की तरह समझें: केवल फलों के टुकड़ों को एक साथ फेंकने के बजाय, यह फल और हवा के बीच की दूरी को मिलाता है। यह एक सहज, निर्बाध संक्रमण बनाता है जहाँ दोनों आकार एक एकल, एकीकृत वस्तु में विलीन हो जाते हैं जिसमें कोई भी बदसूरत दरारें या सीवन नहीं होती।
डांस पार्टनर की खोज: कभी-कभी, यदि मोर और अनानास गलत दिशा में हैं, तो वे अच्छी तरह से फिट नहीं होते। सिस्टम (CLIP नामक) एक "सर्च इंजन" का उपयोग करता है ताकि वस्तुओं को तब तक घुमाया जा सके जब तक कि उनके सिल्हूट (silhouettes) पूरी तरह से मेल न खा जाएं, इससे पहले कि उन्हें मिलाया जाए। यह ठीक वैसा ही है जैसे दो पहेली के टुकड़ों को खोजने के लिए सही कोण ढूंढना जहाँ वे स्वाभाविक रूप से एक साथ जुड़ सकें।

चरण 2: "चित्रकार" (The "Painter" - Texture)

एक बार जब वह अजीब, मिश्रित आकार बन जाता है, तो वह एक धूसर (gray), अमूर्त गांठ जैसा दिखता है। अब, कंप्यूटर को इसे पेंट करने की आवश्यकता है।

जादुई प्रोजेक्टर: पूरी वस्तु को एक रंग से पेंट करने के बजाय, सिस्टम एक स्मार्ट प्रोजेक्टर की तरह काम करता है। जब यह "मोर के कोण" से वस्तु को देखता है, तो यह उस तरफ मोर की बनावट (texture) प्रोजेक्ट करता है। जब यह "अनानास के कोण" से देखता है, तो यह अनानास की बनावट प्रोजेक्ट करता है।
निर्बाध मिश्रण: यह इन चित्रित छवियों को इतनी सहजता से मिलाता है कि जब आप वस्तु के चारों ओर घूमते हैं, तो बनावट स्वाभाविक रूप से बदल जाती है, जिससे वहां कोई दृश्य रेखा नहीं बचती जहां पेंट बदलता है।

यह क्यों विशेष है?

गति: यह पुराने 40 मिनट वाले तरीकों की तुलना में अविश्वसनीय रूप से तेज़ (3-5 मिनट) है।
कोई प्रशिक्षण नहीं: आपको इसे मोर और अनानास के हजारों उदाहरण खिलाकर सिखाने की आवश्यकता नहीं है। यह तुरंत इसे कर लेता है।
स्केलेबिलिटी (Scalability): शोध पत्र यह भी दिखाता है कि यह एक साथ तीन वस्तुओं (जैसे अंगूर, अनानास और बांस) को भी संभाल सकता है, जिससे एक ही वस्तु बनती है जो आपके चारों ओर घूमने पर तीन बार बदलती है।

निष्कर्ष

JanusMesh एक डिजिटल जादूगर की तरह है जो तुरंत एक ऐसी वस्तु को तराश सकता है जो अपने भीतर दो (या तीन) अलग-अलग पहचान छुपाए हुए है। यह "बदसूरत सीवन" और "धीमी प्रोसेसिंग" की समस्या को गणितीय रूप से आकारों को मिलाने और दृश्य-विशिष्ट जादू के साथ पेंट करने से हल करता है, जिससे भ्रम एकदम सटीक बनता है।

तकनीकी सारांश: JanusMesh

समस्या विवरण

यह शोध पत्र 3D दृश्य भ्रम (3D visual illusion) निर्माण की चुनौती को संबोधित करता है: एक एकल 3D मेश बनाना जो विशिष्ट कैमरा कोणों से देखने पर पूरी तरह से अलग अर्थ (जैसे, एक मोर बनाम एक अनानास) प्रकट करता है, जबकि किसी भी अनिश्चित दृष्टिकोण से देखने पर यह एक अपरिचित अमूर्त ज्यामिति के रूप में दिखाई देता है।

मौजूदा दृष्टिकोण महत्वपूर्ण सीमाओं से ग्रस्त हैं:

अनुकूलन-आधारित विधियाँ (जैसे, SDS): ये गणनात्मक रूप से महंगी हैं (प्रत्येक आकार के लिए ~40 मिनट लेती हैं) और अक्सर गंभीर रंग अति-संतृप्ति (color over-saturation) और ज्यामितीय रिसाव (geometric leakage) के साथ परिणाम देती हैं।
नाइव स्टिचिंग (सीधा संयोजन - Direct Concatenation): दो अलग-अलग उत्पन्न वस्तुओं को सीधे जोड़ने से अस्वाभाविक ज्यामितीय जोड़ (seams), दृश्यमान बैकसाइड लीकेज, और ज्यामितीय सुसंगतता बनाए रखने में विफलता होती है, जिससे बोधगम्य भ्रम टूट जाता है।
एकल-जनरेशन मॉडल: मानक टेक्स्ट-टू-3D मॉडल स्पष्ट, दृश्य-निर्भर अर्थ उत्पन्न करने में विफल रहते हैं, और अक्सर सभी दृश्यों में दोनों अर्थों को समान रूप से मिला देते हैं या सामान्य आकृतियों में सिमट जाते हैं।

कार्यप्रणाली: JanusMesh

JanusMesh एक तेज़, ज़ीरो-शॉट, और ट्रेनिंग-फ्री फ्रेमवर्क है जो 3-5 मिनट में दोहरी-अर्थ वाली 3D भ्रम उत्पन्न करता है। यह पाइपलाइन दो विशिष्ट चरणों में विभाजित है:

चरण 1: दोहरी-शाखा ज्यामिति पीढ़ी (Dual-Branch Geometry Generation)

यह चरण एक ज्यामितीय रूप से सुसंगत मेश बनाने पर केंद्रित है जो दो अलग-अलग अर्थपूर्ण आकृतियों को जोड़ता है।

दोहरी-शाखा डिनोइजिंग (Dual-Branch Denoising): TRELLIS आर्किटेक्चर (एक रेक्टिफाइड फ्लो 3D जनरेटर) पर आधारित, यह विधि दो अलग-अलग टेक्स्ट प्रॉम्प्ट्स ( $y_1, y_2$ ) से प्रेरित एक साझा नॉइज़ लेटेंट से दो स्वतंत्र डिनोइजिंग शाखाएं शुरू करती है।
क्रॉस-स्पेस डिनोइजिंग: लेटेंट वितरण को विकृत होने से बचाने के लिए, प्रक्रिया प्रत्येक डिनोइजिंग स्टेप पर लेटेंट्स को वॉक्सेल स्पेस (voxel space) में डिकोड करती है।
CLIP-निर्देशित ओरिएंटेशन खोज: फ्यूजन से पहले, सिस्टम दोनों वस्तुओं के बीच इष्टतम सापेक्ष रोटेशन को स्वचालित रूप से निर्धारित करता है। यह उम्मीदवार दृश्यों को रेंडर करता है, CLIP का उपयोग करके वस्तु 1 का वह दृश्य ढूंढता है जिसमें उच्चतम टेक्स्ट-इमेज समानता हो, और फिर वस्तु 2 के उस रोटेशन की खोज करता है जो वस्तु 1 के एंकर व्यू के साथ इमेज-इमेज समानता को अधिकतम करता है। यह ब्लेंडिंग से पहले सिल्हूट संरेखण (silhouette alignment) सुनिश्चित करता है।
SDF ब्लेंडिंग: बाइनरी ऑक्यूपेंसी ग्रिड का औसत निकालने (जिससे ज्यामितीय विच्छिन्नता होती है) के बजाय, यह विधि वॉक्सेल प्रतिनिधित्व को साइनेड डिस्टेंस फील्ड्स (SDFs) में परिवर्तित करती है। यह SDFs का एलिमेंट-वाइज औसत निकालती है और एक चिकनी, मध्यवर्ती ज्यामिति बनाने के लिए परिणाम को बाइनराइज़ करती है। इस ब्लेंडेड वॉक्सेल को अगले डिनोइजिंग स्टेप के लिए लेटेंट स्पेस में पुन: एनकोड किया जाता है।
नॉइज़ गाइडेंस: ज्यामितीय संघर्षों को संभालने के लिए, फ्रेमवर्क नॉइज़ ब्लेंडिंग गाइडेंस (एक पूर्व-निर्मित गाइडेंस लेटेंट के साथ नॉइज़ को मिलाकर) या स्पेस कंट्रोल गाइडेंस (एक विशिष्ट टाइमस्टेप $t_0$ पर गाइडेंस लेटेंट को नॉइज़ के साथ इंटरपोलेट करके) के माध्यम से स्थानिक प्राथमिकताएं (spatial priors) इंजेक्ट करता है। यह संरचनात्मक अखंडता बनाए रखते हुए लक्ष्य अर्थों की ओर पीढ़ी को निर्देशित करता है।

चरण 2: दृश्य-सशर्त बनावट संश्लेषण (View-Conditioned Texture Synthesis)

चूंकि चरण 1 से प्राप्त फ्यूज्ड ज्यामिति में ऐसी अस्वाभाविक संरचनाएं हो सकती हैं जो मानक टेक्सचरिंग मॉडलों को भ्रमित करती हैं, इसलिए एक अलग टेक्सचरिंग चरण का उपयोग किया जाता है।

दृश्य-जागरूक भविष्यवाणी (View-Aware Prediction): Stable Diffusion का उपयोग करते हुए, एक डेप्थ-कंडीशनड ControlNet के साथ, सिस्टम विशिष्ट दृष्टिकोणों ( $\theta_1$ और $\theta_2$ ) से मेश के लिए स्वच्छ टेक्सचर की भविष्यवाणी करता है।
मेश टेक्सचर एकत्रीकरण: अनुमानित 2D टेक्सचर को 3D सतह पर अन-प्रोजेक्ट किया जाता है। एक कोसाइन-वेटेड ब्लेंडिंग रणनीति सतह के नॉर्मल्स के आधार पर मल्टी-व्यू योगदान को एकत्रित करती है, जिससे निर्बाध संक्रमण सुनिश्चित होता है और विशिष्ट कोणीय क्षेत्रों को लक्षित प्रॉम्प्ट्स के अनुरूप विशिष्ट टेक्सचर आवंटित किए जाते हैं।

तीन वस्तुओं तक विस्तार

फ्रेमवर्क तीसरी डिनोइजिंग शाखा जोड़कर और लक्ष्य कोणों को $0^\circ, 120^\circ,$ और $240^\circ$ पर स्थिर करके तीन-वस्तु वाले भ्रमों तक स्वाभाविक रूप से स्केल करता है। बढ़ती ज्यामितीय जटिलता के कारण, मजबूत संरचनात्मक बाधाओं को लागू करने के लिए स्पेस कंट्रोल गाइडेंस अनिवार्य है।

मुख्य योगदान

ज़ीरो-शॉट 3D इल्यूजन फ्रेमवर्क: पूर्ण टेक्सचर्ड 3D मेश के लिए 2D मल्टी-व्यू इल्यूजन को विस्तारित करने वाला पहला तरीका, जो प्रति-आकार अनुकूलन (per-shape optimization) के बिना काम करता है।
दो-चरणीय आर्किटेक्चर: एक नवीन पाइपलाइन जिसमें ज्यामितीय अखंडता के लिए SDF ब्लेंडिंग के साथ दोहरी-शाखा डिनोइजिंग और CLIP-निर्देशित संरेखण शामिल है, साथ ही अर्थपूर्ण सुसंगतता के लिए दृश्य-सशर्त टेक्सचरिंग दी गई है।
व्यापक मूल्यांकन: CLIP समानता, GPT-4.1-mini सटीकता, FID/KID, ऑब्जेक्ट डिटेक्शन मेट्रिक्स और ज्यामितीय चिकनाई को मापने के लिए एक नवीन बाउंड्री सीम स्कोर (इम्पैक्ट फैक्टर) का उपयोग करते हुए एक कठोर मूल्यांकन प्रोटोकॉल।

प्रयोगात्मक परिणाम

एक सिंगल NVIDIA RTX 4090 पर पांच श्रेणियों (पक्षी, स्तनधारी, सरीसृप, पौधे, कलाकृतियां) में 60 विशिष्ट ऑब्जेक्ट पेयर्स पर मूल्यांकन किया गया:

दक्षता: JanusMesh 3-5 मिनट में परिणाम उत्पन्न करता है, जो SDS-आधारित बेसलाइन्स (~40 मिनट) से काफी बेहतर है और नाइव कॉन्कैटिनेशन की गति से मेल खाता है।
अर्थपूर्ण पहचान क्षमता (Semantic Recognizability): लक्षित अर्थों की पहचान करने में 84% GPT सटीकता प्राप्त की, जो डायरेक्ट कॉन्कैटिनेशन (76%) और शेप फ्रॉम सेमेंटिक्स (70%) से बेहतर है।
ज्यामितीय अखंडता: डायरेक्ट कॉन्कैटिनेशन (56%) की तुलना में सबसे कम ऑब्जेक्ट डिटेक्शन मल्टी-ऑब्जेक्ट रेट (18%) प्राप्त किया, जो दर्शाता है कि मेश को दो स्टिच किए गए भागों के बजाय एक एकल एकीकृत वस्तु के रूप में देखा जाता है।
दृश्य गुणवत्ता: प्रतिस्पर्धी विधियों में सबसे कम FID (185.555) का उत्पादन किया, जो उच्च दृश्य यथार्थवाद को दर्शाता है।
उपयोगकर्ता अध्ययन: 78.5% प्रतिभागियों ने उत्पन्न अर्थों को "स्पष्ट रूप से पहचानने योग्य" माना, और 71% ने सभी बेसलाइन्स की तुलना में JanusMesh को प्राथमिकता दी। 91% ने फिक्स्ड एंगल्स के ऊपर CLIP-निर्देशित ओरिएंटेशन रणनीति को पसंद किया।

महत्व और दावे

शोध पत्र का दावा है कि JanusMesh सफलतापूर्वक 2D ऑप्टिकल इल्यूजन और वास्तविक 3D ज्यामिति के बीच के अंतर को पाटता है। ज्यामिति पीढ़ी और टेक्सचर संश्लेषण को अलग करके, और क्रॉस-स्पेस डिनोइजिंग के साथ SDF ब्लेंडिंग का उपयोग करके, यह विधि ज्यामितीय सुसंगतता और अर्थपूर्ण विशिष्टता के बीच के ट्रेड-ऑफ को दूर करती है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण ट्रेनिंग-फ्री और कुशल है, जो उच्च गुणवत्ता वाले 3D विजुअल इल्यूजन को पुनरावृत्ति अनुकूलन (iterative optimization) के कम्प्यूटेशनल बोझ के बिना सुलभ बनाता है। हालांकि यह विधि अंतर्निहित TRELLIS मॉडल से कुछ विफलता के मामलों को विरासत में लेती है (जैसे, विशिष्ट पशु श्रेणियां) और वर्तमान में तीन-वस्तु इल्यूजन के लिए फिक्स्ड एंगल्स पर निर्भर करती है, यह तेज़, ज़ीरो-शॉट 3D इल्यूजन जनरेशन के लिए एक नया बेंचमार्क स्थापित करती है।