तकनीकी सारांश: MiraGe – Gaussian Splatting का उपयोग करके संपादन योग्य 2D चित्र

समस्या विवरण (Problem Statement)

इम्प्लिसिट न्यूरल रिप्रेजेंटेशन (INRs) और हालिया Gaussian-आधारित विधियों जैसे GaussianImage ने निरंतर कार्यों (continuous functions) या Gaussian घटकों के माध्यम से 2D छवियों को एनकोड करने में सफलता प्रदर्शित की है, जिससे उच्च पुनर्निर्माण गुणवत्ता और संपीड़न (compression) प्राप्त हुआ है। हालाँकि, एक महत्वपूर्ण सीमा मौजूद है: ये विधियाँ मुख्य रूप से छवियों को स्थिर डेटा प्रतिनिधित्व के रूप में मानती हैं। इनमें सहज, उपयोगकर्ता-संचालित छवि संशोधन की क्षमता का अभाव है, विशेष रूप से वे जो 3D स्थानिक संदर्भ के भीतर 2D वस्तुओं (जैसे फोटोग्राफ) की मानवीय धारणा की नकल करते हैं। जबकि 3D Gaussian Splatting (3DGS) दृश्य हेरफेर (scene manipulation) की अनुमति देता है, मौजूदा 2D Gaussian दृष्टिकोण (जैसे GaussianImage) दृश्य वस्तुओं के रूपांतरण या भौतिकी-आधारित इंटरैक्शन के एकीकरण का समर्थन नहीं करते हैं, जो गतिशील संपादन और एनीमेशन परिदृश्यों में उनकी प्रयोज्यता को सीमित करता है।

कार्यप्रणाली (Methodology)

MiraGe मानवीय दृश्य धारणा के लेंस के माध्यम से 2D इमेज एनकोडिंग को पुनर्गठित करके इन सीमाओं को संबोधित करता है, जहाँ एक 2D छवि को 3D स्थान के भीतर स्थित एक सपाट वस्तु के रूप में माना जाता है। मुख्य कार्यप्रणाली में निम्नलिखित घटक शामिल हैं:

1. फ्लैट 3D Gaussian प्रतिनिधित्व (Flat 3D Gaussian Representation)

मानक 3D Gaussians या 2D Gaussians के बजाय, MiraGe फ्लैट 3D Gaussians का उपयोग करता है। ये ऐसे Gaussian घटक हैं जहाँ एक स्केल पैरामीटर को शून्य ($s_1 = \epsilon$) पर मजबूर किया जाता है, जो प्रभावी रूप से एक प्लेनर वितरण (planar distribution) बनाता है।

• GaMeS पैरामीट्रिज़ेशन: पेपर GaMeS (Gaussian Mesh Splatting) पैरामीट्रिज़ेशन का उपयोग करता है ताकि इन फ्लैट Gaussians को त्रिकोणीय-फलक मेश ("triangle soup") के रूप में दर्शाया जा सके। एक Gaussian घटक $N(m, R, S)$ को एक त्रिकोण $V = [v_1, v_2, v_3]$ में मैप किया जाता है, जहाँ वर्टिस (vertices) मीन (mean) और स्केलिंग/रोटेशन मापदंडों से प्राप्त होते हैं। यह अंतर्निहित त्रिकोणीय मेश को रूपांतरित करके Gaussian गुणों (स्थिति, स्केल, रोटेशन) के सीधे हेरफेर की अनुमति देता है।

2. स्थानिक विन्यास और आरंभीकरण (Spatial Configuration and Initialization)

2D छवि को मूल बिंदु $(0,0,0)$ पर XZ प्लेन पर आरंभीकृत (initialize) किया जाता है। कैमरे से दूरी एक हाइपरपैरामीटर है जो कथित स्केल (perceived scale) को नियंत्रित करती है। संपूर्ण छवि को पर्सपेक्टिव प्रोजेक्शन के तहत दृश्यमान रहने के लिए कैमरा फील्ड ऑफ व्यू के आधार पर आरंभीकरण रेंज की गणना की जाती है।

3. तीन नियंत्रण वेरिएंट (Three Control Variants)

पेपर इन Gaussians की स्थानिक स्थिति को नियंत्रित करने के लिए तीन अलग-अलग दृष्टिकोण प्रस्तावित करता है:

• Amorphous-MiraGe: Gaussians को XZ प्लेन पर आरंभीकृत किया जाता है लेकिन उन्हें प्रशिक्षण के दौरान 3D स्पेस में स्वतंत्र रूप से (अमोर्फसली) घूमने की अनुमति दी जाती है। हालांकि यह 3D हेरफेर को सक्षम बनाता है, लेखक नोट करते हैं कि यह महत्वपूर्ण आर्टिफैक्ट्स उत्पन्न कर सकता है और बिना अतिरिक्त बाधाओं के उच्च-गुणवत्ता वाले प्रतिनिधित्व के लिए अपर्याप्त है।
• 2D-MiraGe: आर्टिफैक्ट्स को रोकने के लिए, Gaussians को सख्ती से XZ प्लेन से बांधा गया है। विधि एक रोटेशन मैट्रिक्स का उपयोग करती है ताकि Gaussian घटकों को प्लेन के साथ संरेखित किया जा सके, जिससे ऑर्थोगोनल प्रोजेक्शन सुनिश्चित होता है। हालांकि यह 2D के लिए प्रभावी है, यह विधि 3D संशोधनों का प्रयास करते समय विफल हो जाती है, क्योंकि कैमरा स्थिति के आधार पर Gaussians यादृच्छिक रूप से दिखाई देते हैं।
• Graphite-MiraGe: यह वेरिएंट एक प्रशिक्षित ट्रांसलेशन पैरामीटर $\gamma$ पेश करके Gaussians को XZ प्लेन से (विशेष रूप से Y-अक्ष के साथ) बाहर निकलने की अनुमति देता है। यह कैमरा स्थितियों के सापेक्ष क्रम बनाए रखते हुए 3D संशोधनों को सक्षम करता है, जिससे जटिल स्थानिक तर्क और छवि संयोजन की सुविधा मिलती है।

4. मिरर कैमरा सेटअप (Mirror Camera Setup)

पुनर्निर्माण निष्ठा (reconstruction fidelity) और नियंत्रण को बढ़ाने के लिए, MiraGe एक मिरर कैमरा सेटअप का उपयोग करता है। दो विपरीत कैमरे Y-अक्ष के साथ स्थित हैं, जो सममित रूप से संरेखित हैं और एक-दूसरे की ओर निर्देशित हैं।

• एक कैमरा मूल छवि $I$ का पुनर्निर्माण करता है।
• दूसरा कैमरा इसके मिरर प्रतिबिंब $M(I)$ (क्षैतिज रूप से पलटा हुआ) का पुनर्निर्माण करता है।
• लॉस फंक्शन दोनों दृश्यों के पुनर्निर्माण लागतों को जोड़ता है: $L(I) + L(M(I))$। यह सेटअप सुनिश्चित करता है कि Gaussians एक विशिष्ट स्थानिक क्षेत्र के भीतर रहें, जिससे प्रतिनिधित्व की सटीकता में सुधार होता है।

5. भौतिक इंजन एकीकरण (Physics Engine Integration)

MiraGe भौतिक-आधारित संशोधनों को सक्षम करने के लिए भौतिक इंजनों (2D के लिए Taichi_elements, 3D के लिए Blender) के साथ एकीकृत होता है। भौतिक इंजन को एक ब्लैक बॉक्स के रूप में मानकर, मॉडल वास्तविक इंटरैक्शन, विरूपण (deformations) और गतिविधियों का अनुकरण कर सकता है, जिससे 2D इमेज कंटेंट के गतिशील एनीमेशन संभव होते हैं।

प्रमुख योगदान (Key Contributions)

पेपर निम्नलिखित प्राथमिक योगदानों को रेखांकित करता है:

1. MiraGe मॉडल: फ्लैट 3D Gaussian घटकों का उपयोग करके 2D छवियों को प्रदर्शित करने वाला एक नया मॉडल, जो अत्याधुनिक पुनर्निर्माण गुणवत्ता प्राप्त करता है।
2. 3D स्थानिक हेरफेर: 3D स्थान के भीतर 2D छवियों को हेरफेर करने की क्षमता, जो 3D प्रभाव का भ्रम पैदा करती है और सहज परिप्रेक्ष्य समायोजन को सक्षम करती है जो पारंपरिक 2D फ्रेमवर्क में कठिन है।
3. भौतिकी एकीकरण: भौतिकी इंजन के साथ MiraGe का सफल एकीकरण, जो 2D और 3D दोनों वातावरणों के लिए भौतिकी-आधारित संशोधनों और इंटरैक्शन को सक्षम बनाता है, जिससे यथार्थवाद बढ़ता है।

परिणाम (Results)

Kodak और DIV2K डेटासेट पर मात्रात्मक मूल्यांकन से पता चलता है कि MiraGe मौजूदा बेसलाइन्स, जिनमें क्लासिकल INRs (SIREN, WIRE, I-NGP, NeuRBF), मानक 3DGS और GaussianImage शामिल हैं, को पछाड़ देता है।

• पुनर्निर्माण गुणवत्ता: MiraGe काफी उच्च PSNR और MS-SSIM स्कोर प्राप्त करता है। उदाहरण के लिए, DIV2K डेटासेट पर, MiraGe-100k, GaussianImage-100k के 41.48 और 0.9981 के मुकाबले 54.54 का PSNR और 0.9998 का MS-SSIM प्राप्त करता है।
• दृश्य निष्ठा (Visual Fidelity): दृश्य तुलना दिखाती है कि MiraGe, DragGAN या DragDiffusion जैसे जनरेटिव मॉडल्स की तुलना में कम आर्टिफैक्ट्स उत्पन्न करता है और स्थानीय संपादन के दौरान सूक्ष्म विवरणों (जैसे चेहरे की डिम्पल, शेर का मुँह) को बेहतर ढंग से संरक्षित करता है।
• संपादन क्षमताएं: मॉडल 3D स्पेस में 2D छवियों को मोड़ने, घुमाने और एनिमेट करने के साथ-साथ अलग-अलग प्लेन पर कई छवियों के निर्बाध एकीकरण (कोलाज जैसी रचना) का समर्थन करता है।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि MiraGe 2D इमेज प्रतिनिधित्व और 3D स्थानिक समझ के बीच के अंतर को पाटता है, एक सपाट 3D वस्तु के रूप में 2D छवि को देखने की मानवीय धारणा का अनुकरण करके, यह विधि सक्षम बनाती है:

• सहज संपादन: उपयोगकर्ता सीधे तीसरे आयाम में जटिल रूपांतरण (affine, bending) कर सकते हैं।
• गतिशील अनुप्रयोग: भौतिकी इंजन के साथ एकीकरण वास्तविक, भौतिकी-तथ्यात्मक 2D एनिमेशन बनाने की अनुमति देता है, जो वर्चुअल रियलिटी बैकड्रॉप और इंटरैक्टिव स्थानिक इंटरफेस के लिए उपयुक्त है।
• बेहतर प्रदर्शन: दृष्टिकोण मानक INR या GaussianImage दृष्टिकोणों की तुलना में बेहतर पुनर्निर्माण गुणवत्ता और अधिक प्राकृतिक संशोधन क्षमताएं प्रदान करता है, बिना जनरेटिव तकनीकों पर निर्भर हुए जो अर्थपूर्ण सामग्री को अनिश्चित रूप से बदल सकती हैं।

पेपर निष्कर्ष निकालता है कि हालांकि मॉडल प्रशिक्षण डेटा की 2D प्रकृति (जैसे, फोरग्राउंड तत्वों को हिलाने पर बाधित बैकग्राउंड क्षेत्र) द्वारा सीमित है, फ्लैट 3D Gaussians, मिरर कैमरा ट्रेनिंग और भौतिकी एकीकरण का संयोजन इमेज एडिटिंग और एनीमेशन की संभावनाओं को विस्तारित करने के लिए एक शक्तिशाली टूलसेट प्रदान करता है।