Fused-Planes: Why Train a Thousand Tri-Planes When You Can Share?

यहाँ ICLR 2026 में प्रकाशित शोध पत्र "FUSED-PLANES: WHY TRAIN A THOUSAND TRI-PLANES WHEN YOU CAN SHARE?" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

Tri-Plane NeRFs 3D वस्तुओं के बड़े संग्रह को मॉडल करने के लिए प्रमुख प्रतिनिधित्व बन गए हैं क्योंकि वे तीन ऑर्थोगोनल (orthogonal) 2D फीचर प्लेन का उपयोग करके 3D दृश्यों को दर्शाते हैं। यह संरचना उन्हें जनरेशन, एडिटिंग और क्लासिफिकेशन जैसे डाउनस्ट्रीम कार्यों के लिए मानक 2D विजन मॉडल्स (जैसे, CNNs, Diffusion models) के साथ सहजता से एकीकृत करने की अनुमति देती है।

हालाँकि, बड़े पैमाने के डेटासेट्स (हजारों वस्तुओं) के लिए Tri-Planes को प्रशिक्षित करना कंप्यूटेशनल रूप से अक्षम और संसाधन-गहन (resource-intensive) है। वर्तमान दृष्टिकोण हर एक वस्तु के लिए एक अलग, स्वतंत्र Tri-Plane प्रशिक्षित करते हैं। यह रणनीति:

• एक ही वर्ग (class) की वस्तुओं के बीच साझा संरचनात्मक समानताओं (जैसे, सभी कारों में पहिये, चेसिस और खिड़कियाँ होती हैं) को अनदेखा करती है।
• गणना और मेमोरी उपयोग में भारी रेडंडेंसी (redundancy) पैदा करती है।
• एक ऐसी बाधा उत्पन्न करती है जहाँ डेटासेट के पुनर्निर्माण (reconstruction) की लागत अक्सर डाउनस्ट्रीम कार्यों के लाभों से अधिक हो जाती है।

यह शोध पत्र एक ऐसी विधि की आवश्यकता को संबोधित करता है जो ट्राइ-प्लेन के उन गुणों (planar properties) से समझौता किए बिना, जो ट्राइ-प्लेन को उपयोगी बनाते हैं, साझा संरचनात्मक जानकारी का लाभ उठाकर बड़े ऑब्जेक्ट क्लासेस को कुशलतापूर्वक मॉडल कर सके।

2. कार्यप्रणाली: Fused-Planes (Methodology: Fused-Planes)

लेखक Fused-Planes का प्रस्ताव करते हैं, जो एक नवीन ऑब्जेक्ट प्रतिनिधित्व है जो दृश्य मॉडलिंग कार्य को साझा वैश्विक घटकों (shared global components) और वस्तु-विशिष्ट स्थानीय घटकों (object-specific local components) में विभाजित करता है, जिसे एक 3D-अवेयर लेटेंट स्पेस (3D-aware latent space) के भीतर प्रशिक्षित किया जाता है।

A. माइक्रो-मैक्रो अपघटन (Micro-Macro Decomposition)

प्रत्येक वस्तु $T_i$ के लिए एक पूर्ण Tri-Plane सीखने के बजाय, Fused-Planes इस प्रतिनिधित्व को दो भागों में विभाजित करता है:

1. माइक्रो घटक ($T^{mic}_i$): एक वस्तु-विशिष्ट प्लेन जो विशिष्ट वस्तु $i$ के अद्वितीय विवरणों और विविधताओं को कैप्चर करता है। इसे प्रत्येक वस्तु के लिए स्वतंत्र रूप से सीखा जाता है।
2. मैक्रो घटक ($T^{mac}_i$): क्लास-स्तरीय संरचनात्मक समानताओं का एक प्रतिनिधित्व। इसे हर वस्तु के लिए शून्य से सीखने के बजाय, कुछ चुनिव साझा ग्लोबल बेस प्लेन्स ($B = \{B_1, ..., B_M\}$) के भारित योग (weighted sum) के रूप में संगणित किया जाता है।
   • सूत्र: $T^{mac}_i = \sum_{k=1}^{M} w^k_i B_k$
   • यहाँ, $w^k_i$ वस्तु $i$ के लिए विशिष्ट सीखे गए गुणांक (coefficients) हैं, और $B_k$ पूरे डेटासेट में प्रशिक्षित साझा बेस प्लेन्स हैं।
   • अंतिम प्रतिनिधित्व संयोजन (concatenation) है: $T_i = T^{mic}_i \oplus T^{mac}_i$।

यह दृष्टिकोण प्रति-वस्तु प्रशिक्षित मापदंडों (parameters) की संख्या को नाटकीय रूप से कम कर देता है, क्योंकि साझा संरचनाओं को कैप्चर करने का भारी काम साझा बेस प्लेन्स को सौंप दिया जाता है।

B. 3D-अवेयर लेटेंट स्पेस ट्रेनिंग (3D-Aware Latent Space Training)

पारंपरिक Tri-Planes RGB स्पेस में कार्य करते हैं। Fused-Planes एक इमेज ऑटोएन्कोडर (Encoder $E_\phi$, Decoder $D_\psi$) के लेटेंट स्पेस में प्रशिक्षण लेता है।

• क्यों? उच्च-आयामी (high-dimensional) RGB स्पेस में उस संरचना का अभाव होता है जो साझा विशेषताओं को वस्तु-विशिष्ट विवरणों से प्रभावी ढंग से अलग करने के लिए आवश्यक है। एक 3D-अवेयर लेटेंट स्पेस एक निरंतर, संरचित एन्कोडिंग प्रदान करता है जो साझा पैटर्न सीखने में सुविधा प्रदान करता है।
• संयुक्त प्रशिक्षण (Joint Training): पिछले लेटेंट NeRF कार्यों के विपरीत, जो एक जेनेरिक लेटेंट स्पेस को प्री-ट्रेन करते हैं, Fused-Planes ऑटोएन्कोडर और Fused-Planes प्रतिनिधित्व को संयुक्त रूप से प्रशिक्षित (jointly trains) करता है। यह सुनिश्चित करता है कि लेटेंट स्पेस विशेष रूप से माइक्रो-मैक्रो अपघटन के लिए अनुकूलित है, जिससे रेंडरिंग की गुणवत्ता बनाए रखते हुए गति संभव हो पाती है।

C. अल्ट्रा-लाइटवेट वेरिएंट (Ultra-Lightweight Variant - Fused-Planes-ULW)

लेखक एक वेरिएंट पेश करते हैं जहाँ माइक्रो घटक को पूरी तरह से हटा दिया जाता है ($F^{mic} = 0$)। वस्तुएँ केवल बेस प्लेन्स के भारित योग द्वारा प्रतिनिधित्व की जाती हैं। यह मेमोरी दक्षता में भारी लाभ के लिए मामूली रेंडरिंग गुणवत्ता का त्याग करता है।

3. मुख्य योगदान (Key Contributions)

1. नवीन प्रतिनिधित्व: Fused-Planes पेश किया गया, जो पहला तरीका है जो स्पष्ट रूप से साझा प्रतिनिधित्वों को प्लेनर संरचनाओं (planar structures) के साथ एकीकृत करता है, जिससे हजारों वस्तुओं के बीच साझा संरचनात्मक पूर्ववृत्त (priors) को साझा करना संभव होता है।
2. दक्षता में बड़ी सफलता (Efficiency Breakthrough): इसने तुलनीय रेंडरिंग गुणवत्ता बनाए रखते हुए मानक Tri-Planes की तुलना में 7.2× तेज़ प्रशिक्षण गति और 3.2× कम मेमोरी फुटप्रिंट प्राप्त किया।
3. अल्ट्रा-लाइटवेट स्केलिंग: ULW वेरिएंट ने प्रति-वस्तु मेमोरी उपयोग को Tri-Planes की तुलना में 1875× कम कर दिया, जिससे न्यूनतम स्थान में हजारों 3D वस्तुओं को संग्रहीत करना संभव हो गया।
4. संयुक्त लेटेंट अनुकूलन: यह प्रदर्शित किया गया कि लेटेंट स्पेस को दृश्य प्रतिनिधित्व के साथ संयुक्त रूप से प्रशिक्षित करने से गुणवत्ता में गिरावट नहीं आती (जो आमतौर पर लेटेंट NeRF में देखी जाती है), जिससे बिना किसी समझौते के गति प्राप्त होती है।
5. बहु-वर्ग स्केलेबिलिटी (Multi-Class Scalability): इसने दिखाया कि यह विधि महत्वपूर्ण प्रदर्शन गिरावट के बिना मल्टी-क्लास डेटासेट्स (जैसे, कारों, सोफे और स्पीकर्स का मिश्रण) तक प्रभावी ढंग से स्केल करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन ShapeNet (Cars, Furniture, Speakers, Sofas) और Basel Faces (प्रत्येक प्रयोग के लिए 2,000 वस्तुएं) सहित बड़े पैमाने के डेटासेट्स पर किया गया।

• प्रदर्शन बनाम Tri-Planes:
  • प्रशिक्षण समय: 8.96 मिनट बनाम 64.32 मिनट (Tri-Planes)।
  • मेमोरी फुटप्रिंट: 0.48 MB प्रति वस्तु बनाम 1.5 MB (Tri-Planes)।
  • गुणवत्ता: समान PSNR/SSIM/LPIPS स्कोर बनाए रखा (उदाहरण के लिए, ShapeNet Cars पर Tri-Planes के 28.15 के मुकाबले 30.47 PSNR)।
• प्रदर्शन बनाम K-Planes:
  • Fused-Planes, K-Planes की तुलना में 8.4× तेज़ और 854× अधिक मेमोरी कुशल है, जबकि गुणवत्ता के अंतर को कम करता है।
• प्रदर्शन बनाम साझा प्रतिनिधित्व (CodeNeRF):
  • Fused-Planes रेंडरिंग गुणवत्ता और प्रशिक्षण गति दोनों में CodeNeRF से बेहतर प्रदर्शन करता है, जबकि 2D मॉडल संगतता के लिए महत्वपूर्ण प्लेनर संरचना को बनाए रखता है।
• स्केलिंग: जैसे-जैसे वस्तुओं की संख्या ($N$) बढ़ती है, Fudes-Planes के लिए कुल मेमोरी और प्रशिक्षण समय बेसलाइन्स की तुलना में बहुत कम ढलान (slope) के साथ रैखिक रूप से (linearly) स्केल होता है, जो इसके विशाल डेटासेट्स के लिए उपयुक्त होने को सिद्ध करता है।

5. महत्व और प्रभाव (Significance and Impact)

• 3D अनुसंधान का लोकतंत्रीकरण: बड़े 3D डेटासेट्स को प्रशिक्षित करने की कम्प्यूटेशनल लागत को काफी कम करके, Fused-Planes शोधकर्ताओं के लिए विशाल GPU क्लस्टर्स की आवश्यकता के बिना बड़े पैमाने के 3D मॉडल को प्रशिक्षित और तैनात करना संभव बनाता है।
• 2D-से-3D पाइपलाइन को सक्षम बनाना: चूंकि Fused-Planes अपनी प्लेनर संरचना को बनाए रखता है, इसलिए उन्हें सीधे 2D टेंसरों में पुनर्गठित किया जा सकता है। यह शक्तिशाली प्री-ट्रेंड 2D फाउंडेशन मॉडल्स (जैसे, Stable Diffusion या CLIP) का उपयोग बड़े पैमाने के डेटासेट्स पर 3D कार्यों (जनरेशन, एडिटिंग, क्लासिफिकेशन) के लिए करने का मार्ग खोलता है, जो पहले 3D-प्रतिनिधित्वों को प्रशिक्षित करने की अक्षमता के कारण बाधित था।
• नया स्टेट-ऑफ-द-आर्ट: यह शोध पत्र प्लेनर सीन रिप्रेजेंटेशन में संसाधन दक्षता के लिए एक नया बेंचमार्क स्थापित करता है, जो यह सिद्ध करता है कि संरचनात्मक ज्ञान को "साझा" करना स्वतंत्र ऑब्जेक्ट मॉडलिंग की तुलना में एक व्यवहार्य और बेहतर रणनीति है।

निष्कर्षतः, Fused-Planes एक संयुक्त रूप से अनुकूलित लेटेंट स्पेस के भीतर एक साझा बेस-प्लेन आर्किटेक्चर पेश करके Tri-Plane NeRFs की स्केलेबिलिटी बाधा को हल करता है, जो बड़े पैमाने के 3D पुनर्निर्माण और जनरेशन के लिए एक अत्यधिक कुशल, उच्च-गुणवत्ता वाला समाधान प्रदान करता है।