RAP: Fast Feedforward Rendering-Free Attribute-Guided Primitive Importance Score Prediction for Efficient 3D Gaussian Splatting Processing

यहाँ शोध पत्र "RAP: Fast Feedforward Rendering-Free Attribute-Guided Primitive Importance Score Prediction for Efficient 3D Gaussian Splatting Processing" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

3D Gaussian Splatting (3DGS) उच्च-गुणवत्ता वाले 3D दृश्य पुनर्निर्माण और नवीन दृश्य संश्लेषण (novel view synthesis) के लिए एक अग्रणी तकनीक बन गया है। हालाँकि, पुनरावृत्त घनत्व (iterative densification) प्रक्रिया अक्सर लाखों गॉसियन प्रिमिटिव्स (Gaussian primitives) उत्पन्न करती है, जिनमें से कई अनावश्यक होते हैं या अंतिम रेंडरिंग गुणवत्ता में नगण्य योगदान देते हैं। यह स्टोरेज, मेमोरी और ट्रांसमिशन बैंडविड्थ पर महत्वपूर्ण बोझ डालता है।

प्रिमिटिव महत्व (primitive importance) का अनुमान लगाने के लिए मौजूदा विधियाँ (ताकि छंटनी, संपीड़न या ट्रांसमिशन सक्षम किया जा सके) तीन मुख्य सीमाओं से ग्रस्त हैं:

1. विशेषता-आधारित ह्यूरिस्टिक्स (Attribute-based heuristics): सरल नियम (जैसे ओपेसिटी थ्रेशोल्ड) जटिल सम्मिश्रण अंतःक्रियाओं (blending interactions) की अनदेखी करते हैं और वास्तविक योगदान को पकड़ने में विफल रहते हैं।
2. रेंडरिंग-आधारित विधियाँ (Rendering-based methods): ये प्रिमिटिव्स का मूल्यांकन उन्हें कई दृश्यों (views) पर प्रोजेक्ट करके करती हैं। वे गणनात्मक रूप से महंगी हैं (समय व्यू काउंट के साथ रैखिक रूप से बढ़ता है), व्यू चयन के प्रति संवेदनशील हैं, और उनके लिए विशिष्ट डिफरेंशिएबल रास्टरइज़र की आवश्यकता होती है, जो उनकी मॉड्यूलरिटी को सीमित करता है।
3. लर्निंग-आधारित संयुक्त अनुकूलन (Learning-based joint optimization): ये विधियाँ दृश्य पुनर्निर्माण के साथ ही महत्व स्कोर सीखती हैं। वे विशिष्ट दृश्यों/फ्रेमवर्क से मजबूती से जुड़ी होती हैं, अनदेखे डेटा के प्रति सामान्यीकरण (generalization) का अभाव होता है, और यदि दृश्य में बदलाव किया जाए तो अमान्य हो जाती हैं।

लक्ष्य: एक ऐसी विधि विकसित करना जो सटीक, सुदृढ़ (robust), सामान्यीकरण योग्य और प्लग-एंड-प्ले हो, जो रेंडरिंग या प्रति-दृश्य पुनरप्रशिक्षण (per-scene retraining) के बिना प्रिमिटिव महत्व की भविष्यवाणी करने में सक्षम हो।

2. कार्यप्रणाली: RAP फ्रेमवर्क (Methodology: RAP Framework)

लेखक RAP (Rendering-free Attribute-guided primitive importance score Prediction) का प्रस्ताव करते हैं, जो एक तेज़ फीडफॉरवर्ड फ्रेमवर्क है जो आंतरिक गॉसियन गुणों और स्थानीय पड़ोस के सांख्यिकी (local neighborhood statistics) से सीधे महत्व का अनुमान लगाता है।

A. विशेषता निष्कर्षण (Feature Extraction)

RAP प्रत्येक गॉसियन प्रिमिटिव के लिए एक संक्षिप्त 15-आयामी विशेषता वेक्टर (feature vector) का निर्माण करता है, जो आंतरिक गुणों को स्थानीय/वैश्विक सांख्यिकी के साथ जोड़ता है:

1. आंतरिक गुण (Intrinsic Attributes):
   • स्केल्स ($s_0, s_1, s_2$): रोटेशन इनवेरिएंस सुनिश्चित करने के लिए क्रमबद्ध (sorted)।
   • वॉल्यूम ($V$): स्केल्स का गुणनफल।
   • ओपेसिटी ($o$): सम्मिश्रण योगदान।
   • DC कलर ($C$): ज़ीरोथ-ऑर्डर स्फेरिकल हारमोनिक्स (औसत RGB)।
   • कलर अनिसोट्रॉपी ($A$): यादृच्छिक दृश्य दिशाओं में RGB रंगों का मानक विचलन (व्यू-डिपेंडेंट वेरिएशन को कैप्चर करता है)।
2. स्थानीय पड़ोस सांख्यिकी (Local Neighborhood Statistics):
   • औसत K-NN दूरी ($d$): स्थानिक अलगाव को मापता है; अलग-थलग बिंदु संभवतः अनावश्यक होते हैं।
3. नॉर्मलाइजेशन रणनीति (Normalization Strategy):
   • ग्लोबल नॉर्मलाइजेशन: दृश्य-व्यापी माध्य और मानक विचलन का उपयोग करके Z-स्कोर नॉर्मलाइजेशन, ताकि क्रॉस-सीन निरंतरता सुनिश्चित हो सके।
     क लोकल नॉर्मलाइजेशन: स्थानीय कंट्रास्ट और रेडंडेंसी पर जोर देने के लिए K-निकटतम पड़ोसियों का उपयोग करके Z-स्कोर नॉर्मलाइजेशन।
   • क्लिपिंग: विशेषताओं को एक पर्सेंटाइल रेंज तक क्लिप किया जाता है और मजबूती के लिए $[0, 1]$ के बीच रीस्केल किया जाता है।

B. लर्निंग आर्किटेक्चर (Learning Architecture)

• मॉडल: तीन छिपी हुई परतों (32, 32, 16 न्यूरॉन्स) वाला एक हल्का मल्टी-लेयर पर्सेप्ट्रॉन (MLP)।
• इनपुट: 15-आयामी विशेषता वेक्टर।
• आउटपुट: एक एकल महत्व स्कोर $S_i \in [0, 1]$ (Sigmoid एक्टिवेशन के माध्यम से)।
• प्रशिक्षण रणनीति: मॉडल को कुछ दृश्यों (DL3DV-10K से 10 दृश्य) के छोटे सेट पर प्रशिक्षित किया जाता है और फिर बिना पुनरप्रशिक्षण के अनदेखे डेटासेट पर लागू किया जाता है।

C. अनुकूलन (लॉस फंक्शन्स) (Optimization: Loss Functions)

यह सुनिश्चित करने के लिए कि अनुमानित स्कोर स्थिर, विभाज्य और प्रभावी हों, RAP तीन पूरक लॉस फंक्शन्स का उपयोग करता है:

1. रेंडरिंग लॉस ($L_{render}$): दृश्य निष्ठा (visual fidelity) को लागू करता है। प्रशिक्षण के दौरान, गॉसियन्स को उनके अनुमानित स्कोर द्वारा सॉफ्टली रीवेट ($\tilde{o}_i = o_i S_i$) किया जाता है और रेंडर किया जाता है। लॉस, रीवेटेड रेंडर और ग्राउंड ट्रुथ के बीच के अंतर को कम करता है।
2. प्रूनिंग-अवेयर लॉस ($L_{prune}$): उस ट्रिवियल समाधान को रोकता है जहाँ नेटवर्क सभी प्रिमिटिव्स को उच्च महत्व देता है। यह औसत अनुमानित स्कोर को एक पूर्व-निर्धारित लक्ष्य ($S_{target}$) की ओर नियमित करता है, जिससे नेटवर्क को अनावश्यक प्रिमिटिव्स को हटाने के लिए मजबूर किया जाता है।
3. डिस्ट्रीब्यूशन रेगुलराइजेशन ($L_{entropy}$): स्कोर वितरण की एंट्रॉपी को अधिकतम करता है। यह मॉडल को बाइनरी आउटपुट (0 या 1) में ढहने से रोकता है, जिससे स्कोर का एक सुचारू वितरण सुनिश्चित होता है जो लचीले प्रूनिंग थ्रेशोल्ड की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

1. रेंडरिंग-मुक्त भविष्यवाणी (Rendering-Free Prediction): RAP अनुमान के लिए व्यू-डिपेंडेंट रेंडरिंग या बैक-प्रोपैगेशन की आवश्यकता को समाप्त करता है, जिससे यह रेंडरिंग-आधारित बेसलाइन्स की तुलना में काफी तेज़ और स्केलेबल हो जाता है।
2. सामान्यीकरण योग्य विशेषता डिज़ाइन (Generalizable Feature Design): एक 15D फीचर वेक्टर का परिचय जो ज्यामितीय, दिखावट और सांख्यिकीय संकेतों (कलर अनिसोट्रॉपी और K-NN दूरी सहित) को जोड़ता है, प्रिमिटिव महत्व का एक मजबूत प्रतिनिधित्व प्रदान करता है।
3. एकीकृत लर्निंग फ्रेमवर्क (Unified Learning Framework): रेंडरिंग, प्रूनिंग और एंट्रॉपी लॉस के एक नए संयोजन के साथ प्रशिक्षित एक हल्का MLP, स्थिर और विभाज्य स्कोर उत्पन्न करता है जो अनदेखे दृश्यों पर भी सामान्यीकरण करता है।
4. प्लग-एंड-प्ले इंटीग्रेशन (Plug-and-Play Integration): इस पद्धति को दृश्य-विशिष्ट अनुकूलन के बिना पुनर्निर्माण, संपीड़न और ट्रांसमिशन पाइपलाइनों में सहजता से एकीकृत किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन कार्यों में विविध डेटासेट्स (Mip-NeRF360, Deep Blending, Tanks&Temples) पर RAP का मूल्यांकन किया:

• पोस्ट-हॉक प्रूनिंग (Post-hoc Pruning):

  • RAP ने रिटेंशन रेशियो बनाम PSNR कर्व्स में स्टेट-ऑफ-द-आर्ट विधियों (LightGaussian, MesonGS, EAGLES, C3DGS, PUP-3DGS) को लगातार पछाड़ दिया।
  • आक्रामक प्रूनिंग (60% हटाना) पर, RAP ने प्रतिस्पर्धियों की तुलना में 0.5 dB तक अधिक PSNR प्राप्त किया।
  • BD-Rate सुधार: RAP ने ओपेसिटी-आधारित बेसलाइन्स की तुलना में महत्वपूर्ण बिटरेट बचत दिखाई (उदाहरण के लिए, Mip-NeRF360-Outdoor पर -42.63%)।
  • गति (Speed): RAP सबसे तेज़ विधियों में से एक है, जो ट्रिवियल ओपेसिटी बेसलाइन के बाद दूसरे स्थान पर है और सभी रेंडरिंग-आधारित दृष्टिकोणों (जैसे 22.71s बनाम 5.72s पर Mip-Indoor) की तुलना में काफी तेज़ है।

• प्रूनिंग-इन-द-लूप ट्रेनिंग (Pruning-in-the-Loop Training):

  • 3DGS ट्रेनिंग लूप में RAP को एकीकृत करने (प्रत्येक 1500 इटरेशन पर 40% प्रिमिटिव्स को हटाना) के परिणामस्वरूप मॉडल 3x से 5x छोटे हुए, जिसमें गुणवत्ता का नगण्य नुकसान हुआ।
  • RAP अक्सर आउटडोर दृश्यों पर वैनिला 3DGS की तुलना में उच्च PSNR प्राप्त करता है, जो यह सुझाव देता है कि सटीक प्रूनिंग बेहतर अभिसरण (convergence) की ओर अनुकूलन को निर्देशित करती है।

• संपीड़न (MPEG GSC):

  • MPEG गॉसियन कोडिंग (G-PCC और वीडियो-आधारित पाइपलाइनों दोनों) के लिए प्री-प्रोसेसिंग स्टेप के रूप में उपयोग किए जाने पर, RAP ने कोडिंग दक्षता में 15–20% BD-Rate सुधार किया, जो विभिन्न कोडेक डिज़ाइनों में मजबूत सामान्यीकरण प्रदर्शित करता है।

• एब्लेशन स्टडीज (Ablation Studies):

  • ओपेसिटी को सबसे महत्वपूर्ण विशेषता पाया गया, लेकिन इसे हटाने से 1-2 dB की गिरावट आई।
  • नॉर्मलाइजेशन (लोकल और ग्लोबल दोनों) आवश्यक था; किसी एक को हटाने से 1.5–2 dB की गिरावट आई।
  • लॉस फंक्शन्स: प्रूनिंग-अवेयर लॉस प्रूनिंग रेशियो को नियंत्रित करने के लिए महत्वपूर्ण था, जबकि एंट्रॉपी लॉस ने स्कोर वितरण की लचीलापन सुनिश्चित किया।

5. महत्व (Significance)

RAP 3D Gaussian Splatting के व्यावहारिक परिनियोजन (deployment) में एक महत्वपूर्ण बाधा को संबोधित करता है: पुनर्निर्माण गुणवत्ता और डेटा आकार के बीच का ट्रेड-ऑफ। रेंडरिंग और विशिष्ट दृश्य अनुकूलन से महत्व अनुमान को अलग करके, RAP एक सार्वभौमिक, कुशल और स्केलेबल समाधान प्रदान करता है।

अनदेखे दृश्यों के लिए सामान्यीकरण करने और मौजूदा पाइपलाइनों (पुनर्निर्माण, संपीड़न, ट्रांसमिशन) में सहजता से एकीकृत होने की इसकी क्षमता इसे 3DGS अनुप्रयोगों के लिए एक मौलिक उपकरण बनाती है, विशेष रूप से मोबाइल AR/VR और बड़े पैमाने पर 3D कंटेंट वितरण जैसे बैंडविड्थ-प्रतिबंधित वातावरण में।