EnerGS: Energy-Based Gaussian Splatting with Partial Geometric Priors

यहाँ शोध पत्र "EnerGS: Energy-Based Gaussian Splatting with Partial Geometric Priors" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

3D Gaussian Splatting (3DGS) ने वास्तविक समय के रेंडरिंग और उच्च फोटोरियलिस्टिक गुणवत्ता प्रदान करके 'नोवेल व्यू सिंथेसिस' में क्रांति ला दी है। हालाँकि, बड़े पैमाने के, अनबाउंडेड आउटडोर परिदृश्यों (जैसे, स्वायत्त ड्राइविंग) में, 3DGS महत्वपूर्ण चुनौतियों का सामना करता है:

• Ill-posed Optimization: स्पार्स-व्यू (sparse-view) व्यवस्था में, अनुकूलन (optimization) की समस्या 'इल-पोज़्ड' होती है। पर्याप्त बाधाओं के बिना, सिस्टम प्रशिक्षण दृश्यों (training views) पर ओवरफिट होने की प्रवृत्ति रखता है, जिससे ज्यामितिक रूप से अमान्य आर्टिफैक्ट्स बनते हैं जिन्हें "floaters" (खाली स्थान में तैरते हुए Gaussian प्रिमिटिव्स) या कैमरा के पास के विरूपण (distortions) के रूप में जाना जाता है।
• मौजूदा ज्यामितिक पूर्वग्रहों (Geometric Priors) की सीमाएँ: हाल के तरीके ज्यामितिक पूर्वग्रहों (जैसे, LiDAR पॉइंट क्लाउड्स) को शामिल करते हैं ताकि अनुकूलन को नियंत्रित किया जा सके। हालाँकि, आउटडोर दृश्यों में LiDAR डेटा अक्सर स्थानिक रूप से अपूर्ण और असमान (जैसे, सीमित वर्टिकल फील्ड-ऑफ-व्यू, स्पर्सिटी) होता है।
  • LiDAR को एक समान बाधा (uniform constraint) के रूप में मानना विफल हो जाता है क्योंकि ज्यामितिक अनऑब्जर्वेबिलिटी (unobservability) का अर्थ दृश्य अवरोध (visual occlusion) नहीं है। उदाहरण के लिए, छतें या दूर की पृष्ठभूमि LiDAR के लिए अदृश्य हो सकती हैं लेकिन कैमरों के लिए स्पष्ट रूप से दृश्यमान हो सकती हैं।
  • अनऑब्जर्व्ड क्षेत्रों में वैध संरचनाओं को दबाने के लिए कठोर डेप्थ बाधाओं (depth constraints) को वैश्विक रूप से लागू करना हानिकारक हो सकता है।
  • इसके विपरीत, सत्यापित मुक्त स्थान (free space) में सख्त बहिष्करण तंत्र (exclusion mechanisms) की कमी से आर्टिफैक्ट्स जमा हो सकते हैं।

मुख्य चुनौती: बिना अनऑब्जर्व्ड क्षेत्रों में वैध ज्यामिति को दबाए या ज्ञात मुक्त स्थान में आर्टिफैक्ट्स को आने दिए, आंशिक, स्पार्स और शोर वाले ज्यामितिक पूर्वग्रहों (LiDAR) का उपयोग करके 3DGS अनुकूलन को कैसे निर्देशित किया जाए।

---

2. कार्यप्रणाली: EnerGS

लेखक EnerGS प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो 3DGS अनुकूलन को एक निरंतर ज्यामितिक ऊर्जा क्षेत्र (continuous geometric energy field) के भीतर अनुमान (inference) के रूप में पुनर्गठित करता है। कठोर बाधाओं के बजाय, EnerGS सॉफ्ट मार्गदर्शन प्रदान करने के लिए एक स्थानिक रूप से अनुकूलनीय ऊर्जा क्षमता (energy potential) का उपयोग करता है।

A. स्थानिक विभाजन और ऊर्जा क्षेत्र (Spatial Partitioning & Energy Field)

सेंसर की दृश्यता के आधार पर 3D स्थान $\Omega$ को तीन अलग-अलग व्यवस्थाओं में विभाजित किया गया है:

1. अधिग्रहित स्थान ($\Omega_{occ}$): वे क्षेत्र जहाँ LiDAR पॉइंट्स मौजूद हैं।
   • तंत्र: एक वॉल्यूमेट्रिक अट्रैक्टर के रूप में Welsch M-estimator का उपयोग करता है।
   • कार्य: Gaussian प्रिमिटिव्स को निकटतम LiDAR बिंदु की ओर खींचता है। यह मानक $L_2$ लॉस के विपरीत आउटलेर्स के प्रति मजबूत (robust) है, जिससे दूर के शोर से ज्यामिति विकृत नहीं होती है।
2. मुक्त स्थान ($\Omega_{free}$): वे क्षेत्र जहाँ LiDAR किरणें बिना किसी चीज़ से टकराए निकल गई हैं (सत्यापित खाली)।
   • तंत्र: एक Boltzmann barrier (जिसे Softplus फंक्शन के माध्यम से लागू किया गया है) का उपयोग करता है।
   • कार्य: यह एक सख्त मोनोटोनिक रिपल्सर (repulsor) के रूप में कार्य करता है। यह प्रवेश गहराई (penetration depth) के लिए एक रैखिक ऊर्जा लागत लागू करता है, जिससे प्रिमिटिव्स को मुक्त स्थान से बाहर धकेला जाता है ताकि 'floaters' को समाप्त किया जा सके।
3. अज्ञात स्थान ($\Omega_{unk}$): वे क्षेत्र जहाँ LiDAR कवरेज नहीं है (जैसे, आकाश, छतें, दूर का क्षेत्र)।
   • तंत्र: एक कमजोर पूर्वग्रह (उच्च विचरण/variance के साथ Welsch estimator) का उपयोग करता है।
   • कार्य: यहाँ ऊर्जा ग्रेडिएंट लगभग शून्य होता है। यह अनुकूलन को अनुपालक (compliant) रहने की अनुमति देता है, जिससे कैमरा छवियों द्वारा इन "अंधे धब्बों" में ज्यामिति के पुनर्निर्माण को संचालित किया जा सके, बिना किसी गलत ज्यामितिक धारणाओं से बाधित हुए।

B. विकुंचित अनुकूलन रणनीति (Decoupled Optimization Strategy)

एक प्रमुख नवाचार ग्रेडिएंट संघर्षों को हल करने के लिए ज्यामितिक और उपस्थिति अपडेट का अलगाव है:

• मानक दृष्टिकोण: फोटोमेट्रिक लॉस ($L_{photo}$) और ज्यामितिक लॉस ($L_{geom}$) को संयुक्त रूप से कम करता है। यह अक्सर ऐसे संघर्षों की ओर ले जाता है जहाँ शोर वाले फोटोमेट्रिक ग्रेडिएंट्स ज्यामितिक संकेतों को ओवरराइड कर देते हैं, जिससे ऑप्टिमाइज़र लोकल मिनिमा (floaters) में फंस जाता है।
• EnerGS दृष्टिकोण:
  • स्थिति अपडेट ($\mu$): केवल ज्यामितिक ऊर्जा क्षेत्र के ग्रेडिएंट ($\nabla E_{geom}$) द्वारा अपडेट किया जाता है। यह गारंटी देता कि प्रिमिटिव्स भौतिक रूप से वैध हैं (उदाहरण के लिए, मुक्त स्थान से बाहर निकाले गए हैं)।
  • उपस्थिति/आकार अपडेट ($\Sigma, \alpha, c$): केवल फोटोमेट्रिक लॉस ($L_{photo}$) द्वारा अपडेट किया जाता है।
  • परिणाम: यह अलगाव सुनिश्चित करता है कि ज्यामिति ऊर्जा क्षेत्र द्वारा स्थिर की जाती है जबकि उपस्थिति को दृश्य निष्ठा (visual fidelity) के लिए अनुकूलित किया जाता है, जिससे प्रशिक्षण दृश्यों का "मेमोराइजेशन" रुक जाता है।

C. डिस्क्रीट प्रूनिंग (Discrete Pruning)

एक माध्यमिक सुरक्षा तंत्र के रूप में, यह विधि डिस्क्रीट हार्ड प्रूनिंग का उपयोग करती है। समय-समय पर, किसी भी Gaussian प्रिमिटिव को, जो सत्यापित मुक्त स्थान के भीतर एक मार्जिन थ्रेशोल्ड से अधिक गहराई पर पाया जाता है, स्पष्ट रूप से हटा दिया जाता है ताकि उन आर्टिफैक्ट्स के संचय को रोका जा सके जिन्हें निरंतर क्षेत्र (continuous field) मिस कर सकता है।

---

3. मुख्य योगदान

1. ऊर्जा-आधारित फ्रेमवर्क: एक डिफरेंशिएबल ज्यामितिक ऊर्जा क्षेत्र पेश किया जो अनिश्चितता-जागरूक अधिग्रहित क्षमता (uncertainty-aware occupancy attraction) (Welsch M-estimator) और मुक्त स्थान बहिष्करण (free space exclusion) (Boltzmann barrier) को एक एकल क्षमता में एकीकृत करता है।
2. ग्रेडिएंट डिकपलिंग: एक विकुंचित अनुकूलन रणनीति प्रस्तावित की गई है जो सैद्धांतिक रूप से विश्वसनीय मुक्त स्थान में स्थिर डिजेनरेट समाधानों (floaters) के उन्मूलन की गारंटी देती है, जबकि अनऑब्जर्व्ड क्षेत्रों में लचीलापन बनाए रखती है।
3. सैद्धांतिक विश्लेषण: सिद्ध किया कि:
   • डिजेनरेट समाधान विश्वसनीय मुक्त स्थान में बने नहीं रह सकते (Theorem 1)।
   • ज्यामितिक अपडेट फील्ड लिप्सचिट्ज़ निरंतर (Lipschitz continuous) है, जो प्रशिक्षण स्थिरता सुनिश्चित करता है (Theorem 2)।
   • ज्यामितिक बाधाएं अज्ञात क्षेत्रों में स्वाभाविक रूप से लुप्त हो जाती हैं, जिससे फोटोमेट्रिक डेंसिफिकेशन संभव होता है (Proposition 3)।
4. स्टेट-ऑफ-द-आर्ट प्रदर्शन: बड़े पैमाने के स्वायत्त ड्राइविंग डेटासेट (KITTI, Waymo) पर बेहतर परिणाम प्रदर्शित किए, जो ज्यामितिक उल्लंघन को काफी कम करते हुए उच्च रेंडरिंग गुणवत्ता बनाए रखते हैं।

---

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन KITKI और Waymo Open Dataset पर vanilla 3DGS, 2DGS, GeoGaussian, और Mip-Splatting जैसे बेसलाइन्स के विरुद्ध किया गया।

• मात्रात्मक मेट्रिक्स (Quantitative Metrics):
  • ज्यामितिक गुणवत्ता: EnerGS ने सबसे कम "Leak" स्कोर (मुक्त स्थान में कम प्रिमिटिव्स) और उच्चतम "Margin" स्कोर (अधिग्रहित और मुक्त स्थान के बीच बेहतर अलगाव) प्राप्त किया। इसने उच्च OccCov (अधिग्रहित स्थान का बेहतर कवरेज) भी दिखाया।
  • फोटोमेट्रिक गुणवत्ता: दोनों डेटासेट पर उच्चतम PSNR और प्रतिस्पर्धी SSIM प्राप्त किया, जो स्पार्स-व्यू वाले तरीकों से बेहतर है।
  • दक्षता: बेसलाइन्स के समान ही Gaussian प्रिमिटिव्स की संख्या बनाए रखी, जो अधिक सघन और भौतिक रूप से सुसंगत प्रतिनिधित्व का संकेत देता है।
• गुणात्मक परिणाम:
  • LiDAR कवरेज से परे क्षेत्रों में (जैसे, छतें, आकाश, दूर के पेड़), EnerGS ने कैमरा छवियों द्वारा संचालित सूक्ष्म विवरणों का सफलतापूर्वक पुनर्निर्माण किया, जबकि बेसलाइन्स या तो पुनर्निर्माण करने में विफल रहे या 'floaters' उत्पन्न किए।
  • सत्यापित मुक्त स्थान में, EnerGS ने अन्य विधियों में सामान्य रूप से दिखने वाले "फ्लोटिंग" आर्टिफेक्ट्स को पूरी तरह से समाप्त कर दिया।
• एब्लेशन अध्ययन (Ablation Studies): पुष्टि की कि किसी भी घटक (जैसे, फ्री स्पेस बैरियर, अननोन वीक प्रायर, या डिकपल्ड ऑप्टिमाइजेशन) को हटाने से ज्यामितिक स्थिरता और रेंडरिंग गुणवत्ता दोनों में निरंतर गिरावट आई।

---

5. महत्व

EnerGS वास्तविक दुनिया के बड़े पैमाने के रोबोटिक्स और स्वायत्त ड्राइविंग परिदृश्यों में 3DGS को लागू करने में एक महत्वपूर्ण बाधा को संबोधित करता है।

• सेंसर सीमाओं के प्रति मजबूती: यह LiDAR सेंसर की अंतर्निहित स्पर्सिटी और अपूर्णता को पूर्ण ज्यामितिक पर्यवेक्षण पर निर्भर किए बिना संभालने का एक सिद्धांतपूर्ण तरीका प्रदान करता है।
• अंतराल को भरना: यह "सत्यापित मुक्त स्थान," "सत्यापित अधिग्रहित स्थान," और "अज्ञात स्थान" के बीच अंतर करके, नियत (deterministic) सेंसर डेटा और संदिग्ध दृश्य डेटा के बीच के अंतर को पाटता है।
• सामान्यीकरण (Generalizability): ऊर्जा-आधारित फॉर्मूलेशन मॉड्यूलर है, जिसे अन्य Gaussian Splatting पाइपलाइनों (जैसा कि SplatAD और StreetGS के साथ दिखाया गया है) में एकीकृत किया जा सकता है, जिससे अनबाउंडेड वातावरण में 3D पुनर्निर्माण में सुधार के लिए एक बहुमुखी उपकरण बनता है।

संक्षेप में, EnerGS Gaussians के अनुकूलन को विशुद्ध रूप से फोटोमेट्रिक कार्य से एक भौतिकी-आधारित प्रक्रिया (physics-informed process) में बदल देता है, यह सुनिश्चित करता है कि परिणामी 3D दृश्य न केवल दृश्य रूप से यथार्थवादी है बल्कि ज्यामितिक रूप से भी तर्कसंगत और आर्टिफेक्ट्स से मुक्त है।