तकनीकी सारांश: P2GS – फोटोमेट्रिक रूप से सुसंगत शहरी पुनर्निर्माण के लिए भौतिक पूर्व-निर्देशित गॉसियन स्प्लेटिंग (Physical Prior-guided Gaussian Splatting)

1. समस्या विवरण (Problem Statement)

यद्यपि 3D गॉसियन स्प्लेटिंग (3DGS) ने स्वायत्त ड्राइविंग सिमुलेशन में वास्तविक समय के, उच्च-निष्ठा वाले रेंडरिंग के लिए एक शक्तिशाली उपकरण के रूप में खुद को स्थापित किया है, लेकिन यह एक मौलिक सीमा से ग्रस्त है: फोटोमेट्रिक असंगतता (photometric inconsistency)। पारंपरिक 3DGS अंतर्निहित रूप से सभी इनपुट दृश्यों में सुसंगत एक्सपोजर और टोन मैपिंग की धारणा बनाता है। हालाँकि, वास्तविक दुनिया का ड्राइविंग डेटा इस धारणा का उल्लंघन करता है क्योंकि:

• विषमतापूर्ण कैमरा पाइपलाइन और इमेज सिग्नल प्रोसेसर (ISPs) मौजूद होते हैं।
• प्रति-कैमरा गतिशील एक्सपोजर नियंत्रण होता है।
• विभिन्न बाहरी प्रकाश स्थितियाँ होती हैं।

जब मानक 3DGS को ऐसे डेटा पर प्रशिक्षित किया जाता है, तो यह एक्सपोजर विसंगतियों और सेंसर शोर को सीधे सीखे गए रेडिएंस फील्ड (radiance field) में "बेक" (bake) कर देता है। इसके परिणामस्वरूप गंभीर आर्टिफैक्ट्स उत्पन्न होते हैं, जिनमें इल्यूमिनेशन मिसमैच, रंग परिवर्तन और दृश्यों के बीच दृश्य सीम (seams) शामिल हैं, जो विशेष रूप से सिमुलेशन के लिए महत्वपूर्ण स्थिर पृष्ठभूमि क्षेत्रों में दिखाई देते हैं। मौजूदा विस्तार (जैसे, StreetGS, DrivingGaussian) गतिशील वस्तुओं के पृथक्करण पर ध्यान केंद्रित करते हैं लेकिन क्रॉस-व्यू फोटोमेट्रिक सुसंगतता को संबोधित करने में विफल रहते हैं। इसके अलावा, इल्यूमिनेशन को मॉडल करने के पिछले प्रयास (जैसे, GaussHDR, Luminance-GS) या तो मल्टी-एक्सपोजर सुपरविजन की आवश्यकता रखते हैं, या अस्थिर छद्म-HDR संश्लेषण (pseudo-HDR synthesis) पर निर्भर करते हैं, या ऐसे 2D सुधार लागू करते हैं जिनमें भौतिक आधार का अभाव होता है।

2. कार्यप्रणाली: P2GS (Methodology: P2GS)

लेखक P2GS का प्रस्ताव करते हैं, जो एक भौतिक रूप से आधारित ढांचा है जो HDR सुपरविजन की आवश्यकता के बिना लो डायनेमिक रेंज (LDR) छवियों से एक एक्सपोजर-अपरिवर्तनीय हाई डायनेमिक रेंज (HDR) रेडिएंस फील्ड को पुनर्निर्मित करता है। यह विधि अनुकूलन (optimization) को LDR स्पेस से हटाकर लीनियर HDR डोमेन में स्थानांतरित करके कार्य करती है, जिससे कैमरा-विशिष्ट फोटोमेट्रिक प्रतिक्रियाओं से आंतरिक दृश्य रेडिएंस को अलग किया जाता है।

मुख्य घटक (Core Components)

1. लीनियर HDR-डोमेन रेडिएंस प्रतिनिधित्व (Linear HDR-Domain Radiance Representation):
   स्पहेरिकल हार्मोनिक (SH) गुणांकों को सीधे देखे गए LDR पिक्सेल मानों पर फिट करने के बजाय, P2GS उन्हें लीनियर HDR रेडिएंस के रूप में अनुकूलित करता है। यह एक भौतिक रूप से सार्थक क्षेत्र ($\hat{I}_{linear}$) बनाता है जहाँ दृश्य रेडिएंस को कैमरा गेन और टोन मैपिंग से अलग किया जाता है।

2. प्रति-दृश्य एक्सपोजर और टोन मॉडलिंग (Per-View Exposure and Tone Modeling):
   यह ढांचा प्रत्येक दृश्य $i$ के लिए सीखने योग्य पैरामीटर पेश करता है:

• एक्सपोजर स्केल ($e_i$): एक धनात्मक स्केलर जो कैमरा गेन का प्रतिनिधित्व करता है।
• टोन-मैपिंग फंक्शन ($T_i$): गैर-रेखीय कैमरा प्रतिक्रिया को मॉडल करने के लिए एक सीखने योग्य गामा सुधार ($\gamma_i$) के माध्यम से अनुमानित।
  इमेज फॉर्मेशन मॉडल को इस प्रकार परिभाषित किया गया है: $I_i = T_i(e_i \cdot \hat{I}_{linear})$।

3. इनवेरिएंट रेडिएंस का सिद्धांत (Principle of Invariant Radiance - PIR):
   यह P2GS का सैद्धांतिक आधार है। यह मानता है कि लीनियर HDR डोमेन में, विभिन्न कैमरा दृश्यों के बीच देखे गए रेडिएंस का अनुपात केवल सापेक्ष एक्सपोजर स्केल पर निर्भर करता है:
   $$\frac{I^{(i)}_{linear}}{I^{(j)}_{linear}} = \frac{e_i}{e_j}$$
   यह सिद्धांत यह सुनिश्चित करता है कि कैमरा सेटिंग्स की परवाह किए बिना अंतर्निहित दृश्य रेडिएंस अपरिवर्तित रहता है।

एकीकृत अनुकूलन रणनीति (Unified Optimization Strategy)

P2GS एक एकीकृत अनुकूलन ढांचे का उपयोग करता है जो तीन पदों से बने कुल लॉस फंक्शन ($\mathcal{L}_{total}$) को कम करता है:

1. फोटोमेट्रिक पुनर्निर्माण ($\mathcal{L}_{photo}$): देखे गए LDR चित्रों और सिंथेसाइज्ड चित्रों (रेंडर किए गए HDR $\to$ एक्सपोजर $\to$ टोन मैपिंग) के बीच त्रुटि को कम करता है।
2. सापेक्ष एक्सपोजर सुसंगतता ($\mathcal{L}_{exp}$): PIR बाधा को लागू करके यह सुनिश्चित करता है कि दृश्य युग्मों के बीच रेंडर किए गए HDR तीव्रता का अनुपात उनके अनुमानित एक्सपोजर स्केल के अनुपात से मेल खाता है। यह रेडिएंस फील्ड को एक्सपोजर विविधताओं को सोखने से रोकता है।
3. नियमितीकरण ($\mathcal{L}_{reg}$):
   • एक्सपोजर मापदंडों के पूर्ण स्केल को स्थिर करने के लिए उन्हें एंकर करता है ताकि ग्लोबल स्केल अस्पष्टता को रोका जा सके।
   • स्थिरता सुनिश्चित करने के लिए दृश्यों के बीच एक्सपोजर अनुमानों में अत्यधिक भिन्नता को दंडित करता है।
   • गैर-भौतिक समाधानों को रोकने के लिए टोन मापदंडों ($\gamma_i$) पर sRGB मानक ($\approx 2.2$) के आसपास एक सॉफ्ट प्रायर लागू करता है।

अनुमान (Inference) के समय, विधि सभी प्रशिक्षण दृश्यों में सीखे गए एक्सपोजर और टोन मापदंडों का औसत निकालती है ताकि एक स्थिर, फ्लिकर-मुक्त रेंडरिंग प्राप्त की जा सके।

3. प्रमुख योगदान (Key Contributions)

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

• P2GS फ्रेमवर्क: 3DGS का एक स्पष्ट HDR-डोमेन विस्तार जो एक्सपोजर और टोन विविधताओं से आंतरिक रेडिएंस को अलग करने के लिए इनवेरिएंट रेडिएंस के सिद्धांत को एम्बेड करता है, जो बिना HDR सुपरविजन के कार्य करता है।
• एकीकृत अनुकूलन: एक पूर्णतः डिफरेंशिएबल रणनीति जो फोटोमेट्रिक लॉस, PIR-आधारित बाधाओं और भौतिक नियमितीकरण का उपयोग करके HDR रेडिएंस, प्रति-दृश्य एक्सपोजर और टोन मैपिंग को संयुक्त रूप से अनुकूलित करती है।
• स्टेट-ऑफ-द-आर्ट प्रदर्शन: विषम ISP वाले मल्टी-कैमरा ड्राइविंग डेटासेट पर उत्कृष्ट फोटोमेट्रिक सुसंगतता और HDR फिडेलिटी का प्रदर्शन, जो पुनर्निर्माण और नोवेल व्यू सिंथेसिस दोनों में मौजूदा बेसलाइन से बेहतर है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Waymo Open Dataset (वास्तविक दुनिया) और CARLA (सिंथेटिक, नियंत्रित इल्यूमिनेशन) पर P2GS का मूल्यांकन किया।

• मात्रात्मक प्रदर्शन (Waymo):

  • P2GS ने वैनिला 3DGS, PVG और Luminance-GS सहित सभी तुलना की गई विधियों में उच्चतम SSIM (0.939) और सबसे कम LPIPS (0.209) प्राप्त किया।
  • इसने HDR Inconsistency Score (HIS) और Std-Luminance को काफी कम किया, जो बेहतर टेम्पोरल और इंटर-व्यू ब्राइटनेस स्थिरता को दर्शाता है। विशेष रूप से, P2GS ने कच्चे ग्राउंड ट्रुथ की तुलना में कम इनकंसिस्टेंसी स्कोर प्राप्त किया, जो बताता है कि यह प्रभावी रूप से डेटासेट-प्रेरित इल्यूमिनेशन शोर को हटा देता है जिसे मानक विधियाँ बनाए रखती हैं।
  • नोवेल व्यू सिंथेसिस (NVS) में, P2GS ने निरंतर श्रेष्ठता बनाए रखी, जो विभिन्न प्रकाश स्थितियों के प्रति मजबूती प्रदर्शित करता है।

• गुणात्मक परिणाम (Qualitative Results):

  • बेसलाइन विधियों (3DGS, PVG, Luminance-GS) में दृश्य सीम, रंग परिवर्तन और असमान शेडिंग दिखाई दी जहाँ अलग-अलग एक्सपोजर वाले दृश्यों को जोड़ा गया था।
  • P2GS ने फोटोमेट्रिक रूप से समान पुनर्निर्माण उत्पन्न किए, जिसमें सभी दृश्यों में चमक और रंग का सहज मिलान हुआ, जिससे सड़क और दीवारों जैसी स्थिर संरचनाओं पर सीम आर्टिफैक्ट्स को प्रभावी ढंग से दबा दिया गया।

• मजबूती (CARLA):

  • नियंत्रित, परिवर्तनशील ISO संवेदनशीलता (चरम एक्सपोजर शोर का अनुकरण करते हुए) वाले सिंथेटिक डेटासेट के तहत, P2GS ने बेसलाइन (जैसे, Luminance-GS और एफाइन-ट्रांसफॉर्मेड 3DGS) में महत्वपूर्ण गिरावट की तुलना में मामूली प्रदर्शन गिरावट दिखाई।
  • यह गंभीर भ्रष्टाचार के तहत भी एक्सपोजर विविधताओं को अलग करने और एक दृश्य-अपरिवर्तनीय रेडिएंस फील्ड को बनाए रखने की P2GS की क्षमता की पुष्टि करता है।

• एब्लेशन अध्ययन (Ablation Studies):
  एक्सपोज़र सुसंगतता लॉस ($\mathcal{L}_{exp}$) या नियमितीकरण पदों ($\mathcal{L}_{reg}$) में से किसी एक को हटाने से सभी मेट्रिक्स में प्रदर्शन में गिरावट आई, जो एकीकृत भौतिक सूत्रीकरण की आवश्यकता को प्रमाणित करता है।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि P2GS स्वायत्त ड्राइविंग सिमुलेशन में एक महत्वपूर्ण अंतर को संबोधित करता है: फोटोमेट्रिक रूप से स्थिर 3D प्रतिनिधित्व की कमी। कैमरा-निर्भर विकृतियों को वास्तविक दृश्य रेडिएंस से अलग करके, P2GS सक्षम बनाता है:

• विश्वसनीय क्लोज्ड-लूप सिमुलेशन: एक भौतिक रूप से सुसंगत बैकग्राउंड प्रदान करना जो उन धारणा मॉडलों और सिम्युलेटरों के लिए आवश्यक है जहाँ इल्यूमिनेशन सुसंगतता सर्वोपरि है।
• एक्सपोजर-इनवेरिएंट कंट्रोलेबिलिटी: मनमाने एक्सपोजर स्केल के तहत निरंतर, आर्टिफेक्ट-मुक्त री-रेंडरिंग की अनुमति देना, जो मानक 3DGS के लिए एक असंभव क्षमता है।
• स्केलेबिलिटी: नियंत्रित वातावरण या मल्टी-एक्सपोजर इनपुट की आवश्यकता के बिना बड़े पैमाने के स्पार्स ड्राइविंग डेटा पर काम करने वाला समाधान प्रदान करना।

लेखक निष्कर्ष निकालते हैं कि जबकि P2GS स्थिर पृष्ठभूमि पर ध्यान केंद्रित करता है और अभी तक बाहरी लाइटिंग से सामग्री के गुणों को स्पष्ट रूप से अलग नहीं करता है (जो एक भविष्य की दिशा है), यह स्वायत्त ड्राइविंग के लिए बड़े पैमाने पर शहरी पुनर्निर्माण के लिए एक मजबूत, भौतिक रूप से सुसंगत आधार स्थापित करता है।