3DGS$^2$-TR: Scalable Second-Order Trust-Region Method for 3D Gaussian Splatting

तकनीकी सारांश: 3DGS2-TR

समस्या विवरण
यद्यपि 3D Gaussian Splatting (3DGS) ने वास्तविक समय के नवीन दृश्य संश्लेषण (novel view synthesis) के लिए स्वयं को अत्याधुनिक (state-of-the-art) के रूप में स्थापित कर लिया है, लेकिन इसकी प्रशिक्षण प्रक्रिया एक महत्वपूर्ण बाधा बनी हुई है। मानक 3DGS प्रथम-क्रम (first-order) ADAM ऑप्टिमाइज़र पर निर्भर करता है, जो अक्सर 3DGS की अत्यधिक गैर-उत्तल (non-convex) और खराब-अनुकूलित (ill-conditioned) पैरामीटर स्पेस में धीमी अभिसरण (convergence) से ग्रस्त होता है। अनुकूलन परिदृश्य विशेष रूप से चुनौतीपूर्ण है क्योंकि यह ज्यामिति (स्थिति, रोटेशन, स्केल) और उपस्थिति (ओपेसिटी, रंग) के बीच के मजबूत जुड़ाव, साथ ही रस्टर-आविष्टीकरण (rasterization) की गैर-रैखिकता और खंडीय निरंतरता (piecewise continuity) के कारण जटिल हो जाता है।

मौजूदा द्वितीय-क्रम (second-order) दृष्टिकोण (जैसे, 3DGS-LM, 3DGS2) वक्रता (curvature) जानकारी का उपयोग करके अभिसरण को तेज करने का प्रयास करते हैं, लेकिन वे गंभीर स्केलेबिलिटी समस्याओं का सामना करते हैं। वे आमतौर पर स्पष्ट या सघन वक्रता प्रतिनिधित्व (explicit or dense curvature representations) पर निर्भर करते हैं, जिससे उच्च मेमोरी ओवरहेड ($O(n^2)$ या उससे अधिक) और प्रति-इटरेशन महंगी लागत होती है। यह उन्हें बड़े पैमाने के दृश्यों या वितरित प्रशिक्षण सेटिंग्स के लिए अनुपयुक्त बनाता है। इसके अलावा, 3DGS लॉस फंक्शन में विच्छिन्नता (discontinuities) उन स्मूथनेस धारणाओं का उल्लंघन करती है जो शास्त्रीय द्वितीय-क्रम विधियों के लिए आवश्यक हैं, जिसके परिणामस्वरूप अक्सर अस्थिरता आती है।

कार्यप्रणाली: 3DGS2-TR
लेखक 3DGS2-TR का प्रस्ताव करते हैं, जो एक स्केलेबल द्वितीय-क्रम ट्रस्ट-रीजन ऑप्टिमाइज़र है जिसे प्रथम-क्रम विधियों की गणनात्मक और मेमोरी दक्षता बनाए रखते हुए 3DGS प्रशिक्षण को तेज करने के लिए डिज़ाइन किया गया है। यह विधि तीन मुख्य सिद्धांतों पर आधारित है: सस्ती प्रति-इटरेशन गणना, पैरामीटर-रैखिक मेमोरी स्केलिंग, और ट्रस्ट-रीजन बाधाएं।

1. विकर्ण हेसियन सन्निकटन (Diagonal Hessian Approximation - मैट्रिक्स-मुक्त):
   पूर्ण हेसियन मैट्रिसेस की गणना करने के बजाय, 3DGS2-TR केवल गौस-न्यूटन मैट्रिक्स ($J^T J$) के विक럴 (diagonal) का उपयोग करके वक्रता का अनुमान लगाता है। इसे हचिनसन पद्धति (Hutchinson's method) के माध्यम से कुशलतापूर्वक अनुमानित किया जाता है, जो हेसियन-वेक्टर उत्पादों को कंप्यूट करने के लिए रैंडम रेडिमैकर वेक्टर्स का उपयोग करता है। यह दृष्टिकोण सुनिश्चित करता है कि गणना और मेमोरी जटिलता दोनों $O(n)$ बनी रहें, जो ADAM की जटिलता के समान है। वक्रता अनुमानों को स्थिर करने के लिए, यह विधि डायगोनल अनुमानों के एक्सपोनेंशियल मूविंग एवरेज (EMA) का उपयोग करती है, जिसे हर स्टेप के बजाय समय-समय पर (जैसे, प्रत्येक 10 इटरेशन के बाद) अपडेट किया जाता है।

2. स्क्वेर्ड हेलिंगर दूरी के माध्यम से पैरामीटर-वार ट्रस्ट-रीजन:
   3DGS रस्टर-आविष्टीकरण में निहित तीव्र गैर-रैखिकता और विच्छिन्नता को संबोधित करने के लिए, लेखक एक पैरामीटर-वार ट्रस्ट-रीजन तकनीक पेश करते हैं। वैश्विक या समूह-स्तरीय बाधाओं के विपरीत, यह विधि प्रत्येक व्यक्तिगत गौसियन पैरामीटर के लिए अपडेट स्टेप को सीमित करती है।

• मेट्रिक: बाधा अपडेट से पहले और बाद के गौसियन वितरण के बीच स्क्वेर्ड हेलिंगर दूरी (squared Hellinger distance) पर आधारित है। इस मेट्रिक को इसलिए चुना गया है क्योंकि यह अननॉर्मलाइज्ड गौसियन्स के लिए एक क्लोज्ड-फॉर्म समाधान प्रदान करता है और सहज रूप से रेंडर की गई उपस्थिति में अंतर को मापता है।
• नॉर्मलाइजेशन: इस तथ्य को ध्यान में रखने के लिए कि एक गौसियन का आभासी द्रव्यमान (apparent mass) देखने की दूरी के साथ मनमाने ढंग से बदल सकता है, हेलिंगर दूरी को स्केल मैट्रिक्स के डिटरमिनेंट ($\det(S)^{-1}$) द्वारा नॉर्मलाइज किया जाता है।
• तंत्र: प्रत्येक पैरामीटर के लिए, एक ट्रस्ट-रीजन त्रिज्या $\eta$ की गणना की जाती है ताकि नॉर्मलाइज्ड स्क्वेर्ड हेलिंगर दूरी एक थ्रेशोल्ड $\epsilon$ से नीचे रहे। प्रस्तावित अपडेट स्टेप को इस त्रिज्या तक क्लिप किया जाता है ($\Delta x \cdot \text{clip}(-\eta, +\eta)$), जिससे यह सुनिश्चित होता है कि अपडेट्स गौसियन की ज्यामिति या ओपेसिटी में अचानक, अमान्य परिवर्तन न करें।

3. ऑप्टिमाइज़ेशन पाइपलाइन:
   एल्गोरिदम एक स्टोकेस्टिक गौस-न्यूटन फॉर्मूलेशन का पालन करता है। यह एक स्टोकेस्टिक ग्रेडिएंट और एक डायगोनल हेसियन अनुमान (हचिनसन पद्धति के माध्यम से) की गणना करता है, एक द्वितीय-क्रम अपडेट स्टेप ($\Delta x = -\hat{D}^{-1} \hat{g}$) की गणना करता है, पैरामीटर-वार ट्रस्ट-रीजन क्लिपिंग लागू करता है, और पैरामीटर्स को अपडेट करता है। हेसियन अनुमान के लिए आवधिक सैंपलिंग के कारण, इस विधि में केवल मामूली ओवरहेड (ADAM से लगभग 10% अधिक) होता है।

प्रमुख योगदान

• स्केलेबल द्वितीय-क्रम अनुकूलन: यह पेपर 3DGS के लिए पहला द्वितीय-क्रम ऑप्टिमाइज़र प्रस्तुत करता है जो गणना और मेमोरी दोनों में $O(n)$ जटिलता प्राप्त करता है, जिससे यह बहुत बड़े दृश्यों और संभावित रूप से वितरित प्रशिक्षण सेटिंग्स के लिए स्केलेबल बन जाता है।
• डायगोनल हेसियन अनुमान: 3DGS में सोफिया (Liu et al., 2023) के लाइटवेट फ्रेमवर्क को अनुकूलित करके, यह विधि पूर्ण मैट्रिक्स ऑपरेशंस की भारी लागत के बिना लॉस सरफेस कर्वेचर को ध्यान में रखने के लिए डायगोनल हेसियन अनुमानों का उपयोग करती है।
• हेलिंगर डिस्टेंस ट्रस्ट-रीजन: लेखक स्क्वेर्ड हेलिंगर दूरी पर आधारित एक नवीन, पैरामीटर-वार ट्रस्ट-रीजन बाधा प्रस्तावित करते हैं। यह गौसियन प्रिमिटिव्स में ज्यामितीय परिवर्तनों को सीमित करने के लिए एक सिद्धांतगत तरीका प्रदान करता है, जो 3DGS रस्टर-आविष्टीकरण की गैर-स्मूथ प्रकृति के कारण होने वाली अस्थिरता को संबोधित करता है।

परिणाम
समान पैरामीटर इनिशियलाइजेशन के तहत और डेंसिफिकेशन रणनीतियों के बिना, 3DGS2-TR मानक ADAM ऑप्टिमाइज़र की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है:

• अभिसरण गति (Convergence Speed): यह मानक डेटासेट्स पर ADAM की तुलना में 50% कम प्रशिक्षण इटरेशन का उपयोग करके बेहतर पुनर्निर्माण गुणवत्ता प्राप्त करता है।
• मेमोरी दक्षता: यह विधि 1GB से कम पीक GPU मेमोरी ओवरहेड (ADAM से लगभग 17% अधिक) का भार डालती है। इसके विपरीत, 3DGS2-TR जैसे मौजूदा द्वितीय-क्रम विधियां (जैसे, 3DGS-LM) लगभग 85% अधिक मेमोरी ओवरहेड लेती हैं, जो 3DGS2-TR के स्केलेबिलिटी लाभ को उजागर करती हैं।

महत्व
यह पेपर दावा करता है कि 3DGS2-TR द्वितीय-क्रम विधियों के अभिसरण लाभों और बड़े पैमाने के 3D कंटेंट निर्माण की स्केलेबिलिटी आवश्यकताओं के बीच के अंतर को पाटता है। सघन वक्रता प्रतिनिधित्वों से बचकर और गौसियन स्प्लेटिंग की विशिष्ट विच्छिन्नता के लिए तैयार स्थिरता तंत्र पेश करके, यह विधि पुनर्निर्माण की गुणवत्ता या मेमोरी दक्षता से समझौता किए बिना तेज़ प्रशिक्षण समय सक्षम करती है। यह प्रगति 3DGS पाइपलाइन में एक प्राथमिक बाधा को संबोधित करती है, जो वर्चुअल रियलिटी, ऑगमेंटेड रियलिटी और रोबोटिक्स जैसे अनुप्रयोगों के लिए तेजी से दृश्य पुनर्निर्माण की आवश्यकता वाले क्षेत्रों में व्यापक उपयोग को सुगम बना सकती है।