💻 computer science

TRACE-GS: On-Policy Trajectory Distillation with Privileged Geometric Conditioning for Sparse-View 3DGS Restoration

TRACE-GS एक ऑन-पॉलिसी ट्रजेक्टरी डिस्टिलेशन फ्रेमवर्क पेश करता है जो स्पार्स-व्यू 3D गॉसियन स्प्लैटिंग रेस्टोरेशन के दौरान डिनोइजिंग दिशाओं को संरेखित करने और संचयी त्रुटियों को सुधारने के लिए प्रशिक्षण के दौरान विशेषाधिकार प्राप्त ज्यामितीय कंडीशनिंग का लाभ उठाता है, जिससे तैनाती के समय अतिरिक्त दृश्यों की आवश्यकता के बिना उत्कृष्ट सामान्यीकरण प्राप्त होता है।

मूल लेखक: Linlian Jiang, Yuchen Xi, Sadman Rakib Pinon, Ruigang Yang, Yang Wang, Xinxin Zuo

प्रकाशित 2026-08-12

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Linlian Jiang, Yuchen Xi, Sadman Rakib Pinon, Ruigang Yang, Yang Wang, Xinxin Zuo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कमरे का सटीक 3D मॉडल बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल कुछ कोणों से ली गई मुट्ठी भर धुंधली तस्वीरें हैं। कंप्यूटर विज़न की दुनिया में, यह एक क्लासिक पहेली है जिसे "स्पार्स-व्यू 3D रिकंस्ट्रक्शन" (sparse-view 3D reconstruction) कहा जाता है। लक्ष्य उन सभी गायब हिस्सों को भरना है—दीवारें, फर्नीचर, छाया—ताकि आप मॉडल के अंदर घूम सकें और इसे किसी भी कोण से देख सकें। हाल ही में, 3D गैसियन स्प्लेटिंग (3D Gaussian Splatting - 3DGS) नामक एक तकनीक इस काम के लिए सुपरस्टार बनकर उभरी है क्योंकि यह इन 3D दृश्यों को अविश्वसनीय रूप से तेज़ गति से रेंडर कर सकती है, लगभग एक वीडियो गेम की तरह। हालाँकि, जब आपके पास पर्याप्त तस्वीरें नहीं होती हैं, तो कंप्यूटर भ्रमित हो जाता है। यह रंग के तैरते हुए धब्बे बना सकता है, किनारों को धुंधला कर सकता है, या ज्योमेट्री को पिघले हुए मोम जैसा दिखा सकता है। इसे ठीक करने के लिए, वैज्ञानिकों ने "डिफ्यूजन मॉडल्स" (diffusion models) का उपयोग करना शुरू कर दिया है, जो लाखों छवियों पर प्रशिक्षित AI कलाकार की तरह हैं। ये AI अनुमान लगा सकते हैं कि गायब हिस्से कैसे दिखने चाहिए, लेकिन वे अक्सर गलतियाँ करते हैं जब उन्हें पर्याप्त सुरागों के बिना चरण-दर-चरण अनुमान लगाना पड़ता है।

यहाँ TRACE-GS आता है, एक नया तरीका जो एक मास्टर कोच की तरह एक छात्र एथलीट को प्रशिक्षित करता है। शोधकर्ताओं ने महसूस किया कि जबकि AI मॉडल स्मार्ट हो रहे हैं, वे अभी भी एक विशिष्ट प्रकार की गलती कर रहे हैं: उन्हें यादृच्छिक (random), अलग-अलग स्नैपशॉट के आधार पर अनुमान लगाने के लिए सिखाया जा रहा है, लेकिन फिर उन्हें अंतिम छवि बनाने के लिए एक लंबी, जुड़ी हुई यात्रा करनी पड़ती है। यह एक छात्र को गणित की समस्या को हल करने के लिए यादृच्छिक, असंबंधित समस्याओं के उत्तर कुंजी को देखने के लिए सिखाने जैसा है, और फिर उनसे बिना किसी मदद के समीकरणों की एक लंबी श्रृंखला को हल करने की अपेक्षा करना। छात्र रास्ते में भटक जाता है। TRACE-GS इस प्रशिक्षण खेल को पूरी तरह से बदलकर इस समस्या को हल करता है। केवल यादृच्छिक सुराग देने के बजाय, यह एक "प्रिविलेज्ड" (privileged) शिक्षक का उपयोग करता है जिसके पास प्रशिक्षण के दौरान एक पूर्ण, उच्च-गुणवत्ता वाला 3D मॉडल होता है (क्योंकि प्रशिक्षण डेटा में वास्तविक दुनिया की समस्या की तुलना में अधिक तस्वीरें हैं)। यह शिक्षक छात्र को मार्गदर्शन देता है, जो वास्तव में अकेले काम कर रहा है, और हर एक कदम पर उसके मार्ग को सही करता है। परिणाम एक ऐसा सिस्टम है जो कुछ धुंधली तस्वीरों को लेकर एक तीक्ष्ण, विस्तृत 3D दृश्य में बदल सकता है, यहाँ तक कि कठिन स्थितियों में भी जहाँ अन्य तरीके विफल हो जाते हैं।

समस्या: रास्ते में खो जाना

जब आप केवल कुछ तस्वीरों (जैसे 3, 6, या 9) से एक 3D दृश्य को पुनर्गठित करने की कोशिश करते हैं, तो कंप्यूटर को बड़े अंतराल भरने होते हैं। मौजूदा तरीके गायब विवरणों का अनुमान लगाने के लिए AI "डिफ्यूजन" मॉडल का उपयोग करने का प्रयास करते हैं। इसे "टेलीफोन" के खेल की तरह समझें जहाँ आप एक फुसफुसाए गए विवरण के आधार पर चित्र बनाने की कोशिश कर रहे हैं। अधिकांश वर्तमान AI तरीके अंतिम चित्र को देखकर यह पूछते हैं कि, "यदि हम इसमें कुछ शोर (noise) जोड़ दें तो यह कैसा दिखेगा?" वे उस शोर को अलग-थलग रहकर हटाना सीखते हैं।

लेकिन यहाँ एक पेच है: जब AI वास्तव में वास्तविक दुनिया में छवि बनाने की कोशिश करता है, तो वह एक साफ स्लेट से शुरुआत नहीं करता और सीधे अंत तक नहीं पहुँच जाता। वह एक लंबी, चरण-दर-चरण यात्रा करता है, एक अनुमान लगाता है, फिर उस अनुमान का उपयोग अगले अनुमान के लिए करता है। यदि पहला अनुमान थोड़ा गलत है (जो अक्सर होता है, क्योंकि तस्वीरें कम हैं), तो वह त्रुटि आगे चली जाती है। अगला कदम एक गलती पर आधारित होता है, और अगला कदम उस गलती पर। जब तक AI समाप्त करता है, त्रुटियां जमा हो जाती हैं, और छवि विकृत हो जाती है। पेपर इसे "ऑफ-पॉलिसी मिसमैच" (off-policy mismatch) कहता है। यह एक ऐसे GPS की तरह है जिसे पूर्ण मानचित्रों पर प्रशिक्षित किया गया था लेकिन वह गायब सड़कों वाले शहर में नेविगेट करने की कोशिश कर रहा है; यह खराब डेटा के आधार पर बार-बार पुनर्गणना करता रहता है, और आप चक्कर काटते रहते हैं।

समाधान: प्रिविलेज्ड कोच

TRACE-GS के लेखकों ने महसूस किया कि प्रशिक्षण डेटा में अक्सर वास्तविक दुनिया की समस्या की तुलना में अधिक तस्वीरें होती हैं। प्रशिक्षण के दौरान, उनके पास एक "डेंस" (dense) सेट ऑफ व्यूज़ (कई तस्वीरें) तक पहुँच होती है, लेकिन परिनियोजन (deployment) के दौरान (जब उपयोगकर्ता वास्तव में टूल का उपयोग करता है), उनके पास केवल "स्पार्स" (sparse) सेट (कुछ तस्वीरें) होता है।

उन्होंने एक प्रणाली बनाई जिसमें दो पात्र हैं:

छात्र (The Student): यह वह मॉडल है जिसका उपयोग वास्तविक दुनिया में किया जाएगा। यह केवल कुछ, स्पारस तस्वीरें देखता है।
शिक्षक (The Teacher): यह छात्र की एक प्रति है, लेकिन प्रशिक्षण के दौरान, इसे समृद्ध, डेंस सेट की तस्वीरें देखने का अवसर मिलता है। यह "प्रिविलेज्ड इंफॉर्मेशन" है।

जादू इस बात में है कि वे कैसे प्रशिक्षित करते हैं। केवल छात्र के यादृच्छिक अनुमानों की तुलना लक्ष्य से करने के बजाय, शोधकर्ता छात्र को अपनी खुद की यात्रा (उसका "रोलआउट") लेने देते हैं ताकि एक छवि बनाई जा सके। इस यात्रा के प्रत्येक चरण में, शिक्षक—जिसके पास पूर्ण, उच्च-गुणवत्ता वाली ज्योमेट्री देखने का लाभ है—बीच में आता है और कहता है, "नहीं, यह सही नहीं है। आगे जाने के लिए सही दिशा यह है।"

महत्वपूर्ण बात यह है कि शिक्षक अपनी खुद की यात्रा नहीं करता है। वह बस यह देखता है कि छात्र अभी कहाँ है और एक सुधार देता है। यह सुनिश्चित करता है कि छात्र उस विशिष्ट पथ पर नेविगेट करना सीखे जिस पर वह वास्तव में यात्रा करेगा, न कि केवल यादृच्छिक, अलग-थलग त्रुटियों को ठीक करना सीखे। इसे "ऑन-पॉलिसी ट्रेजेक्टरी डिस्टिलेशन" (on-policy trajectory distillation) कहा जाता है।

परिणाम: तीक्ष्ण विवरण, कम भूतिया आकृतियाँ

पेपर ने वास्तविक दुनिया के दृश्यों और सिंथेटिक दृश्यों सहित विभिन्न डेटासेट्स पर इस पद्धति का परीक्षण किया। उन्होंने इसकी तुलना Difix3D+, GenFusion, और GSFixer जैसे अन्य शीर्ष तरीकों से की।

परिणाम प्रभावशाली थे। केवल 3 इनपुट व्यूज़ (सबसे कठिन परिदृश्य) के साथ परीक्षणों में, TRACE-GS ने लगातार प्रतिस्पर्धा से बेहतर छवियां बनाईं। उदाहरण के लिए, DL3DV-बेंचमार्क डेटासेट पर, इसने 3 व्यूज़ के साथ 16.92 का PSNR (एक स्कोर जो छवि गुणवत्ता को मापता है) प्राप्त किया, जो अगले सबसे अच्छे तरीके (GSFixer) को पीछे छोड़ देता है जिसने 16.21 स्कोर किया था। जैसे-जैसे व्यूज़ की संख्या बढ़कर 6 और 9 हुई, TRACE-GS शीर्ष स्थान बनाए रखने या शीर्ष पर रहने में सफल रहा।

दृश्य अंतर स्पष्ट है। परावर्तक सतहों (जैसे चमकदार स्टोर विंडो) या जटिल बनावट वाले दृश्यों में, अन्य तरीके अक्सर धुंधले धब्बे या "घोस्ट्स" (तैरती हुई आकृतियाँ) उत्पन्न करते हैं। हालाँकि, TRACE-GS ने तीक्ष्ण विवरणों को बहाल करने में सफलता प्राप्त की। एक उदाहरण में, जहाँ अन्य तरीकों ने साइन पर लिखे टेक्स्ट या कुर्सी की रूपरेखा को धुंधला कर दिया, वहीं TRACE-GS ने किनारों को स्पष्ट और संरचना को तार्किक रखा।

शोधकर्ताओं ने "एब्लेशन स्टडीज" (प्रयोग जहाँ उन्होंने सिस्टम के हिस्सों को हटाकर देखा कि क्या होता है) भी चलाईं। उन्होंने पाया कि:

प्रिविलेजेड ज्योमेट्री मायने रखती है: यदि शिक्षक के पास अतिरिक्त तस्वीरें नहीं होतीं (प्रिविलेज्ड ज्योमेट्री), तो सिस्टम का प्रदर्शन बेसलाइन से खराब हो जाता। सही मार्गदर्शन प्रदान करने के लिए अतिरिक्त व्यूज़ आवश्यक थे।
ऑन-पॉलिसी मायने रखता है: यदि उन्होंने पुराने "ऑफ-पॉलिसी" तरीके (यादृच्छिक चरणों के बजाय छात्र के वास्तविक पथ का उपयोग करके) का उपयोग करके सिस्टम को प्रशिक्षित किया होता, तो गुणवत्ता गिर जाती। इससे सिद्ध हुआ कि छात्र को उसकी अपनी यात्रा के दौरान सुधारना ही सफलता की कुंजी है।

यह क्यों काम करता है

मूल विचार यह है कि छात्र जो देखता है (स्पार्स व्यूज़) और शिक्षक जो देखता है (डेंस व्यूज़) के बीच का "गैप" एक शिक्षण उपकरण के रूप में उपयोग किया जाता है। शिक्षक जानता है कि दृश्य कैसा दिखना चाहिए क्योंकि उसके पास अधिक जानकारी है। छात्र को उसके अपने पथ पर चरण-दर-चरण मार्गदर्शन करके, शिक्षक छोटी त्रुटियों को बड़ी आपदाओं में बदलने से रोकता है।

एक बार प्रशिक्षण पूरा हो जाने के बाद, शिक्षक को हटा दिया जाता है। छात्र, जो अब अपने स्वयं के पथ का विशेषज्ञ बन चुका है, तैनात किया जाता है। वह स्पार्स तस्वीरें लेता है, अपनी स्वयं की डीनोइजिंग यात्रा चलाता है, और एक उच्च-गुणवत्ता वाला 3D दृश्य बनाता है जिसे आगे और बेहतर किया जा सकता है। पेपर सुझाव देता है कि यह दृष्टिकोण स्पार्स-व्यू 3D बहाली के लिए एक महत्वपूर्ण कदम है, जो बिना महंगे, डेंस कैमरा सेटअप के उच्च-गुणवत्ता वाले परिणाम प्राप्त करने का एक तरीका प्रदान करता है। यह एक कठिन, त्रुटि-पूर्ण अनुमान लगाने वाले खेल को एक निर्देशित दौरे में बदल देता है, जिससे यह सुनिश्चित होता है कि सीमित जानकारी के साथ भी, अंतिम गंतव्य स्पष्ट और तीक्षण है।

तकनीकी सारांश: TRACE-GS

समस्या विवरण

स्पार्स-व्यू (Sparse-view) 3D गॉसियन स्प्लेटिंग (3DGS) पुनर्निर्माण, जब इनपुट दृश्य सीमित होते हैं (जैसे 3–9 चित्र), तो गंभीर रूप से अंडर-कंस्ट्रेंड ज्योमेट्री (under-constrained geometry) से ग्रस्त होता है। इससे फ्लोटर्स (floaters), खंडित ज्यामिति (fragmented geometry) और धुंधली बनावट (blurred textures) जैसे आर्टिफैक्ट्स उत्पन्न होते हैं। हालांकि हाल के दृष्टिकोण 3DGS रिफाइनमेंट के लिए नवीन-व्यू रेंडरिंग्स को बहाल करने हेतु प्री-ट्रेंड डिफ्यूजन मॉडल्स का उपयोग करते हैं, वे एक मौलिक ट्रेनिंग-इन्फरेंस मिसमैच (training-inference mismatch) का सामना करते हैं:

ऑफ-पॉलिसी स्टेट मिसमैच (Off-Policy State Mismatch): मौजूदा पद्धतियाँ मॉडल को क्लीन टारगेट्स से प्राप्त स्वतंत्र रूप से फॉरवर्ड-नॉइज़्ड अवस्थाओं (forward-noised states) पर सुपरवाइज करती हैं। हालाँकि, इन्फरेंस के दौरान, मॉडल अपने स्वयं के डिनोइजिंग प्रेडिक्शंस द्वारा संचालित एक अनुक्रमिक रोलआउट (sequential rollout) का पालन करता है। फलस्वरूप, मॉडल उन स्व-निर्मित अवस्थाओं (self-generated states) का सामना करता है जो ट्रेनिंग ऑब्जेक्टिव द्वारा कवर नहीं की गई हैं।
कंपाउंडिंग ज्योमेट्री बायस (Compounding Geometry Bias): स्पार्स-व्यू सेटिंग्स में, प्रारंभिक ज्यामिति अंडर-कंस्ट्रेंड होती है। शुरुआती डिनोइजिंग स्टेप्स में आर्टिफैक्ट्स बाद के दिशाओं को बायस (bias) करते हैं, जिससे विचलन (deviations) रोलआउट के दौरान संचयी (compound) होते जाते हैं। ऑफ-पॉलिसी सुपरविजन इन विचलनों को ठीक करने में विफल रहता है क्योंकि यह इन्फरेंस के दौरान वास्तव में विज़िट की गई अवस्थाओं की निगरानी नहीं करता है।

कार्यप्रणाली: TRACE-GS

TRACE-GS (प्रिविलेज्ड ज्योमेट्रिक कंडिशनिंग के साथ ऑन-पॉलिसी ट्राजेक्टरी डिस्टिलेशन) इस समस्या को लर्निंग यूजिंग प्रिविलेज्ड इंफॉर्मेशन (LUPI) समस्या के रूप में स्वरूपित करके इसे संबोधित करता है। यह फ्रेमवर्क एक टीचर-स्टूडेंट आर्किटेक्चर का उपयोग करता है जहाँ टीचर के पास "प्रिविलेज्ड" ज्योमेट्रिक जानकारी होती है जो केवल ट्रेनिंग के दौरान उपलब्ध होती है।

1. ज्योमेट्री-एसिमेट्रिक LUPI फॉर्मूलेशन

सेटअप: एक दिए गए सीन के लिए, दो 3DGS पुनर्निर्माण उत्पन्न किए जाते हैं: एक स्पार्स इनपुट व्यूज ( $V_s$ ) से और एक सभी उपलब्ध ट्रेनिंग व्यूज ( $V_d$ , जहाँ $V_s \subset V_d$ ) से।
प्रिविलेज्ड इंफॉर्मेशन: डेंस-व्यू पुनर्निर्माण ( $R_d$ ), स्पार्स-व्यू पुनर्निर्माण ( $R_s$ ) की तुलना में अधिक समृद्ध, अधिक विश्वसनीय ज्योमेट्री और कम आर्टिफैक्ट्स प्रदान करता है। यह ज्योमेट्रिक फिडेलिटी गैप ही प्रिविलेज्ड इंफॉर्मेशन है।
आर्किटेक्चर: एक सिंगल वेलोसिटी प्रेडिक्टर बैकबोन ( $v_\theta$ $v_{θ}$ ) टीचर और स्टूडेंट के बीच साझा किया जाता है।
- टीचर: डेंस-व्यू रेंडरिंग्स ( $R_d$ ) द्वारा कंडिशन किया गया है। यह एक प्रिविलेज्ड गाइड के रूप में कार्य करता है।
- स्टूडेंट: स्पार्स-व्यू रेंडरिंग्स ( $R_s$ ) द्वारा कंडिशन किया गया है। यह डिप्लॉय करने योग्य मॉडल है।
- दोनों एक ही फ्रोजन बैकबोन और ट्रेन करने योग्य LoRA एडेप्टर्स साझा करते हैं (जो समान रूप से इनिशियलाइज़ किए गए हैं), जो केवल उनके कंडिशनिंग इनपुट्स में भिन्न होते हैं।

2. ट्रेनिंग स्ट्रैटेजी

ट्रेनिंग प्रक्रिया के दो मुख्य चरण हैं जो स्टूडेंट को प्रिविलेज्ड टीचर के साथ अलाइन (align) करते हैं:

प्रिविलेज्ड डायरेक्शन अलाइनमेंट (वॉर्म-अप):
स्वतंत्र रूप से सैंपल किए गए फॉरवर्ड-नॉइज़्ड स्टेट्स पर, स्टूडेंट का प्रेडिक्शन ( $v_S$ ), टीचर के प्रेडिक्शन ( $v_T$ ) के साथ अलाइन किया जाता है। यह स्पार्स ज्योमेट्री गैप के कारण होने वाले प्रारंभिक दिशा बायस को कम करता है।
$\mathcal{L}_{align} = \mathbb{E}[\|v_S - \text{sg}[v_T]\|_2^2]$
(जहाँ sg का अर्थ है स्टॉप-ग्रेडिएंट)।
ऑन-पॉलिसी ट्राजेक्टरी डिस्टिलेशन:
पूर्ववर्ती पद्धतियों के विपरीत, TRACE-GS मॉडल की अपनी ऑन-पॉलिसी रोलआउट ट्राजेक्टरी ( $Z_S$ ) के साथ सुपरवाइज करता है।
- स्टूडेंट रोलआउट: स्टूडेंट शोर (noise) से शुरू होकर अवस्थाओं की एक ट्राजेक्टरी ( $z^S_{t'}$ ) उत्पन्न करता है, जिसमें उसके अपने प्रेडिक्शंस का उपयोग किया जाता है।
- टीचर क्वेरी: स्टूडेंट द्वारा विज़िट की गई प्रत्येक अवस्था पर, फ्रोजन टीचर को उसी स्टेट और प्रिविलेज्ड डेंस ज्योमेट्री ( $R_d$ ) का उपयोग करके एक टारगेट वेलोसिटी ( $u^T_i$ ) उत्पन्न करने के लिए क्वेरी किया जाता है। टीचर अपना स्वयं का रोलआउट नहीं करता है।
- ट्राजेक्टरी लॉस: विज़िट की गई इन अवस्थाओं पर स्टूडेंट के वेलोसिटी प्रेडिक्शंस को टीचर के टारगेट्स के साथ अलाइन किया जाता है:
  $\mathcal{L}_{traj} = \mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N \|u^S_i - \text{sg}[u^T_i]\|_2^2\right]$
ऑन-पॉलिसी रिट्रीवल अलाइनमेंट:
यह सुनिश्चित करने के लिए कि स्टूडेंट केवल वेलोसिटी दिशा के अलावा क्रॉस-व्यू एविडेंस का सही ढंग से उपयोग करे, फ्रेमवर्क विज़िट की गई अवस्थाओं पर स्टूडेंट और टीचर के क्रॉस-अटेंशन रिट्रीवल रिस्पॉन्स को अलाइन करता है।
$\mathcal{L}_{ret} = \mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N \|\bar{F}^S_i - \text{sg}[\bar{F}^T_i]\|_2^2\right]$
जहाँ $\bar{F}$ नॉर्मलाइज्ड रिट्रीवल रिस्पॉन्स को दर्शाता है।

3. डिप्लॉयमेंट

डिप्लॉयमेंट के समय, केवल स्पार्स-कंडीशन्ड स्टूडेंट को रखा जाता है। यह स्पार्स-व्यू 3DGS से आर्टिफैक्ट-युक्त रेंडरिंग्स को बहाल करता है। ये बहाल की गई रेंडरिंग्स्स को 3DGS रिप्रेजेंटेशन को पुनरावृत्ति (iteratively) से रिफाइन करने के लिए स्यूडो-ऑब्जर्वेशन्स के रूप में उपयोग किया जाता है। प्रिविलेज्ड ज्योमेट्री या टीचर कम्प्यूटेशन की आवश्यकता नहीं होती है।

मुख्य योगदान

कप्ल्ड लिमिटेशन्स की पहचान: लेखकों ने पहचाना कि स्पार्स-व्यू 3DGS रेस्टोरेशन में ऑफ-पॉलिसी मिसमैच और ज्योमेट्री-प्रेरित बायस मिलकर प्रभाव डालते हैं, जिसके लिए इन्फरेंस के दौरान वास्तव में विज़िट की गई अवस्थाओं पर सुपरविजन आवश्यक है।
ज्योमेट्री-एसिमेट्रिक LUPI: यह पेपर एक नवीन LUPI सेटिंग को प्रस्तुत करता है जहाँ ज्ञान को एक समृद्ध ज्योमेट्रिक कंडिशनिंग वाले टीचर से एक स्पार्स कंडिशनिंग वाले आर्किटेक्चरली समान स्टूडेंट में स्थानांतरित किया जाता है।
स्पार्स 3DGS के लिए प्रथम ऑन-पॉलिसी सुपरविजन: TRACE-GS पहला ऐसा मेथड है जो प्रिविलेज्ड डेंस-व्यू ज्योमेट्री से ऑन-पॉलिसी सुपरविजन प्राप्त करता है, जो टीचर रोलआउट की आवश्यकता के बिना स्टूडेंट के रोलआउट के साथ डिनोइजिंग दिशाओं और रिट्रीवल रिस्पॉन्स को अलाइन करता है।

प्रयोगात्मक परिणाम

मेथड का मूल्यांकन तीन डेटासेट्स पर किया गया: DL3DV-Benchmark (इन-डोमेन), Mip-NeRF 360, और NeRF-Busters (आउट-ऑफ-डोमेन), 3, 6, और 9 इनपुट व्यूज के लिए।

क्वांटिटेटिव परफॉरमेंस: TRACE-GS ने सभी डेटासेट्स और स्पैरसिटी लेवल्स पर PSNR, SSIM, और LPIPS में स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया।
- DL3DV-Benchmark पर, इसने पिछले सर्वश्रेष्ठ (GSFixer) को 3-व्यू सेटिंग में PSNR में 0.47 dB से पीछे छोड़ा।
- आउट-ऑफ-डोमेन डेटासेट्स पर, इसने सभी मेट्रिक्स में लगातार बढ़त बनाई, विशेष रूप से चुनौतीपूर्ण 3-व्यू सेटिंग में (जैसे, Mip-NeRF 360 पर GSFixer से +0.73 dB)।
क्वालिटेटिव सुधार: विजुअल तुलनाएं दिखाती हैं कि जहाँ बेसलाइन्स धुंधलापन या ज्योमेट्रिक फ्रैगमेंटेशन पैदा करती हैं, वहीं TRACE-GS शार्प डिटेल्स और सुसंगत संरचनाओं (जैसे टेक्स्ट, रिफ्लेक्शन, ऑब्जेक्ट कंटूर) को बहाल करता है।
एब्लेशन स्टडीज:
- प्रिविलेज्ड ज्योमेट्री: टीचर के लिए उपयोग किए गए व्यूज की संख्या बढ़ाने से (3 से सभी उपलब्ध तक) प्रदर्शन में निरंतर सुधार हुआ, जो ज्योमेट्रिक गैप के महत्व की पुष्टि करता है।
- ऑन-पॉलिसी बनाम ऑफ-पॉलिसी: ऑफ-पॉलिसी सुपरविजन (स्वतंत्र रूप से सैंपल की गई अवस्थाओं) को ऑन-पॉलिसी सुपरविजन से बदलने के परिणामस्वरूप कम प्रदर्शन हुआ, विशेष रूप से बाद के डिनोइजिंग स्टेप्स में जहाँ एरर्स संचित (accumulate) होते हैं। यह विज़िट की गई अवस्थाओं को सुपरवाइज करने की आवश्यकता को प्रमाणित करता है।
- रिट्रीवल अलाइनमेंट: रिट्रीवल अलाइनमेंट जोड़ने से निरंतर लाभ मिला, जिससे बेहतर क्रॉस-व्यू कंसिस्टेंसी सुनिश्चित हुई।

महत्व और दावे

पेपर का दावा है कि TRACE-GS स्पार्स-व्यू 3DGS रेस्टोरेशन को संबोधित करने में एक मौलिक बदलाव का प्रतिनिधित्व करता है। अधिक परिष्कृत रेस्टोरेशन आर्किटेक्चर के पीछे भागने के बजाय, यह डिफ्यूजन-बेस्ड प्रायर के ट्रेनिंग-इन्फरेंस मिसमैच की मुख्य सीमा को संबोधित करता है।

इसका महत्व 3DGS पर लागू लर्निंग यूजिंग प्रिविलेज्ड इंफॉर्मेशन (LUPI) फ्रेमवर्क में निहित है:

यह एक ऐसे मॉडल को गाइड करने के लिए ट्रेनिंग-टाइम ज्योमेट्रिक एडवांटेज (डेंस व्यूज) का लाभ उठाता है जो डिप्लॉयमेंट के दौरान केवल स्पार्स व्यूज पर काम करता है।
यह सुनिश्चित करता है कि मार्गदर्शन ठीक वहीं दिया जाए जहाँ मॉडल को इसकी सबसे अधिक आवश्यकता होती है: इसके अपने इन्फरेंस ट्राजेक्टरी के साथ।
मेथड को एक "ड्रॉप-इन" रिफाइनमेंट स्टेज के रूप में प्रस्तुत किया गया है जिसे डिप्लॉयमेंट के दौरान किसी अतिरिक्त व्यू या कम्प्यूटेशनल ओवरहेड की आवश्यकता नहीं होती है, जो विविध डेटासेट्स और स्पैरसिटी लेवल्स में मजबूत जनरलाइजेशन प्राप्त करता है।