💻 computer science

GHOST: Geometry-Hierarchical Online Streaming Token Eviction for Efficient 3D Reconstruction

GHOST एक प्रशिक्षण-मुक्त (training-free), ज्यामिति-जागरूक (geometry-aware) फ्रेमवर्क है जो लंबे एकल कैमरा वीडियो (monocular videos) से कुशल 3D पुनर्निर्माण के लिए पदानुक्रमित महत्व स्कोरिंग (hierarchical importance scoring), विशेष टोकन संरक्षण (special token protection), और परत-वार बजट आवंटन (layer-wise budget allocation) का उपयोग करता है ताकि अनावश्यक टोकनों को ऑनलाइन हटाकर मेमोरी के उपयोग को काफी कम किया जा सके और पुनर्निर्माण की गुणवत्ता से समझौता किए बिना अनुमान (inference) की गति बढ़ाई जा सके।

मूल लेखक: Leyang Chen, Junyi Wu, Zhiteng Li, Yulun Zhang

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Leyang Chen, Junyi Wu, Zhiteng Li, Yulun Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कैमरे के साथ कमरे में घूमकर उसका एक सटीक 3D मॉडल बनाने की कोशिश कर रहे हैं, जिसमें हर कदम पर एक फोटो ली जा रही है। ऐसा करने के लिए, आपके कंप्यूटर मस्तिष्क (एक AI) को यह याद रखने की आवश्यकता है कि उसने अब तक कितनी तस्वीरें ली हैं ताकि वह समझ सके कि दीवारें, फर्नीचर और कोने एक-दूसरे से कैसे जुड़े हैं।

समस्या क्या है? यदि आप लंबे समय तक चलते हैं, तो कंप्यूटर की मेमोरी खत्म हो जाती है। यह वैसा ही है जैसे आप एक बैकपैक ले जा रहे हों जो हर कदम के साथ भारी होता जाता है जब तक कि आप गिर न जाएं।

पुराना तरीका: "भुलक्कड़ लाइब्रेरियन" (The "Forgetful Librarian")
पिछले तरीकों ने इसे इस तरह हल करने की कोशिश की जैसे एक लाइब्रेरियन जो केवल हाल ही में पढ़ी गई किताबें या वे किताबें रखता है जो वर्तमान में पढ़ी जा रही किताब के सबसे समान दिखती हैं।

दोष: शोध पत्र का तर्क है कि 3D के लिए यह एक खराब रणनीति है। सिर्फ इसलिए कि एक फोटो दूसरी फोटो के समान दिखती है, इसका मतलब यह नहीं है कि वह उपयोगी है। आपको 10 मिनट पहले ली गई दीवार की फोटो की आवश्यकता हो सकती है क्योंकि कैमरा एंगल थोड़ा बदल गया है, भले ही दीवार वैसी ही दिख रही हो। पुराने तरीकों ने इन "ज्यामितीय रूप से मूल्यवान" (geometrically valuable) तस्वीरों को इसलिए हटा दिया क्योंकि वे उस सटीक क्षण में "रोमांचक" नहीं लग रही थीं।

नया तरीका: GHOST (द "स्मार्ट आर्किटेक्ट")
लेखक GHOST पेश करते हैं, जो एक स्मार्ट आर्किटेक्ट की तरह काम करता है। केवल यह देखने के बजाय कि तस्वीरें दिखने में कितनी समान हैं, GHOST पूछता है: "क्या यह फोटो मुझे कमरे के आकार को समझने में मदद करती है?"

GHOST इन तीन सरल ट्रिक्स का उपयोग करके काम करता है:

1. टू-लेवल स्कोरकार्ड (बड़ी तस्वीर बनाम विवरण)

GHOST केवल एक फोटो को समग्र रूप से नहीं आंकता; यह इसे दो तरीकों से आंकता है:

लेवल 1: व्यूपॉइंट स्कोर (Viewpoint Score)। क्या कैमरा किसी नई जगह पर चला गया है? क्या कमरा अभी दिलचस्प कोनों और किनारों से भरा है? यदि कैमरा खाली गलियारे में बस गोल-गोल घूम रहा है, तो यह उबाऊ है (कम स्कोर)। यदि कैमरा एक नए कोण पर जाता है जहाँ एक जटिल सीढ़ी दिखाई देती है, तो यह बहुत कीमती है (उच्च स्कोर)।
लेवल 2: पैच स्कोर (Patch Score)। एक बेहतरीन फोटो में भी, कुछ हिस्से उबाऊ हो सकते हैं (जैसे एक सफेद खाली दीवार) और कुछ रोमांचक (जैसे एक मेज का किनारा)। GHOST "रोमांचक" हिस्सों को रखता है और "खाली दीवार" वाले हिस्सों को हटा देता है, भले ही वह पूरी फोटो महत्वपूर्ण क्यों न हो।

उपमा (Analogy): कल्पना कीजिए कि आप यात्रा के लिए एक सूटकेस पैक कर रहे हैं।

पुराना तरीका: "मैं पहनी हुई आखिरी 5 शर्ट रखूँगा।" (शायद वे सभी एक जैसी सफेद टी-शर्ट थीं)।
GHOST: "मैं वह शर्ट रखूँगा जो मौसम के अनुकूल हो (Viewpoint) और साथ ही उसमें विशिष्ट जेबें भी होंगी जो मेरे पासपोर्ट को संभाल सकें (Details), जबकि खाली जेबों को मैं हटा दूँगा।"

2. वीआईपी पास (विशेष टोकन की सुरक्षा)

AI के मस्तिष्क में, कुछ विशेष "टोकन" (डेटा के छोटे टुकड़े) होते हैं जो GPS निर्देशांक और कमरे के ब्लूप्रिंट के रूप में कार्य करते हैं। यदि आप इन्हें खो देते हैं, तो पूरा 3D मॉडल बिखर जाएगा।

समस्या: कभी-कभी, ये GPS टोकन किसी रंगीन खिलौने की चमकदार फोटो की तुलना में "उबाऊ" लग सकते हैं, इसलिए पुराना सिस्टम जगह बचाने के लिए उन्हें गलती से डिलीट कर सकता है।
GHOST का समाधान: GHOST इन विशेष टोकनों को एक VIP Pass देता है। वे चाहे कितने भी "उबाऊ" क्यों न दिखें, उन्हें कभी भी फेंका नहीं जाता। उन्हें सुरक्षित रखा जाता है ताकि AI कभी भी अपना दिशा-ज्ञान या दृश्य की समग्र संरचना न खोए।

3. स्मार्ट बजट (जहाँ जरूरत है वहीं खर्च करें)

कंप्यूटर के पास उसके मस्तिष्क के प्रत्येक स्तर (layer) पर खर्च करने के लिए सीमित "मेमोरी मनी" होती है।

पुराना तरीका: "आइए मस्तिष्क के प्रत्येक स्तर को मेमोरी की बिल्कुल समान मात्रा दें।"
GHOST का समाधान: GHOST अपने मस्तिष्क के स्तरों का पहले से अध्ययन करता है। वह पाता है कि कुछ स्तर "कड़ी मेहनत करने वाले" (hard workers) हैं जो जटिल बदलाव (डेटा को बहुत अधिक बदलना) करते हैं, जबकि अन्य "आलसी" हैं और जो उन्हें दिया गया है उसे बस दोहराते हैं।
- GHOST अधिक मेमोरी उन कड़ी मेहनत करने वाले स्तरों को देता है ताकि वे सभी महत्वपूर्ण विवरणों को बनाए रख सकें।
- यह कम मेमोरी आलसी स्तरों को देता है क्योंकि उन्हें अपना काम करने के लिए बहुत अधिक की आवश्यकता नहीं होती है।

परिणाम

इन तीन ट्रिक्स का उपयोग करके, GHOST मेमोरी खत्म होने से पहले दोगुनी लंबी वीडियो सीक्वेंस को प्रोसेस कर सकता है।

यह मेमोरी के उपयोग को लगभग 50% कम करता है।
यह कंप्यूटर को 1.75 गुना तेज़ बनाता है।
सबसे महत्वपूर्ण बात यह है कि इसके द्वारा बनाए गए 3D मॉडल पिछले सर्वोत्तम तरीकों की तुलना में अधिक सटीक होते हैं और उनमें त्रुटियां कम होती हैं, भले ही वीडियो बहुत लंबा हो।

संक्षेप में, GHOST AI को उबाऊ, दोहराव वाले डेटा पर जगह बर्बाद करने से रोकता है और अपनी सीमित मेमोरी को उन हिस्सों पर केंद्रित करता है जो वास्तव में उसे 3D दुनिया को समझने में मदद करते हैं।

तकनीकी सारांश: GHOST (जियोमेट्री-हायरार्किकल ऑनलाइन स्ट्रीमिंग टोकन इविक्शन)

समस्या विवरण

लंबे मोनोक्यूलर वीडियो अनुक्रमों से स्ट्रीमिंग 3D पुनर्निर्माण (reconstruction) एक महत्वपूर्ण मेमोरी बाधा का सामना करता है। ट्रांसफॉर्मर-आधारित मॉडल, जैसे कि VGGT, संयुक्त रूप से सभी इनपुट फ्रेमों पर ध्यान (attention) देकर अत्याधुनिक (SOTA) परिणाम प्राप्त करते हैं; हालाँकि, संयुक्त अटेंशन अनुक्रम की लंबाई के साथ द्विघातीय (quadratically) रूप से बढ़ता है, जो लंबे वीडियो के लिए इसे अव्यावहारिक बना देता है। स्ट्रीमVGGT और इनफिनिटVGGT जैसे स्ट्रीमिंग दृष्टिकोण बढ़ते हुए की-वैल्यू (KV) कैश को बनाए रखने और एक निश्चित बजट से अधिक होने पर टोकन को हटाने (evict करने) का प्रयास करके इस समस्या को कम करने की कोशिश करते हैं।

मौजूदा इविक्शन रणनीतियाँ, विशेष रूप से की-समानता (key-similarity) ह्यूरिस्टिक्स पर निर्भर रणनीतियाँ (जैसे कि उन टोकन को हटाना जिनके कीज़ वर्तमान क्वेरी के प्रति सबसे कम समान हैं), एक मौलिक सीमा से ग्रस्त हैं: वर्तमान क्वेरी फ्रेम से प्राप्त अटेंशन स्कोर ऐतिहासिक टोकन के दीर्घकालिक ज्यामितीय मूल्य (geometric value) को सही ढंग से नहीं दर्शाते हैं। जैसा कि पेपर में प्रदर्शित किया गया है, की-समानता स्कोर कैमरा पोज़ परिवर्तनों ( $\rho = -0.07$ ) के साथ नगण्य सहसंबंध दिखाते हैं और डेप्थ ग्रेडिएंट वेरिएंस ( $\rho = +0.31$ ) के साथ केवल मध्यम सहसंबंध दिखाते हैं। फलस्वरूप, ये विधियाँ उन टोकनों को संरक्षित करने में विफल रहती हैं जो दृष्टिगत रूप से वर्तमान फ्रेम के समान हैं लेकिन ज्यामितीय रूप से विशिष्ट हैं, जिससे लंबे अनुक्रमों में पुनर्निर्माण की गुणवत्ता में गिरावट आती है।

कार्यप्रणाली (Methodology)

लेखक GHOST (जियोमेट्री-हायरार्किकल ऑनलाइन स्ट्रीमिंग टोकन इविक्शन) का प्रस्ताव करते हैं, जो स्ट्रीमिंग 3D पुनर्निर्माण के लिए KV कैश प्रबंधित करने के लिए डिज़ाइन किया गया एक ट्रेनिंग-फ्री फ्रेमवर्क है। GHOST अटेंशन पैटर्न पर निर्भर रहने के बजाय, मॉडल के अपने 3D ज्यामिति आउटपुट (डेप्थ, पॉइंट मैप्स और कैमरा पोज़) का लाभ उठाकर टोकन के महत्व को निर्धारित करता है।

1. पदानुक्रमित द्वि-स्तरीय महत्व स्कोरिंग (Hierarchical Dual-Level Importance Scoring)

GHOST टोकन महत्व को दो परस्पर सुदृढ़ स्तरों में विभाजित करता है, जिसे बिना किसी अतिरिक्त फॉरवर्ड पास के ऑनलाइन वृद्धिशील (incrementally) रूप से अपडेट किया जाता है:

फ्रेम-स्तरीय महत्व ( $s_{frame}$ ): यह एक संपूर्ण दृश्य (viewpoint) के ज्यामितीय मूल्य को निर्धारित करता है। यह तीन संकेतों को एकीकृत करता है:
- कैमरा पोज़ परिवर्तन: महत्वपूर्ण व्यूपॉइंट शिफ्ट वाले फ्रेमों को बनाए रखने के लिए ट्रांसलेशनल निकटता और रोटेशनल समानता को दंडित करता है।
- डेप्थ ग्रेडिएंट वेरिएंस: एकसमान सतहों के बजाय समृद्ध संरचनात्मक विवरणों (किनारों, सीमाओं) वाले फ्रेमों को प्राथमिकता देता है।
- टेम्पोरल रिसेंसी (Temporal Recency): संदर्भ ओवरलैप बनाए रखने के लिए हाल के फ्रेमों को उच्च भार देता है, जबकि अद्वितीय दृष्टिकोण वाले पुराने फ्रेमों को भी सुरक्षित रखता है।
टोकन-स्तरीय महत्व ( $s_{token}$ ): एक फ्रेम के भीतर विशिष्ट सूचनात्मक पैच की पहचान करता है। यह एकत्रित करता है:
- विजुअल सैलिएंसी (Visual Saliency): ज्यामितीय पत्राचार (correspondence) को एंकर करने के लिए फीचर मैप्स के स्थानिक ग्रेडिएंट परिमाण के माध्यम से मापा जाता है।
- डेप्थ कॉन्फिडेंस: डेप्थ अनुमानों के संबंध में मॉडल की एपिस्टेमिक निश्चितता।
- पॉइंट कॉन्फिडेंस: 3D पॉइंट मैप अनुमानों के संबंध में मॉडल की निश्चितता।

अंतिम प्रति-पैच स्कोर $\phi(t, p)$ , सामान्यीकृत फ्रेम-स्तरीय और टोकन-स्तरीय स्कोर का एक भारित योग (weighted sum) है।

2. स्पेशल-टोकन प्रिविलेज मैकेनिज्म (Special-Token Privilege Mechanism)

मानक महत्व स्कोरिंग विजुअल सैलिएंसी की कमी के कारण स्पेशल टोकन (कैमरा टोकन $c_t$ और रजिस्टर टोकन $\{r^i_t\}$ ) को सूचनात्मक पैच टोकन की तुलना में कम रैंक दे सकती है। GHOST इन टोकनों के लिए एक नियतात्मक बूस्ट (deterministic boost) पेश करता है। एक निश्चित ऑफसेट ( $\Delta_{boost}$ ) और रैंक-आधारित टाई-ब्रेकर जोड़कर, यह तंत्र सुनिश्चित करता है कि वैश्विक दृश्य ज्यामिति और संरचनात्मक पूर्वग्रहों (structural priors) को एनकोड करने वाले टोकन कभी भी इवािक्ट न हों, जिससे पोज़ अनुमान और सीन ग्लोबलाइजेशन का क्षरण रुक जाता है।

3. कोसाइन-समानता-निर्देशित लेयर-वाइज बजट आवंटन (Cosine-Similarity-Guided Layer-Wise Budget Allocation)

यह पहचानते हुए कि ट्रांसफॉर्मर परतें अपनी "परिवर्तन शक्ति" (transformation strength) में भिन्न होती हैं, GHOST समान बजट वितरण से बचता है।

ऑफलाइन प्रोफाइलिंग: सिस्टम प्रतिनिधि अनुक्रमों के माध्यम से प्रत्येक परत के इनपुट और आउटपुट के बीच औसत कोसाइन समानता ( $\bar{\rho}_\ell$ ) की गणना करता है।
आवंटन: उच्च समानता (निकट-आइडेंटिटी ट्रांसफॉर्मेशन) वाली परतों को छोटा बजट आवंटित किया जाता है, जबकि कम समानता (मजबूत ट्रांसफॉर्मेशन) वाली परतों को बड़ा बजट दिया जाता है। यह टोकन बजट को वहां केंद्रित करता है जहाँ इसकी प्रतिनिधित्व संरक्षण के लिए सबसे अधिक आवश्यकता होती है।

मुख्य योगदान

जियोमेट्री-अवेयर स्कोरिंग: एक अभिनव, ट्रेनिंग-फ्री स्कोरिंग योजना जो अटेंशन पैटर्न और 3D संरचना के बीच के अंतर को संबोधित करने के लिए मॉडल के अपने 3D आउटपुट (डेप्थ, पॉइंट्स, पोज़) का उपयोग करती है।
स्पेशल-टोकन प्रोटेक्शन: एक नियतात्मक तंत्र जो कैमरा और रजिस्टर टोकन को बनाए रखने की गारंटी देता है, जिससे वैश्विक पोज़ और संरचनात्मक एनकोडिंग को इविक्शन से सुरक्षित रखा जा सके।
एडाप्टिव लेयर बजटिंग: एक ऑफलाइन प्रोफाइलिंग रणनीति जो प्रतिनिधित्व संरक्षण के लिए आवश्यक ट्रांसफॉर्मेशन स्ट्रेंथ के आधार पर KV कैश बजट आवंटित करती है।
व्यापक मूल्यांकन: कई बेंचमार्क और इनपुट लंबाई (9,545 फ्रेम तक) पर SOTA बेसलाइन्स से बेहतर प्रदर्शन करने वाला व्यापक मूल्यांकन।

प्रयोगात्मक परिणाम

लेखकों ने चार बेंचमार्क: Bonn, 7-Scenes, NRGBD, और Long3D पर विभिन्न इनपुट लंबाई के साथ GHOST का मूल्यांकन किया।

प्रदर्शन: GHOST लगभग सभी मेट्रिक्स (Accuracy, Completeness, Normal Consistency, और Depth Abs Rel) में VGGT, StreamVGGT, CUT3R, Point3R, TTT3R, और InfiniteVGGT जैसे बेसलाइन्स की तुलना में लगातार सर्वश्रेष्ठ प्रदर्शन करता है।
- 7-Scenes (300 फ्रेम) पर, GHOST ने InfiniteVGGT की तुलना में माध्य सटीकता त्रुटि (mean accuracy error) को 42.5% तक कम किया।
- Long3D (9,545 फ्रेम तक) पर, GHOST ने महत्वपूर्ण लाभ दिखाया, जिसमें सटीकता में सुधार अनुक्रम की लंबाई के साथ बढ़ता है (जैसे, लाइब्रेरी सीन पर 33.5% सुधार)।
दक्षता:
- मेमोरी रिडक्शन: GHOST KV कैश के आकार को लगभग आधा कर देता है (उदाहरण के लिए, 600k बजट पर 3.51 GB बनाम 6.94 GB) जबकि प्रतिस्पर्धी सटीकता बनाए रखता है।
- इन्फरेंस स्पीड: यह विधि अत्याधुनिक तरीकों की तुलना में 1.75× तेज़ इन्फरेंस प्रदान करती है।
एब्लेशन स्टडीज (Ablation Studies):
- स्पेशल-टोकन बूस्ट को हटाने से सटीकता और नॉर्मल कंसिस्टेंसी में गिरावट आई, जो वैश्विक संरचनात्मक टोकन को सुरक्षित रखने की महत्वपूर्ण प्रकृति की पुष्टि करती है।
- कोसाइन-समानता-निर्देशित बजट आवंटन ने यूनिफॉर्म आवंटन और अन्य प्रोफाइलिंग रणनीतियों (फिशर इंफॉर्मेशन, ग्रेडिएंट मैग्नीट्यूड) से बेहतर प्रदर्शन किया।
- सिस्टम ने महत्व के भार (importance weights) में व्यवधानों के प्रति मजबूती प्रदर्शित की।

महत्व

पेपर का दावा है कि GHOST वर्तमान स्ट्रीमिंग 3D पुनर्निर्माण की एक मौलिक सीमा को संबोधित करता है: अटेंशन-आधारित ह्यूरिस्टिक्स की ऐतिहासिक रूप से रेडंडेंट (redundant) टोकन और ज्यामितीय रूप से मूल्यवान टोकन के बीच अंतर करने में असमर्थता। अटेंशन पैटर्न से 3D ज्यामिति संकेतों की ओर इविक्शन मानदंड को बदलकर, GHOST टोकन प्रबंधन के लिए अधिक सिद्धांतपूर्ण दृष्टिकोण प्रदान करता है। यह फ्रेमवर्क काफी कम मेमोरी ओवरहेड और बेहतर इन्फरेंस स्पीड के साथ उच्च-गुणवत्ता वाले, लंबे-अनुक्रम 3D पुनर्निर्माण को सक्षम बनाता है, जो इसे निरंतर, अबाध वीडियो प्रोसेसिंग के लिए एक व्यवहार्य समाधान बनाता है। लेखक इस बात पर जोर देते हैं कि यह दिशा—3D कार्यों के लिए KV कैश संपीड़न हेतु मॉडल आउटपुट का उपयोग करना—पूर्व के कार्यों में नहीं खोजी गई थी।