💻 computer science

RegimeVGGT: Layer-Wise Spatially Preserving Redundancy Removal for Visual Geometry Grounded Transformer

RegimeVGGT एक प्रशिक्षण-मुक्त त्वरण विधि है जो स्पेक्ट्रल और कॉज़ल विश्लेषणों के माध्यम से पहचाने गए विशिष्ट कार्यात्मक क्षेत्रों के लिए अनुकूलित लेयर-वाइज, टू-एक्सिस संपीड़न रणनीतियों को लागू करके विजुअल ज्योमेट्री ग्राउंडेड ट्रांसफॉर्मर्स के लिए 6.7 गुना की गति वृद्धि प्राप्त करती है, जिससे घने 3D पुनर्निर्माण की गुणवत्ता को बनाए रखते हुए अनावश्यक क्रॉस-फ्रेम अटेंशन को समाप्त किया जाता है।

मूल लेखक: Jinhao You (University of Pennsylvania), Shuo Lyu (University of Pennsylvania), Zhuohang Lyu (University of Pennsylvania), Tanxuan Li (University of Pennsylvania), Zibo Zhao (University of Pennsylvani

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinhao You (University of Pennsylvania), Shuo Lyu (University of Pennsylvania), Zhuohang Lyu (University of Pennsylvania), Tanxuan Li (University of Pennsylvania), Zibo Zhao (University of Pennsylvania), Jiaxiang Hu (University of California, Irvine), Kai Tang (Nanyang Technological University), Yichen Guo (Nanyang Technological University)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास VGGT नाम का एक सुपर-स्मार्ट रोबोट है जिसका काम तस्वीरों की एक श्रृंखला को देखना और तुरंत अपने दिमाग में दुनिया का एक सटीक 3D मॉडल बनाना है। यह अद्भुत है, लेकिन इसकी एक बहुत बड़ी समस्या है: यह अविश्वसनीय रूप से धीमा और मेमोरी-भूखा (memory-hungry) है। यदि आप इसे बहुत अधिक तस्वीरें देते हैं (जैसे कि एक लंबा वीडियो), तो यह अपनी दिमागी शक्ति खो देता है और क्रैश हो जाता है।

यह पेपर एक नई विधि पेश करता है जिसे RegimeVGGT कहा जाता है। इसे एक "स्मार्ट मैनेजर" के रूप में सोचें जो रोबोट को बताता है कि बिना अपनी सटीकता खोए वह वास्तव में तेजी से कैसे काम कर सकता है।

यह यहाँ बताया गया है कि यह कैसे काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: रोबोट अत्यधिक काम कर रहा है

मूल रोबोट (VGGT) हर एक फोटो की तुलना एक ही समय में हर दूसरी फोटो से करने की कोशिश करता है।

उपमा: कल्पना कीजिए कि 100 छात्रों की एक कक्षा है। शिक्षक हर छात्र से कहता है कि एक पहेली को हल करने के लिए हर छात्र एक साथ अपना हाथ उठाए और हर दूसरे छात्र से बात करे। शोर कान फोड़ने वाला है, और इसमें बहुत समय लगता है। यह वही है जो रोबोट अपने "अटेंशन" (attention) के साथ करता है।

2. खोज: सभी लेयर्स (Layers) समान नहीं हैं

शोधकर्ताओं ने रोबोट के मस्तिष्क (जिसमें सोचने के 24 लेयर्स हैं) का अध्ययन किया और पाया कि यह हर चरण में एक ही तरह से काम नहीं करता है। उन्होंने तीन अलग-अलग "रेजीम" (regimes) या ज़ोन खोजे:

शैलो ज़ोन (Shallow Zone - लेयर्स 1–10): रोबोट केवल तस्वीरों को देख रहा है। उसने अभी तक यह नहीं समझा है कि 3D आकार कैसे जुड़ते हैं। यह मुख्य रूप से केवल कच्चा डेटा (raw data) इकट्ठा कर रहा है।
मिडल ज़ोन (Middle Zone - लेयर्स 11–18): यह "भारी काम" वाला ज़ोन है। यहीं पर रोबोट वास्तव में यह समझता है कि 3D दुनिया कैसे फिट बैठती है। यहाँ उसे हर चीज़ पर बहुत ध्यान देने की आवश्यकता होती है।
डीप ज़ोन (Deep Zone - लेयर्स 19–24): रोबोट ने लगभग 3D आकार बना लिया है। वह बस बारीकियों को निखार रहा है। हालाँकि, उसे कैमरे की स्थिति (रोबोट कहाँ खड़ा है) पर भी नज़र रखनी होगी ताकि वह रास्ता न भटक जाए।

अंतर्दृष्टि (Insight): पुराने रोबोट ने तीनों ज़ोन के साथ एक जैसा व्यवहार किया, जिससे शैलो और डीप ज़ोन में ऊर्जा की बर्बादी हुई। नया तरीका उन्हें अलग तरह से ट्रीट करता है।

3. समाधान: दो स्मार्ट ट्रिक्स

RegimeVGGT दो विशिष्ट ट्रिक्स का उपयोग करता है, जिन्हें रोबोट जिस "ज़ोन" में होता है उसके आधार पर अलग-अलग लागू किया जाता है।

ट्रिक A: "स्मार्ट मर्ज" (टोकन काउंट के लिए)

छवि के हर एक छोटे टुकड़े (हर "टोकन") को देखने के बजाय, रोबोट समान टुकड़ों को आपस में मिला (merge) देता है।

उपमा: कल्पना कीजिए कि आप एक लंबी किताब पढ़ रहे हैं। उबाऊ हिस्सों में (Shallow/Deep zones), आप पैराग्राफों को मिला सकते हैं और सरसरी तौर पर पढ़ सकते हैं क्योंकि वहां विवरण बहुत मायने नहीं रखते। लेकिन रोमांचक क्लाइमेक्स (Middle zone) में, आप हर एक शब्द को ध्यान से पढ़ते हैं।
चेतावनी: शोधकर्ताओं ने पाया कि कुछ शब्द बहुत महत्वपूर्ण होते हैं (जैसे वस्तुओं के "किनारे" या "गहराई में बदलाव")। वे एक विशेष "हाइलाइटर" (एक पूर्व-प्रशिक्षित AI जिसे DINOv2 कहा जाता है) का उपयोग करते हैं ताकि यह सुनिश्चित हो सके कि ये महत्वपूर्ण टुकड़े, भले ही वे सरसरी तौर पर पढ़ रहे हों, कभी भी मर्ज होकर गायब न हो जाएं।

ट्रिक B: "सिलेक्टिव मेमोरी" (K/V डाउनसैंपलिंग के लिए)

AI में, "की/वैल्यू" (Key/Value - K/V) रोबोट के मेमोरी बैंक की तरह है। यह नए इनपुट के साथ तुलना करने के लिए जानकारी संग्रहीत करता है।

उपमा: कल्पना कीजिए कि आप लोगों की एक लंबी कतार को याद करने की कोशिश कर रहे हैं।
- समस्या: यदि आप कतार में मौजूद हर व्यक्ति के हर विवरण को याद रखने की कोशिश करते हैं, तो आपकी मेमोरी भर जाएगी।
- समाधान: रोबोट कतार में मौजूद लोगों का केवल एक "सैंपल" (नमूना) याद रखता है, लेकिन वह प्रत्येक नए फ्रेम के लिए सैंपल को थोड़ा बदल देता है।
- सुरक्षा जाल: महत्वपूर्ण रूप से, यह "एंकर" (पहली फोटो) और "कैमरा टोकन" (रोबोट का अपना स्थान) को कभी भी नहीं भूलता है।
- क्यों? यदि रोबोट यह भूल जाता है कि उसने कहाँ से शुरुआत की थी या वह कहाँ खड़ा है, तो पूरा 3D मैप ढह जाएगा। "एंकर" और "कैमरा" को पूरी तरह से विस्तृत रखते हुए, लेकिन बाकी भीड़ का सैंपल लेकर, यह मेमोरी की भारी बचत करता है और मैप को सटीक बनाए रखता है।

4. परिणाम

इन दो ट्रिक्स को जोड़कर—उबाऊ हिस्सों को सरसरी तौर पर पढ़ना, महत्वपूर्ण किनारों को हाइलाइट करना, और एंकर को सुरक्षित रखते हुए भीड़ का सैंपल लेना—रोबोट 6.7 गुना तेज़ हो जाता है।

पहले: रोबोट मेमोरी खत्म होने से पहले केवल लगभग 300 फोटो संभाल सकता था।
अब: यह 1,000 फोटो को आसानी से संभाल सकता है, जो कि बिना किसी गलती के (3D मॉडल या कैमरे के पथ में) बहुत तेज़ी से चलता है।

सारांश

RegimeVGGT एक अत्यंत कुशल प्रोजेक्ट मैनेजर की तरह है। यह जानता है कि प्रोजेक्ट के शुरू और अंत में बीच के हिस्से की तुलना में कम विस्तृत ध्यान की आवश्यकता होती है। यह टीम को आसान हिस्सों में कार्यों को "मर्ज" करने, कठिन हिस्सों में भीड़ का "सैंपल" लेने, लेकिन हमेशा प्रोजेक्ट लीडर (कैमरा) और मूल ब्लूप्रिंट (पहला फ्रेम) को पूरी तरह से सुरक्षित रखने के लिए कहता है। इससे टीम बिना गुणवत्ता खोए 6.7 गुना तेज़ी से काम पूरा कर सकती है।

RegimeVGGT का तकनीकी सारांश

समस्या विवरण (Problem Statement)
विजुअल ज्योमेट्री ग्राउंडेड ट्रांसफॉर्मर (VGGT), मल्टी-व्यू छवियों से सिंगल फॉरवर्ड पास में सघन (dense) 3D दृश्य संरचनाओं को रिकवर करने में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। हालाँकि, इसकी वास्तुकला एक 24-लेयर एग्रीगेटर पर निर्भर करती है जिसमें बारी-बारी से फ्रेम-वाइज और ग्लोबल क्रॉस-फ्रेम अटेंशन का उपयोग होता है, जिससे $O(S^2P^2)$ की गणना लागत आती है, जहाँ $S$ फ्रेमों की संख्या है और $P$ प्रति फ्रेम पैच की संख्या है। यह क्वाड्रेटिक स्केलिंग (quadratic scaling) मूल मॉडल को ~300 फ्रेमों से अधिक की अनुक्रमों (sequences) पर मेमोरी समाप्त करने के लिए मजबूर कर देती है (NVIDIA H800 जैसे उच्च-स्तरीय GPU पर भी), और इसकी मेमोरी-अनुकूलित वेरिएंट (VGGT*) लंबी अनुक्रमों के लिए अत्यधिक धीमी हो जाती है। मौजूदा ट्रेनिंग-फ्री एक्सेलेरेटर्स इसे एक एकल अक्ष (axis) के साथ गणना को समान रूप से कम करके (जैसे कि सभी लेयर्स में टोकन को मर्ज करना या स्थानिक ग्रिड पर Key/Value को सबसैंपल करना) कम करने का प्रयास करते हैं। ये दृष्टिकोण VGGT की विषमता (heterogeneity) को ध्यान में रखने में विफल रहते हैं, जिससे अधिक कुशल और लक्षित संपीड़न (targeted compression) के अवसरों को खो दिया जाता है।

कार्यप्रणाली (Methodology)
RegimeVGGT इन सीमाओं को एक ट्रेनिंग-फ्री फ्रेमवर्क के माध्यम से संबोधित करता है जो दो ऑर्थोगोनल अक्षों पर: टोकन-काउंट अक्ष और Key/Value (K/V) डेंसिटी अक्ष के साथ, लेयर-वाइज, U-आकार का संपीड़न लागू करता है। यह कार्यप्रणाली स्पेक्ट्रल, प्रोबिंग और कॉज़ल विश्लेषण पर आधारित है जो प्रकट करता है कि VGGT के 24 ग्लोबल-अटेंशन लेयर्स तीन कार्यात्मक रूप से विशिष्ट रेजिम्स (regimes) में विभाजित हैं:

शैलो लेयर्स (L1–L10): इनमें क्रॉस-व्यू स्ट्रक्चर का अभाव होता है और ये लो इफेक्टिव रैंक (low effective rank) प्रदर्शित करती हैं।
मिडल लेयर्स (L11–L18): ये क्रॉस-व्यू अलाइनमेंट और पॉइंट-क्लाउड रिकंस्ट्रक्शन को संचालित करती हैं, जिनकी विशेषता उच्च प्रभावी रैंक और ज्योमेट्री- एवं एज-सैलिएंट टोकन का संकेंद्रण है।
डीप लेयर्स (L19–L24): ये सघन पुनर्निर्माण के लिए ज्यामितीय रूप से निष्क्रिय (geometrically inert) हैं लेकिन पोज़ एस्टीमेशन के लिए आवश्यक हैं; ये लगभग-रैंक-1 रेडंडेंसी (near-rank-1 redundancy) प्रदर्शित करती हैं लेकिन कैमरा टोकन के लिए एक संरक्षित क्रॉस-फ्रेम पाथ की आवश्यकता होती है।

इस विश्लेषण के आधार पर, RegimeVGGT प्रत्येक ग्लोबल ब्लॉक के भीतर दो कंपोजिट ऑपरेटर्स का उपयोग करता है:

सैलिएंसी-गाइडेड बैंडेड मर्जिंग (टोकन-काउंट अक्ष):
- रणनीति: रैंक प्रोफाइल को प्रतिबिंबित करने वाला एक U-आकार का मर्ज रेशियो ( $\rho$ ) लागू करता है: शैलो ( $\rho=0.99$ ) और डीप ( $\rho=0.99$ ) लेयर्स में आक्रामक मर्जिंग, और मिडल बैंड में रूढ़िवादी (conservative) मर्जिंग ( $\rho=0.50$ )।
- संरक्षण: 3D बाउंड्री जानकारी के नुकसान को रोकने के लिए, यह विधि एक फ्रोजन DINOv2 [CLS] क्लास-अटेंशन सैलिएंसी स्कोर ( $\Psi$ ) द्वारा पहचाने गए टोकन के एक उपसमूह को सुरक्षित करती है। यह बिना किसी ग्राउंड-ट्रुथ डेप्थ या अतिरिक्त ट्रेनिंग के, ज्योमेट्री- और एज-सैलिएंट टोकन के स्थान का अनुमान लगाता है।
- अनुकूलन: मैचिंग लागत को कम करने के लिए बैंड-अलाइन्ड कैशिंग का उपयोग करता है और मर्ज किए गए टोकन को सही ढंग से वेट करने के लिए साइज-अवेयर अटेंशन का उपयोग करता है।
सिलेक्टिवली प्रोटेक्टेड K/V डाउनसैंपलिंग (K/V-डेंसिटी अक्ष):
- रणनीति: यह U-आकार के रेट ( $\sigma$ ) का उपयोग करके K/V सेट को कंप्रेस करता है, जिसमें मिडल बैंड में सबसे घने K/V रखे जाते हैं और किनारों (flanks) में सबसे विरल (sparse) रखे जाते हैं।
- फेज-शिफ्टेड ग्रिड: व्यवस्थित स्थानिक ब्लाइंड स्पॉट (spatial blind spots) से बचने के लिए, K/V रिटेंशन के लिए सब-ग्रिड को फ्रेम इंडेक्स के आधार पर फेज-शिफ्ट किया जाता है। जैसे-जैसे अनुक्रम की लंबाई बढ़ती है, रिटेन किए गए स्थानों का यूनियन पूर्ण स्थानिक कवरेज के करीब पहुँच जाता है।
- क्रिटिकल पाथ प्रिजर्वेशन: यह विधि पोज़ एस्टीमेशन के लिए आवश्यक क्रॉस-फ्रेम अटेंशन पाथ को सख्ती से सुरक्षित रखती है। इसमें शामिल हैं:
  - कैमरा और रजिस्टर टोकन को पूर्ण डेंसिटी के साथ रखना।
  - अलाइनमेंट के लिए एक स्थिर वर्ल्ड रेफरेंस प्रदान करने हेतु फ्रेम 0 पर एक फुल-डेंसिटी "एंकर" बनाए रखना।
  - डाउनसैंपलिंग से ज्योमेट्री- और एज-सैलिएंट पैच (जो $\Psi$ द्वारा पहचाने गए हैं) को बचाना।

प्रमुख योगदान (Key Contributions)

रेजीम डिस्कवरी: यह पेपर स्थापित करता है कि VGGT की रेडंडेंसी यूनिफॉर्म नहीं है बल्कि तीन-बैंड रेजीम (शैलो, मिडल, डीप) का पालन करती है, जिनके विशिष्ट कार्यात्मक रोल और स्पेक्ट्रल गुण हैं।
डुअल-एक्सिस कंप्रेशन: यह एक ऐसा फ्रेमवर्क पेश करता है जो टोकन-काउंट और K/V-डेंसिटी दोनों अक्षों पर एक साथ संपीड़न करता है, जो प्रत्येक रेजीम की विशिष्ट विषमता का लाभ उठाता है।
पोज़-अवेयर डिज़ाइन: पिछले तरीकों के विपरीत जो पोज़ एस्टीमेशन को खराब कर सकते हैं, RegimeVGGT स्पष्ट रूप से कैमरा/रजिस्टर टोकन और पैच के बीच क्रॉस-फ्रेम अटेंशन पाथ को सुरक्षित करता है, जिससे लॉन्ग-सीक्वेंस स्थिरता सुनिश्चित होती है।
ट्रेनिंग-फ्री एफिशिएंसी: संपूर्ण पाइपलाइन बिना किसी फाइन-ट्यूनिंग के काम करती है, जो सैलिएंसी एस्टीमेशन के लिए फ्रोजन प्री-ट्रेंड मॉडल्स (DINOv2) और डिटरमिनिस्टिक कंप्रेशन शेड्यूल्स पर निर्भर करती है।

प्रायोगिक परिणाम (Experimental Results)
7 Scenes, NRGBD, ScanNet-50, Tanks & Temples, और DTU जैसे डेटासेट्स पर मूल्यांकन करते हुए, RegimeVGGT पुनर्निर्माण की गुणवत्ता से समझौता किए बिना महत्वपूर्ण दक्षता लाभ प्रदर्शित करता है:

स्पीडअप: ScanNet-1000 (1000 फ्रेम) पर VGGT* की तुलना में 6.7× एंड-टू-एंड स्पीडअप प्राप्त करता है, जबकि समान पुनर्निर्माण गुणवत्ता (Chamfer Distance) बनाए रखता है।
स्केलेबिलिटी: उन 1000 फ्रेमों के अनुक्रमों को सफलतापूर्वक प्रोसेस करता है जहाँ मूल VGGT मेमोरी समाप्त कर देता है और VGGT* काफी धीमा हो जाता है।
पोज़ एस्टीमेशन: छोटे और लंबे अनुक्रमों में कैमरा पोज़ एस्टीमेशन (AUC@30, ATE, ARE) में उच्च सटीकता बनाए रखता है, जो समकालीन ट्रेनिंग-फ्री एक्सेलेरेटर्स (FastVGGT, S-VGGT) और VGGT* बेसलाइन से बेहतर या उनके बराबर प्रदर्शन करता है।
मेमोरी एफिशिएंसी: सहायक बफ़र्स या मर्ज इंडेक्स पर निर्भर बेसलाइन्स की तुलना में पीक GPU मेमोरी उपयोग को कम करता है, जिससे 80GB VRAM बाधाओं के भीतर लंबे अनुक्रमों पर इन्फरेंस संभव हो पाता है।

महत्व (Significance)
यह पेपर दावा करता है कि RegimeVGGT का महत्व इस बात में निहित है कि यह प्रदर्शित करता है कि ग्लोबल अटेंशन 3D विजन ट्रांसफॉर्मर्स में "विषम रूप से रेडंडेंट" (heterogeneously redundant) है। यूनिफॉर्म कंप्रेशन रणनीतियों से आगे बढ़कर और नेटवर्क के विशिष्ट कार्यात्मक रेजीम्स (पोज़ पाथ को सुरक्षित रखते हुए और ज्यामितीय रूप से रेडंडेंट लेयर्स को आक्रामक रूप से कंप्रेस करते हुए) के लिए कंप्रेशन शेड्यूल को तैयार करके, यह विधि पर्याप्त स्केलेबिलिटी प्राप्त करती है। यह VGGT को लंबे-अनुक्रम, वास्तविक दुनिया के परिदृश्यों (जैसे स्वायत्त ड्राइविंग या बड़े पैमाने पर मैपिंग) में लागू करने की अनुमति देता है जो मेमोरी और कम्प्यूटेशनल बाधाओं के कारण पहले असंभव थे, और वह भी बिना किसी री-ट्रेनिंग या फाइन-ट्यूनिंग की आवश्यकता के।