🤖 AI

Distilling 3D Spatial Reasoning into a Lightweight Vision-Language Model with CoT

यह शोध पत्र एक नॉलेज डिस्टिलेशन फ्रेमवर्क पेश करता है जो VGGT और एक नवीन "हिडन CoT" लेटेंट स्क्रैचपैड तंत्र का उपयोग करके एक बड़े टीचर मॉडल से एक हल्के स्टूडेंट मॉडल में 3D स्थानिक तर्क (spatial reasoning) को स्थानांतरित करता है, जिससे 3D दृश्य समझ के कार्यों पर मजबूत प्रदर्शन बनाए रखते हुए मॉडल के आकार और इन्फरेंस लेटेंसी में महत्वपूर्ण कमी आती है।

मूल लेखक: Alaa Asfour, Christopher Indris, Leihan Chen, Tejas Vyas, Guanghui Wang

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alaa Asfour, Christopher Indris, Leihan Chen, Tejas Vyas, Guanghui Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, विश्व स्तरीय वास्तुकार (शिक्षक) है जो एक 3D कमरे को देख सकता है, समझ सकता है कि हर कुर्सी, मेज और खिड़की कहाँ है, और उनके बीच के स्थानिक संबंधों (spatial relationships) को पूरी बारीकी से समझा सकता है। यह वास्तुकार अविश्वसनीय रूप से बुद्धिमान है, लेकिन वे बहुत विशाल, धीमे हैं और उन्हें चलाने के लिए एक विशाल, महंगे सुपरकंप्यूटर की आवश्यकता होती है। आप उन्हें अपने फोन पर नहीं ले जा सकते या किसी छोटे रोबोट में नहीं डाल सकते।

यह शोध पत्र एक कनिष्ठ वास्तुकार (छात्र) बनाने का एक तरीका प्रस्तुत करता है जो बहुत छोटा, तेज़ है और एक सामान्य कंप्यूटर में समा सकता है, लेकिन वह बड़े वास्तुकार की अधिकांश स्थानिक समझ (spatial smarts) को याद रखता है।

उन्होंने इसे कैसे किया, सरल उपमाओं के माध्यम through समझाया गया है:

1. "शैडो ट्रेनिंग" (ज्ञान आसवन - Knowledge Distillation)

कनिष्ठ वास्तुकार को केवल चित्र दिखाने और उनसे अनुमान लगाने के लिए कहने के बजाय, शोधकर्ताओं ने नॉलेज डिस्टिलेशन (Knowledge Distillation) नामक तकनीक का उपयोग किया।

उपमा: कल्पना कीजिए कि कनिष्ठ वास्तुकार, मुख्य वास्तुकार का अनुसरण (shadowing) कर रहा है। हर बार जब मुख्य वास्तुकार एक कमरे को देखता है और कहता है, "लैंप सोफे के बाईं ओर है," तो कनिष्ठ उसी विचार प्रक्रिया की नकल करने की कोशिश करता है।
परिणाम: कनिष्ठ मुख्य वास्तुकार की तुलना में लगभग 3 गुना छोटा और 8.7 गुना तेज़ होने का सीख जाता है। हालांकि कनिष्ठ शब्दों के मामले में मुख्य वास्तुकार जितना वाकपटु नहीं है, फिर भी यह 3D स्थान में चीजों को समझने की मुख्य वास्तुकार की क्षमता का लगभग 54% से 72% बनाए रखता है।

2. "गुप्त रफ नोटबुक" (हिडन चेन-ऑफ-थॉट - Hidden Chain-of-Thought)

यह इस शोध पत्र का सबसे रचनात्मक आविष्कार है। आमतौर पर, एक छोटे मॉडल को गहराई से सोचने के लिए सिखाने हेतु, आपको उसे "चरण-दर-चरण" तर्क के लंबे उदाहरण दिखाने होते हैं (जैसे एक गणित शिक्षक काम करने का तरीका दिखाता है)। लेकिन शोधकर्ताओं के पास ऐसे उदाहरण नहीं थे, और वे नहीं चाहते थे कि कनिष्ठ वास्तुकार सोचने के दौरान ज़ोर से बोले क्योंकि इससे उसकी गति धीमी हो जाती।

इसलिए, उन्होंने हिडन चेन-ऑफ-थॉट (Hidden Chain-of-Thought) का आविष्कार किया।

उपमा: कल्पना कीजिए कि कनिष्ठ वास्तुकार के पास एक गुप्त मानसिक नोटबुक (एक "स्क्रैचपैड") है जिसे केवल वे ही देख सकते हैं। अंतिम उत्तर देने से पहले, वे अपने विचारों को व्यवस्थित करने के लिए अपने लिए कुछ त्वरित, अदृश्य नोट्स लिखते हैं।
यह कैसे काम करता है: उन्होंने मॉडल के मस्तिष्क में कुछ विशेष "थिंकिंग टोकन" (अदृश्य प्लेसहोल्डर्स) जोड़े। मॉडल अपने आंतरिक गणित और तर्क करने के लिए इनका उपयोग करता है।
जादू: आप उन नोट्स को कभी नहीं देखते। मॉडल आपको केवल अंतिम उत्तर दिखाता है। लेकिन क्योंकि उसके पास सोचने के लिए वह गुप्त स्थान था, वह बिना किसी शिक्षक द्वारा चरणों को बोलकर समझाने की आवश्यकता के, स्थानिक पहेलियों को सुलझाने में बहुत बेहतर हो गया। यह एक निजी कार्यक्षेत्र देने जैसा है बिना अंतिम रिपोर्ट को बदले जो वे जमा करते हैं।

3. "बहु-संवेदी" प्रशिक्षण (Multi-Sense Training)

कनिष्ठ वास्तुकार को केवल बात करना ही नहीं सिखाया गया; इसे गहराई (depth) को "देखने" और वस्तुओं को खोजने के लिए भी प्रशिक्षित किया गया।

उपमा: इसे एक कुत्ते को न केवल बैठने के लिए, बल्कि एक साथ गेंद लाने और छिपे हुए इनाम की ओर इशारा करने के लिए प्रशिक्षित करने के तौर पर सोचें। मॉडल को प्रश्न का उत्तर देते समय गहराई (चीजें कितनी दूर हैं) और वस्तुओं का पता लगाने के लिए मजबूर करके, इसने अपने मन में एक मजबूत, अधिक सटीक 3D मानचित्र बनाया।
उपकरण: उन्होंने मुख्य वास्तुकार द्वारा उपयोग किए जाने वाले पुराने कैमरा लेंस को एक नए, विशेष लेंस VGDT से बदल दिया, जो विशेष रूप से 3D ज्यामिति को समझने के लिए डिज़ाइन किया गया है, जिससे कनिष्ठ दुनिया को 3D में अधिक स्पष्ट रूप से देख पाता है।

4. परिणाम: तेज़, छोटा और पर्याप्त स्मार्ट

शोधकर्ताओं ने इस नए कनिष्ठ वास्तुकार का वास्तविक 3D कमरे के डेटासेट (जैसे ScanNet और 3D-FRONT) पर परीक्षण किया।

गति: कनिष्ठ मुख्य वास्तुकार की तुलना में 8.7 गुना तेज़ है। यदि मुख्य वास्तुकार को सोचने में लंबा समय लगता है, तो कनिष्ठ की तुलना में यह लगभग तुरंत है।
आकार: कनिष्ठ 3 गुना छोटा है, जिसका अर्थ है कि यह उन उपकरणों पर चल सकता है जो मुख्य वास्तुकार को संभाल नहीं सकते थे।
सटीकता: हालांकि कनिष्ठ कभी-कभी मुख्य वास्तुकार की तुलना में छोटे, कम विस्तृत उत्तर देता है (यह शब्दों के मामले में थोड़ा अधिक "रूढ़िवादी" है), लेकिन यह कठिन कार्यों में आश्चर्यजनक रूप से अच्छा है: जैसे यह जानना कि कप मेज पर है या कुर्सी खिड़की के पास है। इसने इन विशिष्ट स्थानिक कार्यों पर मुख्य वास्तुकार के स्कोर का लगभग 68-72% प्राप्त किया।

सारांश

यह शोध पत्र दिखाता है कि आप एक विशाल, धीमे 3D मस्तिष्क को एक छोटे, तेज़ मस्तिष्क में कैसे बदल सकते हैं:

बुनियादी बातें सीखने के लिए एक बड़े शिक्षक का अनुसरण (Shadowing) करके।
छोटे मस्तिष्क को समस्याओं को हल करने के लिए एक गुप्त मानसिक स्क्रैचपैड देकर, बिना यह सिखाए कि उन्हें शब्दों में कैसे व्यक्त किया जाए।
इसे गहराई और वस्तुओं को एक साथ देखने के लिए प्रशिक्षित करके।

परिणामस्वरूप, यह एक ऐसा मॉडल है जो रोबोट या ऑगमेंटेड रियलिटी चश्मे जैसे वास्तविक दुनिया के उपकरणों में उपयोग के लिए तैयार है, जहाँ गति और आकार, लंबी और विस्तृत बातचीत की तुलना में अधिक महत्वपूर्ण होते हैं।

तकनीकी सारांश: एक लाइटवेट विजन-लैंग्वेज मॉडल के साथ कोट (CoT) के माध्यम से 3D स्थानिक तर्क का आसवन (Distilling)

समस्या विवरण
बड़े पैमाने के 3D विजन-लैंग्वेज मॉडल्स (VLMs), जैसे कि LLaVA-3D, रोबोटिक्स, ऑगमेंटेड रियलिटी और स्वायत्त नेविगेशन के लिए स्थानिक तर्क (spatial reasoning) में मजबूत क्षमता प्रदर्शित करते हैं। हालांकि, इनका परिनियोजन (deployment) उच्च GPU मेमोरी उपयोग, पर्याप्त इन्फरेंस लेटेंसी और क्वाड्रेटिक अटेंशन कॉम्प्लेक्सिटी सहित महत्वपूर्ण कम्प्यूटेशनल मांगों के कारण बाधित होता है। मौजूदा मॉडल कंप्रेशन तकनीकें 2D VLMs के लिए तो उपलब्ध हैं, लेकिन उन्हें 3D-जागरूक मॉडल्स पर व्यवस्थित रूप से लागू नहीं किया गया है, जिससे निम्नलिखित क्षेत्रों में शोध का अभाव रह गया है: (1) बड़े टीचर्स से कॉम्पैक्ट स्टूडेंट्स में 3D ज्यामितीय समझ का आसवन (distilling) करना; (2) उन्नत विजन एनकोडर्स जैसे VGGT को डिस्टिल्ड 3D VLMs में एकीकृत करना; (3) संपीड़ित (compressed) 3D VLMs में दक्षता-सटीकता ट्रेड-ऑफ का मूल्यांकन करना; और (4) बिना स्पष्ट चेन-ऑफ-थॉट (CoT) डेटा या CoT-सक्षम टीचर की आवश्यकता के, डिस्टिल्ड मॉडल्स में तर्क क्षमता को बढ़ाना।

कार्यप्रणाली (Methodology)
लेखक एक नॉलेज डिस्टिलेशन फ्रेमवर्क प्रस्तावित करते हैं जो 7B-पैरामीटर वाले टीचर (LLaVA-3D-7B) से 2.29B-पैरामीटर वाले स्टूडेंट मॉडल में 3D स्थानिक तर्क क्षमता को स्थानांतरित करता है। यह दृष्टिकोण तीन मुख्य घटकों से बना है:

आर्किटेक्चर डिज़ाइन:
- विजन एनकोडर: स्टूडेंट मॉडल टीचर के CLIP-आधारित टॉवर के स्थान पर VGGT (विजुअल ज्योमेट्री ग्राउंडेड ट्रांसफॉर्मर) का उपयोग करता है, जो बेहतर 3D सीन समझ के लिए इसके ज्यामितीय प्रायोर (geometric priors - कैमरा और डेप्थ एस्टीमेशन) का लाभ उठाता है।
- लैंग्वेज मॉडल: टीचर के LLaMA बैकबोन के बजाय एक कस्टम 2.29B पैरामीटर ट्रांसफार्मर आर्किटेक्चर (24 लेयर्स, 2048 हिडन साइज) का उपयोग किया गया है।
- मल्टी-टास्क हेड्स: स्टूडेंट में टेक्स्ट जनरेशन, डेप्थ एस्टीमेशन (रिग्रेशन) और ऑब्जेक्ट डिटेक्शन के लिए हेड्स शामिल हैं ताकि केवल टेक्स्ट के अलावा 3D स्थानिक ग्राउंडिंग को सुदृढ़ किया जा सके।
हिडन चेन-ऑफ-थॉट (Hidden CoT):
- CoT-डेटा या CoT-सक्षम टीचर की आवश्यकता के बिना छोटे मॉडल्स में मल्टी-स्टेप रीजनिंग क्षमता की कमी को दूर करने के लिए, लेखक हिडन CoT पेश करते हैं।
- यह तंत्र विजन एनकोडिंग और प्रश्न-उत्तर अनुक्रम के बीच $K$ लर्न करने योग्य "थिंकिंग" टोकन ( $T_1...T_K$ ) का एक निश्चित सेट सम्मिलित करता है।
- प्रशिक्षण (Training): मॉडल को विशेष रूप से अंतिम उत्तर टोकन ( $A$ ) पर प्रशिक्षित किया जाता है; थिंकिंग टोकन को कोई प्रत्यक्ष पर्यवेक्षण (supervision) नहीं मिलता है और उन्हें कभी डिकोड नहीं किया जाता है। ग्रेडिएंट्स केवल उत्तर लॉस (answer loss) से प्रवाहित होते हैं, जो टोकन्स को आंतरिक रूप से लेटेंट स्ट्रक्चर कैप्चर करने के लिए प्रोत्साहित करते हैं।
- इन्फरेंस (Inference): इंटरफ़ेस अपरिवर्तित रहता है; केवल अंतिम उत्तर ही जेनरेट और प्रदर्शित किया जाता है। थिंकिंग टोकन्स एक आंतरिक स्क्रैचपैड के रूप में कार्य करते हैं जो उपयोगकर्ता को कभी दिखाई नहीं देते।
डिस्टिलेशन पाइपलाइन:
- मल्टी-टास्क लॉस: फ्रेमवर्क टेक्स्ट जनरेशन लॉस को डेप्थ एस्टीमेशन, ऑब्जेक्ट डिटेक्शन और स्थानिक तर्क के लिए सहायक (auxiliary) लॉस के साथ जोड़ता है।
- स्पेशियल कोरेस्पोंडिंग डिस्टिलेशन: एक विशिष्ट लॉस मल्टी-व्यू इनपुट के माध्यम से स्टूडेंट और टीचर के बीच स्थानिक फीचर मैप्स को अलाइन करता है ताकि सुसंगत 3D प्रतिनिधित्व सुनिश्चित हो सके।
- अनिश्चितता-आधारित वेटिंग (Uncertainty-Based Weighting): एक एडेप्टिव लॉस वेटिंग मैकेनिज्म (लर्न करने योग्य अनसर्टेन्टी $\sigma_i$ पर आधारित) टेक्स्ट, डेप्थ, डिटेक्शन और स्पेशियल टास्क के योगदान को संतुलित करता है, जो मैन्युअल ट्यूनिंग के बिना कठिन कार्यों को स्वचालित रूप से कम वेटेज देता है।

प्रमुख योगदान

कुशल 3D VLM आर्किटेक्चर: VGGT का उपयोग करने वाला एक डिस्टिल्ड आर्किटेक्चर जो प्रतिस्पर्धी स्थानिक तर्क बनाए रखते हुए 3× मॉडल आकार में कमी (2.29B बनाम 7B पैरामीटर्स) और 8.7× इन्फरेंस लेटेंसी में कमी प्राप्त करता है।
हिडन CoT मैकेनिज्म: डिस्टिल्ड 3D VLMs में लेटेंट स्क्रैचपैड रीजनिंग के पहले अनुप्रयोग के रूप में। यह उपयोगकर्ता-सामने वाले इंटरफ़ेस को बदले बिना, CoT-एनोटेटेड डेटा या स्टेप-बाय-स्टेप रीजनिंग करने वाले टीचर की आवश्यकता के बिना, रीजनिंग क्षमताओं में सुधार करता है।
मल्टी-टास्क डिस्टिलेशन फ्रेमवर्क: एक पाइपलाइन जो टेक्स्ट जनरेशन, डेप्थ एस्टीमेशन और ऑब्जेक्ट डिटेक्शन के माध्यम से ज्ञान को सफलतापूर्वक स्थानांतरित करती है, जो प्रशिक्षण डायनेमिक्स को अनुकूलित करने के लिए अनसर्टेन्टी-आधारित लॉस वेटिंग का उपयोग करती है।
व्यापक मूल्यांकन: ScanNet और 3D-FRONT डेटासेट्स पर एक कठोर विश्लेषण, जो 3D VLM कंप्रेशन के लिए बेसलाइन स्थापित करता है और प्रदर्शित करता है कि स्थानिक तर्क भाषाई मेट्रिक्स की तुलना में बेहतर तरीके से संरक्षित रहता है।

प्रायोगिक परिणाम
ScanNet और 3D-FRONT डेटासेट्स पर मूल्यांकित किए जाने पर, डिस्टिल्ड स्टूडेंट मॉडल निम्नलिखित प्रदर्शित करता है:

दक्षता (Efficiency): 0.065 FPS प्राप्त करता है (टीचर के 0.0075 FPS की तुलना में 8.7× तेज़) और मॉडल का आकार 26.7 GB से घटाकर 8.7 GB कर देता है। पीक GPU मेमोरी उपयोग 5.2 GB है, जो कंज्यूमर-ग्रेड GPUs पर परिनियोजन को सक्षम बनाता है।
स्थानिक तर्क प्रदर्शन: सामान्य टेक्स्ट जनरेशन मेट्रिक्स (ROUGE-1: 0.119 बनाम टीचर का 1.000) में गिरावट के बावजूद, मॉडल विशेष स्थानिक कार्यों पर टीचर के प्रदर्शन का 54–72% बनाए रखता है:
- प्रॉक्सिमिटी एक्यूरेसी (Proximity Accuracy): टीचर का 68%।
- कॉन्टैक्ट एक्यूरेसी (Contact Accuracy): टीचर का 72%।
- साइज कंपैरिजन (Size Comparison): टीचर का 54%।
- ओरिएंटेशन (Orientation): टीचर का 61%।
- ओवरऑल स्पेशियल एक्यूरेसी (Overall Spatial Accuracy): टीचर का 64%।
एब्लेशन स्टडीज (Ablation Studies):
- डेप्थ एस्टीमेशन लॉस को हटाने से स्थानिक सटीकता में 19% की कमी आई, जो इसकी महत्वपूर्ण भूमिका को रेखांकित करता है।
- स्पेशियल फीचर अलाइनमेंट को हटाने से सटीकता में 8% की कमी आई।
- हिडन CoT ऑप्टिमाइजेशन: थिंकिंग टोकन ( $K$ ) की संख्या पर एक एब्लेशन ने दिखाया कि $K=8$ सबसे अच्छा वैलिडेशन लॉस (4.79) देता है, जो $K=2$ (सीमित क्षमता) और $K=16$ (घटते प्रतिफल) से बेहतर है।
गुणात्मक विश्लेषण (Qualitative Analysis): मॉडल "कंजर्वेटिव जनरेशन" प्रदर्शित करता है, जो उच्च परिशुद्धता (39.7% ROUGE-1 प्रिसिजन) के साथ छोटे उत्तर देता है लेकिन कम रिकॉल (8.5%) रखता है। जब यह स्थानिक जानकारी जेनरेट करता है, तो यह अक्सर सही होती है, हालांकि यह जटिल मल्टी-ऑब्जेक्ट संबंधों के साथ संघर्ष करता है।

महत्व और दावे
यह पेपर इस कार्य को कोर स्थानिक तर्क क्षमताओं से समझौता किए बिना संसाधन-बाधित प्लेटफार्मों (जैसे रोबोटिक्स, AR/VR, स्वायत्त नेविगेशन) पर 3D VLMs के व्यावहारिक परिनियोजन की दिशा में एक कदम के रूप में प्रस्तुत करता है। लेखक दावा करते हैं कि उनका दृष्टिकोण उच्च-प्रदर्शन वाले बड़े मॉडल्स और परिनियोजन योग्य एज एप्लीकेशन्स के बीच के अंतर को पाटता है।

विशेष रूप से, यह कार्य डिस्टिल्ड 3D VLMs पर लेटेंट स्क्रैचपैड रीजनिंग (Hidden CoT) को लागू करने वाला पहला कार्य होने का दावा करता है, जो CoT डेटा या विशेष टीचर मॉडल्स के ओवरहेड के बिना उन्नत रीजनिंग प्राप्त करता है। फ्रेमवर्क को "टीचर-रिलेटिव इनडोर 3D सीन QA" के रूप में वर्णित किया गया है, यह स्पष्ट रूप से नोट करते हुए कि यह एम्बोडीड नेविगेशन के लिए डिज़ाइन नहीं किया गया है। लेखक सीमाओं को स्वीकार करते हैं, जिसमें वास्तविक समय की गति (वर्तमान ~15s/सैंपल) प्राप्त करने के लिए और अधिक अनुकूलन की आवश्यकता और वर्तमान में इनडोर वातावरण तक सीमित होना शामिल है, लेकिन वे दावा करते हैं कि दक्षता, 3D-विशिष्ट डिस्टिलेशन और हिडन CoT का संयोजन भविष्य के संपीड़ित 3D VLMs के लिए एक मजबूत आधार प्रदान करता है।

1. "शैडो ट्रेनिंग" (ज्ञान आसवन - Knowledge Distillation)

2. "गुप्त रफ नोटबुक" (हिडन चेन-ऑफ-थॉट - Hidden Chain-of-Thought)

3. "बहु-संवेदी" प्रशिक्षण (Multi-Sense Training)

4. परिणाम: तेज़, छोटा और पर्याप्त स्मार्ट

सारांश

इसी तरह के और पेपर