Chain of Spatial Thoughts: Modality-Agnostic Spatial Grounding for Vision Language Models
यह शोध पत्र स्पेस टोकन्स (Space Tokens) को प्रस्तुत करता है, जो एक हल्का और मोडैलिटी-अज्ञेय (modality-agnostic) ढांचा है जो चेन-ऑफ-थॉट प्रोसेसिंग के लिए निरंतर लेटेंट टोकन में 3D ज्यामिति और वस्तु विशेषताओं को संकुचित करके विजन-लैंग्वेज मॉडल्स की स्थानिक तर्क क्षमताओं को बढ़ाता है, और बिना किसी अतिरिक्त इन्फरेंस-टाइम मॉड्यूल की आवश्यकता के स्थानिक बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबट को एक बिखरे हुए लिविंग रूम में नेविगेट करना सिखा रहे हैं। आप उसे एक सोफे, एक कॉफी टेबल और एक बिल्ली की तस्वीर दिखाते हैं। एक बुनियादी रोबोट कह सकता है, "मुझे एक सोफा दिख रहा है।" लेकिन मेज को गिराए बिना एक खिलौना उठाने के लिए, रोबट को बहुत कुछ जानने की जरूरत है: सोफा कितना बड़ा है? वह दीवार से कितनी दूर है? क्या बिल्ली मेज पर बैठी है या उसके नीचे? यह केवल देखने और स्थान को वास्तव में समझने के बीच का अंतर है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "स्पेशियल इंटेलिजेंस" (स्थानिक बुद्धिमत्ता) कहा जाता है। लंबे समय तक, कंप्यूटर वस्तुओं को पहचानने में तो माहिर थे लेकिन यह समझने में बहुत खराब थे कि वे वस्तुएं 3D स्पेस में एक साथ कैसे फिट होती हैं। इसे ठीक करने के लिए, वैज्ञानिकों ने दो मुख्य चीजें आजमाई हैं: या तो कंप्यूटर के दिमाग (मॉडल) को बहुत विशाल और महंगा बनाना, या दूरियों को मापने के लिए विशेष, भारी-भरकम उपकरण जोड़ना। दोनों काम करते हैं, लेकिन वे धीमे और बोझिल हैं।
अब, शोधकर्ताओं की एक टीम ने एक चतुर नई तकनीक निकाली है जिसे "स्पेस टोकन्स" (Space Tokens) कहा जाता है। एक मानक AI मॉडल को एक परीक्षा देने वाले छात्र की तरह समझें। आमतौर पर, यदि छात्र को कमरे को मापने की आवश्यकता होती है, तो उसे एक प्रोट्रैक्टर और टेप लेकर आना पड़ता है (अतिरिक्त उपकरण) या ज्यामिति का एक विशाल विश्वकोश याद करना पड़ता है (एक विशाल दिमाग)। यह नया पेपर सुझाव देता है कि एक अलग दृष्टिकोण अपनाएं: क्या होगा अगर छात्र केवल मापों में सोच सके? शोधकर्ताओं ने AI को अपने स्वयं के सोचने की प्रक्रिया के भीतर विशेष "मानसिक नोट्स" बनाने के लिए सिखाने का एक तरीका खोजा है। ये नोट्स, या "टोकन्स", ज्यामिति की सूक्ष्म, निरंतर फुसफुसाहटों की तरह कार्य करते हैं जिनका उपयोग AI आकार, दूरी और रूप (shape) के बारे में तर्क करने के लिए कर सकता है, बिना किसी अतिरिक्त उपकरण या बड़े दिमाग के। यह AI को एक अंतर्निहित स्थानिक बोध देने जैसा है जिसे वह बात करते समय उपयोग कर सकता है, जिससे वह बिना धीमे हुए भौतिक दुनिया के बारे में अधिक स्मार्ट बन जाता है।
समस्या: बड़ा दिमाग बनाम भारी उपकरण
कल्पना कीजिए कि आपका एक बहुत बुद्धिमान मित्र है जो चित्रों का वर्णन करने में बहुत अच्छा है। आप उन्हें रसोई की एक फोटो दिखाते हैं, और वे आपको बता सकते हैं, "यह एक फ्रिज है, और वह एक टोस्टर है।" लेकिन यदि आप उनसे पूछते हैं, "क्या मैं फ्रिज और टोस्टर के बीच एक बड़ा पिज्जा बॉक्स फिट कर सकता हूँ?" तो वे गलत अनुमान लगा सकते हैं क्योंकि वे वास्तव में उस स्थान को "महसूस" नहीं करते हैं।
इसे ठीक करने के लिए, वैज्ञानिकों ने दो मुख्य रास्ते आजमाए हैं। पहला "स्केलिंग" है, जो अपने मित्र को पुस्तकालय की हर किताब पढ़ने और हर संभव कमरे के लेआउट को याद करने के लिए कहने जैसा है। यह काम करता है, लेकिन इसके लिए एक विशाल मस्तिष्क की आवश्यकता होती है जिसे चलाने में बहुत समय लगता है। दूसरा रास्ता "विशेष उपकरण" है, जो अपने मित्र को हर बार तस्वीर देखते समय लेजर मेजर और 3D स्कैनर देने जैसा है। यह सटीक है, लेकिन यह धीमा, महंगा है, और आपका मित्र इसका उपयोग तब नहीं कर सकता जब वह जल्दी में हो या जब उपकरण उपलब्ध न हों।
इस पेपर के लेखकों ने एक सरल प्रश्न पूछा: क्या हम मित्र को बिना पुस्तकालय या लेजर मेजर के, अपने दिमाग में ही स्थान को "जानने" के लिए सिखा सकते हैं?
समाधान: स्पेस टोकन्स (Space Tokens)
शोधकर्ताओं ने स्पेस टोकन्स नामक एक विधि पेश की। नए हार्डवेयर को जोड़ने या AI मॉडल को विशाल बनाने के बजाय, उन्होंने AI को विशेष "टोकन्स" (जो केवल डेटा के छोटे टुकड़े हैं) उत्पन्न करना सिखाया जो 3D स्थान का प्रतिनिधित्व करते हैं।
इन टोकन्स को अदृश्य स्टिकी नोट्स की तरह समझें जिन्हें AI अपने विचारों पर चिपका देता है।
- सीन-लेवल नोट्स: कुछ नोट्स पूरे कमरे का वर्णन करते हैं। वे फर्श के आकार, दीवारों की स्थिति और कमरे की गहराई को कैप्चर करते हैं।
- ऑब्जेक्ट-लेवल नोट्स: अन्य नोट्स विशिष्ट वस्तुओं का वर्णन करते हैं। वे इस बारे में जानकारी रखते हैं कि कोई वस्तु कहाँ है, वह कितनी बड़ी है, और वह किस दिशा में है।
जादू यह है कि ये नोट्स "निरंतर" (continuous) हैं, जिसका अर्थ है कि वे केवल "बड़ा" या "छोटा" जैसे साधारण लेबल नहीं हैं। वे सटीक निर्देशांक (coordinates) और माप की तरह हैं जिनका उपयोग AI अपने दिमाग में गणित करने के लिए कर सकता है। AI इन नोट्स को एक "शिक्षक" मॉडल (एक बहुत ही स्मार्ट 3D पुनर्निर्माण प्रणाली) से उदाहरण देखकर और फिर अभ्यास करके सीखता है जब तक कि वह अपने आप यह करने में सक्षम न हो जाए।
उन्होंने AI को कैसे सिखाया
प्रशिक्षण तीन चरणों में हुआ, जैसे वीडियो गेम के तीन स्तर हों:
- स्तर 1: स्थान की भाषा सीखना। AI को चित्र दिखाए गए और उसे ऐसे "स्टिकी नोट्स" (टोकन्स) उत्पन्न करने के लिए सिखाया गया जो दृश्य की 3D ज्यामिति से मेल खाते हों। इसने अपने आंतरिक विचारों को दुनिया के सटीक 3D आकारों के साथ संरेखित करना सीखा।
- स्तर 2: नोट्स के साथ सोचना। एक बार जब AI नोट्स बनाना जान गया, तो उन्होंने इसे प्रश्नों के उत्तर देने के लिए उपयोग करना सिखाया। उन्होंने AI को उन नोट्स को देखने और यह कहने के लिए मजबूर किया, "क्योंकि फ्रिज 2 मीटर दूर है, इसलिए पिज्जा बॉक्स फिट नहीं होगा।" इसे "चेन-ऑफ-थॉट" (Chain-of-Thought) तर्क कहा जाता है, लेकिन अब इन विचारों में स्थानिक डेटा शामिल है।
- स्तर 3: अभ्यास के साथ बेहतर होना। अंत में, उन्होंने 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning) नामक तकनीक का उपयोग किया। AI ने प्रश्नों के उत्तर देने का प्रयास किया, और यदि उसने आकार या दूरी का सही अनुमान लगाया, तो उसे एक "पुरस्कार" मिला। यदि वह गलत था, तो उसने गलती से सीखा। इसने AI को अपने स्थानिक नोट्स का उपयोग करने में और भी तेज बनाने में मदद की।
उन्होंने क्या पाया
परिणाम प्रभावशाली थे। शोधकर्ताओं ने अपने नए तरीके का परीक्षण VSI-Bench नामक एक बेंचमार्क पर किया, जो स्थानिक समझ के लिए एक कठिन परीक्षण है।
- जब उन्होंने इसे Qwen3-VL-8B नामक मॉडल पर लागू किया, तो स्कोर 4.3% बढ़ गया।
- जब उन्होंने इसे एक अधिक शक्तिशाली मॉडल SenseNova-SI-1.3 पर लागू किया, तो स्कोर 1.3% बढ़ गया।
लेकिन असली जीत विशिष्ट कार्यों में थी। नया तरीका ऑब्जेक्ट साइज (वस्तु का आकार) का अनुमान लगाने में ( 79.2% सही) और रूम साइज (कमरे का आकार) ( 75.7% सही) में दुनिया में सर्वश्रेष्ठ बन गया। ये वे कार्य हैं जिनके लिए आमतौर पर भारी 3D उपकरणों की आवश्यकता होती है, लेकिन इस पद्धति ने यह केवल अपने आंतरिक "स्टिकी नोट्स" का उपयोग करके किया।
यह क्यों महत्वपूर्ण है
सबसे रोमांचक बात यह है कि AI को अपने दिमाग को बदलने या अतिरिक्त उपकरण ले जाने की आवश्यकता नहीं पड़ी। इसने बस अलग तरह से सोचना सीख लिया। शोधकर्ताओं ने यह भी दिखाया कि ये "स्टिकी नोट्स" वास्तविक हैं। वे इन्हें वापस 3D आकारों में डिकोड कर सकते थे और देख सकते थे कि AI ने वास्तव में कमरे की ज्यामिति को सीख लिया था। यह केवल अनुमान नहीं लगा रहा था; इसके पास स्थान की वास्तविक समझ थी।
यह सुझाव देता है कि हमें अपने AI मॉडल को स्थानिक रूप से स्मार्ट बनाने के लिए उन्हें बड़ा, धीमा या अधिक महंगा बनाने की आवश्यकता नहीं है। हमें बस उन्हें अपने आंतरिक स्थानिक नोट्स बनाने और उपयोग करने का तरीका सिखाने की आवश्यकता है। यह मशीनों को हमारे 3D दुनिया में नेविगेट करने की क्षमता देने का एक हल्का, तेज़ और अधिक लचीला तरीका है, जो उन रोबोटों के लिए एक बड़ा कदम है जिन्हें हमारे घरों में घूमने की आवश्यकता है या उन कारों के लिए जिन्हें सुरक्षित रूप से गाड़ी चलाने की आवश्यकता है।
संक्षेप में, यह पेपर दिखाता है कि सरल, आंतरिक टोकन का उपयोग करके AI को "3D में सोचने" का तरीका देकर, हम उन्हें भौतिक दुनिया को समझने में बहुत बेहतर बना सकते हैं बिना उन्हें भारी या धीमा किए। यह AI के सोचने के तरीके में एक छोटा सा बदलाव है जो उनके करने की क्षमता में एक बड़ी छलांग लाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।