A Disparity-Gated Vision-Language Prior for Metric Scale in Monocular Visual Odometry

कल्पना कीजिए कि आप अपनी आँखें बंद करके एक शहर में चल रहे हैं, लेकिन आपके पास एक सुपरपावर है: आप यह अंदाज़ा लगाने के लिए हवा के दबाव में बदलाव को महसूस कर सकते हैं कि आपने कितनी दूरी तय की है। यह कुछ वैसा ही है जैसे एक रोबोट केवल एक कैमरे का उपयोग करके दुनिया को "देखता" है। रोबॉजी और कंप्यूटर विज़न के क्षेत्र में, इसे मोनोकुलर विजुअल ओडोमेट्री (Monocular Visual Odometry) कहा जाता है। रोबोट तस्वीरें लेता है, उनके बीच मिलान वाले बिंदुओं को ढूंढता है (जैसे दो तस्वीरों में एक ही पेड़ को पहचानना), और यह पता लगाने के लिए ज्यामिति (geometry) का उपयोग करता है कि वह कैसे आगे बढ़ा।

यहाँ पेचीदा बात यह है: एक अकेला कैमरा 3D दुनिया के एक सपाट चित्र की तरह है। यह रोबोट को यह तो बता सकता है कि वह किस दिशा में मुड़ा या चला, लेकिन यह नहीं बता सकता कि वह कितनी दूर गया। यह ऐसा ही है जैसे यह जानना कि आप "आगे" बढ़े, लेकिन यह न जानना कि आपने एक विशाल कदम लिया या एक बहुत छोटा कदम। वास्तविक दूरी जाने बिना, रोबोट का दुनिया का नक्शा खिंच जाता या दब जाता है, जिससे वह कार चलाने या गलियारे में नेविगेट करने जैसे वास्तविक कार्यों के लिए बेकार हो जाता है। वर्षों से, वैज्ञानिकों ने अतिरिक्त सेंसर (जैसे स्टीरियो कैमरे या जीपीएस) जोड़कर या यह अनुमान लगाकर कि चीजें कितनी गहरी दिखती हैं, इस "स्केल समस्या" (scale problem) को ठीक करने की कोशिश की है। लेकिन क्या होगा अगर हम बस एक सुपर-स्मार्ट AI से पूछ सकें, जिसे लाखों छवियों और टेक्स्ट पर प्रशिक्षित किया गया है, "हे, वह कार कितनी दूर है?" और उसके उत्तर का उपयोग करके मानचित्र को ठीक कर सकें?

यह शोध पत्र ठीक इसी विचार का परीक्षण करता है। टोरंटो मेट्रोपॉलिटन यूनिवर्सिटी के अलीरेज़ा घसेमी और रशा काशेफ ने यह परीक्षण करने का निर्णय लिया कि क्या एक आधुनिक विज़न-लैंग्वेज मॉडल (VLM)—एक प्रकार का AI जो एक छवि को "देख" सकता है और उसके बारे में बात कर सकता है—एक रोबोट के कैमरे के लिए एक पैमाने (रूलर) के रूप में कार्य कर सकता है। उन्होंने केवल AI से अनुमान लगाने के लिए नहीं कहा; उन्होंने एक चतुर प्रणाली बनाई ताकि यह जांचा जा सके कि क्या AI का अनुमान ज्यामितीय रूप से तर्कसंगत है, इससे पहले कि उस पर भरोसा किया जाए।

समस्या: रोबोट की "सपाट" दुनिया

एक रोबोट के कैमरे को गति के रहस्य को सुलझाने की कोशिश करने वाले एक जासूस के रूप में सोचें। जब रोबोट एक सेकंड के बहुत छोटे हिस्से के अंतराल पर दो तस्वीरें लेता है, तो वह देख सकता है कि एक इमारत फ्रेम में थोड़ी सी खिसक गई है। गणित का उपयोग करके, वह जानता है कि इमारत कैमरे के सापेक्ष (relative) हिली है। लेकिन ज्ञात दूरी के बिना, जासूस को यह नहीं पता कि इमारत 10 मीटर दूर है और रोबोट 1 मीटर चला, या इमारत 100 मीटर दूर है और रोबोट 10 मीटर चला। गणित दोनों परिदृश्यों के लिए पूरी तरह से काम करता है। यह "स्केल एम्बिग्युइटी" (scale ambiguity) है।

इसे ठीक करने के लिए, टीम ने दिशा का पता लगाने के लिए एक मानक रोबोट मस्तिष्क (SWiFT-VO) का उपयोग किया, लेकिन उन्होंने "पैमाने" वाले हिस्से को बदल दिया। एक सटीक, पूर्व-मापे गए 'ग्राउंड ट्रुथ' (जो वास्तविक दुनिया में रोबोटों के पास नहीं होता) का उपयोग करने के बजाय, उन्होंने दूरी का अनुमान लगाने के लिए पांच अलग-अलग तरीकों का परीक्षण किया।

प्रतियोगी: दूरी का अनुमान लगाने के पांच तरीके

शोधकर्ताओं ने पांच अलग-अलग "अनुमान लगाने की रणनीतियों" के साथ एक दौड़ आयोजित की ताकि यह देखा जा सके कि कौन सा सबसे अच्छा बता सकता है कि रोबलेट ने कितनी दूरी तय की। उन्होंने इनका परीक्षण प्रसिद्ध KITTI डेटासेट पर किया, जो वास्तविक कारों के ड्राइविंग वीडियो का एक संग्रह है।

1. "नियम का सिद्धांत" (Heuristic): इस विधि ने दृश्य की औसत गहराई (कि दृश्य कितना "गहरा" दिखता है) को देखा और उसे एक निश्चित संख्या से गुणा किया। यह एक फोटो में अपने दोस्त की दूरी का अनुमान लगाने जैसा था, लेकिन एक ऐसे सामान्य नियम का उपयोग करना जो गति के साथ नहीं बदलता।
2. "सघन मानचित्र" (Dense Map/Dense Triangulation): इसने पूरे चित्र को दूरियों के साथ भरने के लिए एक पूर्व-प्रशिक्षित डेप्थ मैप का उपयोग करने की कोशिश की। यह एक पूरे जंगल को मापने की कोशिश करने जैसा था, जिसमें एक साथ हर एक पेड़ की ऊंचाई का अनुमान लगाया जा रहा हो।
3. "निकटतम पड़ोसी" (Nearest Neighbor - C1): इसने उस वस्तु के सबसे करीब के बिंदु को चुना जिसे AI ने पहचाना था और उसे मापने की कोशिश की।
4. "दृष्टि का शंकु" (Cone of Vision - C2): इसने एक आगे की ओर बढ़ते शंकु (forward cone) के सभी बिंदुओं को देखा और उनका औसत निकालने की कोशिश की।
5. "सेम एंकर" ट्रैकर (Same Anchor Tracker - C3): यह मुख्य आकर्षण था। बेतरतीब ढंग से अनुमान लगाने के बजाय, इस पद्धति ने एक विशिष्ट वस्तु (जैसे कार या साइन) को चुना, उसे दो फ्रेमों में ट्रैक किया, AI से पूछा "वह कार कितनी दूर है?", और फिर यह जांचने के लिए कि क्या उसका उत्तर तर्कसंगत है, रोबोट की अपनी ज्यामिति का उपयोग किया।

विजेता: C3 और "डिस्पैरिटी गेट"

परिणाम "ओह्स" और "आहा!" क्षणों का मिश्रण थे। सरल "नियम का सिद्धांत" और "सघन मानचित्र" वाले दृष्टिकोण बुरी तरह विफल रहे। वे रसोई के काउंटर के लिए बने रूलर से मैराथन मापने की कोशिश करने जैसे थे; नंबर बहुत गलत थे क्योंकि धारणाएं वास्तविक ड्राइविंग स्थितियों में लागू नहीं होती थीं।

असली सफलता C3, "सेम एंकर" ट्रैकर के साथ आई। यह कैसे काम करता था:

• AI (विशेष रूप से Qwen2.5-VL-7B नामक एक मॉडल) ने पहली फोटो में एक कार को देखा और कहा, "वह कार लगभग 20 मीटर दूर है।"
• रोबोट ने अगले फ्रेम में उसी सटीक कार को ट्रैक किया।
• रोबोट ने गणना की कि कार चित्र में कितनी हिली (उसका "डिस्पैरिटी")।
• यदि गणित ने कहा, "हे, यदि कार 20 मीटर दूर है, तो उसे चित्र में इतना हिलना चाहिए था," और चित्र में उसने वास्तव में उतना ही हिलते हुए दिखाया, तो सिस्टम ने उस दूरी को स्वीकार कर लिया।

हालाँकि, AI पूर्ण नहीं है। कभी-कभी वह गलत अनुमान लगाता है, या कार इतनी दूर होती है कि उसे ट्रैक करना कठिन होता है। इसे संभालने के लिए, शोधकर्ताओं ने एक "डिस्पैरिटी गेट" (Disparity Gate) जोड़ा। इसे एक क्लब के बाउंसर के रूप में समझें। गेट "डिस्पैरिटी" (वस्तु कितनी हिली) की जाँच करता है। यदि हलचल बहुत कम है (वस्तु बहुत दूर है या रोबोट पर्याप्त नहीं चला) या बहुत अराजक है, तो गेट कहता है, "नहीं, आपका अनुमान विश्वसनीय नहीं है," और सिस्टम उस क्षण के लिए सरल "नियम के सिद्धांत" पर वापस चला जाता है।

परिणाम: करीब पहुँच रहे हैं, लेकिन पूर्ण नहीं

जब उन्होंने आठ अलग-अलग ड्राइविंग अनुक्रमों पर परीक्षण किए, तो परिणाम उत्साहजनक लेकिन सतर्क करने वाले थे:

• "सेम एंकर" विधि (C3) औसतन वास्तविक दूरी का लगभग 64% हिस्सा पुनः प्राप्त करने में सफल रही। यह सरल अनुमानों की तुलना में एक बड़ा सुधार है, जो अक्सर बहुत गलत होते थे।
• "डिस्पैरिटी गेट" ने इसे और भी बेहतर बनाया, जिससे औसत रिकवरी बढ़कर 71% हो गई।
• शोधकर्ताओं ने एक "स्मार्ट गेट" का भी परीक्षण किया जो खुद को समायोजित करता है, जिसने 69% प्राप्त किया।

लेकिन कहानी का सबसे महत्वपूर्ण हिस्सा यहाँ है: शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि यह एक पूर्ण समाधान है।

सबसे अच्छी विधि के साथ भी, रोबोट का पथ उतना सटीक नहीं था जितना कि यदि उसके पास एक पूर्ण, ग्राउंड-ट्रुथ रूलर होता (जिसे उन्होंने केवल तुलना के लिए उपयोग किया था)। वास्तव में, कुछ कठिन अनुक्रमों में जहाँ कार मुड़ रही थी या धीरे चल रही थी, सिस्टम वस्तुओं को ट्रैक करने में संघर्ष करता था, और दूरी का अनुमान काफी गिर गया।

शोधकर्ताओं ने सफलता को मापने के तरीके में एक छिपे हुए जाल की भी खोज की। उन्होंने पाया कि एक छोटे 100-फ्रेम क्लिप पर, एक ऐसी विधि जिसने दूरी का कम अनुमान लगाया, कभी-कभी पूर्ण ग्राउंड-ट्रुथ की तुलना में बेहतर एरर स्कोर दिखा सकती है। क्यों? क्योंकि यदि रोबोट गलत दिशा में जा रहा है (एक मोड़ के कारण), तो छोटे कदम लेना (अंडर-स्केलिंग) अनजाने में उसे थोड़े समय के लिए सही जगह के करीब रखता है। यह एक घेरे में चलने जैसा है; यदि आप छोटे कदम लेते हैं, तो आप गलत दिशा में बड़े, आत्मविश्वासी कदम उठाने की तुलना में केंद्र के करीब रहते हैं। पेपर हमें चेतावनी देता है कि अल्पकालिक एरर स्कोर को देखना भ्रामक हो सकता है; हमें पूरी यात्रा को देखने की आवश्यकता है।

निष्कर्ष

यह शोध पत्र यह दावा नहीं करता है कि इसने "स्केल समस्या" को एक बार में हल कर दिया है। इसके बजाय, यह एक आशाजनक नया रास्ता दिखाता है। एक स्मार्ट AI जो दूरियों के बारे में "बात" कर सकता है, को एक सख्त ज्यामितीय जाँच (गेट) के साथ जोड़कर, रोबोट केवल एक अकेले कैमरे का उपयोग करके यह बेहतर समझ प्राप्त कर सकते हैं कि उन्होंने कितनी दूरी तय की है।

लेखक निष्कर्ष निकालते हैं कि हालांकि हम अभी महंगे सेंसरों को चैटबॉट से पूरी तरह नहीं बदल सकते, लेकिन हम आंशिक मेट्रिक-स्केल रिकवरी (partial metric-scale recovery) प्राप्त कर सकते हैं। सिस्टम तब विश्वसनीय होता है जब AI एक स्पष्ट वस्तु को ट्रैक कर सकता है और ज्यामिति की जाँच सही बैठती है, लेकिन जब चीजें धुंधली होती हैं या AI भ्रमित होता है, तो इसे अभी भी एक बैकअप योजना की आवश्यकता होती है। यह एक कदम आगे है, जो साबित करता है कि AI रोबोट को दुनिया मापने में मदद कर सकता है, लेकिन यह कोई जादू की छड़ी नहीं है जो सब कुछ तुरंत ठीक कर देती है। एक पूर्ण रूप से स्केल किए गए रोबोट मैप की यात्रा जारी है, लेकिन इस अध्ययन ने खोजकर्ताओं को एक बेहतर दिशा-सूचक यंत्र (कंपास) थमा दिया है।