Geometry Beats Estimated Depth: RGB-Only Multi-Camera 3D Tracking under Sim2Real

कल्पना कीजिए कि आप केवल सुरक्षा कैमरों से ली गई सपाट, 2D तस्वीरों का उपयोग करके एक व्यस्त गोदाम का 3D मूवी बनाने की कोशिश कर रहे हैं। यह मल्टी-कैमरा 3D परसेप्शन की दुनिया है, एक ऐसा क्षेत्र जहाँ कंप्यूटर केवल सपाट छवियों को देखकर वास्तविक, त्रि-आयामी (3D) दुनिया को समझने की कोशिश करते हैं। आमतौर पर, इसे पूरी तरह से करने के लिए, रोबोट विशेष सेंसरों का उपयोग करते हैं जो सीधे दूरी मापते हैं, जैसे कि चमगादड़ सोनार का उपयोग करता है या एक इंसान गहराई का अंदाजा लगाने के लिए अपनी दो आँखों का उपयोग करता है। लेकिन इस विशिष्ट चुनौती में, रोबट दूरी के प्रति "अंधे" हैं; उनके पास केवल मानक RGB कैमरे (वही जो आपके फोन में होते हैं) और कैमरों की स्थिति के बारे में नियमों का एक सेट है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं: यदि आप सीधे दूरी नहीं माप सकते, तो अनुमान लगाने का सबसे अच्छा तरीका क्या है? क्या आपको हर एक पिक्सेल की गहराई का अनुमान लगाने के लिए एक सुपर-स्मार्ट AI का उपयोग करना चाहिए (जैसे कि एक भविष्यवक्ता पेड़ की दूरी का अनुमान लगा रहा हो), या आपको सरल, कठोर ज्यामिति (geometry) पर भरोसा करना चाहिए—यानी कैमरों के ज्ञात कोणों का उपयोग करके फर्श पर चीजों की स्थिति का पता लगाना चाहिए?

यह शोध पत्र, जिसे LSU न्यू ऑरलियन्स और PinPark की एक टीम द्वारा AI सिटी चैलेंज 2026 के लिए लिखा गया है, इसी बहस में गहराई से उतरता है। उन्होंने गोदाम में लोगों और रोबोटों को ट्रैक करने के लिए दो बहुत अलग रणनीतियों के बीच एक "रस्साकशी" (tug-of-war) आयोजित की। एक टीम (लेखक) ने ज्यामिति (geometry) पर दांव लगाया: फर्श के ज्ञात मानचित्र और कैमरा कोणों का उपयोग करके 2D आकृतियों को 3D स्थान में ऊपर उठाने (lift) पर। दूसरी रणनीति, जिसे उन्होंने बेसलाइन के रूप में परीक्षण किया, ने अनुमानित गहराई (estimated depth) पर दांव लगाया: एक फैंसी AI का उपयोग करके प्रत्येक पिक्सेल की दूरी का अनुमान लगाना, जिससे सपाट छवियों को 3D पॉइंट-क्लाउड मैप (डिजिटल बिंदुओं का बादल) में बदल दिया जाए और फिर उस पर एक 3D डिटेक्टर चलाया जाए। परिणाम चौंकाने वाले और स्पष्ट थे। ज्यामिति वाली टीम भारी अंतर से जीत गई, जबकि "गहराई का अनुमान लगाने" वाली टीम पूरी तरह से ढह गई। यह पेपर सुझाव देता है कि इस विशिष्ट "Sim2Real" सेटिंग (जहाँ रोबलेट को नकली डेटा पर प्रशिक्षित किया जाता है, लेकिन वास्तविक डेटा पर परीक्षण किया जाता है) में, सभी कैमरों में फर्श की एक सुसंगत, साझा समझ होना, किसी वस्तु की गहराई के सटीक पिक्सेल-दर-पिक्सेल अनुमान से कहीं अधिक महत्वपूर्ण है।

द ग्रेट वेयरहाउस हाइस्ट: 3D में देखने के दो तरीके

कहानी एक विशाल, सिम्युलेटेड गोदाम में शुरू होती है जो बहुत जल्द वास्तविक होने वाला है। चुनौती कई कैमरों के वीडियो फीड का उपयोग करके चलती हुई वस्तुओं—जैसे फोर्कलिफ्ट, पैलेट ट्रक और यहाँ तक कि मानव रूपी रोबोटों—को ट्रैक करने की है। पेच यह है कि कैमरों में डेप्थ सेंसर नहीं हैं। वे केवल साधारण आँखें हैं। AI को केवल सपाट चित्रों को देखकर यह समझना होगा कि हर चीज़ 3D स्पेस (ऊपर/नीचे, बाएँ/दाएँ, आगे/पीछे) में कहाँ है।

लेखकों ने इस मामले को सुलझाने के लिए दो अलग-अलग "जासूसों" को तैयार किया।

जासूस A: ज्योमेट्री-फर्स्ट टीम (The Geometry-First Team)
इस टीम ने एक बहुत ही तार्किक, "पुराने स्कूल" के दृष्टिकोण को अपनाया। उन्होंने हर पिक्सेल की गहराई का अनुमान लगाने की कोशिश नहीं की। इसके बजाय, उन्होंने कहा, "हम जानते हैं कि फर्श समतल है, और हम जानते हैं कि कैमरे किस दिशा में इशारा कर रहे हैं।"

1. वस्तु को पहचानना: सबसे पहले, उन्होंने प्रत्येक कैमरा दृश्य में वस्तुओं के चारों ओर 2D बॉक्स खोजने के लिए एक शक्तिशाली डिटेक्टर (जिसे YOLO11x कहा जाता है) का उपयोग किया।
2. दुनिया में ऊपर उठाना (Lift to the World): उन्होंने उन 2D बॉक्स के निचले-मध्य भाग को होमोग्राफी (homography) का उपयोग करके ज्ञात फर्श तल (floor plane) पर प्रोजेक्ट किया। यह कैमरे से बॉक्स के निचले हिस्से के माध्यम से एक टॉर्च जलाने जैसा है ताकि यह देखा जा सके कि वह फर्श पर कहाँ गिरता है।
3. फ्यूज और ट्रैक करना: चूंकि एक ही फोर्कलिफ्ट को तीन अलग-अलग कैमरों द्वारा देखा जा सकता है, इसलिए उन्होंने इन "लिफ्टेड" बिंदुओं को एक एकल 3D स्थान में मिला दिया। फिर उन्होंने गोदाम के फर्श पर चलते हुए वस्तु को ट्रैक किया।
4. सीक्रेट सॉस: उन्होंने "ऑफलाइन स्टिचिंग" नामक एक अंतिम चरण जोड़ा। कल्पना कीजिए कि एक जासूस को एहसास होता है, "रुको, मैंने संदिग्ध को पांच सेकंड के लिए खो दिया था, लेकिन वह ठीक यहाँ फिर से दिखाई दिया। यह वही व्यक्ति है!" उन्होंने ट्रैक के टूटे हुए हिस्सों को जोड़ने के लिए उन्हें आपस में जोड़ा।

जासूस B: स्यूडो-लिडार टीम (The Pseudo-LiDAR Team)
इस टीम ने उस "आधुनिक" दृष्टिकोण को आजमाने की कोशिश की जो अतीत में तब काम आया था जब डेप्थ डेटा उपलब्ध था। उन्होंने इसे नकली बनाने की कोशिश की।

1. गहराई का अनुमान लगाना: उन्होंने एक फैंसी AI मॉडल (जैसे D4RT या Metric3D) का उपयोग किया ताकि सपाट छवि को देखकर हर पिक्सेल की दूरी का अनुमान लगाया जा सके। यह 2D छवि को बिंदुओं के 3D क्लाउड में बदल देता है, जो एक वास्तविक 3D सेंसर (LiDAR) की नकल करता है।
2. 3D में पहचान करना: उन्होंने इस "नकली" 3D क्लाउड को एक 3D डिटेक्टर (V-DETR) में डाला ताकि वस्तुओं को खोजा जा सके।
3. उम्मीद: उन्हें उम्मीद थी कि भले ही वास्तविक डेप्थ न हो, AI गहराई का इतना अच्छा अनुमान लगा लेगा कि एक आदर्श 3D मैप बनाया जा सके।

चौंकाने वाला परिणाम: ज्यामिति की जीत, अनुमान की हार

परिणाम केवल एक जीत नहीं थी; यह एक भारी अंतर था। ज्योमेट्री-फर्स्ट टीम ने 13.0 HOTA (एक माप कि वे वस्तुओं को कितनी अच्छी तरह ट्रैक और स्थित करते हैं) का स्कोर प्राप्त किया। स्यूडो-लिडार टीम, जो "अनुमान लगाने" वाली टीम थी, गिरकर 0.12 पर आ गई। यह लगभग सौ गुना बदतर है।

अनुमान लगाने वाली टीम इतनी बुरी तरह क्यों विफल हुई? पेपर का सुझाव है कि यह इसलिए नहीं था क्योंकि उनका AI एक एकल छवि पर गहराई का अनुमान लगाने में बुरा था। समस्या निरंतरता (consistency) की थी।
कल्पना कीजिए कि आप और आपके तीन दोस्त एक कमरे का नक्शा बनाने की कोशिश कर रहे हैं, जो आपके द्वारा ली गई तस्वीरों पर आधारित है।

• ज्यामिति टीम (Geometry Team): वे सभी इस बात पर सहमत थे कि फर्श कहाँ है। भले ही वे पूर्ण न हों, वे सभी एक ही फ्लोर प्लेन पर सहमत थे। जब उन्होंने अपने मानचित्रों को मिलाया, तो फर्श समतल था, और फोर्कलिफ्ट सीधे खड़े थे।
• स्यूडो-लिडार टीम (Pseudo-LiDAR Team): प्रत्येक ने स्वतंत्र रूप से गहराई का अनुमान लगाया। एक दोस्त ने सोचा कि फर्श 1 मीटर ऊँचा है, दूसरे ने सोचा कि यह 2 मीटर ऊँचा है, और तीसरे ने सोचा कि यह हवा में तैर रहा है। जब उन्होंने अपने मानचित्रों को मिलाने की कोशिश की, तो फर्श एक विकृत, टेढ़ा-मेढ़ा ढेर बन गया। फोर्कलिफ्ट या तो आसमान में तैर रहे थे या जमीन के नीचे दबे हुए थे।

लेखक इसे "क्रॉस-व्यू इनकंसिस्टेंसी" (cross-view inconsistency) कहते हैं। भले ही AI एक एकल पिक्सेल के लिए गहराई का सही अनुमान लगा ले, यदि वह अलग-अलग कैमरा दृश्यों के लिए एक ही फर्श के लिए अलग-अलग अनुमान लगाता है, तो 3D मैप टूट जाता है। पेपर दिखाता है कि इस विशिष्ट कार्य के लिए, एक साझा, सुसंगत ज्यामिति (फ्लोर प्लान) होना, पिक्सेल-दर-पिक्सेल सटीक गहराई के अनुमान से कहीं अधिक महत्वपूर्ण है।

क्या काम नहीं आया (और क्यों)

लेखकों ने केवल दोनों टीमों की तुलना ही नहीं की; उन्होंने हर संभव तकनीक के साथ हारने वाली टीम को सुधारने और जीतने वाली टीम को बेहतर बनाने की कोशिश की। उन्होंने परीक्षण किया:

• बेहतर डिटेक्टर: उन्होंने मुख्य डिटेक्टर को नए, फैंसी मॉडल (जैसे RT-DETR) के साथ बदलने या उन्हें मिलाने की कोशिश की। परिणाम: कोई मदद नहीं मिली। समस्या डिटेक्टर की नहीं थी; समस्या वास्तविक दुनिया के डेटा की कमी थी।
• स्लाइस्ड डिटेक्शन (Sliced Detection): उन्होंने दूर स्थित छोटे ऑब्जेक्ट्स (जैसे पैलेट ट्रक) को पकड़ने के लिए छवियों को छोटे टुकड़ों में तोड़ने की कोशिश की। परिणाम: इसने वास्तव में चीजों को और खराब कर दिया। इसने अधिक वस्तुओं को खोजा, लेकिन अधिकांश "घोस्ट" (नकली वस्तुएं) थे, जिससे ट्रैकर भ्रमित हो गया।
• लर्निंग टू लिफ्ट (Learning to Lift): उन्होंने बॉक्स को फर्श तक "लिफ्ट" करने के सरल गणित को एक न्यूरल नेटवर्क से बदलने की कोशिश की जो यह "सीख" सके कि इसे कैसे किया जाए। परिणाम: आपदा। स्कोर लगभग शून्य पर गिर गया। सरल गणित वास्तव में सीखने (learning) की तुलना में अधिक विश्वसनीय था।
• अपीयरेंस री-आईडी (Appearance Re-ID): उन्होंने वस्तुओं को उनके दिखने के तरीके से पहचानने की कोशिश की (जैसे, "वह लाल फोर्कलिफ्ट है")। परिणाम: इससे कोई मदद नहीं मिली क्योंकि वास्तविक दुनिया में रोशनी और कोण बहुत अधिक बदल जाते हैं।

जिस एकमात्र चीज़ ने ज्योमेट्री टीम की मदद की, वह थी ऑफलाइन स्टिचिंग (offline stitching)। बाद में जाकर टूटे हुए ट्रैक्स को ठीक करने (एक ही वस्तु के "खोए हुए" और "पाए गए" हिस्सों को जोड़ने) से, उन्होंने अपना स्कोर थोड़ा सुधारा। यह हमें बताता है कि मुख्य बाधा डिटेक्शन क्वालिटी (सबसे पहले वस्तु को ढूंढना) है, न कि ट्रैकिंग लॉजिक।

मुख्य निष्कर्ष

पेपर उन लोगों के लिए एक स्पष्ट सबक के साथ समाप्त होता है जो ऐसे रोबोट बनाना चाहते हैं जिन्हें विशेष सेंसर के बिना 3D में देखने की आवश्यकता है: यदि आप ज्यामिति का उपयोग कर सकते हैं, तो गहराई का अनुमान लगाने की कोशिश न करें।

एक ऐसी दुनिया में जहाँ रोबोट को नकली डेटा पर प्रशिक्षित किया जाता है लेकिन वास्तविक दुनिया में परीक्षण किया जाता है, हर पिक्सेल की गहराई सीखने की कोशिश करने से एक अराजक, असंगत मानचित्र बनता है। इसके बजाय, दुनिया के ज्ञात नियमों (फर्श समतल है, कैमरे स्थिर हैं) पर टिके रहना और 2D डिटेक्शन को 3D स्पेस में उठाने के लिए सरल, स्पष्ट गणित का उपयोग करना कहीं अधिक विश्वसनीय है। गहराई का अनुमान लगाने का "जादू" वास्तविक दुनिया के भ्रम को दूर करने के लिए पर्याप्त नहीं है। आगे का सबसे अच्छा रास्ता बेहतर गहराई-अनुमान लगाने वाला AI नहीं है; बल्कि बेहतर डिटेक्टर हैं जो वास्तव में वस्तुओं को स्पष्ट रूप से देख सकें।