SeeSE3: Emergence of 3D Space in Vision Features

कल्पना कीजिए कि आप एक जासूस हैं जो इस रहस्य को सुलझाने की कोशिश कर रहे हैं कि हम दुनिया को कैसे देखते हैं। लंबे समय तक, वैज्ञानिकों का मानना था कि अंतरिक्ष के 3D आकार (3D shape) को वास्तव में समझने के लिए—कि चीजें कितनी दूर हैं, वे कैसे घूमती हैं, और हम उनके माध्यम से कैसे चलते हैं—एक जीव को एक सक्रिय खोजकर्ता होना चाहिए। एक बच्चे के रेंगने सीखने या पहियों वाले रोबोट के बारे में सोचें: उन्हें यह समझने के लिए कि दुनिया एक ठोस, त्रि-आयामी (three-dimensional) स्थान है, अपने शरीर को हिलाना होगा। गणितज्ञ हेनरी पोइन्केयर (Henri Poincaré) द्वारा प्रस्तावित यह विचार बताता है कि एक "स्थिर जीव" (motionless being) कभी यह नहीं जान पाएगा कि अंतरिक्ष क्या है, क्योंकि उसके पास यह बताने का कोई कारण नहीं होगा कि उसकी आँखों का हिलना और दुनिया का वास्तव में हिलना एक ही बात है।

लेकिन आज, हमारे पास कुछ नया है: "विज़न फाउंडेशन मॉडल्स" (vision foundation models) नामक विशाल कंप्यूटर मस्तिष्क। ये AI सिस्टम हैं जिन्हें अरबों फोटो और वीडियो पर प्रशिक्षित किया गया है। ये "स्थिर जीवों" की तरह हैं। इनके पास पैर नहीं हैं, न ही पहिए हैं, और न ही ये हिलते हैं। ये बस वहां बैठे रहते हैं और तस्वीरें देखते हैं। बड़ा सवाल यह है: यदि आप एक स्थिर कंप्यूटर को पर्याप्त तस्वीरें खिलाते हैं, तो क्या वह अनजाने में 3D स्थान के नियमों की खोज कर लेगा? या वह इसे केवल रंगों का एक सपाट, अस्त-व्यस्त ढेर समझेगा? यह शोध पत्र इसी प्रश्न की गहराई में जाता है, यह पूछते हुए कि क्या ये निष्क्रिय पर्यवेक्षक (passive observers) बिना कभी एक कदम बढ़ाए, अपने डिजिटल मस्तिष्क के भीतर दुनिया का एक नक्शा गुप्त रूप से बना सकते हैं।

---

शोध की बड़ी खोज: "अदृश्य मानचित्र" (The Unseen Map)

इस अध्ययन के पीछे के शोधकर्ताओं ने, जो Google DeepMind और अन्य संस्थानों की एक टीम है, इस "पोइन्केयर कार्य" (Poincaré Task) का परीक्षण करने का निर्णय लिया। वे यह देखना चाहते थे कि क्या इन स्थिर AI मॉडल्स के आंतरिक "विचार" (या फीचर्स) गुप्त रूप से एक 3D मानचित्र की तरह व्यवस्थित थे। विशेष रूप से, वे SE(3) से संबंध की तलाश कर रहे थे, जो कि केवल एक फैंसी गणितीय तरीका है यह बताने का कि आप 3D स्थान में सभी संभावित तरीकों से कैसे चल और घूम सकते हैं (जैसे आगे बढ़ना, बाएं मुड़ना, या अपना सिर झुकाना)।

यहाँ मोड़ यह है: जिन AI मॉडल्स का उन्होंने परीक्षण किया, उन्हें 3D स्थान के बारे में कभी भी नहीं सिखाया गया था। उन्हें गहराई चार्ट (depth charts) नहीं दिखाए गए थे, न ही उन्हें GPS निर्देशांक दिए गए थे, और न ही उन्हें दूरी मापने के लिए बताया गया था। उन्हें केवल "सेल्फ-सुपरविजन" (self-supervision) नामक एक विधि का उपयोग करके छवियों में पैटर्न पहचानने के लिए प्रशिक्षित किया गया था (मूल रूप से, बाकी हिस्से से सीखकर छवि के कुछ हिस्सों का अनुमान लगाना)।

मुख्य निष्कर्ष:
शोध पत्र सुझाव देता है कि, आश्चर्यजनक रूप से, इन स्थिर AI ने अपने मस्तिष्क के भीतर एक छिपा हुआ 3D मानचित्र बनाया। भले ही AI से निकलने वाला कच्चा डेटा एक उलझे हुए धागे के गोले (जैसे उलझा हुआ ऊन) जैसा दिखता था, शोधकर्ताओं ने पाया कि एक छोटे, सरल "एडॉप्टर" (एक छोटा सा जुड़ा हुआ टूल जिसे उन्होंने पोइन्केयर एडॉप्टर कहा) के साथ, वे उस उलझन को "खोल" (unroll) सकते थे। एक बार खुलने के बाद, AI के आंतरिक फीचर्स 3D स्थान की ज्यामिति (geometry) के साथ पूरी तरह से संरेखित हो गए।

इसे ऐसे समझें: कल्पना कीजिए कि AI का मस्तिष्क कागज का एक मुड़ा हुआ टुकड़ा है जिस पर एक नक्शा बना है। एक सामान्य आंख के लिए, वह नक्शा टूटा हुआ और असंभव दिखता है। लेकिन पोइन्केयर एडॉप्टर एक कोमल हाथ की तरह है जो कागज को सीधा और सपाट कर देता है। अचानक, वे मुड़ी हुई रेखाएं एक पूर्ण, सीधी ग्रिड प्रकट करती हैं जहाँ AI के मन में "आगे" बढ़ने का अर्थ वास्तव में वास्तविक दुनिया में आगे बढ़ना होता है।

उन्होंने क्या खारिज किया (और क्या नहीं)

लेखक बहुत सावधानी से यह स्पष्ट करने के लिए स्पष्ट करते हैं कि इसका क्या अर्थ नहीं है।

• यह एक सीधा 3D कैमरा नहीं है: उन्होंने स्पष्ट रूप से इस विचार को खारिज कर दिया कि AI के कच्चे फीचर्स पहले से ही एक पूर्ण 3D मानचित्र हैं। यदि आप केवल AI से निकलने वाले कच्चे नंबरों को देखते हैं, तो वे अराजक और घुमावदार होते हैं, सीधे और सपाट नहीं। "मानचित्र" छिपा हुआ है, स्पष्ट नहीं।
• यह जादू नहीं है: शोध पत्र इस विचार के विरुद्ध तर्क देता है कि आपको 3D स्थान को समझने के लिए पहियों वाले रोबोट की आवश्यकता है। उन्होंने दिखाया कि एक "स्थिर" पर्यवेक्षक (AI) केवल स्थिर तस्वीरों को देखकर अंतरिक्ष के इन नियमों को खोज सकता है, बशर्te आप सही सवाल पूछना जानते हों।
• यह हर जगह पूर्ण नहीं है: जबकि AI रोटेशन (घूमना) को बहुत अच्छी तरह से समझ सकता था, उसे यह समझने में थोड़ा अधिक संघर्ष करना पड़ा कि कोई चीज़ वास्तव में कितनी दूर थी (ट्रांसलेशन मैग्नीट्यूड)। शोध पत्र का सुझाव है कि ऐसा इसलिए है क्योंकि बिना अतिरिक्त संकेतों के एक सपाट तस्वीर से दूरी का अनुमान लगाना कठिन है, लेकिन गति की सामान्य दिशा अभी भी बहुत स्पष्ट थी।

उन्होंने इसे कैसे सिद्ध किया (द "प्रोब" प्रयोग)

इस छिपे हुए मानचित्र को खोजने के लिए, शोधकर्ताओं ने कुछ चतुर तरकीबों का उपयोग किया, जिन्हें वे "प्रोब्स" (probes) कहते हैं:

1. पड़ोस परीक्षण (The Neighborhood Test): उन्होंने जांचा कि क्या वास्तविक दुनिया में करीब स्थित तस्वीरें (जैसे एक गलियारे में चलते समय ली गई दो तस्वीरें) AI के मस्तिष्क में भी करीब हैं। उन्होंने पाया कि कुछ मॉडल्स के लिए, जैसे DINOv2, उत्तर एक जोरदार "हाँ" था। AI स्वाभाविक रूप से समान दृश्यों को एक साथ समूहित करता था, ठीक वैसे ही जैसे एक मानचित्र करता है।
2. "सीधा करने" का परीक्षण (The "Straightening" Test): उन्होंने यह देखने की कोशिश की कि क्या वे AI के वर्तमान दृश्य पर सरल गणित (संख्या जोड़ना या घटाना) करके अगले दृश्य की भविष्यवाणी कर सकते हैं। कच्चे डेटा पर, यह बुरी तरह विफल रहा। लेकिन एक बार जब उन्होंने अपने पोइन्केयर एडॉप्टर का उपयोग किया, तो गणित खूबसूरती से काम करने लगा। वे AI के "वर्तमान विचार" को ले सकते थे, उसमें एक "आगे बढ़ें" वेक्टर जोड़ सकते थे, और परिणाम एक ऐसा "विचार" था जो वीडियो के अगले फ्रेम से पूरी तरह मेल खाता था।
3. नेविगेशन गेम: एक अंतिम परीक्षण के रूप में, उन्होंने इस छिपे हुए मानचित्र का उपयोग करके नेविगेट करने की कोशिश की। उन्होंने AI को एक शुरुआती बिंदु और एक गंतव्य दिया (जैसे "2 मीटर आगे बढ़ें और 30 डिग्री मुड़ें")। केवल AI के आंतरिक फीचर्स और एडॉप्टर का उपयोग करके, वे बिना कोई नया चित्र बनाए, गंतव्य पर दिखने वाले दृश्य की भविष्यवाणी कर सकते थे। यह ऐसा था जैसे AI अपने दिमाग में वेक्टर गणित करके नए दृश्य की "कल्पना" कर सकता था।

"विजुअल ग्रिड कोड" (The Visual Grid Code)

इस शोध पत्र का सबसे रोमांचक हिस्सा "विजुअल ग्रिड कोड" का विचार है। जीव विज्ञान में, हम जानते हैं कि जानवरों (मनुष्यों सहित) के पास विशेष कोशिकाएं होती हैं जिन्हें "ग्रिड सेल्स" कहा जाता है, जो नेविगेट करने में मदद करने के लिए एक हेक्सागोनल (षट्कोणीय) पैटर्न में सक्रिय होती हैं। यह शोध पत्र सुझाव देता है कि यहाँ तक कि निष्क्रिय, स्थिर AI मॉडल भी अपने आप में ऐसा कुछ विकसित कर सकते हैं। वे केवल चित्रों को याद नहीं कर रहे हैं; वे अपने ज्ञान को एक ज्यामितिक संरचना में व्यवस्थित कर रहे हैं जो भौतिकी के नियमों को दर्शाता है।

लेखक ने पाया कि यह क्षमता बढ़ती जाती है। AI ने जितना अधिक डेटा देखा, उसका छिपा हुआ 3D मानचित्र उतना ही बेहतर होता गया। यहाँ तक कि जब उन्होंने AI का परीक्षण उन पूरी तरह से नए कमरों पर किया जिन्हें उसने पहले कभी नहीं देखा था, तब भी "एडॉप्टर" उसे नेविगेट करने में मदद कर सका, जो यह दर्शाता है कि यह एक मौलिक, सार्वभौमिक गुण है कि ये मॉडल कैसे सीखते हैं।

यह क्यों महत्वपूर्ण है

यह केवल बेहतर रोबोट बनाने के बारे में नहीं है। यह हमारे सोचने के तरीके को बदल देता है। यदि एक स्थिर कंप्यूटर केवल तस्वीरों को देखकर 3D स्थान के नियमों को समझ सकता है, तो इसका मतलब है कि हमारी दुनिया की ज्यामिति विजुअल डेटा में इतनी गहराई से समाहित है कि इसे अनदेखा करना लगभग असंभव है। "स्थान के नियम" ऐसी चीज़ नहीं हैं जिन्हें हमें मशीन को सिखाना होगा; यदि हम उन्हें पर्याप्त आँखें दे दें, तो वे स्वयं उनकी खोज कर लेंगे।

शोध पत्र निष्कर्ष निकालता है कि हालांकि AI 3D स्थान को उस तरह से नहीं "देखता" जैसे हम देखते हैं (क्योंकि उसके पास हिलने के लिए शरीर नहीं है), उसने अपने कोड के भीतर 3D स्थान का एक गणितीय कंकाल (mathematical skeleton) बनाया है। और पोइन्केयर एडॉप्टर जैसे एक सरल उपकरण की थोड़ी सी मदद से, हम अंततः उस मानचित्र को पढ़ सकते हैं, जिससे हम केवल AI के अपने विचारों का उपयोग करके दुनिया में नेविगेट कर सकते हैं।