कल्पना कीजिए कि आप एक अव्यवस्थपूर्ण लिविंग रूम की तस्वीर देख रहे हैं। आपकी आँखों के लिए, यह केवल रंगों और आकृतियों की एक सपाट तस्वीर है। लेकिन एक कंप्यूटर के लिए जो दुनिया को समझने की कोशिश कर रहा है, वह छवि एक पहेली है। उसे यह समझना होगा कि सोफा कितनी दूर है, फोटो खींचते समय कैमरा कहाँ खड़ा था, और यदि आप वस्तुओं के चारों ओर घूमेंगे तो वे कैसे हिलेंगी। विज्ञान का यह क्षेत्र "स्थानिक धारणा" (spatial perception) कहलाता है, और यही वह अंतर है जो एक ऐसे रोबोट के बीच है जो दीवारों से टकरा जाता है और एक ऐसे रोबोट के बीच जो कमरे में सहजता से घूम सकता है। लंबे समय तक, वैज्ञानिकों ने इस पहेली के विभिन्न हिस्सों को अलग-अलग कार्यों के रूप में माना। एक टीम ने ऐसे रोबोट बनाए जो दूरियां मापने में माहिर थे (ज्यामिति/geometry), जबकि दूसरी टीम ने ऐसे मॉडल बनाए जो "लैंप के बाईं ओर क्या है?" जैसे सवालों के जवाब देने में उत्कृष्ट थे (तर्क/reasoning)। लेकिन जिस तरह मानव मस्तिष्क में अलग-अलग "दूरी" और "तर्क" केंद्र नहीं होते जो एक-दूसरे से कभी बात नहीं करते, ये कंप्यूटर मॉडल एक-दूसरे से सीखने के अवसर को खो रहे थे।

यहाँ SPARGen आता है, एक नया दृष्टिकोण जो एक ही कंप्यूटर मॉडल को यह सब एक साथ करने के लिए प्रशिक्षित करने की कोशिश करता है। इसे एक अत्यंत प्रतिभाशाली कलाकार के रूप में सोचें जो न केवल एक चित्र बनाता है, बल्कि उसके बारे었던 एक कहानी भी लिखता है और सटीक गणना भी करता है कि गुरुत्वाकर्षण बदलने पर चित्र की वस्तुएं कैसे गिरेंगी। गहराई मापने, गति को ट्रैक करने या प्रश्न पूछने के लिए अलग-अलग उपकरणों का उपयोग करने के बजाय, SPARGen एक एकीकृत "मस्तिष्क" का उपयोग करता है जो इन सभी उत्तरों को एक साथ उत्पन्न करना सीखता है। यह दुनिया को अलग-अलग कार्यों के संग्रह के रूप में नहीं, बल्कि एक एकल, जुड़े हुए कहानी के रूप में देखता है जहाँ ज्यामिति और भाषा एक ही दृश्य का वर्णन करने के अलग-अलग तरीके हैं।

समस्या: "विशेषज्ञ" की बाधा (The "Specialist" Bottleneck)

वर्षों तक, कंप्यूटर को स्थान के बारे में सिखाने का मानक तरीका हर काम के लिए एक "विशेषज्ञ" को काम पर रखना था। यदि आप जानना चाहते थे कि किसी दृश्य की गहराई कितनी है, तो आप एक गहराई मापने वाले मॉडल से पूछते थे। यदि आप जानना चाहते थे कि कैमरा कहाँ था, तो आप एक पोज-एस्टीमेशन मॉडल से पूछते थे। यदि आप जानना चाहते थे कि सोफे के पीछे क्या है, तो आप एक लैंग्वेज मॉडल से पूछते थे।

इस दृष्टिकोण के साथ समस्या यह है कि ये विशेषज्ञ शायद ही कभी एक-दूसरे से बात करते हैं। वह मॉडल जो कमरे की गहराई जानता है, वह उस मॉडल की मदद नहीं करता है जो कमरे के बारे में प्रश्न का उत्तर देने की कोशिश कर रहा है। यह एक ऐसे शेफ की तरह है जो सब्जियां काटने में तो माहिर है लेकिन उस बेकर से कभी मिला ही नहीं जिसने ब्रेड बनाई है; वे एक आदर्श भोजन बनाने के लिए सहयोग नहीं कर सकते। इसके अलावा, इनमें से कई मॉडल गणित करने के लिए अतिरिक्त, भारी-भरकम एड-ऑन पर निर्भर थे, जिससे वे धीमे और जटिल हो गए थे।

समाधान: "यूनिवर्सल स्टोरीटेलर" (The "Universal Storyteller")

SPARGen खेल बदल देता है क्योंकि यह एक नेटिव मल्टीमॉडल जनरेटर के रूप में कार्य करता है। एक विशेषज्ञ होने के बजाय, यह एक सामान्यज्ञ (generalist) है जो दो भाषाओं में धाराप्रवाह बोलता है: छवियां और पाठ (text)।

यहाँ असली जादू है: SPARGen हर चीज़ को एक "जेनरेशन" (उत्पन्न करने के) कार्य के रूप में देखता है।

1. "इमेज" वाली चीजों के लिए: जब इसे गहराई, पॉइंट क्लाउड (बिंदुओं का एक 3D मानचित्र), या ऑप्टिकल फ्लो (फ्रेमों के बीच पिक्सेल कैसे चलते हैं) को समझने की आवश्यकता होती है, तो यह एक नई छवि "जनरेट" करता है। यह केवल एक संख्या की गणना नहीं करता; यह एक ऐसा चित्र पेंट करता है जहाँ एक पिक्सेल की चमक आपको बताती है कि कोई चीज़ कितनी दूर है।
2. "टेक्स्ट" वाली चीजों के लिए: जब इसे "सफेद मेज के दाईं ओर क्या है?" जैसे प्रश्न का उत्तर देना होता है, तो यह शब्दों का एक क्रम उत्पन्न करता है, ठीक वैसे ही जैसे एक चैटबॉट करता है।

यह पेपर इसे मिक्सचर-ऑफ-ट्रांसफॉर्मर-एक्सपर्ट्स (MoT) बैकबोन कहता है। एक विशाल पुस्तकालय की कल्पना करें जहाँ अलग-अलग "विशेषज्ञ" (विशिष्ट AI मस्तिष्क) एक ही इमारत में रहते हैं। एक विशेषज्ञ टेक्स्ट पढ़ने में माहिर है, दूसरा छवियों को समझने में, और एक अन्य गणित में। SPARGen इन सभी विशेषज्ञों को एक ही मेज पर बैठकर चर्चा करने की अनुमति देता है। जब आप कोई प्रश्न पूछते हैं, तो वे सभी अपने ज्ञान में योगदान देते हैं, न कि अलगाव में काम करते हैं।

यह कैसे काम करता है: दो-ट्रैक प्रणाली (The Two-Track System)

SPARGen Bagel नामक एक आधार पर बना है, जो पहले से ही छवियों और पाठ को समझने में अच्छा था। शोधकर्ताओं ने इसे बिना किसी नए, अजीब हार्डवेयर या अलग गणित मॉड्यूल को जोड़े, "स्थानिक" चीजों को संभालने के लिए अपग्रेड किया।

• टेक्स्ट ट्रैक (The Autoregressive Path): जब मॉडल को एक संरचित उत्तर देने की आवश्यकता होती है, जैसे कैमरे की स्थिति (रोटेशन और दूरी) या कमरे का वर्णन करने वाला वाक्य, तो यह शब्द-दर-शब्द (या टोकन-दर-टोकन) इसे लिखता है। यह एक टाइपिस्ट की तरह है जो एक वाक्य टाइप करता है, और जो कुछ पहले आया है उसके संदर्भ का उपयोग करके तय करता है कि आगे क्या आना चाहिए।
• इमेज ट्रैक (The Rectified Flow Path): जब मॉडल को एक सघन मानचित्र (जैसे हर पिक्सेल के लिए एक पूर्ण डेप्थ मैप) आउटपुट करने की आवश्यकता होती है, तो यह रेक्टिफाइड फ्लो (rectified flow) नामक तकनीक का उपयोग करता है। इसे एक मूर्तिकार के रूप में सोचें जो शोर (static) के एक ब्लॉक से शुरू करता है और धीरे-धीरे उसे एक स्पष्ट आकार में तराशता है। मॉडल एक धुंधली, यादृच्छिक छवि से शुरू होता है और आपके द्वारा दिए गए निर्देश के मार्गदर्शन में एक सटीक डेप्थ मैप या पॉइंट क्लाउड में "प्रवाहित" (flow) होता है।

इस प्रणाली की सुंदरता यह है कि इसे यह बताने की आवश्यकता नहीं है कि "अब गणित करो" या "अब भाषा का उपयोग करो।" यह बस निर्देश (जैसे, "डेप्थ का अनुमान लगाएं" या "दाईं ओर क्या है?") को देखता है और जानता है कि उत्तर उत्पन्न करने के लिए किस "ट्रैक" का उपयोग करना है।

उन्होंने क्या पाया: एक मॉडल जो सब पर राज करता है (One Model to Rule Them All)

शोधकर्ताओं ने कमरे की गहराई मापने से लेकर, यह पता लगाने तक कि एक कार वीडियो में कैसे चल रही है, और कठिन स्थानिक प्रश्नों के उत्तर देने तक, कई विविध कार्यों पर SPARGen का परीक्षण किया।

परिणाम:

• यह एक जादूगर (Juggler) है: SPARGen ने केवल एक मॉडल का उपयोग करके इन सभी अलग-अलग कार्यों पर प्रतिस्पर्धी प्रदर्शन किया। इसे अलग से "डेप्थ मॉडल" या अलग "फ्लो मॉडल" की आवश्यकता नहीं थी।
• विशेषज्ञों को पछाड़ना: कई बेंचमार्क पर, SPARGen ने उन मॉडलों के बराबर या उनसे बेहतर प्रदर्शन किया जो विशेष रूप से केवल एक ही काम के लिए बनाए गए थे। उदाहरण के लिए, KITTI डेटासेट पर (जो यह परीक्षण करने का एक मानक है कि एक मॉडल कार के दृश्य में गति को कितनी अच्छी तरह ट्रैक करता है), SPARGen ने 4.09 का एंड-पॉइंट एरर (EPE) और 13.34 का F1-all स्कोर प्राप्त किया, जिसने RAFT (5.03 EPE) और FlowFormer (4.10 EPE) जैसे विशिष्ट मॉडलों को पीछे छोड़ दिया।
• रीजनिंग किंग: स्थानिक तर्क (spatial reasoning) के क्षेत्र में (जैसे "यदि मैं यहाँ खड़ा हूँ, तो मेरे दाईं ओर क्या है?"), SPARGen ने कड़ी प्रतिस्पर्धा को ध्वस्त कर दिया। SPAR बेंचमार्क पर, इसने औसतन 79.25 स्कोर किया, जो अन्य ओपन-सोर्स मॉडल जैसे Qwen2.5-VL-72B (44.80) और यहाँ तक कि प्रोप्रायटरी दिग्गज GPT-4o (43.27) से काफी बेहतर है।
• मिश्रण की शक्ति: पेपर सुझाव देता है कि ये कार्य वास्तव में एक-दूसरे की मदद करते हैं। जब उन्होंने "ज्यामिति" प्रशिक्षण (इसे 3D आकृतियों के बारे में सिखाना) को हटा दिया, तो मॉडल प्रश्नों के उत्तर देने में कमजोर हो गया। जब उन्होंने "तर्क" (reasoning) प्रशिक्षण को हटाया, तो मॉडल 3D आकृतियों को समझने में थोड़ा कमजोर हो गया। यह दर्शाता है कि दुनिया को 3D में देखने से मॉडल को भाषा समझने में मदद मिलती है, और भाषा सीखने से उसे 3D स्थान को समझने में मदद मिलती है।

कमी: यह अभी भी पूर्ण नहीं है (The Catch)

हालाँकि परिणाम प्रभावशाली हैं, लेखक एक सीमा को नोट करने में सावधानी बरतते हैं। क्योंकि SPARGen छवियों को संकुचित करने और उत्पन्न करने के लिए एक VAE (Variational Autoencoder) का उपयोग करता है, इसलिए इसे 3D दुनिया को एक छोटे, संकुचित प्रारूप में दबाना पड़ता है। यह संपीड़न कभी-कभी वस्तुओं के बहुत तीखे किनारों को धुंधला कर सकता है या सटीक भौतिक माप (जैसे "यह मेज ठीक 1.23 मीटर दूर है") प्राप्त करना कठिन बना सकता है। यह संरचना और लेआउट को समझने के लिए बेहतरीन है, लेकिन यह उस बढ़ई के लिए सबसे अच्छा उपकरण नहीं हो सकता जिसे मिलीमीटर-सटीक परिशुद्धता की आवश्यकता है।

बड़ी तस्वीर (The Big Picture)

SPARGen सुझाव देता है कि हमें हर स्थानिक कार्य के लिए एक अलग रोबोट मस्तिष्क बनाने की आवश्यकता नहीं है। इसके बजाय, हम एक लचीला, जेनेरेटिव मस्तिष्क बना सकते है जो दुनिया की ज्यामिति की "कल्पना" करने और एक ही समय में उसके बारे में "बोलने" को सीखता है। इन क्षमताओं को एकीकृत करके, मॉडल स्थान की एक समृद्ध और सुसंगत समझ विकसित करता है, जो यह सिद्ध करता है कि वास्तविक स्थानिक बुद्धिमत्ता का मार्ग गणित को अर्थ से अलग करने के बजाय उन्हें जोड़ने में निहित है।