SpaRRTa: A Synthetic Benchmark for Evaluating Spatial Intelligence in Visual Foundation Models
यह शोध पत्र SpaRRTa प्रस्तुत करता है, जो एक सिंथेटिक बेंचमार्क है जिसे विज़ुअल फाउंडेशन मॉडल्स की स्थानिक तर्क क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो वस्तुओं की सापेक्ष स्थिति को पहचानने की उनकी क्षमता का परीक्षण करता है, वर्तमान मॉडल्स की स्थानिक जागरूकता में महत्वपूर्ण असमानताओं को प्रकट करता है और भविष्य के विकास को निर्देशित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक बिखरे हुए कमरे में रास्ता खोजना सिखा रहे हैं। आप उसे एक कुर्सी पर बैठी बिल्ली की तस्वीर दिखाते हैं जो एक लैंप के बगल में है। एक स्मार्ट रोबोट को दो चीजें पता होनी चाहिए: वे चीजें क्या हैं (एक बिल्ली, एक कुर्सी, एक लैंप) और वे एक-दूसरे के सापेक्ष कहाँ हैं (बिल्ली लैंप के बाईं ओर है)। लंबे समय से, कंप्यूटर चीजों को पहचानने में—तस्वीरों में वस्तुओं की पहचान करने में—बहुत अच्छे हो गए हैं। लेकिन दूसरा हिस्सा, यानी 3D लेआउट और दिशा को समझना, एक आंखों पर पट्टी बांधे हुए व्यक्ति के लिए वैसा ही था जैसे वह केवल एक सपाट ड्राइंग को देखकर गेंद का अंदाजा लगाने की कोशिश कर रहा हो।
यह "विजुअल फाउंडेशन मॉडल्स" (Visual Foundation Models) की दुनिया है। इन्हें ऐसे सुपर-स्मार्ट AI दिमागों के रूप में सोचें जिन्होंने लाखों तस्वीरें पढ़ी हैं और पैटर्न पहचानना सीख लिया है। ये आधुनिक इमेज टूल्स के पीछे के इंजन हैं। हालांकि, शोधकर्ताओं ने एक गड़बड़ी देखी है: ये दिमाग यह कहने में तो बहुत अच्छे हैं कि "वह एक पेड़ है!", लेकिन जब उनसे पूछा जाता है, "क्या पेड़ कार के बाईं ओर है या दाईं ओर?", तो वे अक्सर लड़खड़ा जाते हैं। यह महत्वपूर्ण है क्योंकि यदि हम चाहते हैं कि हमारे रोबोट हमारे घरों में चलें या कारें चलाएं, तो उन्हें केवल लेबल नहीं, बल्कि स्थान (स्पेस) को समझना होगा। बड़ा सवाल यह है: क्या ये AI दिमाग वास्तव में 3D दुनिया को "देखते" हैं, या वे केवल विशिष्ट गणितीय समस्याओं के लिए सही उत्तर का अनुमान लगाने के लिए तरकीबें याद कर रहे हैं?
इस रहस्य को सुलझाने के लिए, शोधकर्ताओं की एक टीम ने एक नया परीक्षण बनाया जिसे SpaRRTa (स्पेशियल रिलेशन रिकग्निशन टास्क) कहा जाता है। सटीक दूरियों को मापने या 3D मानचित्र बनाने जैसी जटिल गणितीय गणनाएं करने के बजाय, SpaRRTa एक सरल, अधिक मौलिक प्रश्न पूछता है: "इस विशिष्ट दृष्टिकोण से, वस्तु A, वस्तु B के बाईं ओर, दाईं ओर, सामने या पीछे है?"
इस परीक्षण को निष्पक्ष और अत्यंत सटीक बनाने के लिए, शोधकर्ताओं ने इंटरनेट से वास्तविक फोटो का उपयोग नहीं किया। इसके बजाय, उन्होंने एक हाई-एंड गेम इंजन (Unreal Engine 5) का उपयोग करके एक आभासी दुनिया बनाई। उन्होंने फोटोरियलिस्टिक दृश्य बनाए—जैसे एक जंगल, एक रेगिस्तान, एक बर्फीला शहर, एक पुल और एक व्यस्त शहर—और उनमें कारों, पेड़ों और कुत्तों जैसी वस्तुएं रखीं। वे कैमरे को हिला सकते थे या यहाँ तक कि यह नाटक कर सकते थे कि दृश्य में कोई व्यक्ति मौजूद है, और AI को उस व्यक्ति की आँखों से दुनिया की कल्पना करने के लिए कह सकते थे, न कि केवल कैमरे के दृष्टिकोण से। यह ऐसा है जैसे पूछना, "यदि मैं कार के पीछे खड़ा होता, तो क्या पेड़ मेरे बाईं ओर होता या दाईं ओर?"
शोधकर्ताओं ने इन विभिन्न AI दिमागों का परीक्षण किया, जिनमें से कुछ ने केवल चित्रों को देखकर सीखा था और कुछ को विशेष रूप से 3D ज्यामिति सिखाई गई थी। उन्होंने "प्रोबिंग" (probing) नामक एक चतुर तकनीक का उपयोग किया। कल्पना कीजिए कि AI का दिमाग सूचनाओं का एक बंद बॉक्स है। पूरे बॉक्स को फिर से प्रशिक्षित करने के बजाय, उन्होंने यह देखने के लिए एक छोटी, सरल 'चाबी' (प्रोब) बनाई कि क्या स्थानिक जानकारी पहले से ही उसके अंदर मौजूद है। उन्होंने तीन अलग-अलग चाबियाँ आजमाईं: एक सरल चाबी जो एक बार में पूरी तस्वीर को देखती थी, एक स्मार्ट चाबी जो महत्वपूर्ण स्थानों को चुन सकती थी, और एक सुपर-स्मार्ट चाबी जो एक साथ कई विशिष्ट चीजों पर ध्यान केंद्रित कर सकती थी।
यहाँ उन्हें क्या मिला, यह काफी आश्चर्यजनक है। पहला, सरल चाबी अक्सर विफल रही। यह पाया गया कि AI का चित्र का "ग्लोबल" दृश्य (पूरी तस्वीर को एक बड़े ढेर के रूप में देखना) वास्तव में स्थानिक विवरणों को छिपा देता है। चीजों के होने की जानकारी छवि के छोटे, स्थानीय पैच (patches) में संग्रहीत होती है, जैसे कि पहेली के व्यक्तिगत टुकड़े। जब आप उन टुकड़ों को एक सारांश के रूप में एक साथ सिकोड़ देते हैं, तो दिशा खो जाती है। हालांकि, जब उन्होंने अधिक स्मार्ट, केंद्रित चाबियों का उपयोग किया, तो AI दिमागों ने बहुत बेहतर प्रदर्शन किया।
अध्ययन बताता है कि जबकि इन मॉडल्स में स्थानिक जागरूकता (spatial awareness) होती है, लेकिन यह छवि के बारीक विवरणों में छिपी होती है। वे मॉडल्स जिन्हें विशेष रूप से 3D डेटा के साथ प्रशिक्षित किया गया था (जैसे कि वे जानते हों कि चीजें कितनी दूर हैं), उन्होंने सबसे अच्छा काम किया, लेकिन यहाँ तक कि उन मॉडल्स ने भी, जिन्होंने केवल सपाट 2D चित्रों को देखा था, दिखाया कि वे दिशा को समझ सकते हैं यदि आप सही सवाल पूछना जानते हों। दिलचस्प बात यह है कि AI को दृश्य में किसी व्यक्ति के दृष्टिकोण (एलोसेंटिक व्यू) को अपनाने के लिए पूछने पर कैमरे के दृश्य की तुलना में बहुत अधिक संघर्ष करना पड़ा। यह इस तरह है जैसे हमारे लिए यह कहना आसान है कि "पेड़ कार के बाईं ओर है" यदि हम अपनी फोटो से देख रहे हैं, लेकिन यदि हम कार के पीछे खड़े होकर कल्पना करें, तो यह कहना कठिन हो जाता है कि "पेड़ कार के दाईं ओर है।"
शोधकर्ताओं ने यह भी जांचा कि क्या फूलों या हवाई जहाजों को पहचानने में कुशल होने का मतलब यह है कि आप स्थान को समझने में भी कुशल हैं। उत्तर 'नहीं' था। AI चीजों के नाम बताने में मास्टर हो सकता है लेकिन यह जानने में बहुत बुरा हो सकता है कि वे कहाँ हैं। यह साबित करता है कि SpaRRTa केवल ऑब्जेक्ट रिकग्निशन (वस्तु पहचान) से बिल्कुल अलग कौशल को माप रहा है।
संक्षेप में, पेपर सुझाव देता है कि आधुनिक AI दिमाग स्थान के प्रति "अंधे" नहीं हैं, बल्कि वे अपने स्थानिक ज्ञान को अपने बड़े-चित्र के सारांश के बजाय छवि के सूक्ष्म विवरणों में छिपा रहे हैं। हमारे संसार में वास्तव में नेविगेट करने वाले रोबोट बनाने के लिए, हमें केवल उन्हें वस्तुओं को पहचानना सिखाना ही नहीं चाहिए, बल्कि उन्हें उनके बीच के संबंधों को समझना भी सिखाना चाहिए, और इसके लिए SpaRRTa जैसे उपकरणों का उपयोग मार्गदर्शक के रूप में करना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।