From Where Things Are to What They Are For: Benchmarking Spatial-Functional Intelligence in Multimodal LLMs
यह शोध पत्र SFI-Bench को प्रस्तुत करता है, जो 1,500 से अधिक विशेषज्ञ-एनोटेटेड प्रश्नों वाला एक वीडियो-आधारित बेंचमार्क है जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स का संरचित स्थानिक और कार्यात्मक तर्क पर मूल्यांकन करता है, जो ग्राउंडेड इंटेलिजेंस के लिए स्थानिक स्मृति को कार्यात्मक अनुमान के साथ प्रभावी ढंग से एकीकृत करने में उनकी वर्तमान अक्षमता को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को अपने घर में रास्ता ढूँढना सिखा रहे हैं। आपको लग सकता है कि सबसे कठिन काम उसे कुर्सी या कॉफी कप पहचानना सिखाना है। लेकिन इस शोध पत्र के अनुसार, वह वास्तव में आसान हिस्सा है। असली चुनौती रोबोट को दो बहुत कठिन चीजें सिखाना है: चीजें एक-दूसरे के संबंध में कहाँ हैं, और वे वास्तव में किस काम की हैं।
शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे SFI-Bench (स्पेशियल-फंक्शनल इंटेलिजेंस बेंचमार्क) कहा जाता है, ताकि यह देखा जा सके कि क्या आज के सबसे स्मार्ट AI मॉडल ये चीजें कर सकते हैं। इसे AI के लिए एक "ड्राइवर लाइसेंस परीक्षा" की तरह समझें, लेकिन यहाँ AI कार चलाने के बजाय, एक कमरे के वीडियो को देखकर उसके बारे में पेचीदा सवालों के जवाब देता है।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:
1. दो बड़ी कौशल: मानचित्र और निर्देशिका
यह शोध पत्र तर्क देता है कि वास्तविक बुद्धिमत्ता के लिए दो पूरक कौशलों की आवश्यकता होती है, जिन्हें वे "चीजें कहाँ हैं" और "चीजें किस काम की हैं" कहते हैं।
- "कहाँ" (स्थानिक तर्क - Spatial Reasoning): यह आपके दिमाग में एक मानसिक मानचित्र बनाने जैसा है। यह केवल एक सोफे को देखना नहीं है; यह जानना है कि सोफा टीवी के बाईं ओर है, उस पर तीन तकिए हैं, और यदि आप सोफे के पास से गुजरते हैं, तो आप दीवार से टकरा जाएंगे।
- परीक्षण: AI को एक कमरे का वीडियो दिखाया जाता है और उससे पूछा जाता है, जैसे, "दरवाजे से सबसे दूर वाले सोफे पर कितने नीले तकिए हैं?" या "यदि मैं किचन से बेडरूम की ओर चलता हूँ, तो मैं सबसे पहले किस वस्तु के पास से गुजरूँगा?"
- "किस काम की" (कार्यात्मक तर्क - Functional Reasoning): यह एक यूजर मैनुअल समझने जैसा है। यह जानना है कि रिमोट कंट्रोल टीवी के लिए है, टोस्टर के लिए नहीं, और यह जानना कि वॉशिंग मशीन के चक्र को रद्द करने के लिए कौन से बटन दबाने हैं।
- परीक्षण: AI को एक अजीब उपकरण दिखाया जाता है और उसे पता लगाना होता है, "यह क्या करता है?" या "मेरे चश्मे डिशवॉशर से इंद्रधनुषी दाग के साथ बाहर आ रहे हैं; क्या गलत है और मैं इसे कैसे ठीक करूँ?"
2. परिणाम: देखने में अच्छे, सोचने में कमजोर
शोधकर्ताओं ने कई दुनिया के सबसे उन्नत AI मॉडलों (जैसे GPT-5, Gemini और ओपन-सोर्स मॉडल) का इस बेंचमार्क पर परीक्षण किया। यहाँ निर्णय है:
- "आंखें" खुली हैं: AI मॉडल सरल धारणा (perception) में उत्कृष्ट हैं। यदि आप पूछते हैं, "क्या वीडियो में बिल्ली है?" तो वे लगभग हर बार सही जवाब देते हैं।
- "दिमाग" अटका हुआ है: जब सवाल कठिन होते हैं, तो मॉडल संघर्ष करते हैं।
- स्मृति अंतराल (The Memory Gap): कल्पना कीजिए कि कमरे में घूमने के बाद उसे याद रखने की कोशिश करना। AI अक्सर भूल जाता है कि वह कहाँ से शुरू हुआ था। यदि आप उससे वीडियो की शुरुआत से अंत तक एक बिंदु जोड़ने के लिए कहते हैं, तो वह अक्सर भटक जाता है या वस्तुओं को गलत जगह पर "टेलीपोर्ट" कर देता है।
- "जरूरत से ज्यादा सोचने" का जाल: शोधकर्ताओं ने पाया कि जब उन्होंने AI को "अधिक गहराई से सोचने" (उसे लंबा तर्क उत्पन्न करने के लिए अधिक समय देकर) के लिए कहा, तो वह स्मार्ट नहीं हुआ। वास्तव में, वह अक्सर और भी "बेवकूफ" हो गया। उसने तथ्य बनाना शुरू कर दिया या अपने ही लंबे स्पष्टीकरणों से भ्रमित हो गया। यह एक ऐसे छात्र की तरह है जो परीक्षा में तब तक लिखता रहता है जब तक कि वह गलती से सही उत्तर को ही मिटा न दे।
- "मैनुअल" की समस्या: "किस काम की" वाले सवालों के लिए, AI अक्सर विफल रहा जब तक कि उसे वास्तविक दुनिया के मैनुअल खोजने के लिए सर्च इंजन का उपयोग करने की अनुमति नहीं दी गई। बाहरी मदद के बिना, AI केवल अनुमान लगा रहा था, अक्सर सामान्य ज्ञान पर निर्भर था जो विशिष्ट स्थिति में फिट नहीं बैठता था (जैसे, यह मान लेना कि कोई भी रिमोट किसी भी टीवी के लिए काम करेगा)।
3. आश्चर्यजनक निष्कर्ष
- समय का महत्व कम है: मनुष्य समय के माध्यम से मानसिक मानचित्र बनाते हैं। यदि आप वीडियो के फ्रेम को क्रम से बाहर चलाकर इधर-उधर कर दें, तो एक इंसान पूरी तरह से खो जाएगा। आश्चर्यजनक रूप से, AI को इससे ज्यादा फर्क नहीं पड़ा; इसने बस सभी तस्वीरों को एक साथ देखा और अनुमान लगाने की कोशिश की। ऐसा लगता है कि वह हमारे जैसे "समय के प्रवाह" को नहीं समझता है।
- तस्वीरें शब्दों से बेहतर हैं: शोधकर्ताओं ने AI को वीडियो के बजाय कमरे का लिखित विवरण देने की कोशिश की। AI का प्रदर्शन काफी गिर गया। भले ही आप शब्दों में कमरे का सटीक वर्णन करें, AI को सही मानसिक मानचित्र बनाने के लिए वीडियो देखने की आवश्यकता होती है।
- बड़ा होना हमेशा बेहतर नहीं होता: कभी-कभी, छोटे और अधिक कुशल मॉडल बड़े मॉडलों के समान ही प्रदर्शन करते हैं, बशर्ते वे लंबे, अनावश्यक तर्क श्रृंखलाओं में न फंसें।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि जबकि AI दुनिया को "देखने" में बहुत अच्छा हो रहा है, वह अभी भी दुनिया को "समझने" के लिए संघर्ष कर रहा है। वह टोस्टर को पहचान सकता है, लेकिन वह वास्तव में यह नहीं समझ पाता कि टोस्टर किचन में कैसे फिट होता है या अगर वह टूट जाए तो उसे कैसे ठीक किया जाए।
वास्तविक बुद्धिमान एजेंट (रोबोट या सॉफ्टवेयर जो हमारे नाम पर कार्य कर सकें) बनाने के लिए, हमें केवल उन्हें वस्तुओं को पहचानना सिखाने से आगे बढ़ना होगा। हमें उन्हें सुसंगत मानसिक मानचित्र बनाने, समय के साथ चीजें कहाँ हैं यह याद रखने, और केवल अनुमान लगाने के बजाय वास्तविक दुनिया के ज्ञान के आधार पर उपकरणों का उपयोग करना सिखाने की आवश्यकता है। वर्तमान में, वे एक ऐसे पर्यटक की तरह हैं जो किसी स्थल की शानदार फोटो तो ले सकता है लेकिन वहां तक कैसे पहुँचना है या वहां पहुँचने के बाद क्या करना है, यह नहीं जानता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।