MultiGlobeQA: A Multilingual and Globally Diverse Benchmark for Geospatial Reasoning

कल्पना कीजिए कि आप एक ऐसा रोबोट बनाने की कोशिश कर रहे हैं जो एक सुपर-स्मार्ट ट्रैवल गाइड के रूप में काम कर सके। आप चाहते हैं कि वह आपको बता सके कि आपके घर से नजदीकी पिज्जा शॉप कितनी दूर है, या यह कि किसी विशिष्ट पार्क को खोजने के लिए आपको किस दिशा में पैदल चलना होगा। यह जियोस्पेशियल रीजनिंग (geospatial reasoning) की दुनिया है: यह समझने की क्षमता कि चीजें कहाँ हैं, वे एक-दूसरे से कितनी दूर हैं, और वे एक मानचित्र पर कैसे फिट बैठती हैं।

लंबे समय से, वैज्ञानिक कंप्यूटर को दुनिया के नक्शों और तथ्यों को "पढ़ना" सिखा रहे हैं। उन्होंने सूचनाओं के विशाल डिजिटल पुस्तकालय बनाए हैं जिन्हें नॉलेज ग्राफ्स (Knowledge Graphs) कहा जाता है, जो तथ्यों के आपस में जुड़े हुए विशाल जाल की तरह हैं (जैसे, "पेरिस फ्रांस में है," "एफिल टॉवर पेरिस में है")। हाल ही में, हमने लार्ज लैंग्वेज मॉडल्स (LLMs) भी बनाए हैं—सुपर-पावर्ड एआई दिमाग जो इंटरनेट पर लिखी लगभग हर चीज़ को पढ़ सकते हैं और मानवीय भाषा में सवालों के जवाब दे सकते हैं। बड़ा सवाल जो हर कोई पूछ रहा है वह यह है कि यदि आप इन एआई दिमागों को एक नक्शा और तथ्यों की एक सूची देते हैं, तो क्या वे वास्तव में दूरियों और दिशाओं को समझने के लिए गणित कर सकते हैं, या वे केवल उस आधार पर अनुमान लगाते हैं जो उन्होंने याद किया है?

यहीं पर एक नया अध्ययन जिसका नाम MultiGlobeQA है, काम आता है। शोधकर्ता यह देखना चाहते थे कि क्या ये एआई दिमाग वास्तव में वास्तविक दुनिया में नेविगेट करने के लिए पर्याप्त स्मार्ट हैं या वे केवल ज्यामिति (geometry) के बारे में पूछे जाने पर "हैलुसिनेट" (मनगढ़ंत बातें बनाना) कर रहे हैं। उन्होंने यह देखने के लिए एक विशाल बहुभाषी परीक्षण बनाया कि वे वास्तव में कहाँ विफल होते हैं।

द ग्रेट मैप टेस्ट: MultiGlobeQA

शोधकर्ताओं ने MultiGlobeQA नामक एक बड़ी चुनौती बनाई। इसे एआई के लिए एक विशाल, वैश्विक "टेस्ट ड्राइव" के रूप में समझें, लेकिन कार चलाने के बजाय, एआई को पृथ्वी पर वास्तविक स्थानों के बारे में 46,060 अलग-अलग सवालों को हल करना है।

परीक्षण को निष्पक्ष और पूरी दुनिया को कवर करने वाला बनाने के लिए, उन्होंने केवल लंदन या न्यूयॉर्क जैसे प्रसिद्ध शहरों को नहीं चुना। उन्होंने एक विशेष "स्ट्रैटिफाइड सैंपलिंग" (stratified sampling) पद्धति का उपयोग किया, जो एक बड़े आइसक्रीम स्कूप की तरह है जिसमें हर फ्लेवर और हर परत शामिल है, जिससे यह सुनिश्चित हुआ कि उन्हें 201 देशों और क्षेत्रों से प्रश्न मिले। उन्होंने सुनिश्चित किया कि इसमें अमीर और गरीब, भीड़भाड़ वाले और खाली स्थान शामिल हों, ताकि यह परीक्षण केवल उन जगहों के पक्ष में न हो जहाँ इंटरनेट सबसे अच्छा है।

उन्होंने इस परीक्षण को बहुभाषी (multilingual) भी बनाया। एक ही प्रश्नों को अंग्रेजी और स्पेनिश से लेकर उर्दू और जॉर्जियाई तक 17 अलग-अलग भाषाओं में अनुवादित किया गया था। यह महत्वपूर्ण था क्योंकि वे यह देखना चाहते थे कि क्या एआई इसलिए भ्रमित हो गया क्योंकि सवाल एक अलग भाषा में पूछा गया था, या समस्या गणित में थी।

प्रश्नों में 14 अलग-अलग प्रकार की "स्थानिक सोच" (spatial thinking) शामिल थी, जैसे कि:

• दूरी (Distance): "शहर A से शहर B तक कितनी दूर है?"
• दिशा (Direction): "यदि मैं हवाई अड्डे से संग्रहालय की ओर चलता हूँ, तो क्या मैं उत्तर या दक्षिण की ओर जा रहा हूँ?"
• आकार (Shape): "क्या यह देश एक आयत के आकार का है या एक वृत्त के?"
• ग्रिड इंडेक्सिंग (Grid Indexing): "मानचित्र पर इस स्थान के लिए विशिष्ट कोड (जैसे एक डिजिटल पता) क्या है?"

महत्वपूर्ण बात यह है कि इस परीक्षण में प्रत्येक उत्तर केवल किसी इंसान द्वारा नहीं दिया गया था। इसे एक कंप्यूटर प्रोग्राम द्वारा वास्तविक गणित और ज्यामिति का उपयोग करके कम्प्यूट (compute) किया गया था। इसका मतलब है कि "सही" उत्तर भौतिकी और गणित के नियमों द्वारा सत्यापित था, न कि राय के आधार पर।

परिणाम: तथ्यों में स्मार्ट, गणित में अनाड़ी

जब शोधकर्ताओं ने अपने एआई मॉडल्स को इस परीक्षण के माध्यम से चलाया, तो परिणाम चौंकाने वाले थे।

1. "मैं इसे जानता हूँ, लेकिन मैं इसे कर नहीं सकता" वाली समस्या
एआई मॉडल तथ्यों को याद रखने में आश्चर्यजनक रूप से अच्छे थे। यदि आप पूछते, "फ्रांस की राजधानी क्या है?", तो वे लगभग हर बार सही उत्तर देते। उनके पास उनके स्थान के सटीक निर्देशांक (coordinates - वे संख्याएँ जो बताती हैं कि कोई स्थान कहाँ है) भी संग्रहीत थे।

हालाँकि, जब उन संख्याओं के साथ गणित करने की बात आई, तो वे पूरी तरह विफल रहे।

• जब दो शहरों के बीच की दूरी की गणना करने के लिए पूछा गया, तो एआई अक्सर बहुत गलत अनुमान लगाता था। एक उदाहरण में, वास्तविक दूरी लगभग 19 किलोमीटर थी, लेकिन एआई ने 1.4 किलोमीटर का अनुमान लगाया। यह वैसा ही है जैसे 20 मिनट की पैदल यात्रा को केवल 2 मिनट की सैर बताना!
• जब उन्हें एक "जियोहैश" (एक विशिष्ट कोड जो ग्रिड पर स्थान को पिन करता है) का पता लगाने के लिए कहा गया, तो मॉडल बुरी तरह विफल रहे, भले ही शोधकर्ताओं ने उन्हें आवश्यक सटीक तथ्य दिए थे।

2. "टूल यूज़" (उपकरणों का उपयोग) का जाल
शोधकर्ताओं ने एआई को एक "कैलकुलेटर" (गणित करने के लिए एक उपकरण) देने और उसे वेब या डेटाबेस खोजने देने की कोशिश की। इससे काफी मदद मिली, लेकिन उतनी नहीं जितनी आप उम्मीद करेंगे।

• भले ही एआई के पास चांदी की थाली में रखे गए सटीक तथ्य ("गोल्ड ट्रिपल्स") और एक बेहतरीन कैलकुलेटर मौजूद था, फिर भी वह लगभग एक-तिहाई सवालों को हल नहीं कर सका।
• मॉडल सरल चीजों जैसे "क्या शहर A, देश B के अंदर है?" (टोपोलॉजी) या "उत्तर दिशा कौन सी है?" (दिशा) के लिए बहुत अच्छे थे।
• लेकिन वे उन चीजों पर पूरी तरह से ढह गए जिनमें ग्रिड इंडेक्सिंग (एक डिजिटल ग्रिड पर स्थान को पिन करना) या आकार की गणना (shape computation) की आवश्यकता थी। इन कठिन कार्यों पर, सभी मदद के बावजूद, उनकी सफलता दर 30% से नीचे रही।

3. अमीर बनाम गरीब का अंतर
अध्ययन में एक दुखद असमानता भी पाई गई। एआई मॉडल उच्च-आय वाले देशों (धनी राष्ट्रों) के बारे में सवालों के जवाब देने में कम-आय वाले देशों की तुलना में बहुत बेहतर थे।

• ऐसा इसलिए नहीं था कि एआई किसी मानवीय तरीके से "भेदभावपूर्ण" था, बल्कि इसलिए क्योंकि उनके प्रशिक्षण के लिए उपयोग किए गए डिजिटल मानचित्र और डेटा अमीर देशों के लिए बहुत अधिक पूर्ण और विस्तृत हैं।
• भले ही शोधकर्ताओं ने एआई को एक गरीब देश के लिए सटीक तथ्य दिए, फिर भी वह एक अमीर देश की तुलना में अधिक संघर्ष करता रहा। यह सुझाव देता है कि समस्या केवल डेटा की कमी नहीं है; समस्या यह है कि एआई उन जगहों के लिए गणित करने में अच्छा नहीं है जिन्हें उसने पहले उतना "देखा" नहीं है।

4. भाषा से ज्यादा फर्क नहीं पड़ा
दिलचस्प बात यह है कि भाषा ने बहुत बड़ा अंतर नहीं डाला। चाहे सवाल अंग्रेजी, रूसी या वियतनामी में हो, एआई का प्रदर्शन लगभग समान था। समस्या यह नहीं थी कि एआई शब्दों को नहीं समझ पा रहा था; समस्या यह थी कि वह ज्यामिति (geometry) नहीं कर पा रहा था।

मुख्य निष्कर्ष

MultiGlobeQA का मुख्य सबक यह है कि बहुत सारा ज्ञान होना, तर्क करने (reasoning) की क्षमता होने के समान नहीं है।

कल्पना कीजिए कि आपके पास एक छात्र है जिसने दुनिया के हर सड़क के नाम और शहरों के बीच की हर दूरी को रट लिया है। यदि आप उससे पूछते हैं, "A से B तक कितनी दूर है?", तो वह शायद एक ऐसा नंबर बोल देगा जो सुनने में सही लगे क्योंकि उसने वे नाम पहले सुने हैं। लेकिन यदि आप उससे वास्तव में एक स्केल और मानचित्र का उपयोग करके दूरी की गणना करने के लिए कहते हैं, तो वह विफल हो सकता है क्योंकि उसे स्केल का उपयोग करना नहीं आता।

पेपर सुझाव देता है कि नेविगेशन, लॉजिस्टिक्स या आपदा राहत जैसी चीजों के लिए एआई को वास्तव में उपयोगी बनाने के लिए, हम केवल उसे अधिक तथ्य नहीं दे सकते। हमें उसे उन तथ्यों पर गणना (compute) और तर्क (reason) करना सिखाना होगा। वर्तमान में, बाधा यह नहीं है कि एआई दुनिया को नहीं जानता; बाधा यह है कि एआई दुनिया को समझने के लिए गणित करने में बहुत खराब है।

सर्वश्रेष्ठ उपकरणों और सबसे सटीक डेटा के साथ भी, वर्तमान एआई मॉडल अभी भी बुनियादी स्थानिक पहेलियों (spatial puzzles) में लड़खड़ा रहे हैं। यह एक याद दिलाता है कि हालांकि ये मॉडल बात करने और याद रखने में अद्भुत हैं, लेकिन वे अभी भी स्थान (space) के बारे में वास्तव में "सोचना" सीख रहे हैं।