Quantifying Geospatial in the Common Crawl Corpus
यह कार्य कॉमन क्रॉल कॉर्पस में भू-स्थानिक (geospatial) जानकारी की व्यापकता को मापने के लिए जेमिनी 1.5 का लाभ उठाता है और यह अनुमान लगाता है कि 18.7% वेब दस्तावेज़ों में ऐसा डेटा मौजूद है, जिसमें अंग्रेजी और गैर-अंग्रेजी भाषाओं के बीच केवल न्यूनतम भिन्नता है, जिससे बड़े भाषा मॉडलों (large language models) में भू-स्थानिक पूर्वाग्रहों की जांच करने के लिए एक आधार स्थापित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक पुस्तकालय है जिसमें अरबों पुस्तकें, लेख और वेबपेज मौजूद हैं। इस पुस्तकालय को कॉमन क्रॉल (Common Crawl) कहा जाता है। यह उस कच्चे टेक्स्ट का एक विशाल ढेर है जिसे "सुपर-ब्रेन" (लार्ज लैंग्वेज मॉडल्स या LLMs), जैसे कि चैटबॉट्स को चलाने वाले दिमाग, अपने "बचपन" के दौरान बोलने और सोचने का तरीका सीखने के लिए ग्रहण करते हैं।
हाल ही में, वैज्ञानिकों ने पाया है कि ये सुपर-ब्रेन भूगोल को समझने में आश्चर्यजनक रूप से कुशल होते जा रहे हैं। वे आपको लंदन से पेरिस की दूरी बता सकते हैं या किसी शहर का वर्णन कर सकते हैं। फिर भी एक बड़ा सवाल खुला रह गया: उन्होंने यह कहाँ से सीखा? क्या उस पुस्तकालय में वास्तव में इतने नक्शे और पते थे जो उन्हें सिखा सकें?
यह लेख एक टीम के पुस्तकालयाध्यक्षों (librarians) की तरह है जो इस विशाल पुस्तकालय में जाकर ठीक से गिन रहा है कि कितने पृष्ठों में स्थान (location) की जानकारी मौजूद है।
मिशन: "कहाँ" की गिनती करना
शोधकर्ता यह जानना चाहते थे कि: इस विशाल पुस्तकालय के कितने वेबपेजों में वास्तव में किसी विशिष्ट स्थान का उल्लेख है?
उन्होंने "विशिष्ट स्थान" को दो सरल तरीकों से परिभाषित किया:
- निर्देशांक (Coordinates): सटीक संख्याएँ (जैसे अक्षांश और देशांतर) जो मानचित्र पर एक स्थान को चिह्नित करती हैं।
- पता (Addresses): एक सड़क का नाम, एक शहर और एक नंबर (जैसे "मेन स्ट्रीट 123") जिसका उपयोग कोई पत्र भेजने या किसी इमारत को खोजने के लिए कर सके।
उन्होंने "एफिल टॉवर" जैसे अस्पष्ट उल्लेखों को तब तक नहीं गिना जब तक कि उनके साथ कोई पता न दिया गया हो, क्योंकि वे यह सुनिश्चित करना चाहते थे कि स्थान इतना सटीक हो कि उसे मानचित्र पर खोजा जा सके।
जासूसी कार्य: एक सुपर-स्कैनर एक्शन में
पुस्तकालय इतना बड़ा है कि मनुष्य इसे एक-एक करके नहीं पढ़ सकता। इसलिए, शोधकर्ताओं ने एक शक्तिशाली AI टूल का उपयोग किया जिसे जेमिनी 1.5 (Gemini 1.5) कहा जाता है, जो उनके "सुपर-स्कैनर" के रूप में काम करता है।
जेमिनी को एक बहुत तेज़, बहुत बुद्धिमान इंटर्न के रूप में सोचें। शोधकर्ताओं ने उसे यादृच्छिक (random) वेबपेजों का एक ढेर दिया और पूछा: "हे, क्या इस पेज में कोई सड़क का पता या मानचित्र निर्देशांकों की एक पंक्ति है? यदि हाँ, तो मुझे एक उदाहरण दिखाओ।"
चूंकि पुस्तकालय बहुत विशाल है, इसलिए वे हर एक पेज की जांच नहीं कर सकते थे। इसके बजाय, उन्होंने एक सांख्यिकीय ट्रिक (जैसे कि पूरे देश की राय जानने के लिए 1,000 लोगों से पोल करने वाले सर्वेक्षक) का उपयोग करके तीन अलग-अलग समय अवधियों (2019, 2021, और 2024) से लगभग 1,20,000 पृष्ठों का एक प्रतिनिधि नमूना चुना।
बड़ा खुलासा
AI द्वारा पृष्ठों को स्कैन करने और मनुष्यों द्वारा परिणामों की दोबारा जांच करने के बाद (यह सुनिश्चित करने के लिए कि AI "हैलुसिनेट" यानी मनगढ़ंत बातें तो नहीं बना रहा है), उन्हें कुछ दिलचस्प आंकड़े मिले:
- खजाना (The Goldmine): सभी वेबपेजों में से लगभग 18.7% में किसी प्रकार का विशिष्ट स्थान डेटा शामिल है। यह लगभग 5 में से 1 पेज के बराबर है।
- मिश्रण:
- कुछ पेजों में केवल पता था (16.1%)।
- कुछ में केवल निर्देशांक थे (7.0%)।
- कुछ में दोनों थे (4.3%)।
- भाषा का संतुलन: आश्चर्यजनक रूप से, इससे कोई फर्क नहीं पड़ा कि पेज अंग्रेजी में लिखा था या किसी अन्य भाषा में। "लोकेशन डेंसिटी" (स्थान घनत्व) दोनों के लिए लगभग एक समान थी। चाहे पेज स्पेनिश, चीनी या अंग्रेजी में हो, इस बात की संभावना कि उसमें पता या निर्देशांक होगा, लगभग बराबर थी।
- "गूगल मैप्स" प्रभाव: पाए गए कई निर्देशांक केवल गूगल मैप्स के लिंक थे। इसका मतलब है कि जिन देशों में गूगल मैप्स प्राथमिक मैप ऐप नहीं है (जैसे चीन या रूस), वहां निर्देशांक लिंक की संख्या कम है, जो यह समझा सकता है कि इन भाषाओं में कुछ स्थान डेटा थोड़ा दुर्लभ क्यों है।
यह "सुपर-ब्रेन" के लिए क्या मायने रखता है
अध्ययन यह निष्कर्ष निकालता है कि जिस पुस्तकालय से AI ने सीखा है, वह वास्तव में भूगोल से भरा हुआ है। वह खाली नहीं है।
चूंकि AI ने इतने सारे पतों और निर्देशांकों वाले पेजों का उपभोग किया है, इसलिए यह स्वाभाविक है कि उसने स्थान, दिशा और दूरियों को समझना सीख लिया है। हालांकि, शोधकर्ताओं ने पुस्तकालय में एक "स्वाद असंतुलन" (taste imbalance) भी नोट किया:
- अंग्रेजी और .com वेबसाइटें अधिक प्रतिनिधित्व करती हैं (वे पुस्तकालय का एक बड़ा हिस्सा बनाती हैं)।
- इसका मतलब है कि AI में अंग्रेजी बोलने वाले, अमेरिका-केंद्रित वेबसाइटों के माध्यम से देखी गई दुनिया के प्रति एक "पूर्वाग्रह" (bias) हो सकता है और वह दुनिया के अन्य हिस्सों की बारीकियों को समझने में चूक सकता है।
निष्कर्ष
शोधकर्ताओं ने कोई नया नक्शा या नया ऐप नहीं बनाया। उन्होंने केवल इंटरनेट के कच्चे डेटा की जनगणना की। उन्होंने पाया कि जिस डेटा का उपयोग AI को प्रशिक्षित करने के लिए किया जाता है, उसमें भूगोल हर जगह मौजूद है। यह बताता है कि AI भूगोल में क्यों अच्छा है, लेकिन यह हमें चेतावनी भी देता है कि दुनिया के प्रति AI का "नजरिया" काफी हद तक उन वेबसाइटों द्वारा आकार लेता है जो उसके अध्ययन किए गए पुस्तकालय में सबसे आम थीं।
अध्ययन इस सुझाव के साथ समाप्त होता है कि स्थानों का यह विशाल संग्रह (लगभग 46 अरब पृष्ठ!) भविष्य के शोधकर्ताओं के लिए एक "खजाना" हो सकता है जो विशेष रूप से भूगोल कार्यों के लिए AI को प्रशिक्षित करना चाहते हैं, लेकिन वह इस अध्ययन का नहीं, बल्कि भविष्य के अध्ययनों का कार्य है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।