Geolocating News about Extreme Climate Events: A Comparative Analysis of Off-the-Shelf Tools for Toponym Identification in German
यह अध्ययन चरम जलवायु घटनाओं के बारे में जर्मन समाचार लेखों में स्थलालेखों (toponyms) की पहचान करने के लिए तीन ऑफ-द-शेल्फ नामयुक्त इकाई पहचान (Named Entity Recognition) उपकरणों (Flair, Spacy, और Stanza) का एक तुलनात्मक विश्लेषण करता है, जो यह प्रदर्शित करता है कि कैसे उनके भिन्न आउटपुट डाउनस्ट्रीम भौगोलिक स्थान निर्धारण कार्यों (geolocation tasks) के माध्यम से प्रसारित होते हैं और मीडिया कवरेज में देशों की प्रमुखता के संबंध में निष्कर्षों को महत्वपूर्ण रूप से प्रभावित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: "यह चरम मौसम की घटना वास्तव में कहाँ हुई थी?"
आपके पास जर्मन समाचार लेखों का एक ढेर है। कुछ ब्राजील में बाढ़ के बारे में बात करते हैं, तो कुछ जर्मनी में लू (heatwaves) के बारे में। समस्या यह है कि लेख बिखरे हुए हैं। एक लेख कह सकता है, "पोर्टो एलेग्रे, ब्राजील में आई बाढ़ हमें जर्मनी के हुन्रुक (Hunsrück) क्षेत्र की याद दिलाती है।" एक मानव पाठक तुरंत समझ जाएगा कि आपदा ब्राजील में हुई है। लेकिन एक कंप्यूटर? वह "जर्मनी" शब्द से भ्रमित हो सकता है और सोच सकता है कि बाढ़ वहां हुई थी।
यह शोध पत्र तीन अलग-अलग "कंप्यूटर जासूसों" (सॉफ्टवेयर टूल्स) का परीक्षण करने के बारे में है ताकि यह देखा जा सके कि इन समाचार कहानियों में सही स्थान खोजने में कौन सा सबसे अच्छा है।
तीन जासूस
शोधकर्ताओं ने तीन लोकप्रिय, 'ऑफ-द-शेल्फ' सॉफ्टवेयर टूल्स (सोचिए कि ये तीन अलग-अलग ब्रांड के जीपीएस हैं) का परीक्षण किया:
- Flair
- Spacy
- Stanza
उनका काम नेम्ड एंटिटी रिकग्निशन (NER) करना है। सरल शब्दों में, इसका अर्थ है एक वाक्य को स्कैन करना और उन शब्दों को हाइलाइट करना जो स्थानों (जैसे "पेरिस," "अमेज़न," या "हुन्रुक") की तरह दिखते हैं।
प्रयोग: एक "ब्लाइंड" टेस्ट
आमतौर पर, किसी जासूस का परीक्षण करने के लिए, आप उन्हें उत्तरों की एक सूची देते हैं जिन्हें आप पहले से ही सही जानते हैं ("गोल्ड स्टैंडर्ड")। लेकिन वास्तविक दुनिया में, शोधकर्ताओं के पास अक्सर ऐसी सूची नहीं होती है। इसलिए, लेखकों ने एक पेचीदा परीक्षण तैयार किया:
- उन्होंने तीनों टूल्स को आपदाओं (बाढ़, आग, लू) के बारे में 983 जर्मन समाचार लेखों का एक संग्रह दिया।
- उन्होंने प्रत्येक टूल से उन स्थानों की सूची बनाने को कहा जो उसने खोजे।
- इसके बाद उन्होंने केवल उन सूचियों के आधार पर आपदा के देश का अनुमान लगाने की कोशिश की।
जो उन्होंने पाया: जासूसों में असहमति है
यहाँ बड़ा आश्चर्य यह है: तीनों टूल्स आपस में बहुत कम सहमत हुए।
- अलग सूचियाँ: यदि आप तीनों टूल्स को एक ही लेख देते, तो वे शब्दों के अलग-अलग सेट को "स्थान" के रूप में हाइलाइट करते। एक टूल 14 स्थान देख सकता था, दूसरा 15, और वे इस बात पर भी सहमत नहीं हो सकते थे कि वे कौन से 14 स्थान हैं।
- "शोर" (Noise) की समस्या:
- Spacy एक ऐसे जासूस की तरह था जो बहुत अधिक देखता है। इसने "शहर," "डाउनटाउन," या "हवाई अड्डा" जैसे सामान्य शब्दों को विशिष्ट स्थानों के रूप में चिह्नित किया। इससे बहुत अधिक "शोर" (गलत अलार्म) पैदा हुआ।
- Stanza कभी-कभी उन शब्दों से भ्रमित हो जाता था जो स्थानों की तरह सुनाई देते हैं लेकिन वास्तव में नहीं हैं, जैसे विशेषण (उदाहरण के लिए, "इतालवी" शब्द इटली में स्थानों की खोज को ट्रिगर कर सकता है, भले ही लेख फ्रांस में एक इतालवी दूतावास के बारे में हो)।
- Flair सबसे सावधान था। इसने कम स्थान खोजे, लेकिन जो भी खोजे वे वास्तविक, वैध स्थानों के होने की अधिक संभावना थी।
प्रभाव की लहर: यह क्यों मायने रखता है
यह शोध पत्र दिखाता है कि गलत जासूस चुनने से अंतिम निर्णय बदल जाता है।
- गलत देश का अनुमान: क्योंकि टूल्स ने स्थानों की अलग-अलग सूचियाँ खोजीं, इसलिए उन्होंने आपदा के देश का अनुमान अलग-अलग तरीके से लगाया। कुछ मामलों में, टूल के चुनाव से अनुमानित देश 10% से अधिक बदल गया।
- "लोकप्रियता" की रैंकिंग: शोधकर्ताओं ने देशों को उनकी समाचारों में उपस्थिति के आधार पर रैंक करने का प्रयास किया।
- यदि आपने Flair का उपयोग किया, तो रैंकिंग मानव-चिह्नित सत्य के बहुत करीब दिखी।
- यदि आपने Spacy या Stanza का उपयोग किया, तो रैंकिंग थोड़ी गलत थी। उदाहरण के लिए, एक टूल यह सोच सकता है कि स्विट्जरलैंड सबसे अधिक चर्चित देश है, जबकि मनुष्य जानते हैं कि वास्तव में वह ब्राजील है।
निष्कर्ष
लेखक यह नहीं कह रहे हैं कि एक टूल पूर्ण है या अन्य बेकार हैं। वे कह रहे हैं: केवल इसलिए एक टूल न चुनें क्योंकि वह लोकप्रिय है।
यदि आप जलवायु परिवर्तन कवरेज को समझने की कोशिश कर रहे एक शोधकर्ता हैं, तो आपके द्वारा चुना गया टूल एक फिल्टर की तरह काम करता है। एक थोड़ा अलग फिल्टर इस बारे में आपके निष्कर्षों को बदल सकता है कि कौन से देश सबसे अधिक प्रभावित हैं या सबसे अधिक चर्चा में हैं।
संक्षेप में: भले ही आप "रेडी-मेड" सॉफ्टवेयर का उपयोग कर रहे हों, आपको उसके काम की जांच करनी होगी। यदि आप नहीं करते हैं, तो आप अनजाने में एक रिपोर्ट लिख सकते हैं जिसमें कहा गया है कि बाढ़ जर्मनी में आई थी जबकि वे वास्तव में ब्राजील में आई थीं, सिर्फ इसलिए क्योंकि आपका कंप्यूटर टेक्स्ट में दिखने वाले "जर्मनी" शब्द से भ्रमित हो गया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।