Comparative Evaluation of GPT-4o-mini and Llama-3.1-8B for Extracting Climate Hazard Impacts from Nigerian News Corpus
यह अध्ययन नाइजीरियाई समाचार संग्रह पर जलवायु जोखिम प्रभाव निष्कर्षण के लिए GPT-4o-mini की Llama-3.1-8B के विरुद्ध बेंचमार्किंग करता है, जिससे यह पता चलता है कि जबकि दोनों मॉडल वर्गीकरण में समान प्रदर्शन करते हैं, GPT-4o-mini बेहतर सटीकता और काफी कम मतिभ्रम (hallucination) दर प्रदान करता है, जो ग्लोबल साउथ के संदर्भों में उच्च-जोखिम वाले दस्तावेजीकरण के लिए एक महत्वपूर्ण विश्वसनीयता संबंधी समझौते को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, आपदाओं के बारे में विशाल मात्रा में जानकारी असंरचित समाचार लेखों के भीतर फंसी हुई है। ये कहानियाँ बाढ़, तूफ़ान और लू (हीटवेव) का वर्णन करती हैं, लेकिन वे डेटा की व्यवस्थित तालिकाओं के बजाय टेक्स्ट के अनुच्छेदों में लिखी गई हैं। शोधकर्ताओं और आपातकालीन योजनाकारों के लिए, इन कहानियों को उपयोगी आंकड़ों में बदलना एक बहुत बड़ा कार्य है। पारंपरिक रूप से, मनुष्यों को घटना की तारीख, विशिष्ट स्थान और प्रभावित लोगों की संख्या जैसे विवरण निकालने के लिए हर एक लेख को पढ़ना पड़ता था। यह मैन्युअल काम धीमा है और जब हजारों कहानियाँ प्रकाशित होती हैं, तो इसे बड़े पैमाने पर करना असंभव है। हाल ही में, 'लार्ज लैंग्वेज मॉडल' नामक एक नए प्रकार के कंप्यूटर प्रोग्राम का उदय हुआ है। ये परिष्कृत उपकरण हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है जो जानकारी को पढ़, समझ और सारांशित कर सकते हैं। वे समाचारों से तथ्यों को निकालने की प्रक्रिया को स्वचालित करने का एक तरीका प्रदान करते हैं, जिससे संभावित रूप से अराजक कहानियों को आपदा प्रबंधन के लिए स्पष्ट, कार्रवाई योग्य डेटा में बदला जा सकता है। हालाँकि, सभी उपकरण समान नहीं होते हैं, और उच्च-जोखिम वाली स्थितियों में, विशेष रूप से अद्वितीय भाषाओं और रिपोर्टिंग शैलियों वाले क्षेत्रों में, उनकी विश्वसनीयता एक महत्वपूर्ण प्रश्न बनी हुई है।
शोधकर्ताओं की एक टीम ने नाइजीरिया के समाचार रिपोर्टों का उपयोग करके इस कठिन कार्य को करने में दो अलग-अलग कंप्यूटर मॉडलों के प्रदर्शन का परीक्षण करने के लिए हाथ आजमाया। अध्ययन एक विशिष्ट चुनौती पर केंद्रित था: 1,226 अद्वितीय नाइजीरियाई समाचार लेखों के संग्रह से जलवायु खतरों, जैसे कि बाढ़ और तूफ़ान, के बारे में विवरण निकालना। शोधकर्ताओं ने एक प्रसिद्ध वाणिज्यिक मॉडल, GPT-4o-mini, की तुलना एक मुफ्त, ओपन-सोर्स मॉडल, Llama-3.1-8B, से की। लक्ष्य यह देखना था कि कौन सा टूल आपदा के प्रकार की सटीक पहचान करने, स्थानीय सरकार क्षेत्र तक सटीक स्थान बताने और मानव एवं आर्थिक प्रभावों के संबंध में विशिष्ट संख्याएँ निकालने में अधिक सटीक हो सकता है। एक निष्पक्ष और कठोर परीक्षण सुनिश्चित करने के लिए, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जहाँ दोनों मॉडलों ने एक ही लेख पढ़े और तथ्यों के साथ एक संरचित फॉर्म भरने का प्रयास किया, जिसे बाद में मानव विशेषज्ञों द्वारा मैन्युअल रूप से एनोटेट किए गए 100 लेखों के 'गोल्ड स्टैंडर्ड' के विरुद्ध जांचा गया।
परिणामों ने दोनों उपकरणों के बीच एक स्पष्ट अंतर दिखाया, विशेष रूप से सबसे महत्वपूर्ण जानकारी के मामले में। दोनों मॉडल आपदा के सामान्य प्रकार की पहचान करने में काफी अच्छे थे, जैसे कि बाढ़ और तूफ़ान के बीच अंतर करना, जिसमें वाणिज्यिक मॉडल थोड़ा बेहतर प्रदर्शन कर रहा था। उन्होंने देश की सही पहचान भी लगभग हर बार सफलतापूर्वक की। हालाँकि, जैसे-जैसे कार्य अधिक विशिष्ट होता गया, अंतर बढ़ता गया। जब उन्हें उस विशिष्ट राज्य या शहर का नाम बताने के लिए कहा गया जहाँ आपदा आई थी, तो वाणिज्यिक मॉडल ओपन-सोर्स संस्करण की तुलना में काफी अधिक सटीक था। ओपन-सोर्स मॉडल सूक्ष्म विवरणों के साथ अधिक संघर्ष करता था, अक्सर समान ध्वनि वाले स्थानों के नामों में भ्रमित हो जाता था या उन विशिष्ट प्रशासनिक क्षेत्रों को छोड़ देता था जो स्थानीय आपातकालीन प्रतिक्रिया के लिए अत्यंत महत्वपूर्ण होते हैं।
हालाँकि, सबसे महत्वपूर्ण निष्कर्ष संख्याओं से संबंधित था। आपदा रिपोर्टिंग में, यह जानना कि कितने लोग विस्थापित हुए या कितनी धनराशि का नुकसान हुआ, सहायता की योजना बनाने के लिए आवश्यक है। शोधकर्ताओं ने पाया कि ओपन-सोर्स मॉडल ने संख्यात्मक रिकॉर्ड की बहुत बड़ी मात्रा उत्पन्न की, लेकिन इनमें से अधिकांश संख्याएँ वास्तव में समाचार लेखों के टेक्स्ट द्वारा समर्थित नहीं थीं। वास्तव में, ओपन-सोर्स मॉडल द्वारा उत्पादित केवल 36 प्रतिशत संख्याएँ ही स्रोत टेक्स्ट के किसी विशिष्ट वाक्य से खोजी जा सकती थीं। शेष दो-तिहाई हिस्सा अनुमान या मनगढ़ंत तथ्यों के रूप में दिखाई दिया, जिसे 'हैलुसिनेशन' (hallucination) कहा जाता है। इसके विपरीत, वाणिज्यिक मॉडल बहुत अधिक सतर्क था। हालांकि इसने कुल मिलाकर कम संख्याएँ उत्पन्न कीं, लेकिन उनमें से लगभग 66 प्रतिशत वास्तविक टेक्स्ट पर आधारित थीं। इसका अर्थ यह है कि जब वाणिज्यिक मॉडल ने कोई संख्या बताई, तो इसकी संभावना बहुत अधिक थी कि वह सीधे कहानी से लिया गया एक तथ्य था न कि कोई मनगढ़ंत आंकड़ा।
विश्वसनीयता में यह अंतर इनके वास्तविक दुनिया में उपयोग के लिए गहरे निहितार्थ रखता है। अध्ययन बताता है कि जबकि ओपन-सोर्स मॉडल आपदाओं के कहाँ हो रहे हैं, इसका एक सामान्य अवलोकन प्राप्त करने के लिए उपयोगी हो सकते हैं, वे विशिष्ट प्रभाव आंकड़ों को निकालने के लिए अभी तक अकेले उपयोग किए जाने के लिए पर्याप्त भरोसेमंद नहीं हैं। यदि कोई योजनाकार बिना जांचे ओपन-सोर्स मॉडल की संख्याओं पर भरोसा करता है, तो वे ऐसे डेटा के आधार पर महत्वपूर्ण निर्णय ले सकते हैं जो स्रोत सामग्री में मौजूद ही नहीं है। वाणिज्यिक मॉडल इन उच्च-जोखिम वाले विवरणों के लिए अधिक विश्वसनीय साबित हुआ, हालांकि इसने भी गलतियाँ कीं। शोधकर्ताओं ने निष्कर्ष निकाला कि सर्वोत्तम परिणामों के लिए, इन कंप्यूटर उपकरणों को सहायकों के रूप में देखा जाना चाहिए जो मनुष्यों को बड़ी मात्रा में टेक्स्ट को जल्दी से संसाधित करने में मदद करते हैं, लेकिन महत्वपूर्ण संख्याओं का अंतिम सत्यापन अभी भी मनुष्यों द्वारा ही किया जाना चाहिए। यह दृष्टिकोण स्वचालन की गति को बनाए रखते हुए सटीकता सुनिश्चित करता है जिसकी आवश्यकता नाइजीरिया जैसे क्षेत्रों में जीवन और संसाधनों की रक्षा के लिए होती है, जहाँ जलवायु खतरे बार-बार और गंभीर होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।