Large Language Models for Causal Relations Extraction in Social Media: A Validation Framework for Disaster Intelligence
यह शोध पत्र आपदा संबंधी अनौपचारिक सोशल मीडिया पोस्ट से कारण संबंधों (causal relations) को निकालने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) के उपयोग की प्रभावशीलता और जोखिमों का मूल्यांकन करने के लिए एक विशेषज्ञ-आधारित सत्यापन ढांचे का प्रस्ताव करता है, जो यह निर्धारित करने के लिए मॉडल आउटपुट की संदर्भ ग्राफों के विरुद्ध तुलना करता है कि निकाले गए संबंध साक्ष्य-आधारित हैं या मॉडल के पूर्व ज्ञान (priors) द्वारा संचालित हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक शहर में भीषण तूफान आ रहा है। अफरा-तफरी के बीच, हजारों लोग सोशल मीडिया पर छोटे और अव्यवस्थित अपडेट पोस्ट कर रहे हैं: "पेड़ गिरने की वजह से बिजली चली गई," या "सड़कें जलमग्न हैं, इसलिए अस्पताल तक जरूरी सामान नहीं पहुँच पा रहा है।"
इस शोध के लेखक यह जानना चाहते थे: क्या एक सुपर-स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल) इन अस्त-व्यस्त पोस्ट को पढ़कर ठीक-ठीक समझ सकता है कि किस चीज़ का क्या कारण था?
यहाँ उनके अध्ययन का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है।
समस्या: सोशल मीडिया का "शोर" (The "Noise" of Social Media)
जब कोई आपदा आती है, तो सोशल मीडिया एक ऐसे भीड़ भरे कमरे की तरह होता है जहाँ हर कोई एक साथ चिल्ला रहा हो। संदेश छोटे, अनौपचारिक होते हैं और अक्सर बहुत सी बातें अधूरी छोड़ देते हैं।
- चुनौती: यदि आप कंप्यूटर को "कारण और प्रभाव" (जैसे, पेड़ गिरा → बिजली गई) खोजने के लिए कहें, तो यह कठिन है क्योंकि लोग हमेशा "के कारण" या "की वजह से" नहीं लिखते। वे बस कह सकते हैं, "बिजली नहीं है, पेड़ गिरा हुआ है।"
- जोखिम: AI मॉडल उन छात्रों की तरह हैं जिन्होंने लाखों किताबें पढ़ी हैं। वे इस बात का अनुमान लगाने में माहिर हैं कि आमतौर पर क्या होता है। लेकिन आपदा के समय, AI अनुमान लगा सकता है कि "तूफान में आमतौर पर पेड़ गिरते हैं," भले ही उस विशिष्ट पोस्ट में पेड़ का जिक्र ही न किया गया हो। यह वास्तविक साक्ष्य के बजाय अपनी "याददाश्त" के आधार पर चीजें बना सकता है।
समाधान: "विशेषज्ञ जासूस" ढांचा (The "Expert Detective" Framework)
यह परीक्षण करने के लिए कि क्या AI वास्तव में पोस्ट पढ़ रहा है या केवल ख्याली पुलाव पका रहा है, शोधकर्ताओं ने एक विशेष परीक्षण क्षेत्र बनाया।
"उत्तर कुंजी" (The "Answer Key" / Ground Truth):
AI का परीक्षण करने से पहले, शोधकर्ताओं ने आपदा वैज्ञानिकों (human experts) को कुछ विशिष्ट तूफानों (इर्मा और हार्वे) के बारे में आधिकारिक, विस्तृत सरकारी रिपोर्टें पढ़ने के लिए नियुक्त किया। उन्होंने ठोस तथ्यों के आधार पर एक सटीक मानचित्र तैयार किया कि वास्तव में किस चीज़ का क्या कारण था। इसे एक टेस्ट के लिए "उत्तर कुंजी" की तरह समझें।"परीक्षा" (The "Exam" / The AI Test):
उन्होंने तीन अलग-अलग AI मॉडलों को सोशल मीडिया पोस्ट का एक ढेर दिया और उन्हें अपना खुद का "कारण और प्रभाव" (Cause and Effect) मानचित्र बनाने के लिए कहा।- मॉडल A (Grok4.3): एक स्मार्ट AI जो वास्तव में रीयल-टाइम में सोशल मीडिया खोज सकता है।
- मॉडल B (GPT-5.5): एक बहुत ही बुद्धिमान AI जो सोशल मीडिया खोज नहीं सकता; यह केवल उन्हीं पोस्ट को देख सकता है जो आप इसे देते हैं।
- मॉडल C (Mistral-7B): एक छोटा और हल्का AI मॉडल।
"ब्लाइंड टेस्ट" (The "Blind Test" / Checking for Daydreaming):
यह देखने के लिए कि क्या AI केवल अपनी याददाश्त का उपयोग कर रहा है या वास्तव में पढ़ रहा है, उन्होंने मॉडलों को ऐसे पोस्ट दिए जिनका तूफान से कोई लेना-देना नहीं था (जैसे लोग दोपहर के भोजन के बारे में बात कर रहे हों)। यदि AI ने फिर भी एक आपदा का मानचित्र बना दिया, तो इसका मतलब था कि वह आपदा के बारे में अपनी जानकारी के आधार पर अनुमान लगा रहा था, न कि पोस्ट में दी गई जानकारी के आधार पर।
उन्हें क्या मिला
1. AI यह कर सकता है, लेकिन यह पूर्ण नहीं है।
जब उन्हें वास्तविक आपदा संबंधी पोस्ट दिए गए, तो AI मॉडल केवल तुक्केबाजी से कहीं बेहतर प्रदर्शन कर रहे थे। वे सफलतापूर्वक समझ पाए कि, उदाहरण के लिए, भारी बारिश से बाढ़ आई।
- विजेता: वह AI जिसके पास नेटिव सोशल मीडिया एक्सेस था (Grok4.3), उसने सबसे अच्छा काम किया। यह एक ऐसे जासूस की तरह था जो केवल पुलिस रिपोर्ट पढ़ने के बजाय अपराध स्थल पर जाकर लोगों से सवाल पूछ सकता है।
- दूसरे स्थान पर: बिना सोशल मीडिया एक्सेस वाला मॉडल (GPT-5.5) अच्छा काम कर रहा था, लेकिन वह थोड़ा अधिक सतर्क था और कुछ कड़ियों को जोड़ने में चूक गया।
- संघर्ष करता हुआ मॉडल: छोटा मॉडल (Mistral) अधिक विवरण चूक गया और उससे अधिक गलतियाँ हुईं।
2. "भ्रम" का जाल (The "Hallucination" Trap).
जब शोधकर्ताओं ने उन्हें "बोरिंग" पोस्ट (जिसमें आपदा की कोई जानकारी नहीं थी) दिए, तो परिणाम डराने वाले थे।
- उन्नत मॉडलों (GPT-5.5) ने अभी भी आपदा का मानचित्र बनाने की कोशिश की, भले ही पोस्ट में तूफान के बारे में कुछ भी नहीं कहा गया था। वे अपने आंतरिक "पूर्व ज्ञान" (जो वे तूफान के बारे में सोचते हैं) पर निर्भर थे, न कि साक्ष्यों पर।
- हालाँकि, सोशल मीडिया एक्सेस वाला मॉडल (Grok4.3) अधिक जिम्मेदारी से काम कर रहा था। जब उसने देखा कि पोस्ट में कोई सबूत नहीं है, तो उसने मानचित्र बनाने से इनकार कर दिया। उसने चीजें बनाने के बजाय कहा, "मुझे यहाँ कोई प्रमाण नहीं मिल रहा है।"
मुख्य निष्कर्ष (The Big Takeaway)
यह शोध निष्कर्ष निकालता है कि हालांकि AI आपदाओं को समझने के लिए एक शक्तिशाली उपकरण है, हम इस पर आँख मूँदकर भरोसा नहीं कर सकते।
- अच्छी बात: AI सोशल मीडिया के बिखरे हुए संदेशों को पढ़ सकता है और वास्तविक कारण-प्रभाव संबंध खोज सकता है यदि उसके पास सही उपकरण हों।
- बुरी बात: यदि साक्ष्य मौजूद नहीं हैं, तो AI अक्सर अपनी कल्पनाओं से "खाली जगहों को भरने" की कोशिश करेगा, जो जीवन-मरण के निर्णयों में उपयोग किए जाने पर खतरनाक हो सकता है।
- फैसला: इससे पहले कि हम AI को आपदा प्रतिक्रिया प्रणालियों चलाने दें, हमें एक "ह्यूमन-इन-द-लूप" (मानवीय निगरानी) की आवश्यकता है जो यह दोबारा जाँच सके कि AI वास्तव में साक्ष्यों को देख रहा है या केवल वही दोहरा रहा है जो उसने किताबों में पढ़ा है।
संक्षेप में: AI आपदा सूचना के लिए एक बेहतरीन सहायक है, लेकिन उसे एक मानवीय पर्यवेक्षक की आवश्यकता है ताकि यह सुनिश्चित हो सके कि वह तथ्यों को देख रहा है, न कि केवल इस बारे में ख्याली पुलाव पका रहा है कि आमतौर पर क्या होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।