Causal Evidence Extraction and Triangulation in Crisis Reports using Large Language Models: A ReliefWeb-based Study
यह शोध पत्र एक दो-चरणीय लार्ज लैंग्वेज मॉडल पाइपलाइन और एक त्रिकोणीयकरण ढांचे (triangulation framework) को प्रस्तुत करता है जो मानवीय रिपोर्टों से संरचित कारण साक्ष्य (structured causal evidence) को प्रभावी ढंग से निकालता और संकलित करता है, जिससे खाद्य संबंधी परिणामों पर नकद सहायता के सकारात्मक प्रभाव की पहचान करने में उच्च सटीकता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बड़े रहस्य को सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके पास केवल एक अपराध स्थल नहीं, बल्कि लाखों बिखरी हुई, हाथ से लिखी डायरियों वाला एक पुस्तकालय है। ये डायरियाँ बाढ़, भूकंप और सूखे जैसी आपदाओं के बारे में कहानियाँ बताती हैं और यह भी वर्णन करती हैं कि विभिन्न समूहों ने मदद करने के लिए क्या प्रयास किए। समस्या यह है कि कहानियाँ लंबी, भ्रमित करने वाली और एक-दूसरे के विरोधाभासी हैं। एक डायरी कह सकती है, "लोगों को नकद देने से उन्हें भोजन खरीदने में मदद मिली," जबकि दूसरी कह सकती है, "नकद देने से कीमतें बढ़ गईं और चीजें और खराब हो गईं।"
इस अराजकता को समझने के लिए, वैज्ञानिक एक उपकरण का उपयोग करते हैं जिसे 'लार्ज लैंग्वेज मॉडल' (LLM) कहा जाता है। एक LLM को एक सुपर-स्मार्ट, अथक रोबोट पाठक के रूप में समझें जो सेकंडों में हजारों डायरियाँ पढ़ सकता है। हालाँकि, एक इंसान की तरह, यह रोबोट भी अभिभूत (overwhelmed) हो सकता है। यदि आप उससे पूछते हैं, "नकद (cash) के साथ क्या हुआ?" तो यह "कैश" शब्द के हर उल्लेख को पकड़ सकता है, भले ही डायरी किसी पूरी तरह से अलग विषय के बारे में बात कर रही हो। इसे "ओवर-एक्सट्रैक्शन" (over-extraction) कहा जाता है, और यह बहुत सारा शोर (noise) पैदा करता है। इसे ठीक करने के लिए, शोधकर्ताओं को एक तरीका खोजने की आवश्यकता है जिससे वे रोबोट को केवल उन विशिष्ट सुरागों पर ध्यान केंद्रित करने के लिए कह सकें जो वास्तव में महत्वपूर्ण हैं और यह सुनिश्चित करने के लिए कि वह अपनी बात खुद से न बना ले, उसे मूल पाठ के विरुद्ध अपने काम की दोबारा जांच करनी चाहिए। यह शोध एक बेहतर जासूसी प्रणाली बनाने के बारे में है जो उन बिखरी हुई डायरियों को स्पष्ट, भरोसेमंद उत्तरों में बदल सके कि संकट के समय वास्तव में क्या काम करता है।
जासूस का नया टूलकिट
इस अध्ययन में, शोधकर्ताओं, युआनजुन झांग और मुराद उसाला ने मानवीय रिपोर्टों में मौजूद "शोर" को साफ करने का लक्ष्य रखा। उन्होंने ReliefWeb (संकट के अपडेट का एक वैश्विक डेटाबेस) के रिपोर्टों के एक विशाल संग्रह का उपयोग किया, जो 2000 से 2024 तक के वर्षों को कवर करता है। उनका लक्ष्य यह पता लगाना था कि क्या मदद का एक विशिष्ट प्रकार—नकद सहायता (cash assistance)—वास्तव में बेहतर परिणामों की ओर ले जाता है, जैसे कि लोगों के पास पर्याप्त भोजन होना।
इसे करने के लिए, उन्होंने AI का उपयोग करके एक दो-चरणीय "पाइपलाइन" बनाई। कल्पना कीजिए कि यह एक फैक्ट्री असेंबली लाइन की तरह है जिसमें दो बहुत विशिष्ट कर्मचारी हैं:
फ़िल्टर (चरण 1): पहला कर्मचारी बहुत सख्त है। पूरी डायरी पढ़कर यह अनुमान लगाने के बजाय कि क्या महत्वपूर्ण है, उन्हें एक विशिष्ट प्रश्न दिया जाता है, जैसे "नकद सहायता"। वे केवल उन वाक्यों की तलाश करते हैं जहाँ नकद सहायता मुख्य पात्र है। यदि डायरी में नकद का उल्लेख है लेकिन वह केवल एक गौण टिप्पणी है, तो कर्मचारी उसे अनदेखा कर देता है। इसे क्वेरी-कंडीशन्ड एक्सट्रैक्शन (query-conditioned extraction) कहा जाता है। यह AI को अप्रासंगिक जानकारी इकट्ठा करने से रोकता है, जो पिछली विधियों में एक बड़ी समस्या थी।
तथ्य-जांचकर्ता (चरण 2): एक बार जब पहला कर्मचारी एक संभावित सुराग ढूंढ लेता है (जैसे, "नकद ने परिवारों को भोजन खरीदने में मदद की"), तो दूसरा कर्मचारी काम संभालता है। यह कर्मचारी केवल यह अनुमान नहीं लगाता कि सुराग अच्छा है या बुरा; बल्कि वह उस सटीक वाक्य (स्निपेट) को देखता है जहाँ वह सुराग पाया गया था। वह निर्णय लेता है: क्या परिणाम ऊपर गया (सकारात्मक), नीचे गया (नकारात्मक), या समान रहा? और साक्ष्य कितना मजबूत है? क्या यह एक कमजोर अफवाह है या एक मजबूत, स्पष्ट कथन? इसे स्निपेट-ग्राउंडेड क्लासिफिकेशन (snippet-grounded classification) कहा जाता है।
परिणाम: शोर में संकेत खोजना
टीम ने अपने नए सिस्टम का परीक्षण कई शक्तिशाली AI मॉडलों के खिलाफ किया, जिनमें Qwen-Plus, GPT-4o-mini, और DeepSeek-V3 के साथ-साथ एक ओपन-सोर्स मॉडल Llama-3.1-8B शामिल है।
उन्होंने पाया कि उनकी दो-चरणीय विधि एक गेम-चेंजर साबित हुई।
- "ओवर-एक्सट्रैक्शन" का समाधान: उनके सख्त फ़िल्टर के बिना, AI बहुत सारे अप्रासंगिक संबंध निकाल लेता। फ़िल्टर के साथ, निकाले गए तथ्यों की संख्या एक यथार्थवादी स्तर पर आ गई, जो मानव विशेषज्ञों की अपेक्षाओं से मेल खाती है।
- सटीकता: उनके दो-चरणीय तरीके का उपयोग करने वाले सर्वश्रेष्ठ क्लोज्ड-सोर्स AI (Qwen-Plus) ने 90.73% का वेटेड F1 स्कोर (weighted F1 score) प्राप्त किया। AI की दुनिया में, यह एक बहुत उच्च स्कोर है, जिसका अर्थ है कि यह लगभग हर समय सही था।
- ओपन-सोर्स का आश्चर्य: उन्होंने एक छोटे, मुफ्त AI मॉडल (Llama-3.1-8B) को बड़े, महंगे AI से उत्तर दिखाकर सिखाने की भी कोशिश की। इसे "डिस्टिलेशन" (distillation) कहा जाता है। परिणाम? छोटा मॉडल और भी बेहतर हो गया, जिसने 94.15% का वेटेड F1 स्कोर प्राप्त किया। यह सुझाव देता है कि सबसे अच्छे परिणाम पाने के लिए आपको हमेशा सबसे महंगे रोबोट की आवश्यकता नहीं होती; आपको बस सही प्रशिक्षण की आवश्यकता होती है।
भव्य समापन: ट्राइएंगुलेशन (Triangulation)
एक बार जब उनके पास हजारों साफ, सत्यापित तथ्य आ गए, तो उन्हें बड़े चित्र को देखने के लिए उन्हें एक साथ जोड़ने की आवश्यकता थी। वे केवल "अच्छे" और "बुरे" रिपोर्टों की कुल संख्या नहीं गिन सकते थे क्योंकि कुछ प्रकार की आपदाएं (जैसे बाढ़) अन्य आपदाओं (जैसे भूकंप) की तुलना में बहुत अधिक बार रिपोर्ट की जाती हैं। यदि वे उन सभी को बस जोड़ देते, तो बाढ़ अन्य कहानियों को डुबो देती।
इसलिए, उन्होंने कॉन्टेक्स्ट-प्रिजर्विंग ट्राइएंगुलेशन (context-preserving triangulation) नामक एक विधि विकसित की।
- ग्रिड: उन्होंने तथ्यों को आपदा के प्रकार (जैसे, बाढ़, सूखा) और स्रोत के प्रकार (जैसे, सरकार, NGO, मीडिया) के आधार पर एक ग्रिड में व्यवस्थित किया।
- स्कोर: उन्होंने एक लेवल-ऑफ-एविडेंस (LoE) स्कोर की गणना की। यह स्कोर आपको बताता है कि विभिन्न कहानियाँ एक-दूसरे के साथ कितनी सहमत हैं। 1.0 का स्कोर होगा तो इसका मतलब है कि सभी पूरी तरह से सहमत हैं; 0.0 का मतलब है पूर्ण अराजकता।
जब उन्होंने इसे नकद सहायता के लिए खाद्य-संबंधी परिणामों पर लागू किया, तो परिणाम चौंकाने वाला था। LoE स्कोर 0.865 था। यह एक मजबूत सकारात्मक अभिसरण (strong positive convergence) को दर्शाता है। सरल शब्दों में: विभिन्न प्रकार की आपदाओं और विभिन्न रिपोर्टिंग स्रोतों में, साक्ष्य लगातार यह सुझाव देते हैं कि नकद सहायता लोगों को भोजन प्राप्त करने में मदद करती है।
उन्होंने यह भी देखा कि समय के साथ यह कैसे बदला। 2000 से 2005 तक, डेटा विरल और अस्थिर था। लेकिन 2006 से 2017 के बीच, सकारात्मक संकेत और भी मजबूत होता गया, जो 2017 में 0.929 के LoE के साथ अपने शिखर पर पहुँचा। 2018 से 2024 तक भी, संकेत अत्यधिक सकारात्मक बना रहा, हालांकि यह थोड़ा धीमा हुआ, जो संभवतः इसलिए है क्योंकि वास्तविक दुनिया की स्थितियाँ जटिल होती हैं और कभी-कभी जोखिमों से बचने के लिए नकद का प्रबंधन सावधानी से करना पड़ता है।
इसका क्या अर्थ है (और क्या नहीं है)
लेखक सावधानी बरतते हुए कहते हैं कि यह कोई जादुंतर (magic wand) नहीं है जो हर संकट को हल कर दे। वे नोट करते हैं कि उनका अध्ययन अंग्रेजी रिपोर्टों और विशिष्ट प्रकार की आपदाओं तक सीमित है। वे यह भी चेतावनी देते हैं कि उनके द्वारा मापा गया साक्ष्य की "मजबूती" रिपोर्टों में जो लिखा गया है उस पर आधारित है, न कि अनिवार्य रूप से ज़मीन पर वास्तविक प्रभाव के आकार पर।
हालाँकि, यह अध्ययन सिद्ध करता है कि एक स्मार्ट, दो-चरणीय AI प्रक्रिया का उपयोग करके और डेटा को सावधानीपूर्वक व्यवस्थित करके, हम भ्रमित करने वाली, बिखरी हुई रिपोर्टों के पहाड़ को एक स्पष्ट, ऑडिट योग्य मानचित्र में बदल सकते हैं। यह सुझाव देता है कि सही उपकरणों के साथ, हम केवल अनुमान लगाना बंद कर सकते हैं और यह जान सकते हैं कि कौन से हस्तक्षेप वास्तव में लोगों को जीवित रहने और फलने-फूलने में मदद करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।