Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts
यह शोध पत्र 12 विविध डेटासेट्स पर युग्मवार (pairwise) कारण खोज (causal discovery) के लिए 13 ओपन-सोर्स लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने वाला एक व्यापक बेंचमार्क प्रस्तुत करता है, जो जटिल, अंतर्निहित और बहु-वाक्य संबंधों के लिए विशेष रूप से कारण पता लगाने (causal detection) और निष्कर्षण (extraction) दोनों में महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करता है—साथ ही इस महत्वपूर्ण क्षेत्र में अनुसंधान को आगे बढ़ाने के लिए एक एकीकृत ढांचा और ओपन-सोर्स संसाधन भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, सुशिक्षित इंटर्न की टीम (जिन्हें लार्ज लैंग्वेज मॉडल्स या LLMs कहा जाता है) को काम पर रख रहे हैं ताकि वे चिकित्सा रिकॉर्ड, समाचार लेखों और वित्तीय रिपोर्टों के एक विशाल पुस्तकालय को व्यवस्थित करने में आपकी मदद कर सकें। आपका लक्ष्य केवल कीवर्ड्स ढूंढना नहीं है; आप चाहते हैं कि वे कारण और प्रभाव की कहानी (cause and effect) को समझें।
आप उनसे ऐसे सवाल पूछना चाहते हैं जैसे: "क्या इस दवा के कारण दुष्प्रभाव हुआ?" या "क्या तूफान के कारण बिजली गुल हुई?"
यह शोध पत्र वास्तव में 13 अलग-अलग AI मॉडलों को एक रिपोर्ट कार्ड है, यह देखने के लिए कि वे इस विशिष्ट कार्य में कितने कुशल हैं। इंडियाना यूनिवर्सिटी के शोधकर्ताओं ने इन मॉडलों को एक कठोर "ड्राइविंग टेस्ट" से गुजारा ताकि यह देखा जा सके कि क्या वे बायोमेडिकल और सामान्य टेक्स्ट के जटिल रास्तों पर सुरक्षित रूप से नेविगेट कर सकते हैं।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. परीक्षण किए गए दो मुख्य कौशल
शोधकर्ताओं ने मॉडलों का दो अलग-अलग कौशलों पर परीक्षण किया, जैसे कि एक ड्राइवर का दो अलग-अलग चीजों पर परीक्षण करना:
कौशल A: "स्पॉटर" (Causal Detection - कारण का पता लगाना)
- कार्य: एक वाक्य को देखें और बस कहें, "हाँ, यह कारण और प्रभाव की कहानी है," या "नहीं, यह सिर्फ एक संयोग है।"
- उपमा: यह दरवाजे पर खड़े एक सुरक्षा गार्ड की तरह है। उन्हें बस हाथ उठाकर कहना है "जाओ" या "रुको।"
- परिणाम: सबसे अच्छा मॉडल (DeepSeek-R1-Distill-Llama-70B) इसे लगभग 50% बार सही कर पाया। यह मूल रूप से एक सिक्के के उछाल (coin flip) जैसा है। यह बहुत अच्छा नहीं है, लेकिन यह दूसरों की तुलना में बेहतर है।
कौशल B: "आर्काइविस्ट" (Causal Extraction - कारण का निष्कर्षण)
- कार्य: यदि कहानी कारण और प्रभाव के बारे में है, तो मॉडल को सटीक कारण (Cause) और सटीक प्रभाव (Effect) को बाहर निकालना होगा।
- उपमा: अब गार्ड को न केवल कार को रोकना है, बल्कि ड्राइवर का लाइसेंस भी पढ़ना है, उनका नाम लिखना है और उनकी मंजिल को भी पूरी तरह से लिखना है।
- परिणाम: यहाँ सबसे अच्छे मॉडल (Qwen2.5-Coder-32B) ने इसे लगभग 47% बार सही किया। फिर से, यह अनुमान लगाने से थोड़ा ही बेहतर है।
2. "ईजी मोड" बनाम "हार्ड मोड"
शोधकर्ताओं ने महसूस किया कि ये AI मॉडल उन छात्रों की तरह हैं जो फ्लैशकार्ड याद करने में तो माहिर हैं लेकिन आलोचनात्मक सोच (critical thinking) में कमजोर हैं।
- ईजी मोड (स्पष्ट संकेत/Explicit Markers):
- परिदृश्य: टेक्स्ट कहता है, "मरीज ने एस्पिरिन ली, जिसके कारण चकत्ते (rash) हो गए।"
- परिणाम: मॉडलों ने यहाँ ठीक प्रदर्शन किया। उन्होंने "कारण" शब्द देखा और जान गए कि क्या करना है। यह एक छात्र द्वारा गणित की समस्या को पहचानने जैसा है क्योंकि उसमें प्लस (+) का चिह्न है।
- हार्ड मोड (अप्रत्यक्ष और जटिल/Implicit & Complex):
- परिदृश्य: टेक्स्ट कहता है, "मरीज ने एस्पिरिन ली। एक घंटे बाद, चकत्ते दिखाई दिए।" (यहाँ "कारण" शब्द का प्रयोग नहीं किया गया है)।
- परिणाम: मॉडल यहाँ बुरी तरह विफल रहे। वे बिंदुओं को जोड़ने में असमर्थ रहे।
- उपमा: यह एक छात्र से गणित की समस्या के बजाय पहेली हल करने के लिए कहने जैसा है। यदि उत्तर बड़े बोल्ड अक्षरों में नहीं लिखा है, तो AI भ्रमित हो जाता है।
- और भी कठिन: जब कारण एक वाक्य में हो और प्रभाव तीन वाक्य बाद आए, या जब एक कारण से तीन अलग-अलग प्रभाव उत्पन्न हों, तो मॉडल अक्सर हार मान लेते हैं या मतिभ्रम (hallucination/मनगढ़ंत बातें बनाना) का शिकार हो जाते हैं।
3. "मैजिक प्रॉम्प्ट" काम नहीं आया
शोधकर्ताओं ने मॉडलों की मदद करने के लिए उन्हें अलग-अलग "चीट शीट्स" (प्रॉम्प्टिंग रणनीतियाँ) दीं:
- ज़ीरो-शॉट (Zero-Shot): बस प्रश्न पूछना।
- फ्यू-शॉट (Few-Shot): पहले उन्हें कुछ उदाहरण देना।
- चेन-ऑफ-थॉट (Chain-of-Thought): उनसे उत्तर देने से पहले "चरण-दर-चरण सोचने" के लिए कहना।
आश्चर्य: इनमें से किसी भी ट्रिक ने बड़ा अंतर नहीं डाला। भले ही AI को "कड़ी मेहनत से सोचने" के लिए कहा गया या उसे उदाहरण दिए गए, फिर भी वह वास्तविक दुनिया के मेडिकल नोट्स में पाए जाने वाले जटिल और अप्रत्यक्ष संबंधों के साथ संघर्ष करता रहा। यह एक कैलकुलेटर को कठिन गणित की समस्या देने जैसा है; यदि कैलकुलेटर को फॉर्मूला नहीं पता है, तो बड़ी स्क्रीन देने से कोई फायदा नहीं होता।
4. चिकित्सा के लिए यह क्यों महत्वपूर्ण है
कल्पना कीजिए कि एक डॉक्टर मरीज के इतिहास को स्कैन करने के लिए AI का उपयोग कर रहा है ताकि यह पता लगाया जा सके कि वह बीमार क्यों पड़ा।
- यदि AI बहुत आत्मविश्वासी है लेकिन गलत है, तो वह डॉक्टर को बता सकता है, "इस दवा के कारण दिल का दौरा पड़ा," जबकि वास्तव में ऐसा नहीं हुआ था। इससे खतरनाक चिकित्सा निर्णय लिए जा सकते हैं।
- यदि AI बहुत सतर्क है, तो वह एक वास्तविक संबंध को भी मिस कर सकता है, जैसे "धूम्रपान से फेफड़ों को नुकसान हुआ," क्योंकि टेक्स्ट में "लेकर गया" (led to) जैसे शब्दों का प्रयोग नहीं किया गया था।
शोध पत्र निष्कर्ष निकालता है कि हालांकि ये AI मॉडल कविता लिखने या समाचारों का सारांश देने में अद्भुत हैं, लेकिन वे अभी तक उच्च-जोखिम वाले चिकित्सा तर्क (medical reasoning) के लिए सुरक्षित नहीं हैं। वे वर्तमान में "पैटर्न मैचर्स" (जैसे "क्योंकि" शब्द को ढूंढना) हैं, न कि वास्तविक "रीज़नर" (जो स्थिति के तर्क को समझते हैं)।
निचोड़ (The Bottom Line)
शोधकर्ताओं ने एक विशाल, उच्च-गुणवत्ता वाला परीक्षण (एक बेंचमार्क) बनाया है ताकि यह साबित किया जा सके कि वर्तमान AI जटिल टेक्स्ट में कारण और प्रभाव को समझने के लिए तैयार नहीं है।
मुख्य बात: हमें इन मॉडलों को विशेष रूप से चिकित्सा तर्क (medical logic) पर प्रशिक्षित करने की आवश्यकता है और उन्हें "कारण" या "परिणाम" जैसे सरल शब्दों से परे देखना सिखाने की आवश्यकता है। तब तक, हमें मानव विशेषज्ञ को काम की निगरानी के लिए साथ रखना होगा, क्योंकि अभी, AI लगभग आधे समय केवल अनुमान लगा रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।