Can Large Language Models Infer Causal Relationships from Real-World Text?
यह शोध पत्र ReCITE को प्रस्तुत करता है, जो बड़े भाषा मॉडलों (large language models) की कारण संबंधी तर्क क्षमता (causal reasoning capabilities) का मूल्यांकन करने के लिए वास्तविक दुनिया के शैक्षणिक साहित्य से प्राप्त पहला बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान मॉडल सिंथेटिक डेटासेट पर अपने प्रदर्शन की तुलना में जटिल, प्राकृतिक ग्रंथों में कारण संबंधों का अनुमान लगाने में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
🕵️♂️ बड़ा सवाल: क्या AI जासूस हैं या सिर्फ नकल करने वाले तोते?
कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान जासूस (एक लार्ज लैंग्वेज मॉडल, या LLM) को एक रहस्य सुलझाने के लिए काम पर रखा है। आप उन्हें एक मोटी, उलझी हुई पुलिस रिपोर्ट (एक वास्तविक दुनिया का अकादमिक पेपर) देते हैं और पूछते हैं: "किसने क्या किया?"
- तोता (The Parrot): जासूस बिल्कुल वही दोहरा देता है जो रिपोर्ट में लिखा है। अगर रिपोर्ट कहती है "A ने B को प्रभावित किया," तो जासूस कहता है "A ने B को प्रभावित किया।"
- जासूस (The Detective): जासूस शब्दों के पीछे छिपे अर्थ को पढ़ता है। रिपोर्ट में यह लिखा हो सकता है, "बारिश हुई, और घास गीली हो गई," बिना स्पष्ट रूप से यह कहे कि "बारिश के कारण घास गीली हुई।" एक असली जासूस कारण का अनुमान लगा लेता है।
समस्या: पिछले अधिकांश परीक्षण AI के लिए ऐसे थे जैसे जासूस को एक 'चीट शीट' देना जहाँ उत्तर बड़े, मोटे अक्षरों में लिखे हों। यह पेपर पूछता है: क्या ये AI जासूस उस रहस्य को सुलझा सकते हैं जब सुराग छिपे हुए, बिखरे हुए और जटिल, वास्तविक दुनिया की भाषा में लिखे हों?
🏗️ नया परीक्षण: "ReCITE" (वास्तविक दुनिया की भूलभुलैया)
शोधकर्ताओं ने ReCITE नामक एक नया परीक्षण बनाया। साधारण, बनावटी वाक्यों के बजाय, उन्होंने अर्थशास्त्र, इंजीनियरिंग और पर्यावरण विज्ञान जैसे क्षेत्रों के 292 वास्तविक अकादमिक शोध पत्र एकत्र किए।
इन शोध पत्रों को घने, उलझे हुए जंगलों के रूप में सोचें।
- पेड़: ये "घटनाएँ" हैं (जैसे, "बारिश," "फसल की वृद्धि," "आय")।
- जड़ें: ये "कारण" हैं।
- लक्ष्य: AI को एक नक्शा (एक कॉज़ल ग्राफ) बनाना होगा जो यह दिखाए कि पेड़ अपनी जड़ों से कैसे जुड़े हुए हैं।
यह कठिन क्यों है?
एक असली जंगल में, आपको कोई साइनबोर्ड नहीं दिखता जिस पर लिखा हो "बारिश से वृद्धि होती है।" आपको गीली मिट्टी, हरी पत्तियों और मौसम की रिपोर्ट को देखना होगा ताकि आप इसका पता लगा सकें। कभी-कभी सुराग पूरी तरह से गायब होते हैं, या टेक्स्ट 100 पन्नों लंबा होता है।
📉 परिणाम: AI रास्ता भटक गया
शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI (जैसे Claude, GPT-4, Gemini, आदि) का इस जंगल की भूलभुलैया पर परीक्षण किया।
स्कोरकार्ड:
- सबसे अच्छा AI: इसका स्कोर 0.535 था (0.1 के पैमाने पर जहाँ 1.0 पूर्ण है)।
- औसत AI: इससे भी खराब प्रदर्शन किया।
इसका क्या मतलब है?
यह एक GPS को ऐसे शहर का नक्शा देने जैसा है जिसे उसने पहले कभी नहीं देखा, लेकिन वहां की सड़कों के नाम एक ऐसे कोड में हैं जिसे वह पूरी तरह से नहीं समझ पाता। AI कुछ सड़कों का अनुमान लगा सकता है, लेकिन वह मुख्य राजमार्गों को छोड़ देता है और अक्सर गलत मोहल्लों को जोड़ देता है।
मुख्य निष्कर्ष:
- "स्पष्टता" का जाल (The "Explicit" Trap): जब टेक्स्ट स्पष्ट रूप से कहता है "A के कारण B होता है," तो AI ठीक-ठाक प्रदर्शन करता है। लेकिन जब यह केवल संकेत देता है (जैसे, "A हुआ, फिर B हुआ"), तो AI का प्रदर्शन आधा रह जाता है। इसे शब्दों के बीच के अर्थ को समझने में संघर्ष करना पड़ता है।
- यह शब्दावली की समस्या नहीं है: शोधकर्ताओं ने AI को उन सभी "पेड़ों" (नोड्स) की सूची दी जिन्हें उसे खोजना था। सूची होने के बावजूद, AI यह नहीं समझ पाया कि वे कैसे आपस में जुड़े हुए हैं। यह साबित करता है कि समस्या यह नहीं है कि AI शब्दों को नहीं जानता; बल्कि यह है कि वह कारण और प्रभाव के तर्क (Logic) को नहीं समझता।
- आकार (Size) काम नहीं आया: बड़े, अधिक शक्तिशाली मॉडल थोड़े बेहतर थे, लेकिन वे अभी भी मूल कार्य में विफल रहे। "अधिक स्मार्ट" होने से वे बेहतर जासूस नहीं बन पाए।
🧩 उपमा: "रेसिपी" बनाम "कुकिंग क्लास"
- पिछले परीक्षण (सिंथेटिक डेटा): कल्पना कीजिए कि आप एक छात्र को रेसिपी देकर खाना बनाना सिखा रहे हैं जिसमें लिखा है: "चरण 1: नमक डालें। चरण 2: नमक खाने को नमकीन बनाता है।" छात्र बस चरणों को याद कर लेता है।
- यह पेपर (ReCITE): कल्पना कीजिए कि आप छात्र को एक दादी की 50 पन्नों की संस्मरण पुस्तक दे रहे हैं जो एक गाँव में उनके जीवन का वर्णन करती है। छात्र को यह समझना होगा कि "सूखे" के कारण "खराब फसल" हुई, जिसके कारण "कम आय" हुई, जिसके कारण "प्रवास" हुआ। टेक्स्ट में कभी भी स्पष्ट रूप से यह नहीं लिखा कि "सूखे के कारण प्रवास हुआ।" छात्र को पूरी श्रृंखला का अनुमान लगाना होगा।
परिणाम: AI छात्र रेसिपी याद करने में तो अच्छे हैं, लेकिन कुकिंग क्लास में बुरी तरह विफल हो जाते हैं। वे वास्तविक दुनिया में कड़ियों को जोड़ने में सक्षम नहीं हैं।
🔍 यह क्यों मायने रखता है?
यदि हम चाहते हैं कि भविष्य में AI वास्तव में उपयोगी हो (जैसे बीमारियों का निदान करना, जलवायु परिवर्तन को ठीक करना, या अर्थव्यवस्थाओं का प्रबंधन करना), तो उसे केवल शब्दों के पैटर्न को नहीं, बल्कि कारण और प्रभाव को समझना होगा।
- वर्तमान AI: "मैं 'आग' और 'धुआं' शब्द देखता हूँ, इसलिए मैं कहूँगा कि आग धुएं का कारण है।" (यह केवल पैटर्न मिला रहा है)।
- भविष्य का AI (जिसकी हमें आवश्यकता है): "मैं समझता हूँ कि गर्मी ईंधन को जलाती है, जिससे धुआं पैदा होता है। यदि मैं गर्मी को रोक दूँ, तो धुआं भी रुक जाएगा।" (यह तंत्र/मैकेनिज्म को समझता है)।
🏁 निष्कर्ष
यह पेपर एक वास्तविकता की जाँच (Reality Check) है। यह दिखाता है कि जबकि लार्ज लैंग्वेज मॉडल्स लिखने, सारांश बनाने और बातचीत करने में अद्भुत हैं, वे जटिल, वास्तविक दुनिया की जानकारी के सामने गहन तर्क (Deep Reasoning) करने में अभी भी कमजोर हैं।
वे प्रतिभाशाली पुस्तकालयाध्यक्षों (Librarians) की तरह हैं जो किसी भी किताब को तुरंत ढूंढ सकते हैं, लेकिन वे अभी तक दार्शनिक (Philosophers) नहीं बने हैं जो उन किताबों में मौजूद विचारों के गहरे, छिपे हुए संबंधों को समझ सकें। "आर्टिफिशियल जनरल इंटेलिजेंस" (AI जो इंसान की तरह सोचता है) बनाने के लिए, हमें उन्हें बेहतर जासूस बनना सिखाना होगा, न कि केवल बेहतर नकल करने वाले तोते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।