Comparative Analysis of Rule-Based, Deep Learning, and LLM Approaches for Causality Extraction: A Unified Benchmark

मानव संचार के विशाल परिदृश्य में, हम निरंतर कारण और प्रभाव की कहानियाँ बुनते हैं। हम कहते हैं कि भारी बारिश के कारण नदी में बाढ़ आ गई, या एक छूटे हुए डेडलाइन के कारण प्रोजेक्ट विफल हो गया। कभी-कभी ये संबंध स्पष्ट होते हैं, जो "क्योंकि" या "परिणामस्वरूप" जैसे शब्दों द्वारा चिह्नित होते हैं। लेकिन अक्सर, यह कड़ी छिपी होती है। एक टेक्स्ट घटनाओं के एक ऐसे क्रम का वर्णन कर सकता है जहाँ कारण का नाम कभी नहीं लिया जाता, जिससे पाठक को संदर्भ और सामान्य ज्ञान के आधार पर संबंध का अनुमान लगाने के लिए छोड़ दिया जाता है। कंप्यूटरों के लिए वास्तव में हमारी भाषा को समझने के लिए, उन्हें इन अदृश्य धागों को पहचानना सीखना होगा, जिसे 'कॉज़ैलिटी एक्सट्रैक्शन' (कारणता निष्कर्षण) कहा जाता है। यह केवल एक भाषाई पहेली नहीं है; यह उन मशीनों के लिए एक व्यावहारिक आवश्यकता है जिन्हें समाचार रिपोर्टों, चिकित्सा रिकॉर्ड, या सुरक्षा जांच का विश्लेषण करने के लिए यह समझने की आवश्यकता है कि क्या हुआ और क्यों। वर्षों से, शोधकर्ताओं ने मानव-निर्मित नियमों के कठोर सेट, उदाहरणों से सीखने वाले जटिल न्यूरल नेटवर्क, और निर्देशों के माध्यम से तर्क करने में सक्षम नवीनतम पीढ़ी के विशाल भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) का उपयोग करके कंप्यूटर को यह कौशल सिखाने का प्रयास किया है। हालाँकि, क्योंकि प्रत्येक समूह ने अपने तरीकों का परीक्षण अलग-अलग डेटा और अलग-अलग स्कोरिंग सिस्टम पर किया था, इसलिए यह जानना असंभव था कि कौन सा दृष्टिकोण वास्तव में सबसे अच्छा है या वे कहाँ विफल होते हैं।

टेक्निकल यूनिवर्सिटी ऑफ म्यूनिख के एक शोधकर्ता ने एक एकल, एकीकृत परीक्षण स्थल बनाकर इस अनिश्चितता को दूर करने का निर्णय लिया। उन्होंने समाचार, चिकित्सा, वित्त और सुरक्षा रिपोर्टों के मौजूदा संग्रह एकत्र किए, और प्रत्येक कारण-और-प्रभाव संबंध के लिए लेबल को सावधानीपूर्वक फिर से लिखा ताकि वे सभी एक ही सख्त परिभाषा का पालन करें। इसने एक निष्पक्ष खेल का मैदान बनाया जहाँ वे तीन मुख्य रणनीतियों को समान परिस्थितियों में आमने-सामने परख सकें। उन्होंने सरल नियम-आधारित प्रणालियों को, जो विशिष्ट शब्दों और व्याकरण के पैटर्न को देखती हैं, गहरे शिक्षण (डीप लर्निंग) मॉडलों के विरुद्ध खड़ा किया जिन्होंने हजारों उदाहरणों का अध्ययन किया है, और अंत में बड़े भाषा मॉडलों के विरुद्ध, जो पाठ की विशाल मात्रा को संसाधित कर सकते हैं और जटिल निर्देशों का पालन कर सकते हैं। लक्ष्य न केवल यह देखना था कि किस पद्धति का स्कोर सबसे अधिक है, बल्कि यह भी कि प्रत्येक ने कठिन हिस्सों को कैसे संभाला, जैसे कि उन कारणों को खोजना जो स्पष्ट रूप से बताए नहीं गए हैं या एक लंबे दस्तावेज़ में दूर स्थित घटनाओं को जोड़ना।

परिणामों ने एक ऐसा परिदृश्य प्रकट किया जो "नया बेहतर है" की सरल कहानी की तुलना में कहीं अधिक सूक्ष्म है। शोधकर्ता ने पाया कि पुराने ढंग की नियम-आधारित प्रणालियाँ, जो "कारण हुआ" या "के कारण" जैसे शब्दों को खोजने पर निर्भर करती हैं, अभी भी आश्चर्यजनक रूप से प्रभावी हैं जब कारण स्पष्ट रूप से चिह्नित होता है। इन सीधे मामलों में, वे सबसे उन्नत न्यूरल नेटवर्क के लगभग बराबर प्रदर्शन करती हैं, लेकिन वे बिना किसी प्रशिक्षण डेटा और लगभग शून्य कंप्यूटिंग शक्ति के ऐसा करती हैं। हालाँकि, ये कठोर प्रणालियाँ छिपे हुए कारणों के सामने एक दीवार से टकरा जाती हैं। क्योंकि वे पूरी तरह से सतही संकेतों पर निर्भर करती हैं, वे लगभग पूरी तरह से विफल हो जाती हैं जब कोई पाठ बिना किसी विशिष्ट जोड़ने वाले शब्दों के संबंध को निहित करता है।

डीप लर्निंग मॉडल, जो एनोटेटेड उदाहरणों पर प्रशिक्षित होते हैं, इस अंतर को काफी हद से पाट देते हैं। वे छिपे हुए कारणों को पहचानने और एक एकल वाक्य या एक छोटे पैराग्राफ के भीतर संदर्भ को समझने में बहुत बेहतर साबित हुए। फिर भी, वे संघर्ष करते थे जब कारण और प्रभाव कई वाक्यों के बीच अलग होते थे या जब पाठ घटनाओं की एक लंबी श्रृंखला का वर्णन करता था। सबसे शक्तिशाली उपकरण, बड़े भाषा मॉडल, छिपे हुए और दूर के संबंधों को खोजने की सर्वोत्तम समग्र क्षमता दिखाते हैं। जब इन मॉडलों को विशिष्ट उदाहरणों के साथ सावधानीपूर्वक ट्यून किया गया, तो उन्होंने अन्य तरीकों को पीछे छोड़ दिया, विशेष रूप से छिपे हुए और दस्तावेज़ में फैले हुए कारणों को खोजने वाली सबसे कठिन श्रेणी में। हालाँकि, इस बेहतर प्रदर्शन के साथ एक भारी कीमत भी आई। बड़े मॉडलों को चलाने के लिए बहुत अधिक कंप्यूटिंग शक्ति की आवश्यकता थी और प्रत्येक दस्तावेज़ को संसाधित करने में उन्हें सरल मॉडलों की तुलना में काफी अधिक समय लगा। इसके अलावा, यहाँ तक कि सर्वश्रेष्ठ बड़े मॉडल भी एक विशिष्ट प्रकार की गलती करते थे: वे अक्सर सही विचार की पहचान करते थे लेकिन वाक्यांश की सटीक सीमाओं को थोड़ा गलत कर देते थे, जिसे 'बाउंड्री ड्रिफ्ट' (सीमा विचलन) नामक समस्या कहा जाता है।

शायद सबसे महत्वपूर्ण खोज यह थी कि किसी भी एकल पद्धति ने समस्या को पूरी तरह से हल नहीं किया। जबकि बड़े भाषा मॉडल समग्र रूप से सबसे मजबूत थे, वे अभी भी आधे समय में एक लंबे दस्तावेज़ की पूर्ण कारण संरचना को पूरी तरह से पुनर्गठित करने में विफल रहे। शोधकर्ता ने देखा कि तीनों दृष्टिकोण उन कारण श्रृंखलाओं के साथ संघर्ष करते हैं जहाँ एक मध्यवर्ती घटना को स्पष्ट रूप से कारण या प्रभाव के रूप में लेबल नहीं किया गया था, जो यह सुझाव देता है कि इन कार्यों को परिभाषित करने का वर्तमान तरीका वास्तविक दुनिया के वृत्तांतों की जटिलता के लिए बहुत सरल हो सकता है। अध्ययन ने यह भी दिखाया कि जबकि बड़े मॉडल एक विषय से दूसरे विषय में बदलाव को संभालने के लिए पर्याप्त मजबूत थे, जैसे कि चिकित्सा ग्रंथों से सुरक्षा रिपोर्टों की ओर जाना, फिर भी उन्होंने अपने मूल डोमेन की तुलना में महत्वपूर्ण सटीकता खो दी।

अंतिम चित्र स्पष्ट विजेता के बजाय पूरक शक्तियों का है। शोधकर्ता ने निष्कर्ष निकाला कि पद्धति का चुनाव पूरी तरह से अनुप्रयोग की विशिष्ट आवश्यकताओं पर निर्भर होना चाहिए। यदि किसी प्रणाली को हजारों रिपोर्टों को तेज़ी से संसाधित करने की आवश्यकता है और कारण आमतौर पर स्पष्ट होते हैं, तो एक सरल नियम-आधारित प्रणाली या एक मानक न्यूरल नेटवर्क सबसे व्यावहारिक विकल्प हो सकता है। लेकिन यदि लक्ष्य विविध और कठिन ग्रंथों में जटिल, छिपे हुए संबंधों को समझना है, तो बड़े भाषा मॉडल अतिरिक्त लागत के लायक हैं, बशर्ते उनकी सीमाओं को प्रबंधित किया जाए। अध्ययन सुझाव देता है कि इस क्षेत्र का भविष्य एक तकनीक के दूसरी तकनीक को हराने की प्रतीक्षा करने में नहीं है, बल्कि हाइब्रिड सिस्टम बनाने में है जो नियमों की गति और सटीकता को बड़े मॉडलों की तर्क शक्ति के साथ जोड़ते हैं। यह स्वीकार करके कि प्रत्येक दृष्टिकोण की अपनी कमियां हैं, शोधकर्ता अब ऐसे उपकरण बनाने की ओर बढ़ सकते हैं जो कारण और प्रभाव की पूरी कहानी को समझने में वास्तव में सक्षम हों।