Benchmarking Individual and Ensemble XAI Methods for Arabic Transformer-Based Text Classification
यह शोध पत्र अरबी ट्रांसफॉर्मर-आधारित पाठ वर्गीकरण के लिए व्यक्तिगत और एन्सेम्बल व्याख्या योग्य एआई (Explainable AI) विधियों का एक व्यापक बेंचमार्क प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि चयनात्मक एन्सेम्बलिंग मॉडल-केंद्रित निष्ठा (faithfulness) में मामूली सुधार प्रदान करती है, यह मानव-केंद्रित सुसंगतता (plausibility) को महत्वपूर्ण रूप से नहीं बढ़ाती है, साथ ही एक लागत प्रभावी स्वचालित तर्क-चयन विधि का परिचय भी देती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) की दुनिया में, कंप्यूटर मानव भाषा को पढ़ने और समझने में असाधारण रूप से कुशल हो गए हैं। वे गुस्से वाली आवाजों को खोजने के लिए हजारों ट्वीट्स को छाँट सकते हैं, या यह निर्धारित करने के लिए समीक्षाओं को स्कैन कर सकते हैं कि कोई ग्राहक खुश था या निराश। ये प्रणालियाँ, जो ट्रांसफॉर्मर नामक जटिल संरचनाओं पर आधारित हैं, शक्तिशाली इंजनों की तरह काम करती हैं जो एक वाक्य में शब्दों के एक-दूसरे से संबंध को देखकर टेक्स्ट को प्रोसेस करती हैं। हालाँकि, इसमें एक पेंच है: जबकि ये इंजन निर्णय लेने में उत्कृष्ट हैं, वे अक्सर अपारदर्शी 'ब्लैक बॉक्स' होते हैं। जब एक कंप्यूटर यह तय करता है कि कोई विशिष्ट वाक्य घृणित है या सकारात्मक, तो वह स्वाभाविक रूप से यह स्पष्ट नहीं करता कि किन शब्दों ने उसे इस निष्कर्ष तक पहुँचाया। यह पारदर्शिता की कमी एक समस्या है, विशेष रूप से महत्वपूर्ण स्थितियों में जहाँ निर्णय के पीछे के "क्यों" को समझना उतना ही महत्वपूर्ण है जितना कि स्वयं निर्णय। वैज्ञानिकों ने इन ब्लैक बॉक्सों में रोशनी डालने के लिए उपकरण विकसित किए हैं, जिसे 'व्याख्यात्मक कृत्रिम बुद्धिमत्ता' (एक्सप्लेनेबल आर्टिफिशियल इंटेलिजेंस) के रूप में जाना जाता है। ये उपकरण उन विशिष्ट शब्दों या वाक्यांशों को उजागर करने का प्रयास करते हैं जिन्हें एक कंप्यूटर मॉडल ने भविष्यवाणी करते समय सबसे महत्वपूर्ण माना था। फिर भी, अरबी जैसी भाषाओं के लिए, जो बोलियों और जटिल शब्द संरचनाओं से समृद्ध है, यह अभी भी स्पष्ट नहीं है कि इनमें से कौन से व्याख्या उपकरण वास्तव में सबसे अच्छा काम करते हैं, या क्या उन्हें अकेले उपयोग करने के बजाय एक साथ मिलाने से एक स्पष्ट तस्वीर बनती है।
कासाब्लांका में हसन द्वितीय विश्वविद्यालय के शोधकर्ताओं की एक टीम ने सबसे लोकप्रिय व्याख्या उपकरणों का परीक्षण करके इस अनिश्चितता को हल करने का प्रयास किया। उन्होंने दो बहुत अलग कार्यों पर ध्यान केंद्रित किया: टेक्स्ट की भावना (सेंटिमेंट) का निर्धारण करना, जैसे कि कोई समीक्षा सकारात्मक है या नकारात्मक, और घृणा भाषण (हेट स्पीच) का पता लगाना। ऐसा करने के लिए, उन्होंने विशेष रूप से अरबी भाषा के लिए डिज़ाइन किए गए तीन अलग-अलग कंप्यूटर मॉडलों को प्रशिक्षित किया और फिर चार अलग-अलग व्याख्या विधियों से मॉडलों के निर्णयों का औचित्य माँगा। इन विधियों में ऐसी तकनीकें शामिल हैं जो यह परीक्षण करती हैं कि शब्दों को हटाने या बदलने से भविष्यवाणियाँ कैसे बदलती हैं, और इनका मूल्यांकन न केवल इस आधार पर किया गया कि वे मनुष्यों को तार्किक लगे, बल्कि इस आधार पर भी कि क्या वे कंप्यूटर मॉडल के आंतरिक तर्क को सटीक रूप से दर्शाते हैं। शोधकर्ताओं ने यह तय करने के लिए एक नया, स्वचालित तरीका भी परीक्षण किया कि व्याख्या में कितने शब्दों को हाइलाइट किया जाना चाहिए, जिसका उद्देश्य बहुत अस्पष्ट होने और बहुत विशिष्ट होने के बीच एक संतुलन बनाना था।
अध्ययन से पता चला कि हालांकि कोई भी एकल उपकरण पूर्ण नहीं था, लेकिन दो विशिष्ट विधियों को मिलाना—एक जो टेक्स्ट में छोटे बदलावों से सीखता है और दूसरी जो प्रत्येक शब्द के गणितीय योगदान की गणना करती है—सबसे विश्वसनीय परिणाम देता था। जब शोधकर्ताओं ने इन दो दृष्टिकोणों को जोड़ा, तो परिणामी व्याख्या मॉडल के वास्तविक तर्क को दर्शाने में अकेले किसी भी उपकरण का उपयोग करने की तुलना में थोड़ी अधिक सटीक थी। यह सुधार सेंटिमेंट विश्लेषण और हेट स्पीच डिटेक्शन दोनों कार्यों में सुसंगत था, जो यह सुझाव देता है कि यह लाभ वास्तविक है और केवल एक विशिष्ट डेटासेट का संयोग नहीं है। हालाँकि, यह सुधार मामूली था; संयुक्त विधि ने व्याख्या की गुणवत्ता में क्रांति तो नहीं ला दी, बल्कि विश्वसनीयता में एक छोटा, सांख्यिकीय रूप से महत्वपूर्ण उछाल प्रदान किया। शोधकर्ताओं ने पाया कि केवल मिश्रण में अधिक उपकरण जोड़ने से मदद नहीं मिली; वास्तव में, तीसरे या चौथे तरीके को शामिल करने से व्याख्या कभी-कभी और खराब हो गई। यह सुझाव देता है कि व्याख्या की गुणवत्ता इस बात पर अधिक निर्भर करती है कि आप सही साथियों का चयन करते हैं या उनके पास बड़ी भीड़ होने पर।
शायद सबसे आश्चर्यजनक खोज यह थी कि कंप्यूटर के तर्क के प्रति वफादार होने का मतलब हमेशा मानव के लिए समझाने योग्य होना नहीं होता है। शोधकर्ताओं ने कंप्यूटर-जनित व्याख्याओं की तुलना एक ऐसे टेक्स्ट से की जहाँ मनुष्यों ने मैन्युअल रूप से उन शब्दों को हाइलाइट किया था जिन्हें वे महत्वपूर्ण मानते थे। उन्होंने पाया कि कंप्यूटर के आंतरिक तर्क की नकल करने में जो विधि सबसे अच्छा प्रदर्शन करती थी, वह आवश्यक रूप से उस विधि से मेल नहीं खाती थी जो मानव एनोटेशन (टिप्पणियों) के साथ सबसे अच्छा मेल खाती थी। कुछ मामलों में, वह उपकरण जो मशीन के गणित के प्रति सबसे सटीक था, वह मशीन के तर्क के प्रति कम सटीक उपकरण की तुलना में मानव अंतर्ज्ञान के साथ संरेखित होने में केवल मामूली रूप से बेहतर था। यह अंतर महत्वपूर्ण है: इसका अर्थ है कि एक प्रणाली तकनीकी रूप से यह बताने में सही हो सकती है कि वह कैसे काम करती है, बिना अनिवार्य रूप से उस व्यक्ति को समझ में आए जो व्याख्या पढ़ रहा है। अध्ययन का निष्कर्ष है कि इन प्रणालियों को वास्तव में समझने के लिए, हमें उन्हें दोनों कोणों से—मशीन के परिप्रेक्ष्य और मानव के परिप्रेक्ष्य से—मूल्यांकित करना चाहिए, न कि यह मान लेना चाहिए कि एक दूसरे की गारंटी देता है।
इन व्याख्याओं को व्यावहारिक बनाने के लिए, टीम ने कितने शब्दों को हाइलाइट किया जाए, यह तय करने के लिए एक नया, स्वचालित तरीका भी पेश किया। पारंपरिक रूप से, शोधकर्ताओं को एक संख्या का अनुमान लगाना पड़ता था या एक निश्चित नियम सेट करना पड़ता था, जिससे अक्सर ऐसी व्याख्याएँ होती थीं जो या तो बहुत लंबी थीं या बहुत छोटी। नया तरीका महत्व के स्कोर के पैटर्न को देखता है और स्वचालित रूप से उस बिंदु को खोज लेता है जहाँ शब्दों का महत्व तेजी से गिरता है, ठीक वैसे ही जैसे एक हाइकर (पगडंडी पर चलने वाला) अचानक आए बदलाव को देखकर यह तय करता है कि रास्ता कहाँ समाप्त होता है। यह दृष्टिकोण किसी भी मैनुअल सेटिंग की आवश्यकता नहीं देता है और मौजूदा स्वचालित तकनीकों की तुलना में बहुत तेज़ी से चलता है, एक वाक्य को प्रोसेस करने में केवल एक सेकंड का अंश लेता है। हालांकि इसने हर श्रेणी में अन्य सभी तरीकों को पछाड़ नहीं दिया, लेकिन इसने मानवीय हस्तक्षेप के बिना संक्षिप्त और प्रासंगिक व्याख्याएँ उत्पन्न करने का एक अत्यधिक कुशल तरीका प्रदान किया। यह कार्य अरबी टेक्स्ट पर काम करने वाले डेवलपरों के लिए एक स्पष्ट रोडमैप प्रदान करता है, जो यह दिखाता है कि हालांकि उपकरणों को मिलाना मदद कर सकता है, सबसे प्रभावी रणनीति सावधानीपूर्वक चयन और इस स्पष्ट समझ में निहित है कि जो मशीन के लिए गणितीय रूप से सत्य है, वह हमेशा एक मानव पाठक के लिए सही महसूस नहीं होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।