Explainability and Interpretability Methods for Large Language Models: An Exploratory Systematic Mapping Study
यह व्यवस्थित मैपिंग अध्ययन लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए व्याख्यात्मकता विधियों पर 1,252 शोध पत्रों का विश्लेषण करता है, जिससे यह प्रकट होता है कि अधिकांश तकनीकों के लिए अप्राप्य आंतरिक मॉडल डेटा की आवश्यकता होती है और मानव उपयोगिता तथा वास्तविक दुनिया में तैनाती के संबंध में साक्ष्य गंभीर रूप से दुर्लभ बने हुए हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
पिछले कुछ वर्षों में, एक नए प्रकार के कंप्यूटर प्रोग्राम ने तकनीक के साथ हमारे संवाद करने के तरीके को नया रूप दिया है। ये प्रणालियाँ, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) के रूप में जाना जाता है, कहानियाँ लिख सकती हैं, गणित की समस्याओं को हल कर सकती हैं, और ऐसी बातचीत कर सकती हैं जो उल्लेखनीय रूप से मानवीय लगती है। वे एक वाक्य में अगले शब्द की भविष्यवाणी करके, परत दर परत, काम करते हैं, जब तक कि एक पूर्ण विचार उभर न आए। लेकिन क्योंकि ये प्रोग्राम अरबों समायोज्य सेटिंग्स (adjustable settings) के साथ बनाए गए हैं, उनकी आंतरिक कार्यप्रणाली अक्सर एक रहस्य बनी रहती है। जब ऐसी प्रणाली कोई उत्तर देती है, तो यह जानना कठिन होता है कि वह उत्तर तथ्यों की गहरी समझ से आया है या केवल पहले देखे गए पैटर्न के आधार पर एक चतुर अनुमान मात्र है। इस अनिश्चितता ने 'व्याख्यात्मकता' (explainability) की एक तीव्र आवश्यकता पैदा कर दी है: मशीन के भीतर झाँकने और यह समझने की क्षमता कि उसने एक विशिष्ट विकल्प क्यों चुना। शोधकर्ता ऐसे उपकरण बनाने का प्रयास कर रहे हैं जो किसी निर्णय को उसके स्रोत तक ट्रैक कर सकें, जिससे उस तर्क, डेटा, या कंप्यूटर के मस्तिष्क के उन विशिष्ट हिस्सों का पता चल सके जिन्होंने अंतिम आउटपुट तक पहुँचाया।
यूनानी विश्वविद्यालय ऑफ पिरेअस (University of Piraeus) के शोधकर्ताओं की एक टीम ने इस क्षेत्र को स्पष्ट करने की दिशा में एक बड़ा कदम उठाया है। उन्होंने 2019 और अगस्त 2026 के बीच प्रकाशित लगभग 8,000 वैज्ञानिक रिपोर्टों का व्यापक सर्वेक्षण किया, और उन्हें 1,252 अध्ययनों तक सीमित किया जो विशेष रूप से यह समझाने की कोशिश कर रहे थे कि ये लार्ज लैंग्वेज मॉडल्स कैसे काम करते हैं। उनका लक्ष्य एक नई विधि का आविष्कार करना नहीं था, बल्कि मौजूदा विधियों के संपूर्ण परिदृश्य का मानचित्रण करना था। वे यह देखना चाहते थे कि वैज्ञानिक किस प्रकार की व्याख्याएँ बना रहे हैं, वे कंप्यूटर के किन हिस्सों को देख सकते हैं, और क्या ये व्याख्याएँ वास्तव में लोगों को मशीन समझने में मदद करती हैं या केवल प्रभावशाली दिखती हैं। इस विशाल कार्य को संभालने के लिए, शोधकर्ताओं ने एक सावधानीपूर्वक डिज़ाइन किए गए आर्टिफिशियल इंटेलिजेंस सिस्टम का उपयोग किया ताकि प्रत्येक पेपर को पढ़ा और वर्गीकृत किया जा सके, जिसमें सटीकता सुनिश्चित करने के लिए मानव विशेषज्ञों ने भी काम की जाँच की।
उनके मानचित्र की सबसे चौंकाने वाली खोज वैज्ञानिकों द्वारा बनाए जा रहे उपकरणों और आज इन मॉडल्स के उपयोग की वास्तविकता के बीच एक मौलिक बेमेल है। उनके द्वारा पाई गई अधिकांश विधियाँ—लगभग 70 प्रतिशत—कंप्यूटर के मस्तिष्क तक गहरी, आंतरिक पहुँच की आवश्यकता रखती हैं। इन उपकरणों का उपयोग करने के लिए, एक शोधकर्ता को सिस्टम के माध्यम से बहने वाली कच्ची संख्याओं (raw numbers) को देखने या स्वयं मॉडल की सेटिंग्स को बदलने की आवश्यकता होती है। हालाँकि, सबसे शक्तिशाली भाषा मॉडल्स जिनका लोग प्रतिदिन उपयोग करते हैं, उन्हें कंपनियों द्वारा 'क्लोज्ड सर्विसेज' (closed services) के रूप में होस्ट किया जाता है। उपयोगकर्ता एक संदेश भेज सकते हैं और उत्तर प्राप्त कर सकते हैं, लेकिन वे आंतरिक संख्याओं को नहीं देख सकते या सेटिंग्स को बदल नहीं सकते। इसका अर्थ यह है कि इन मॉडल्स की व्याख्या करने के सबसे परिष्कृत तरीके उन प्रणालियों के लिए प्रभावी रूप से बेकार हैं जहाँ लोगों को व्याख्याओं की सबसे अधिक आवश्यकता है। केवल 23 प्रतिशत अध्ययनों ने ऐसी विधियों का वर्णन किया जो जनता के पास उपलब्ध सीमित पहुँच के साथ काम कर सकें, जैसे कि केवल टेक्स्ट आउटपुट या अगले शब्द के प्रोबेबिलिटी स्कोर को पढ़ना।
शोधकर्ताओं ने यह भी देखा कि ये व्याख्याएँ वास्तव में क्या सिद्ध कर रही थीं। उन्होंने पाया कि अधिकांश अध्ययन "फिथफुलनेस" (faithfulness) पर केंद्रित थे, जो तकनीकी रूप से यह पूछने का एक तरीका है कि क्या व्याख्या वास्तव में कंप्यूटर के आंतरिक तर्क से मेल खाती है। लगभग 70 प्रतिशत शोध पत्रों ने यह दिखाने का प्रयास किया कि उनकी विधि ने निर्णय के कारण की सही पहचान की है। हालाँकि, अध्ययन में पाया गया कि बहुत कम शोधकर्ताओं ने यह परीक्षण किया कि क्या ये व्याख्याएँ वास्तव में मानवों के लिए उपयोगी थीं। केवल लगभग 3 प्रतिशत अध्ययनों में वास्तविक लोगों द्वारा व्याख्याओं का परीक्षण किया गया था कि क्या वे उन्हें बेहतर निर्णय लेने, सिस्टम को समझने, या आउटपुट पर भरोसा करने में मदद करती हैं। यह बिल्कुल वैसा ही है जैसे इंजीनियरों ने शहर की भूमिगत सुरंगों का एक सटीक मानचित्र बनाने में वर्षों बिता दिए हों, लेकिन उन्होंने कभी यह नहीं पूछा कि क्या वह मानचित्र किसी यात्री को रास्ता खोजने में मदद करता है।
शोधकर्ताओं के विचारों के परीक्षण में एक अन्य महत्वपूर्ण अंतर दिखाई दिया। जबकि कई अध्ययनों ने दावा किया कि उनकी विधियाँ सुदृढ़ (robust) हैं, उनमें से एक-तिहाई से भी कम ने यह सिद्ध करने के लिए एक कठोर नियंत्रण समूह (control group) का उपयोग किया कि उनके परिणाम केवल संयोग मात्र नहीं थे। इसके अलावा, वास्तविक दुनिया के नियमों और विनियमों के साथ संबंध लगभग नगण्य था। आर्टिफिशियल इंटेलिजेंस पारदर्शिता से संबंधित कानूनों के बार-बार उल्लेख के बावजूद, केवल बहुत कम अध्ययनों ने वास्तव में अपने तकनीकी तरीकों को विशिष्ट कानूनी आवश्यकताओं से जोड़ा। शोधकर्ताओं ने नोट किया कि यद्यपि यह क्षेत्र तेजी से बढ़ रहा है, जिसमें शामिल लगभग आधे अध्ययन पिछले एक वर्ष में ही प्रकाशित हुए हैं, फिर भी यह ओपन-सोर्स मॉडल्स पर अत्यधिक केंद्रित है जिन्हें कोई भी डाउनलोड कर सकता है, न कि उन क्लोज्ड, प्रोप्राइटरी सिस्टम्स पर जो बाजार पर हावी हैं।
अध्ययन निष्कर्ष निकालता है कि लार्ज लैंग्वेज मॉडल्स को समझाने का क्षेत्र एक चौराहे पर खड़ा है। वर्तमान में उपलब्ध उपकरण शक्तिशाली हैं लेकिन अक्सर अप्राप्य हैं, और वे मानवीय उपयोगिता के बजाय तकनीकी शुद्धता को प्राथमिकता देते हैं। शोधकर्ता सुझाव देते हैं कि भविष्य के कार्यों को उन विधियों पर ध्यान केंद्रित करना चाहिए जो वाणिज्यिक सेवाओं द्वारा प्रदान की जाने वाली सीमित पहुँच के साथ काम कर सकें और वास्तविक लोगों के साथ इन व्याख्याओं का परीक्षण करने पर केंद्रित हों। तब तक, सबसे उन्नत व्याख्याएँ उन प्रयोगशालाओं में बंद रहेंगी जहाँ शोधकर्ताओं की मशीनों तक पूर्ण पहुँच है, जिससे आम जनता के पास ऐसे सिस्टम रह जाते हैं जो तेजी से शक्तिशाली तो हो रहे हैं, लेकिन समझने में भी उतने ही कठिन होते जा रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।