An Explainable Artificial Intelligence Framework for Decision-Making in Critical Information Technology Systems

कल्पना कीजिए कि आप एक हाई-स्टेक्स वीडियो गेम खेल रहे हैं जहाँ एक सुपर-स्मार्ट कंप्यूटर डिजिटल राक्षसों से लड़ने में आपकी मदद कर रहा है। यह कंप्यूटर इतना अच्छा है कि वह राक्षस कहाँ हमला करेंगे, इसका पूर्वानुमान लगा सकता है, जिससे वह टीम का MVP बन गया है। लेकिन इसमें एक पेंच है: यह कंप्यूटर एक "ब्लैक बॉक्स" है। यह अपनी चालें तो चलता है, लेकिन यह नहीं बताता कि इसे क्यों लगा कि वह साया एक राक्षस है न कि सिर्फ रोशनी का कोई भ्रम। वास्तविक दुनिया में, ये "ब्लैक बॉक्स" कंप्यूटर इंटरनेट सुरक्षा, अस्पतालों के निर्णय लेने और क्लाउड नेटवर्क जैसे महत्वपूर्ण स्थानों पर काम कर रहे हैं। यदि कंप्यूटर गलती करता है, तो यह पूरे नेटवर्क को क्रैश कर सकता है या किसी वास्तविक साइबर हमले को मिस कर सकता है।

यहीं पर एक्सप्लेनेबल एआई (XAI) काम आता है। XAI को एक अनुवादक या एक जासूस के रूप में सोचें जो इस कंप्यूटर के बगल में खड़ा होता है और कहता है, "हे, मुझे पता है कि तुम एक जीनियस हो, लेकिन क्या तुम इंसानों को अपने तर्क को समझा सकते हो?" जिस पेपर को हम देख रहे हैं, वह एक बड़ी समस्या का समाधान करता है: जबकि हमारे पास इन कंप्यूटरों को बात करने के काबिल बनाने के लिए बेहतरीन उपकरण हैं, वे अक्सर भ्रमित करने वाली शब्दावली का उपयोग करते हैं या ऐसे उत्तर देते हैं जो हर बार पूछने पर बदल जाते हैं। लेखक एक बेहतर प्रणाली बनाना चाहता है जहाँ कंप्यूटर का स्पष्टीकरण स्पष्ट, भरोसेमंद हो और वास्तव में मानव ऑपरेटर को सही निर्णय लेने में मदद करे, न कि उन्हें केवल भ्रमित करे या मशीन पर अंधा विश्वास करने के लिए मजबूर करे।

---

पेपर का मिशन: एक भरोसेमंद टीम बनाना

इस पेपर के लेखक, साई डूँडी कोथापल्ली ने यह समझने के लिए कि हम इन महत्वपूर्ण AI प्रणालियों को अधिक पारदर्शी कैसे बना सकते हैं, 2019 और 2025 के बीच प्रकाशित 32 अलग-अलग शोध पत्रों (साथ ही कुछ पुराने बुनियादी कार्यों) का अध्ययन किया। उन्होंने केवल गणित नहीं देखा; उन्होंने यह भी देखा कि सुरक्षा विशेषज्ञ, डॉक्टर और आईटी ऑपरेटर वास्तव में वास्तविक दुनिया में इन स्पष्टीकरणों का उपयोग कैसे करते हैं।

यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें सरल कहानियों में विभाजित किया गया है:

1. "मैजिक 8-बॉल" बनाम "ईमानदार जासूस"

पेपर में पाया गया कि वर्तमान में, अधिकांश लोग इन ब्लैक बॉक्स से स्पष्टीकरण प्राप्त करने के लिए दो विशिष्ट उपकरणों का उपयोग कर रहे हैं: SHAP और LIME।

• LIME एक फुर्तीले और ऊर्जावान जासूस की तरह है जो घटनास्थल पर इधर-उधर दौड़ता है, चीजों को छूकर देखता है कि क्या होता है। यह तेज़ है और त्वरित जांच के लिए बेहतरीन है, लेकिन कभी-कभी यह थोड़ा अस्थिर हो सकता है। यदि आप इससे दो बार एक ही सवाल पूछते हैं, तो यह आपको दो थोड़े अलग उत्तर दे सकता है। उच्च-स्तरीय सुरक्षा स्थिति में, यह विसंगति जोखिम भरी है।
• SHAP एक सूक्ष्म और धीमे चलने वाले जासूस की तरह है जो यह पता लगाने के लिए एक जटिल गणितीय नियम पुस्तिका (गेम थ्योरी पर आधारित) का उपयोग करता है कि प्रत्येक सुराग ने अंतिम फैसले में कितना योगदान दिया। यह बहुत अधिक सुसंगत और विश्वसनीय है, लेकिन इसे गणना करने में बहुत अधिक समय लगता है। यदि आपके पास भारी मात्रा में डेटा है, तो SHAP अटक सकता है, जैसे कोई जासूस उत्तर देने से पहले लाखों किताबें पढ़ने की कोशिश कर रहा हो।

पेपर सुझाव देता है कि हालांकि SHAP वर्तमान में पसंदीदा है क्योंकि यह अधिक विश्वसनीय है, हम केवल एक उपकरण पर निर्भर नहीं रह सकते। हमें काम के लिए सही "जासूस" चुनना होगा। यदि आपको साइबर हमले के दौरान पलक झपकते ही निर्णय लेना है, तो एक धीमा, पूर्ण स्पष्टीकरण बेकार हो सकता है।

2. "बहुत अच्छा दिखने वाला" जाल

सबसे दिलचस्प निष्कर्षों में से एक यह है कि स्पष्टीकरण होने से हमेशा इंसान स्मार्ट नहीं होते हैं। वास्तव में, पेपर बताता है कि कभी-कभी स्पष्टीकरण लोगों को बहुत अधिक भरोसेमंद बना सकते हैं।
कल्पना कीजिए कि एक सुरक्षा गार्ड देखता है कि कंप्यूटर कहता है, "यह एक हैकर है!" और कंप्यूटर जोड़ता है, "मैं इन तीन नंबरों के कारण 99% सुनिश्चित हूँ।" गार्ड बिना सोचे-समझे "ब्लॉक" बटन दबा सकता है। पेपर चेतावनी देता है कि यदि स्पष्टीकरण खराब तरीके से डिज़ाइन किया गया है, तो यह वास्तव में मानव ऑपरेटर को कम सक्रिय या अति-आत्मविश्वासी बना सकता है, जिससे गलतियाँ हो सकती हैं। लक्ष्य केवल नंबर दिखाना नहीं है; यह इंसान को स्थिति के बारे में गंभीरता से सोचने में मदद करना है।

3. पांच-परत वाला "ट्रस्ट सैंडविच"

इन समस्याओं को ठीक करने के लिए, लेखक एक नया तरीका प्रस्तावित करता है, जिसे वे फाइव-लेयर फ्रेमवर्क (पाँच-परत ढांचा) कहते हैं। इसे एक सैंडविच बनाने की तरह समझें जहाँ प्रत्येक परत का एक विशिष्ट कार्य है:

1. डेटा लेयर (Data Layer): यह निचला बन (bread) है, जो सभी कच्ची जानकारी (जैसे नेटवर्क लॉग या सेंसर डेटा) एकत्र करता है।
2. AI लेयर (AI Layer): यह मांस (meat) है, जहाँ स्मार्ट कंप्यूटर अपना पूर्वानुमान लगाता है (जैसे, "यह एक हमला है")।
3. एक्सप्लेनेशन लेयर (Explanation Layer): यह विशेष सॉस है। यह AI के पूर्वानुमान को लेता है और उसे एक कारण में अनुवादित करता है (जैसे, "यह एक हमला है क्योंकि इसमें ये विशिष्ट अजीब पैटर्न हैं")।
4. ह्यूमन लेयर (Human Layer): यह ऊपरी बन है। यह वह इंटरफ़ेस है जहाँ मानव ऑपरेटर स्पष्टीकरण देखता है और अंतिम निर्णय लेता है। महत्वपूर्ण रूप से, इस लेयर को इस तरह डिज़ाइन किया जाना चाहिए कि इंसान को यह कहने में सक्षम महसूस हो कि, "मुझे यह बात सही नहीं लग रही," और वह कंप्यूटर को ओवरराइड कर सके।
5. गवर्नेंस लेयर (Governance Layer): यह वह रैपर है जो सब कुछ एक साथ रखता है। यह हर निर्णय, हर स्पष्टीकरण और हर बार जब किसी इंसान ने AI को ओवरराइड किया, उसका रिकॉर्ड रखता है। यह एक 'पेपर ट्रेल' बनाता है ताकि बाद में, यदि कुछ गलत होता है, तो हम देख सकें कि वास्तव में क्या हुआ था।

4. क्या कमी है?

पेपर स्वीकार करता है कि हम अभी वहां तक नहीं पहुंचे हैं। अभी भी कुछ बड़ी बाधाएं हैं:

• स्थिरता (Stability): हमें ऐसे स्पष्टीकरण चाहिए जो पेज रिफ्रेश करने पर हर बार न बदलें।
• गति (Speed): हमें ऐसे स्पष्टीकरण चाहिए जो वास्तविक समय की आपात स्थितियों के लिए पर्याप्त तेज़ हों।
• मानकीकरण (Standardization): अभी तक कोई एकल "नियम पुस्तिका" नहीं है कि एक "अच्छा" स्पष्टीकरण क्या होता है। विभिन्न देशों और कंपनियों के पास अलग-अलग विचार हैं कि पर्याप्त क्या है।
• नई तकनीक (New Tech): पेपर नोट करता है कि नए उपकरण, जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) जो साधारण अंग्रेजी में स्पष्टीकरण लिख सकते हैं, अभी बस उभर रहे हैं। हालांकि वे सुनने में अच्छे लगते हैं, लेकिन हमें अभी तक नहीं पता कि क्या वे जीवन-मरण के निर्णयों के लिए पर्याप्त सटीक और भरोसेमंद हैं।

निष्कर्ष

पेपर निष्कर्ष निकालता है कि हम केवल एक जटिल कंप्यूटर पर "एक्सप्लेनेबल एआई" का स्टिकर चिपकाकर काम नहीं चला सकते। यह सुझाव देता है कि इन प्रणालियों को सुरक्षित और भरोसेमंद बनाने के लिए, हमें स्पष्टीकरणों को एक विचार के रूप में नहीं, बल्कि सिस्टम के निर्माण के समय से ही शामिल करने की आवश्यकता है। हमें गणित, मानव ऑपरेटर और खेल के नियमों को एक सुसंगत लूप में जोड़ना होगा।

लेखक का सुझाव है कि भविष्य एक ही जादुई उपकरण खोजने के बारे में नहीं है, बल्कि एक समन्वित प्रणाली बनाने के बारे में है जहाँ सही व्यक्ति को सही समय पर सही स्पष्टीकरण दिया जाए, जिसमें यह स्पष्ट रिकॉर्ड हो कि अंतिम निर्णय किसने लिया। यह "ब्लैक बॉक्स" के जादू से हटकर इंसानों और मशीनों के बीच एक पारदर्शी, जवाबदेह साझेदारी की ओर बढ़ने का आह्वान है।