कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट बनाया है जो मौसम की भविष्यवाणी कर सकता है, बीमारियों का निदान कर सकता है, या यहाँ तक कि कविता भी लिख सकता है। यह अद्भुत रूप से काम करता है, लेकिन यह एक "ब्लैक बॉक्स" है: आप एक बटन दबाते हैं, यह एक उत्तर देता है, और आपको पता ही नहीं चलता कि इसने वह उत्तर क्यों चुना। यह आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया है। इस रहस्य को सुलझाने के लिए, वैज्ञानिकों ने एक्सप्लेनेबल एआई (XAI) नामक एक क्षेत्र बनाया। XAI को एक अनुवादक के रूप में सोचें जो रोबोट के गुप्त विचारों को हम मनुष्यों को समझाने की कोशिश करता है। हमारे पास ऐसे उपकरण हैं जो हमें बताते हैं कि एक वाक्य में कौन से शब्द सबसे महत्वपूर्ण थे, या किन पिक्सेल ने रोबोट को यह सोचने पर मजबूर किया कि यह एक "बिल्ली" है। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि रोबोट हमें एक अनुवाद दे सकता है, इसका मतलब यह नहीं है कि वह अनुवाद हमें कुछ उपयोगी करने में मदद करता है। हमें यह जानने की जरूरत है कि क्या ये स्पष्टीकरण भरोसेमंद हैं, क्या वे रोबोट के वास्तविक मस्तिष्क से मेल खाते हैं, और सबसे महत्वपूर्ण बात यह है कि क्या वे वास्तव में हमें बेहतर निर्णय लेने या रोबोट को गलत होने पर ठीक करने में मदद करते हैं।

यह बिल्कुल वही समस्या है जिसे एक नया शोध पत्र (paper) संबोधित करता है। लेखक तर्क देते हैं कि एआई समुदाय गलत दिशा में मैराथन दौड़ रहा है। एक्सप्लेनेबल एआई के लिए ठोस आधार बनाने के बजाय, हर कोई तेज़ी से नए, चमकदार "फ्लैशलाइट" (तरीके) आविष्कार करने में लगा हुआ है जो ब्लैक बॉक्स पर रोशनी डालते हैं। पेपर सुझाव देता है कि हालांकि ये नई फ्लैशलाइट बहुत शानदार हैं, लेकिन अक्सर वे हमें अंधेरे में रास्ता दिखाने में मदद नहीं करती हैं क्योंकि हमने अभी तक यह तय ही नहीं किया है कि एक "मानचित्र" (map) कैसा दिखना चाहिए, यह कैसे जांचा जाए कि मानचित्र सटीक है या नहीं, या मानचित्र मिलने के बाद क्या करना है।

"फ्लैशलाइट" की समस्या

लेखकों की टीम, जो शीर्ष विश्वविद्यालयों और तकनीकी कंपनियों के शोधकर्ताओं की है, ने एक्सप्लेनेबल एआई पर सैकड़ों हालिया शोध पत्रों को देखा और उन दर्जनों लोगों से बात की जो वास्तव में अपने वास्तविक कामों में इन उपकरणों का उपयोग करते हैं। उन्होंने एक चिंताजनक पैटर्न पाया: यह क्षेत्र नए तरीके बनाने के प्रति जुनूनी है। वास्तव में, उनके द्वारा विश्लेषण किए गए 77% शोध पत्र केवल एआई को समझाने का एक नया तरीका प्रस्तावित कर रहे थे, जबकि केवल 11% ने ही यह स्पष्ट और औपचारिक परिभाषा देने की कोशिश की कि एक "स्पष्टीकरण" (explanation) वास्तव में क्या है।

यह एक समूह ऐसे शेफ की तरह है जो नई रेसिपी बनाने की कोशिश कर रहे हैं बिना कभी इस बात पर सहमत हुए कि "सूप" क्या है। कुछ कहते हैं कि सूप गर्म होना चाहिए; अन्य कहते हैं कि इसमें गाजर होनी चाहिए; कुछ बस सब कुछ एक बर्तन में डाल देते हैं और उसे सूप कहते हैं। क्योंकि हर कोई अलग-अलग परिभाषाओं का उपयोग कर रहा है, परिणाम अस्त-व्यस्त हैं। एक शोधकर्ता कह सकता है कि उसका तरीका "वफादार" (faithful) है (यानी यह एआई के बारे में सच बताता है), जबकि दूसरा एक अलग परीक्षण का उपयोग करता है और कहता है कि वही तरीका झूठ है। पेपर का तर्क है कि हम चलते-चलते चीजें बनाने के बजाय, एक विश्वसनीय प्रणाली बनाने के बजाय, एक लूप में फंस गए हैं।

चार गायब स्तंभ

लेखक कहते हैं कि हमें नई फ्लैशलाइट बनाने से पहले चार विशिष्ट आधारों को बनाने के लिए रुकना होगा। वे इन्हें "चार चुनौतियाँ" कहते हैं:

1. परिभाषा की समस्या (स्पष्टीकरण क्या है?)
अभी, "स्पष्टीकरण" शब्द का उपयोग हर चीज़ के लिए किया जाता है। कभी-कभी इसका अर्थ महत्वपूर्ण विशेषताओं की एक सूची होता है; अन्य समय में, यह उस कहानी का अर्थ होता है जो एआई खुद को बताता है। पेपर का तर्क है कि हमें अनुमान लगाना बंद करना चाहिए। एक स्पष्टीकरण को इस आधार पर परिभाषित किया जाना चाहिए कि वह किसके लिए है और उन्हें इसके साथ क्या करने की आवश्यकता है। यदि एक डॉक्टर को यह जानने की आवश्यकता है कि बीमा देने से किसी मरीज को क्यों रोका गया, तो स्पष्टीकरण वह होना चाहिए जो एक रोबोट इंजीनियर के लिए बग को ठीक करने के लिए आवश्यक होता है। एक स्पष्ट परिभाषा के बिना, हम यह भी माप नहीं सकते कि हम अच्छा काम कर रहे हैं या नहीं।

2. गुण की समस्या (एक अच्छा स्पष्टीकरण क्या बनाता है?)
हमें नियमों पर सहमत होने की आवश्यकता है। एक अच्छा स्पष्टीकरण "वफादार" (faithful) होना चाहिए—इसे वास्तव में उस काम के अनुरूप होना चाहिए जो एआई कर रहा है, न कि केवल सुंदर दिखना चाहिए। लेकिन वफादारी पर्याप्त नहीं है। एक स्पष्टीकरण को "पूर्ण" (complete) भी होना चाहिए (इसमें सबसे महत्वपूर्ण हिस्सों को छोड़ना नहीं चाहिए) और "मजबूत" (robust) भी होना चाहिए (यदि आप इनपुट में थोड़ा बदलाव करते हैं तो इसे बहुत अधिक बदलना नहीं चाहिए)। पेपर बताता है कि कई वर्तमान तरीके इन परीक्षणों में विफल रहते हैं। उदाहरण के लिए, एक तरीका टेस्ट में बहुत अच्छा लग सकता है लेकिन मानव को निर्णय लेने में मदद करने में विफल हो सकता है। लेखक सुझाव देते हैं कि हमें इन गुणों का कठोरता से परीक्षण करने की आवश्यकता है, न कि केवल यह मान लेना कि वे काम करते हैं क्योंकि गणित अच्छा दिखता है।

3. मूल्यांकन की समस्या (हम कैसे परीक्षण करते हैं कि यह काम करता है?)
यहीं पर चीजें वास्तव में जटिल हो जाती हैं। पेपर ने पाया कि जबकि 56% शोधकर्ता दावा करते हैं कि वे अपने स्पष्टीकरणों की "वफादारी" का परीक्षण करते हैं, बहुत कम लोग वास्तव में मनुष्यों से बात करते हैं। समीक्षा किए गए केवल 11% शोध पत्रों में वास्तविक लोगों के साथ अध्ययन शामिल था। अधिकांश शोधकर्ता केवल कंप्यूटर सिमुलेशन चलाते हैं या यह देखते हैं कि संख्याएँ स्थिर दिखती हैं या नहीं। लेकिन एक स्पष्टीकरण बेकार है यदि एक मनुष्य उसे समझ नहीं पाता या उस पर भरोसा नहीं कर पाता। लेखक तर्क देते हैं कि हमें स्पष्टीकरणों को गणित की समस्या की तरह मानना बंद करना चाहिए और उन्हें एक उत्पाद की तरह टेस्ट करना शुरू करना चाहिए: क्या यह वास्तव में किसी इंसान को अपना काम बेहतर करने में मदद करता है?

4. क्रिया की समस्या (स्पष्टीकरण के साथ हम क्या करते हैं?)
यह सबसे बड़ा अंतर है। कल्पना कीजिए कि एक डॉक्टर को एक स्पष्टीकरण मिलता है जो कहता है, "एआई को लगता है कि इस मरीज को दुर्लभ बीमारी है क्योंकि उसकी उम्र अधिक है।" बहुत अच्छा, लेकिन डॉक्टर उस जानकारी के साथ क्या करेगा? क्या वे एआई का मन बदल सकते हैं? क्या वे और परीक्षणों के लिए पूछ सकते हैं? पेपर ने पाया कि 38.2% पेशेवर इन स्पष्टीकरणों को अपने वास्तविक कार्यप्रवाह (workflows) में एकीकृत करने में संघर्ष करते हैं। वर्तमान में, स्पष्टीकरण अक्सर केवल "दिखाओ और बताओ" वाली चीजें होते हैं जिन्हें आप देखते हैं और फिर फेंक देते हैं। लेखक तर्क देते हैं कि स्पष्टीकरणों को एक ऐसे लूप का हिस्सा होना चाहिए जहाँ मनुष्य फीडबैक दे सकें, एआई को ठीक कर सकें और सिस्टम को बेहतर बना सकें। इसके बिना, स्पष्टीकरण केवल एक सजावट है।

डेटा क्या कहता है

अपने दावों को पुख्ता करने के लिए, लेखकों ने दो बड़े काम किए। पहले, उन्होंने एक एआई (एक LLM) का उपयोग किया जिसने NeurIPS और ICML जैसे शीर्ष सम्मेलनों के 617 शोध पत्रों को पढ़ा। एआई ने पाया कि यह क्षेत्र लगभग पूरी तरह से "नए तरीके" वाले शोध पत्रों द्वारा संचालित है, जिसमें परिभाषाओं या मानव परीक्षणों पर बहुत कम ध्यान दिया गया है।

दूसक, उन्होंने 34 वास्तविक दुनिया के पेशेवरों का सर्वेक्षण किया—वे लोग जो वास्तव में अपने काम में इन उपकरणों का उपयोग करते हैं। परिणाम चौंकाने वाले थे:

• भ्रम: उनमें से 44.1% ने कहा कि उन्हें नहीं पता कि यह कैसे जांचा जाए कि कोई स्पष्टीकरण कितना अच्छा है।
• विकल्प का पक्षाघात (Choice Paralysis): 23.5% ने स्वीकार किया कि उन्हें नहीं पता कि कौन सा तरीका चुनना है, और 26.5% को नहीं पता था कि उपकरणों के लिए सही सेटिंग्स (पैरामीटर्स) कैसे चुनी जाएं।
• "विश्वास" का जाल: जबकि कई लोगों ने कहा कि इन उपकरणों ने उन्हें एआई पर "भरोसा" करने में मदद की, पेपर चेतावनी देता है कि बिना समझ के भरोसा करना खतरनाक है। वास्तव में, 44.1% पेशेवरों ने कहा कि सबसे बड़ी चुनौती उन लोगों को परिणाम समझाना था जिन्हें वास्तव में निर्णय लेने होते हैं।

आगे का रास्ता

लेखक यह नहीं कह रहे हैं कि हमें नए उपकरण बनाना बंद कर देना चाहिए। वे यह नहीं कह रहे हैं कि XAI हमेशा के लिए टूट गया है। वे कह रहे हैं कि हमें अपनी प्राथमिकताओं को बदलने की आवश्यकता है। नई 100वीं फ्लैशलाइट बनाने की जल्दबाजी करने के बजाय, हमें यह सहमत होने की आवश्यकता है कि एक मानचित्र कैसा दिखता है, उसे सटीक रूप से कैसे बनाया जाए, और अपने गंतव्य तक पहुँचने के लिए उसका उपयोग कैसे किया जाए।

वे किसी भी नए XAI पेपर को लिखने वालों के लिए एक सरल चेकलिस्ट का प्रस्ताव देते हैं। प्रकाशित करने से पहले, खुद से पूछें:

1. क्या आपने अपना लक्ष्य परिभाषित किया है? (यह किसके लिए है, और वे क्या करने की कोशिश कर रहे हैं?)
2. क्या आपका दावा परीक्षण योग्य है? (क्या कोई आपको गलत साबित कर सकता है?)
3. क्या आपने वफादारी (faithfulness) के लिए परीक्षण किया है? (क्या यह वास्तव में एआई के मस्तिष्क से मेल खाता है?)
4. क्या यह उपयोगी है? (क्या यह किसी को वास्तविक निर्णय लेने में मदद करता है?)
5. क्या आपने मनुष्यों के साथ इसका परीक्षण किया है? (क्या वास्तविक लोगों ने वास्तविक स्थिति में इसका उपयोग किया?)

पेपर निष्कर्ष निकालता है कि यदि हम इन आधारों पर ध्यान केंद्रित करना शुरू करते हैं, तो हम "कूल साइंस एक्सपेरिमेंट" से "विश्वसनीय उपकरणों" की ओर बढ़ सकते हैं जो वास्तव में मनुष्यों और मशीनों को मिलकर काम करने में मदद करते हैं। तब तक, हम ऐसी फ्लैशलाइट बनाना जारी रख सकते हैं जो चमकती तो बहुत अच्छी हैं लेकिन हमें गोल-गोल घुमा देती हैं।