Reliability, Faithfulness, and the Limits of Post-hoc Explanations of Opaque Scientific Models

तकनीकी सारांश: विश्वसनीयता, निष्ठा, और अपारदर्शी वैज्ञानिक मॉडलों के पोस्ट-हॉक स्पष्टीकरणों की सीमाएं

समस्या विवरण
यह शोध पत्र व्याख्यात्मक एआई (XAI) के वैज्ञानिक अनुप्रयोग में एक महत्वपूर्ण ज्ञानमीमांसीय अंतराल (epistemic gap) को संबोधित करता है। वैज्ञानिक डोमेन (जैसे, तंत्रिका विज्ञान, भौतिकी, जैव रसायन) में, अपारदर्शी मशीन लर्निंग मॉडलों का उपयोग केवल भविष्यवाणियों के लिए ही नहीं, बल्कि उन घटनाओं के अंतर्निहित स्वरूपों में अंतर्दृष्टि प्राप्त करने के स्रोत के रूप में भी किया जा रहा है जिनका वे मॉडल हैं। प्रचलित धारणा यह है कि यदि एक मॉडल पर्याप्त रूप से विश्वसनीय (इसकी भविष्यवाणियां घटना के परिणामों से मेल खाती हैं) है और उसका पोस्ट-हॉक स्पष्टीकरण पर्याप्त रूप से निष्ठावान (स्पष्टीकरण मॉडल की आंतरिक गणनाओं को सटीक रूप से दर्शाता है) है, तो वह स्पष्टीकरण स्वयं उस घटना की संरचना के बारे में एक न्यायसंगत दावा प्रदान करता है।

लेखक तर्क देते हैं कि यह निष्कर्ष संरचनात्मक रूप से अमान्य है। जबकि विश्वसनीयता और निष्ठा आवश्यक शर्तें हैं, वे इस अंतर को पाटने के लिए अपर्याप्त हैं कि "मॉडल को समझना" और "दुनिया को समझना" के बीच क्या अंतर है। विशेष रूप से, इनमें से कोई भी मीट्रिक यह सत्यापित नहीं करता है कि मॉडल की आंतरिक संरचना उस घटना की कारण संबंधी (causal), यांत्रिक (mechanistic), या प्रतितथ्यात्मक (counterfactual) संरचना के अनुरूप है या नहीं।

कार्यप्रणाली और औपचारिकता
यह पत्र अनुभवजन्य प्रयोग के बजाय एक औपचारिक ज्ञानमीमांसीय विश्लेषण का उपयोग करता है। यह घटना, मॉडल और स्पष्टीकरण के बीच अनुमानात्मक संबंध का विश्लेषण करने के लिए एक सन्निकटन श्रृंखला (chain of approximation) का निर्माण करता है:

1. घटना ($f$): वास्तविक फलन जो प्राकृतिक घटना का प्रतिनिधित्व करता है।
2. मॉडल ($h^*$): एक परिकल्पना जिसे $H$ (जैसे, एक डीप न्यूरल नेटवर्क) के स्थान से चुना गया है जो $f$ का सन्निकटन करती है।
3. स्पष्टीकरण ($g^*$): एक प्रतिनिधित्व जो एक पोस्ट-हॉक विधि $E$ (जैसे, SHAP, LIME, अटेंशन मैप्स) द्वारा उत्पन्न किया गया है जो $h^*$ का सन्निकटन करता है।

इस श्रृंखला को $f \xleftarrow{\phi} h^* \xleftarrow{E} g^*$ के रूप में दर्शाया गया है, जहाँ:

• $\phi$ (मॉडल-विश्व लिंक) $f$ को ट्रैक करने में $h^*$ की विश्वसनीयता का प्रतिनिधित्व करता है।
• $E$ (मॉडल-का-मॉडल लिंक) $h^*$ का वर्णन करने में $g^*$ की निष्ठा का प्रतिनिधित्व करता है।

लेखक दो प्रकार के ज्ञानमीमांसीय निर्णयों (verdicts) के बीच अंतर करते हैं:

• वर्णनात्मक निर्णय (Descriptive Verdicts): मॉडल क्या गणना करता है इसका आकलन (निष्ठा)।
• न्यायोचित निर्णय (Justificatory Verdicts): घटना को ट्रैक करने की मॉडल की क्षमता का आकलन (विश्वसनीयता)।

मुख्य पद्धतिगत तर्क यह है कि एक वैज्ञानिक तीसरे प्रकार के निर्णय की तलाश करता है: घटना की संरचना के बारे में एक न्यायोचित दावा। शोध पत्र प्रदर्शित करता है कि एक वर्णनात्मक निर्णय (जो $g^*$ के बारे में है) और एक न्यायोचित निर्णय (जो $h^*$ के बारे में है) को संयोजित करने से तार्किक रूप से $f$ की संरचना के बारे में न्यायोचित निर्णय प्राप्त नहीं किया जा सकता है।

प्रमुख योगदान और तर्क

1. संरचनात्मक विफलता (The Structural Failure of Composition):
   पत्र का तर्क है कि मॉडल और दुनिया के बीच का अंतर पूर्ण विश्वसनीयता और पूर्ण निष्ठा की सीमा में भी समाप्त नहीं होता है।

• विश्वसनीयता यह जाँचती है कि आउटपुट परिणाम से मेल खाता है या नहीं, लेकिन इसके लिए साझा आंतरिक संरचना की आवश्यकता नहीं होती है। एक मॉडल स्पूरियस सहसंबंधों (spurious correlations) या गैर-यांत्रिक शॉर्टकट (जैसे, पैथोलॉजी के बजाय इमेज बॉर्डर पर निर्भर रहना) के माध्यम से घटना को पूरी तरह से ट्रैक कर सकता है।
• निष्ठा यह जाँचती है कि स्पष्टीकरण मॉडल की गणना से मेल खाता है या नहीं, लेकिन यह पूरी तरह से मॉडल के भीतर ही सीमित है। यह यह निर्धारित करने में असमर्थ है कि मॉडल की गणना घटना के तंत्र (mechanism) के अनुरूप है या नहीं।
• फलस्वरूप, एक "पूर्ण" श्रृंखला ($f \approx h^* \approx g^*$) अभी भी संरचनात्मक संरेखण के प्रश्न को अनुत्तरित छोड़ देती है। यह श्रृंखला उस "साझा संरचना" के पूर्वापेक्षा (premise) की कमी रखती है जो मॉडल-तथ्यों से विश्व-तथ्यों की ओर बढ़ने के लिए आवश्यक है।

2. भ्रामक श्रृंखलाओं के तीन मामले (परिशिष्ट A):
   लेखक तीन परिदृश्यों के माध्यम से इस अंतराल की निरंतरता को स्पष्ट करते हैं:

• मामला 1 (वितरण बदलाव/Distribution Shift): एक मॉडल एक स्पूरियस फीचर (जैसे, एक्स-रे में लेटरैलिटी मार्कर) पर निर्भर करता है जो प्रशिक्षण में तो काम करता है लेकिन नई आबादी में विफल हो जाता है। निष्ठा सही ढंग से इस निर्भरता की रिपोर्ट करती है, लेकिन विश्वसनीयता केवल तभी विफल होती है जब वितरण बदल जाता है। स्पष्टीकरण गलत तंत्र के प्रति निष्ठावान रहता है।
• मामला 2 (अपरिवर्तनीय भ्रम/Invariant Confounds): एक मॉडल एक ऐसे स्पूरियस फीचर पर निर्भर करता है जो सभी परीक्षण योग्य आबादी में लक्ष्य के साथ सह-संबंधित है (जैसे, रोगी की स्थिति)। यहाँ, विश्वसनीयता हर जगह पूर्ण है, और निष्ठा भी पूर्ण है, फिर भी मॉडल वास्तविक तंत्र को पकड़ने में विफल रहता है। यदि वे समान भविष्यवाणियां करते हैं, तो कोई भी सत्यापन डेटा स्पूरियस मॉडल को यांत्रिक मॉडल से अलग करने में सक्षम नहीं होगा।
• मामला 3 (पूर्ण ट्रैकिंग, भिन्न संरचना/Perfect Tracking, Divergent Structure): एक मॉडल सभी इनपुट पर घटना को पूरी तरह से ट्रैक करता है लेकिन एक ऐसी आंतरिक संरचना का उपयोग करता है जो घटना की संरचना से पूरी तरह भिन्न है। इस मॉडल का एक निष्ठावान स्पष्टीकरण एक ऐसी संरचना का वर्णन करता है जो घटना की संरचना नहीं है। विश्वसनीयता और निष्ठा दोनों ही "सत्य संरचना" वाले मॉडल और "भिन्न संरचना" वाले मॉडल के लिए समान हैं, जिससे ये मीट्रिक सत्य और भाग्य (luck) के बीच अंतर करने में अक्षम हो जाते हैं।

3. "मजबूत" और "कमजोर" व्याख्याओं के बीच अंतर:

• मजबूत व्याख्या (Strong Reading - How-Actually): यह दावा करती है कि मॉडल की संरचना ही घटना की संरचना है। शोध पत्र का तर्क है कि यह श्रृंखला अकेले इस दावे का समर्थन नहीं कर सकती।
• कमजोर व्याख्या (Weak Reading - How-Possibly/Objectual Understanding): यह दावा करती है कि मॉडल एक संभावित परिकल्पना या डोमेन के भीतर संबंधों की समझ प्रदान करता है। शोध पत्र यह स्वीकार करता है कि यह श्रृंखला इस दावे का समर्थन कर सकती है, बशर्ते कि आउटपुट को बाहरी पुष्टि (पूर्व सिद्धांत, स्वतंत्र साक्ष्य, या प्रयोगात्मक हस्तक्षेप) के विरुद्ध रखा जाए।

परिणाम और दावे
यह पत्र प्रयोगात्मक परिणाम प्रस्तुत नहीं करता है बल्कि सीमाओं का एक दार्शनिक और तार्किक प्रमाण प्रदान करता है:

• कोई आत्म-पर्याप्त औचित्य नहीं: एक विश्वसनीय मॉडल और एक निष्ठावान स्पष्टीकरण मिलकर, अकेले संयोजन के माध्यम से, घटना की कारण संबंधी या यांत्रिक संरचना के बारेंे में दावा करने को न्यायोचित नहीं बनाते।
• बाहरी पुष्टि आवश्यक है: मॉडल के विवरण से दुनिया के बारे में दावे तक जाने के लिए, बाहरी आधारों (स्वतंत्र सिद्धांत, ज्ञात तंत्र, या हस्तक्षेप) को पेश करना आवश्यक है। ये आधार स्वयं XAI श्रृंखला द्वारा उत्पन्न नहीं होते हैं।
• आदर्शीकरण की भूमिका (The Role of Idealization): यह पत्र वैज्ञानिक आदर्शीकरण (जैसे, सुलिवन, एल्गिन) के साहित्य के साथ संरेखित है, जो सुझाव देता है कि अपारदर्शी मॉडल आदर्शित उपकरणों के रूप में कार्य करते हैं। वे "वस्तुनिष्ठ समझ" (संबंधों और संभावनाओं को समझना) प्रदान कर सकते हैं, लेकिन बाहरी सत्यापन के बिना "व्याख्यात्मक समझ" (वास्तविक तंत्र की पहचान करना) नहीं।

महत्व
इस शोध पत्र का महत्व विज्ञान में पोस्ट-हॉक XAI की ज्ञानमीमांसीय सीमाओं को स्पष्ट करने में निहित है। यह वैज्ञानिक वास्तविकता के सीधे झरोखे के रूप में निष्ठावान स्पष्टीकरणों को देखने की नियमित पद्धति को चुनौती देता है।

• यह तर्क देता है कि "मॉडल कैसे काम करता है" और "दुनिया कैसे काम करती है" के बीच अंतर करने की विफलता को बेहतर एल्गोरिदम या उच्च शुद्धता द्वारा हल किया जाने वाला तकनीकी दोष नहीं, बल्कि एक संरचनात्मक सीमा के रूप में देखा जाना चाहिए।
• यह XAI के वैज्ञानिक उपयोग को पुनर्गठित करता है: स्पष्टीकरणों को तंत्र के निर्णायक प्रमाण के रूप में देखने के बजाय, उन्हें उम्मीदवार परिकल्पनाओं के जनरेटर के रूप में देखा जाना चाहिए जिन्हें कठोर बाहरी परीक्षण और सैद्धांतिक एकीकरण की आवश्यकता होती है।
• शोध पत्र निष्कर्ष निकालता है कि जबकि श्रृंखला "कैसे-संभवतः" (how-possibly) दावों के सृजन का समर्थन करती है, यह बाहरी पुष्टि के बिना "कैसे-वास्तव में" (how-actually) दावों को लाइसेंस नहीं दे सकती, जो अपारदर्शी मॉडलों का उपयोग करने वाली वैज्ञानिक खोज की अखंडता के लिए एक महत्वपूर्ण अंतर है।