Causal Explanations from the Geometric Properties of ReLU Neural Networks

तकनीकी सारांश: ReLU न्यूरल नेटवर्क के ज्यामितीय गुणों से कारण संबंधी स्पष्टीकरण (Causal Explanations)

समस्या विवरण (Problem Statement)

न्यूरल नेटवर्क, विशेष रूप से वे जिनका उपयोग स्वायत्त प्रणालियों (autonomous systems) में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के माध्यम से नियंत्रण नीतियों को सीखने के लिए किया जाता है, "ब्लैक बॉक्स" के रूप में कार्य करते हैं। व्याख्यात्मकता (interpretability) की यह कमी सुरक्षा आश्वासन और उपयोगकर्ता विश्वास में बाधा डालती है। हालांकि 'व्याख्यात्मक कृत्रिम बुद्धिमत्ता' (XAI) और 'व्याख्यात्मक सुदृढीकरण शिक्षण' (XRL) जैसे क्षेत्र "क्यों" और "क्यों नहीं" के स्पष्टीकरण प्रदान करने का लक्ष्य रखते हैं, वर्तमान अत्याधुनिक विधियाँ अक्सर डिस्टिल्ड मॉडल्स (सरलीकृत सरोगेट्स) पर निर्भर करती हैं। यद्यपि ये डिस्टिल्ड नीतियां व्याख्या योग्य होती हैं, लेकिन वे मूल मॉडल की तुलना में महत्वपूर्ण प्रदर्शन गिरावट से ग्रस्त होती हैं और मूल मॉडल की निर्णय लेने की प्रक्रिया का सटीक प्रतिबिंब सुनिश्चित नहीं करती हैं। फलस्वरूप, वे मूल प्रणाली की सुरक्षा की औपचारिक गारंटी देने के लिए उपयोग नहीं की जा सकतीं। ऐसी विधियों की आवश्यकता है जो बिना किसी सन्निकटन (approximation) या प्रदर्शन हानि के, सीधे मूल न्यूरल नेटवर्क से सटीक (exact) कारण संबंधी स्पष्टीकरण उत्पन्न कर सकें।

कार्यप्रणाली (Methodology)

लेखक लीनियर लेयर्स और रेक्टिफाइड लीनियर यूनिट (ReLU) एक्टिवेशन फंक्शन वाले न्यूरल नेटवर्क के लिए न्यूनतम पूर्ण स्पष्टीकरण (Minimally Complete Explanations - MCE) उत्पन्न करने की एक विधि प्रस्तावित करते हैं। यह दृष्टिकोण इस ज्यामितीय गुण का लाभ उठाता कि एक ReLU नेटवर्क एक पिसवाइज लीनियर फंक्शन (piecewise linear function) के रूप में होता है, जो $n$-आयामी उत्तल बहुभुजों (convex polytopes) द्वारा परिभाषित क्षेत्रों में विभाजित होता है।

मुख्य कार्यप्रणाली में दो प्राथमिक एल्गोरिदम शामिल हैं:

1. ज्यामितीय प्रतिनिधित्व (Geometric Representation):

   • नेटवर्क को इनपुट स्पेस को अलग-अलग क्षेत्रों (polytopes) में विभाजित करने वाले रूप में देखा जाता है। प्रत्येक पॉलीटोप के भीतर, प्रत्येक आउटपुट न्यूरॉन के लिए नेटवर्क का व्यवहार एक एकल लीनियर ट्रांसफॉर्मेशन होता है।
   • प्रत्येक न्यूरॉन का एक्टिवेशन (शून्य या गैर-शून्य) एक बिट वेक्टर द्वारा दर्शाया जाता है। एक्टिवेशन का एक विशिष्ट संयोजन इनपुट स्पेस में एक अद्वितीय पॉलीटोप $P$ को परिभाषित करता है, जिसे असमानताओं की एक प्रणाली (H-Representation) द्वारा वर्णित किया जाता है।

2. "क्यों" स्पष्टीकरण (तथ्यात्मक - Factual):

   • इनपुट: एक इनपुट $x$ और नेटवर्क $N$।
   • प्रक्रिया: एल्गोरिदम $x$ के लिए एक्टिवेशन सिग्नेचर (बिट वेक्टर) एकत्र करने के लिए एक फॉरवर्ड पास करता है। यह $x$ के अनुरूप पॉलीटोप $P$ का निर्माण करता है।
   • परिष्करण (Refinement): यह एक उप-पॉलीटोप $P_{Output} \subset P$ को परिभाषित करता है जहाँ वास्तविक आउटपुट क्लास $c$ अधिकतम है। न्यूनता (minimality) प्राप्त करने के लिए, एल्गोरिदम $P_{Output}$ को परिभाषित करने वाली असमानताओं की प्रणाली से अनावश्यक बाधाओं (redundant constraints) को पहचानने और हटाने के लिए लीनियर प्रोग्राम्स की एक श्रृंखला को हल करता है।
   • आउटपुट: रैखिक असमानताओं का एक सरलीकृत सेट ($H'$) जो उस क्षेत्र को सटीक रूप से परिभाषित करता है जहाँ नेटवर्क अपेक्षित निर्णय उत्पन्न करता है।

3. "क्यों नहीं" स्पष्टीकरण (प्रतितथ्यात्मक - Counterfactual):

   • इनपुट: एक इनपुट $x$, वास्तविक आउटपुट $c$, और एक प्रतितथ्यात्मक आउटपुट $c'$।
   • प्रक्रिया: एल्गोरिदम पहले यह जांचता है कि क्या प्रतितथ्यात्मक क्लास $c'$ वर्तमान पॉलीटोप $P$ के भीतर व्यवहार्य (feasible) है। यदि व्यवहार्य है, तो स्पष्टीकरण वर्तमान पॉलीटोप $P$ के भीतर क्लासों को अलग करने वाली लीनियर असमानता है।
   • खोज (Search): यदि $c'$ $P$ में व्यवहार्य नहीं है, तो एल्गोरिदम एडजसेंट पॉलीटोप मार्चिंग (Adjacent Polytope Marching) का उपयोग करता है। यह निकटवर्ती पॉलीटोप्स की खोज करने के लिए (हैमिंग दूरी बढ़ाकर) एक्टिवेशन सिग्नेचर में बिट्स को पुनरावर्ती रूप से बदलता है, जब तक कि उसे एक ऐसा क्षेत्र $P'$ न मिल जाए जहाँ $c'$ व्यवहार्य हो।
   • आउटपुट: स्पष्टीकरण में वे विशिष्ट बाधाएं (बदलते हुए बिट्स/असमानताएं) शामिल हैं जो तथ्यात्मक पॉलीटोप $P$ को प्रतितथ्यात्मक पॉलीटोप $P'$ से अलग करती हैं।

4. प्रतिनिधित्व (Representations):

   • H-Representation: रैखिक असमानताओं की एक प्रणाली। यह सटीक है और न्यूरॉन्स की संख्या के साथ रैखिक रूप से स्केल करती है, लेकिन उच्च-आयामी इनपुट के लिए जटिल हो सकती है।
   • V-Representation: चरम बिंदुओं (vertices) का एक सेट जो पॉलीटोप की सीमाओं को परिभाषित करता है। यह अधिक संक्षिप्तता (इनपुट डाइमेंशन के सापेक्ष स्थिर आकार) प्रदान करता है लेकिन इनपुट डाइमेंशन के सापेक्ष घातांकीय (exponential) जटिलता पेश करता है।

मुख्य योगदान (Key Contributions)

• सटीकता (Exactness): यह विधि मूल ReLU नेटवर्क के व्यवहार का 100% सटीक प्रतिबिंब उत्पन्न करती है, जो मॉडल डिस्टिलेशन में निहित सन्निकटन त्रुटियों से बचती है।
• प्रत्यक्ष निष्कर्षण (Direct Extraction): नियम किसी सरोगेट मॉडल के बजाय न्यूरल नेटवर्क के ज्यामितीय गुणों (पॉलीटोपल डीकंपोजिशन) से सीधे निकाले जाते हैं।
• एल्गोरिद्मिक ढांचा (Algorithmic Framework): यह पेपर पॉलीटोप मार्चिंग और कंस्ट्रेंट रिडक्शन का उपयोग करके दोनों प्रकार के "क्यों" (तथ्यात्मक) और "क्यों नहीं" (प्रतितथ्यात्मक) स्पष्टीकरण उत्पन्न करने के लिए विशिष्ट एल्गोरिदम पेश करता है।
• दोहरा प्रतिनिधित्व (Dual Representation): यह कार्य दर्शाता है कि कैसे H-प्रतिनिधित्व (बाधाएं) और V-प्रतिनिधित्व (सीमाएं) दोनों में स्पष्टीकरण प्रदान किया जा सकता है, और व्याख्यात्मकता एवं कम्प्यूटेशनल जटिलता के बीच ट्रेड-ऑफ पर चर्चा करता है।

परिणाम और जटिलता विश्लेषण (Results and Complexity Analysis)

• कम्प्यूटेशनल जटिलता (Computational Complexity):
  • "क्यों" स्पष्टीकरण: इसकी समय जटिलता $O(n)$ है, जहाँ $n$ न्यूरॉन्स की संख्या है, क्योंकि इसमें अनावश्यक बाधाओं को हटाने के लिए लीनियर संख्या में लीनियर प्रोग्राम्स को हल करना शामिल है।
  • "क्यों नहीं" स्पष्टीकरण: सर्वोत्तम स्थिति में, जटिलता $O(n)$ है। सबसे खराब स्थिति में, यह $O(2^n)$ है, जो सभी संभावित पॉलीटोप्स की गणना करने के बराबर है। हालांकि, लेखक नोट करते हैं कि व्यवहार में, एल्गोरिदम तेजी से समाप्त होने की संभावना है क्योंकि प्रतितथ्यात्मक के लिए केवल एक व्यवहार्य पॉलीटोप की खोज ही सर्च को रोकने के लिए पर्याप्त है।
• स्पेस जटिलता (Space Complexity): दोनों एल्गोरिदम स्थिर (constant) स्पेस जटिलता बनाए रखते हैं, केवल वर्तमान पॉलीटोप और बिट वेक्टर्स को स्टोर करते हैं।
• स्केलेबिलिटी (Scalability): लेखक स्वीकार करते हैं कि जबकि यह विधि सैद्धांतिक रूप से सुदृढ़ है, H-प्रतिनिधित्व मॉडल के आकार (बाधाओं की संख्या) के साथ रैखिक रूप से स्केल करता है, और V-प्रतिनिधित्व इनपुट डाइमेंशन के साथ घातांकीय रूप से स्केल करता है। उच्च-आयामी इनपुट के परिणामस्वरूप सभी इनपुट वेरिएबल्स को शामिल करने वाली बाधाएं बनती हैं, जो व्याख्यात्मकता को कम कर सकती हैं।

महत्व और दावे (Significance and Claims)

लेखक का दावा है कि इसका प्राथमिक महत्व सुरक्षा आश्वासन (safety assurance) और व्याख्यात्मकता (interpretability) के बीच के अंतर को पाटने में निहित है। सटीक, ज्यामितीय स्पष्टीकरण प्रदान करके, यह विधि उपयोगकर्ताओं को यह सत्यापित करने की अनुमति देती है कि कोई प्रणाली असुरक्षित अवस्था में नहीं जाएगी और उन विशिष्ट निर्णय सीमाओं को समझने में मदद करती है जिन्होंने एक विशेष क्रिया की ओर ले जाने का निर्णय लिया।

लेखक अपने कार्य को एक पूर्ण समाधान के बजाय व्यवहार्यता (feasibility) के प्रदर्शन के रूप में विनम्रतापूर्वक प्रस्तुत करते हैं। वे स्पष्ट रूप से कहते हैं:

• स्पष्टीकरण नेटवर्क की ज्यामिति के संबंध में "न्यूनतम पूर्ण" हैं, लेकिन जटिलता और बाधाओं की संख्या के कारण (विशेष रूप से उच्च-आयामी स्थानों में) वे उपयोगकर्ताओं के लिए "संतोषजनक" (सुंदर/lovely) नहीं हो सकते हैं।
• यह विधि वर्तमान में लीनियर लेयर्स और ReLU एक्टिवेशन वाले नेटवर्क तक सीमित है।
• वास्तविक उपयोगकर्ताओं और नियामकों (जैसे समुद्री क्षेत्र में) के साथ इन स्पष्टीकरणों की "सुंदरता" (loveliness) को सत्यापित करने और अन्य आर्किटेक्चर (जैसे CNN) और एक्टिवेशन फंक्शन (जैसे Leaky ReLU) तक इस दृष्टिकोण का विस्तार करने के लिए भविष्य के कार्य की आवश्यकता है।

यह कार्य स्वयं को उस मेकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) की दिशा में एक आधारभूत कदम के रूप में स्थापित करता है जो मूल स्वायत्त प्रणाली के प्रदर्शन या सुरक्षा गारंटी से समझौता नहीं करता है।