Beyond $L_2$: Generalizing Abductive Latent Explanations to Diverse Prototype-Based Architectures

तकनीकी सारांश: L2 से परे: विविध प्रोटोटाइप-आधारित आर्किटेक्चर के लिए एबडक्टिव लेटेंट एक्सप्लेनेशन्स का सामान्यीकरण

समस्या विवरण
प्रोटोटाइप-आधारित न्यूरल नेटवर्क (PBNs) को "डिज़ाइन द्वारा व्याख्यात्मक" (interpretable-by-design) आर्किटेक्चर के रूप में पहचाना जाता है जो प्रशिक्षण उदाहरणों (प्रोटोटाइप्स) को संदर्भित करके भविष्यवाणियों को न्यायसंगत ठहराते हैं। हाल ही में, लेटेंट स्पेस दूरियों पर टाइट बाउंड्स (tight bounds) की गणना करने के लिए एबडक्टिव लेटेंट एक्सप्लेनेशन्स (ALE) पेश किए गए थे, जो औपचारिक और गणितीय रूप से गारंटीकृत स्पष्टीकरण प्रदान करते हैं। हालाँकि, मौजूदा ALE फॉर्मुलेशन यूक्लिडियन लेटेंट स्पेस के उपयोग वाले $L_2$ दूरियों तक ही सीमित हैं। यह एक महत्वपूर्ण अंतराल पैदा करता है: आधुनिक अत्याधुनिक PBNs तेजी से गैर-यूक्लिडियन रिप्रजेंटेशन का उपयोग कर रहे हैं, जिसमें गोलाकार मेट्रिक्स (कोसाइन सिमिलरिटी), गाऊसी डेंसिटीज (Gaussian densities), और आयामी प्रोजेक्शन (सॉफ्टमैक्स) शामिल हैं। वर्तमान औपचारिक स्पष्टीकरण विधियाँ इन विविध ज्यामितीय संरचनाओं के साथ असंगत हैं, जिससे विभिन्न प्रोटोटाइप-आधारित आर्किटेक्चर के पूर्ण स्पेक्ट्रम में कठोर व्याख्यात्मक विश्लेषण करना कठिन हो जाता है।

कार्यप्रणाली
लेखक गैर-यूक्लिडियन प्रोटोटाइप आर्किटेक्चर का समर्थन करने के लिए ALE फ्रेमवर्क को सामान्यीकृत करते हैं, जिसके लिए विभिन्न ज्यामितीय वेरिएंट के लिए विशिष्ट बाउंडिंग एल्गोरिदम व्युत्पन्न किए गए हैं। मुख्य उद्देश्य समान रहता है: सक्रियण मानों (activation values) पर बाउंड्स को बार-बार कड़ा करके उन प्रोटोटाइप के उपसमुच्चय-न्यूनतम (subset-minimal) सेट की गणना करना जो मॉडल की भविष्यवाणी की गारंटी देते हैं।

1. कोसाइन सिमिलरिटी (गोलाकार ज्यामिति): TesNet जैसे आर्किटेक्चर के लिए जो यूनिट स्फीयर पर डॉट-प्रोडक्ट सिमिलरिटी का उपयोग करते हैं, लेखक गोलाकार ज्यामिति के अनुकूल तर्क को अनुकूलित करते हैं। चूंकि कोसाइन सिमिलरिटी मानक त्रिकोण असमानता (triangle inequality) का पालन नहीं करती है, इसलिए वे बाउंड्स निकालने के लिए कोणीय दूरी ($d_\angle$) का उपयोग करते हैं। वे एक स्फेरिक कैप इंटरसेक्शन एप्रोक्सिमेशन (Spherical Cap Intersection Approximation) पेश करते हैं, जहाँ दो स्फेरिक कैप्स (एक पैच और दो प्रोटोटाइप द्वारा परिभाषित) का प्रतिच्छेदन एक न्यूनतम-त्रिज्या वाले एनक्लोजिंग स्फेरिक कैप द्वारा बाध्य है। यह एक लेटेंट पैच और अनऑब्जर्व्ड प्रोटोटाइप्स के बीच समानता पर टाइट लोअर और अपर बाउंड प्राप्त करने की अनुमति देता है।
2. डायमेंशनल प्रोजेक्शन (सिम्प्लेक्स ज्यामिति): PIP-Net जैसे आर्किटेक्चर के लिए जो सॉफ्टमैक्स फंक्शन के माध्यम से एक्टिवेशन्स को प्रोबेबिलिटी सिम्प्लेक्स में मैप करते हैं, ज्यामितीय तर्क स्थानिक दूरियों से हटकर संभाव्यता द्रव्यमान (probability mass) के संरक्षण की ओर स्थानांतरित हो जाता है। लेखक एक सिम्प्लेक्स एक्सप्लेनेशन (Simplex Explanation) प्रस्तावित करते हैं जहाँ $\langle \text{patch}, \text{prototype} \rangle$ जोड़े को स्पष्टीकरण में जोड़ने से प्रोबेबिलिटी मास का एक हिस्सा "खपत" (consume) हो जाता है, जो शेष प्रोटोटाइप के ऊपरी बाउंड को सख्ती से सीमित करता है। वे एक स्पार्स-वेट एक्सप्लेनेशन (Sparse-Weight Explanation) भी पेश करते हैं जो स्पार्स, नॉन-नेगेटिव क्लासिफिकेशन हेड्स वाले मॉडल्स के लिए है, जो प्रतिस्पर्धी क्लासेज के लिए टाइट बाउंडिंग और प्रेडिक्टेड क्लास के लिए सटीक स्कोर गणना की अनुमति देता है।
3. आइसोट्रोपिक गाऊसी सिमिलरिटी (Isotropic Gaussian Similarity): संभाव्य नेटवर्कों (जैसे ProtoGMM) के लिए जहाँ प्रोटोटाइप गाऊसी वितरण (Gaussian distributions) हैं, लेखक समस्या को एक सार्वभौमिक यूक्लिडियन स्पेस में मैप करते हैं। आइसोट्रोपिक कोवेरिएंस को मानते हुए, वे सिमिलरिटी स्कोर से एक "वास्तविक" यूक्लिडियन दूरी प्राप्त करते हैं। वे इस मैप किए गए यूक्लिडियन स्पेस में मानक हाइपरस्फीयर इंटरसेक्शन एप्रोक्सिमेशन (HIA) लागू करते हैं और फिर परिणामी ज्यामितीय बाउंड्स को मॉडल के विशिष्ट एक्टिवेशन स्पेस में प्रोजेक्ट करते हैं।
4. फोकल सिमिलरिटी (Focal Similarity): उन आर्किटेक्चर के लिए जो बैकग्राउंड नॉइज़ को दबाने के लिए फोकल पूलिंग का उपयोग करते हैं (जैसे ProtoPool), लेखक यह प्रदर्शित करते हैं कि मौजूदा स्थानिक ALE बाउंड्स को फोकल पूलिंग ऑपरेशन के लिए आवश्यक कुल सांख्यिकी (अधिकतम और अपेक्षित मान) को बाउंड करने के लिए एकत्रित किया जा सकता है, बिना अंतर्निय ज्यामितीय सॉल्वर को बदले।

प्रमुख योगदान

• ALE का सामान्यीकरण: यह पेपर $L_2$ स्पेस से परे сфеरिक मेट्रिक्स, गाऊसी डेंसिटीज और सिम्प्लेक्स-आधारित प्रोजेक्शन का समर्थन करने के लिए ALE फ्रेमवर्क का विस्तार करता है।
• नवीन बाउंडिंग एल्गोरिदम: लेखक व्यवस्थित रूप से यह व्युत्पन्न करते हैं कि विविध आर्किटेक्चर को मौजूदा बाउंड्स में कैसे मैप किया जाए या नए, आर्किटेक्चर-विशिष्ट बाउंडिंग एल्गोरिदम (जैसे, स्फेरिक कैप इंटरसेक्शन, सिम्प्लेक्स मास कंजर्वेशन) कैसे बनाए जाएं।
• एकीकृत फ्रेमवर्क: इन विविध मॉडलों को एक एकल औपचारिक ढांचे के तहत एकीकृत करके, यह कार्य व्याख्यात्मकता की पहली कठोर, क्रॉस-आर्किटेक्चर तुलना को सक्षम बनाता है।
• अनुभवजन्य सत्यापन (Empirical Validation): लेखक कई डेटासेट्स (Oxford Flowers 102, Oxford IIIT Pet, CUB200) और आर्किटेक्चर (ProtoPNet, PIP-Net, TesNet, Gaussian ProtoPNet) पर पूरी तरह से प्रशिक्षित इमेज क्लासिफायर के माध्यम से इन सैद्धांतिक निर्माणों को मान्य करते हैं।

परिणाम
प्रयोग विभिन्न प्रतिमानों (paradigms) के बीच स्पष्टीकरण के आकार (व्याख्यात्मकता) और कम्प्यूटेशनल लागत के बीच महत्वपूर्ण ट्रेड-ऑफ प्रकट करते हैं:

• PIP-Net: स्पार्स, नॉन-नेगेटिव लीनियर हेड्स वाले मॉडल (PIP-Net) सबसे छोटे पूर्ण स्पष्टीकरण आकार और सबसे तेज़ गणना समय (लगभग 0.07s) प्रदान करते हैं, जो यह सुझाव देता है कि वे स्वाभाविक रूप से औपचारिक सत्यापन (formal verification) के अनुकूल हैं।
• सिम्प्लेक्स प्रतिमान: सिम्प्लेक्स एक्सप्लेनेशन प्रतिमान (PIP-Net के लिए) सबसे छोटा सापेक्ष स्पष्टीकरण आकार (0.1%–0.2%) प्राप्त करता है, जो लेटेंट स्पेस आयामों के साथ उत्कृष्ट स्केलेबिलिटी को दर्शाता है।
• गाऊसी मॉडल: स्केल्ड HIA, गाऊसी मॉडल्स के लिए सबसे छोटा सापेक्ष स्पष्टीकरण आकार (4.6%–6.2%) प्रदान करता है, लेकिन इसमें उच्चतम कम्प्यूटेशनल ओवरहेड (142s तक) होता है, जिसमें कुछ कॉन्फ़िगरेशन बड़े डेटासेट्स पर टाइम-आउट हो जाते हैं।
• कोसाइन/स्फेरिक मॉडल: जबकि स्फेरिक HIA प्रतिस्पर्धी सापेक्ष आकार प्राप्त करता है, कोसाइन TI और स्फेरिक HIA दोनों उच्च विचरण (variance) और स्केलेबिलिटी समस्याओं से ग्रस्त हैं, और अक्सर CUB200 डेटासेट पर टाइम-आउट हो जाते हैं।
• मेट्रिक: लेखक विभिन्न प्रतिमानों में स्पष्टीकरण के आकार को सामान्य करने के लिए एक "रिलेटिव साइज" (Relative Size) मेट्रिक पेश करते हैं, जो प्रोटोटाइप की कुल संख्या से स्वतंत्र रूप से अंतर्निहित आर्किटेक्चरल व्याख्यात्मकता का एक मजबूत संकेतक प्रदान करता है।

महत्व
यह पेपर दावा करता है कि यह विविध प्रोटोटाइप-आधारित नेटवर्क के बीच औपचारिक व्याख्यात्मकता की पहली मात्रात्मक तुलना प्रदान करता है। गैर-यूक्लिडियन स्पेस के लिए ALE का विस्तार करके, यह औपचारिक XAI के सैद्धांतिक गारंटियों और आधुनिक, विविध प्रोटोटाइप आर्किटेक्चर की व्यावहारिक वास्तविकता के बीच के अंतर को पाटता है। यह कार्य विशिष्ट डिज़ाइन सिद्धांतों को उजागर करता है—जैसे कि स्पार्स, नॉन-नेगेटिव हेड्स का उपयोग करना—जो बेहतर औपचारिक व्याख्यात्मकता की ओर ले जाते हैं। यह स्थापित करता है कि हालांकि ज्यामितीय सटीकता (जैसे, गाऊसी या स्फेरिक मॉडल में) सटीक बाउंड दे सकती है, लेकिन इसमें अक्सर उच्च कम्प्यूटेशनल लागत आती है, जो व्याख्यात्मकता गारंटी और स्केलेबिलिटी के बीच संतुलन बनाने के लिए सावधानीपूर्वक आर्किटेक्चरल डिज़ाइन की आवश्यकता को रेखांकित करती है।