eXplaining to Learn (eX2L): Regularization Using Contrastive Visual Explanation Pairs for Distribution Shifts

तकनीकी सारांश: eXplaining to Learn (eX2L)

समस्या विवरण (Problem Statement)
मानक मशीन लर्निंग मॉडल इस धारणा पर निर्भर करते हैं कि प्रशिक्षण (training) और परीक्षण (test) डेटा स्वतंत्र और समान रूप से वितरित (independently and identically distributed - i.i.d.) हैं। जब इस धारणा का उल्लंघन होता है, तो मॉडल अक्सर सामान्यीकरण (generalize) करने में विफल रहते हैं, और इसके बजाय स्प्यूरियस कोरिलेशन (spurious correlations)—अर्थात प्रशिक्षण डेटा में ऐसे सांख्यिकीय पैटर्न जो वास्तविक लेबल के लिए वैचारिक रूप से भविष्य कहने योग्य नहीं होते—पर निर्भर हो जाते हैं। ये उल्लंघन मुख्य रूप से उप-जनसंख्या शिफ्ट (subpopulation shifts - जनसांख्यिकीय या प्रासंगिक चर अनुपातों में परिवर्तन) और डोमेन जनरलाइजेशन चुनौतियों (unseen target domains पर प्रदर्शन करने के लिए source domains से सीखना) के रूप में प्रकट होते हैं।

मौजूदा एल्गोरिदम जो इन बदलावों को कम करने के लिए डिज़ाइन किए गए हैं, उन्हें तीन प्राथमिक बाधाओं का सामना करना पड़ता है:

1. अंधा नियमितीकरण (Blind Regularization): कई ब्लैक-बॉक्स विधियाँ स्पष्ट रूप से उन विशिष्ट स्प्यूरियस कोरिलेशन को लक्षित नहीं करती हैं जो प्रदर्शन में गिरावट का कारण बनते हैं।
2. असंगत प्रदर्शन (Inconsistent Performance): कोई भी एकल एल्गोरिदम सभी डेटासेट पर एम्पिरिकल रिस्क मिनिमाइजेशन (ERM) से लगातार बेहतर प्रदर्शन नहीं करता है, जो "नो-फ्री-लंच" प्रमेय (no-free-lunch theorem) को दर्शाता है।
3. व्याख्यात्मकता का अभाव (Lack of Interpretability): डोमेन-एडवर्सरियल न्यूरल नेटवर्क (DANN) जैसी परिष्कृत विधियाँ ग्रेड रिवर्सल (gradient reversal) जैसी तंत्रों पर निर्भर करती हैं जो गैर-तकनीकी हितधारकों को समझाना कठिन है, जिससे संवेदनशील तैनाती में विश्वास में बाधा आती है।

यह शोध पत्र यह प्रतिपादित करता है कि व्याख्यात्मकता (interpretability) को भविष्य कहने वाली मजबूती (predictive robustness) के विरुद्ध एक ट्रेड-ऑफ नहीं होना चाहिए। यह सवाल उठता है कि क्या एक लेबल क्लासिफायर और एक कन्फाउंडर क्लासिफायर के ग्रेडिएंट-आधारित स्पष्टीकरणों के स्थानिक ओवरलैप (spatial overlap) को दंडित करना, वितरण शिफ्ट मजबूती के लिए एक प्रत्यक्ष, व्याख्यात्मक रेगुलराइज़र के रूप में कार्य कर सकता है।

कार्यप्रणाली (Methodology): eX2L फ्रेमवर्क
लेखक eXplaining to Learn (eX2L) का प्रस्ताव करते हैं, जो एक व्याख्यात्मक, स्पष्टीकरण-आधारित फ्रेमवर्क है जो प्रशिक्षण के दौरान कन्फाउंडिंग फीचर्स को क्लासिफायर के लेटेंट रिप्रेजेंटेशन से डीकोरिलेट (decorrelate) करता है। मुख्य तंत्र में दो समवर्ती मॉडलों को प्रशिक्षित करना शामिल है:

1. एक प्राथमिक लेबल क्लासिफायर ($f_y$) जिसे लक्ष्य लेबल $Y$ की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है।
2. एक समवर्ती रूप से प्रशिक्षित कन्फाउंडर क्लासिफायर ($f_c$) जिसे कन्फाउंडिंग वेरिएबल $C$ (जैसे बैकग्राउंड, जेंडर, रंग) की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है।

रेगुलराइजेशन मैकेनिज्म (The Regularization Mechanism)
eX2L डोमेन इनवेरिएंस (domain invariance) प्राप्त करता है, जो लेबल मॉडल के विजुअल फोकस को कन्फाउंडर मॉडल से स्पष्ट रूप से अलग करता है। यह Grad-CAM (Gradient-weighted Class Activation Mapping) का उपयोग करता है ताकि हीटमैप उत्पन्न किए जा सकें जो दर्शाते हैं कि प्रत्येक मॉडल किन स्थानिक क्षेत्रों पर ध्यान केंद्रित करता है।

• लक्ष्य विशिष्टता (Target Specificity): इनपुट-ग्रेडिएंट विधियों (जैसे SHAP, Integrated Gradients) के विपरीत, जो नेटवर्क रीपैरामीट्राइजेशन के प्रति अपरिवर्तनीय रह सकती हैं, Grad-CAM को इसके नेटवर्क पैरामीटर्स के प्रति निष्ठा (faithfulness) के लिए चुना गया है।
• विजातीय ध्यान (Disjoint Attention): फ्रेमवर्क लेबल मॉडल के Grad-CAM हीटमैप ($L_y$) और कन्फाउंडर मॉडल के हीटमैप ($L_c$) के बीच स्थानिक समानता को दंडित करता है। यदि मॉडल एक ही पिक्सेल पर निर्भर हैं, तो लेबल मॉडल संभवतः स्प्यूरियस बैकग्राउंड संकेतों का उपयोग करके "शॉर्टकट लर्निंग" कर रहा है।
• लॉस फंक्शन (Loss Function): कुल प्रशिक्षण उद्देश्य $\hat{R}_{eX2L}$ दोनों क्लासिफायर्स के टास्क लॉस और एक समानता लॉस ($L_{sim}$) को जोड़ता है:
  $$\hat{R}_{eX2L}(\theta, \phi) = \mathbb{E}_{(x,y,c) \sim D_{train}} [L(x, y; \theta) + \lambda_c L(x, c; \phi) + \lambda_{sim} L_{sim}(x, y, c; \theta, \phi)]$$
  यहाँ, $L_{sim}$ डिटैच्ड (detached) Grad-CAM हीटमैप्स के बीच स्थानिक ओवरलैप (जैसे Cosine Similarity, MAE, या Soft Dice) को मापता है। हीटमैप्स को डिटैच्ड (stop-gradient) रखा जाता है ताकि उन्हें स्टैटिक स्पेशियल प्रायर्स (static spatial priors) के रूप में माना जा सके, जिससे सेकंड-ऑर्डर डेरिवेटिव की कम्प्यूटेशनल लागत से बचा जा सके।

सैंपलिंग रणनीति (Sampling Strategy)
शोध पत्र यूनिफॉर्म ग्रुप सैंपलिंग (Uniform Group Sampling) की महत्वपूर्ण भूमिका पर जोर देता है। रैंडम सैंपलिंग के विपरीत, जो प्रशिक्षण वितरण का अनुसरण करती है, यूनिफॉर्म ग्रुप सैंपलिंग यह सुनिश्चित करती है कि प्रत्येक बैच में सभी लेबल-कन्फाउंडर समूहों के संतुलित प्रतिनिधित्व हों। यह मॉडल को अंतर्निहित लेबल-कन्फाउंडर अनुपातों को शॉर्टकट के रूप में सीखने से रोकता है, जिससे वह इनवेरिएंट फीचर्स को स्प्यूरियस फीचर्स से अलग करने के लिए Grad-CAM पेनल्टी पर निर्भर होने के लिए मजबूर होता है।

प्रमुख योगदान (Key Contributions)

1. व्याख्यात्मकता एक उत्प्रेरक के रूप में (Interpretability as a Catalyst): eX2L इस प्रचलित धारणा को चुनौती देता है कि अधिक व्याख्या योग्य मॉडल अनिवार्य रूप से कम सटीक होते हैं। यह प्रदर्शित करता है कि व्याख्या-आधारित रेगुलराइजेशन का उपयोग करके लेबल और न्यूसेंस एट्रिब्यूट्स को समूह स्तर पर स्पष्ट रूप से अलग करके कार्यात्मक डोमेन इनवेरिएंस प्राप्त किया जा सकता है।
2. प्रत्यक्ष स्प्यूरियस कोरिलेशन टारगेटिंग (Direct Spurious Correlation Targeting): "ब्लाइंड" रेगुलराइज़र्स के विपरीत, eX2L सीधे अटेंशन मैप्स के स्थानिक ओवरलैप को दंडित करता है, जिससे लेबल मॉडल को इनवेरिएंट फीचर्स की पहचान करने के लिए मजबूर किया जाता है न कि कन्फाउंडिंग क्षेत्रों पर निर्भर रहने के लिए।
3. जटिलता में दक्षता (Efficiency in Complexity): इस पद्धति के लिए केवल दो समवर्ती क्लासिफायर और कन्फाउंडर लेबल की आवश्यकता होती है (कोई ग्राउंड-ट्रुथ सेगमेंटेशन मास्क नहीं), जो 'जस्ट ट्रेन ट्वाइस' (JTT) जैसे दो-चरणीय डेटा-केंद्रित दृष्टिकोणों की तुलना में एक सुव्यवस्थित, सिंगल-स्टेज ट्रेनिंग पाइपलाइन प्रदान करता है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने मानक सबपॉपुलेशन शिफ्ट बेंचमार्क (CMNIST, Waterbirds, CelebA) और डोमेन जनरलाइजेशन के लिए कठोर Spurious बेंचमार्क (One-to-One Easy और Many-to-Many Hard चुनौतियां) पर eX2L का मूल्यांकन किया।

• सबपॉपुलेशन शिफ्ट्स (Subpopulation Shifts): Spurious Many-to-Many Hard बेंचमार्क पर, eX2L (विशेष रूप से MAE वेरिएंट) ने 82.24% ± 3.87% की औसत सटीकता (AA) और 66.31% ± 8.73% की वर्स्ट-ग्रुप सटीकता (WGA) प्राप्त की। यह AA में 5.49% और WGA में 10.90% के साथ वर्तमान स्टेट-ऑफ-द-आर्ट (GroupDRO) को पछाड़ देता है।
• विजुअल साक्ष्य (Visual Evidence): Grad-CAM विज़ुअलाइज़ेशन पुष्टि करते हैं कि eX2L ध्यान को सिमेंटिकली इनवेरिएंट क्षेत्रों (जैसे कुत्ते का कान) तक सीमित करता है, जबकि ERM और GroupDRO जैसे बेसलाइन स्प्यूरियस बैकग्राउंड (जैसे समुद्र तट की बनावट) के माध्यम से ध्यान को फैला देते हैं।
• लेटेंट स्पेस विश्लेषण (Latent Space Analysis): UMAP विज़ुअलाइज़ेशन दिखाते हैं कि eX2L कॉम्पैक्ट, अच्छी तरह से अलग किए गए लेबल रिप्रेजेंटेशन बनाता है जिसमें लेबल के लिए उच्च MMD (Maximum Mean Discrepancy) है, जबकि कन्फाउंडर फीचर्स के लिए लगभग पूर्ण इंटरस्पर्सन (कन्फाउंडर्स के लिए निम्न MMD) प्राप्त होता है, जो सफल डिसेंटैंगलमेंट (disentanglement) को दर्शाता है।
• दक्षता ट्रेड-ऑफ (Efficiency Trade-off): हालांकि Grad-CAM गणना के कारण eX2L में ERM की तुलना में लगभग दोगुना प्रशिक्षण समय लगता है, यह लागत उन कठिन वितरण शिफ्ट सेटिंग्स में महत्वपूर्ण प्रदर्शन लाभ प्रदान करती है जहाँ बेसलाइन विधियाँ विफल हो जाती हैं।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि eX2L स्प्यूरियस कोरिलेशन को अलग करने के लिए एक पारदर्शी तंत्र प्रदान करता है, जिससे वितरण शिफ्ट कम होता है। यह दावा करता है कि व्याख्यात्मकता भविष्य कहने वाली मजबूती के विरुद्ध एक ट्रेड-ऑफ के बजाय एक उत्प्रेरक के रूप में कार्य कर सकती है। यह फ्रेमवर्क उच्च-जोखिम वाली तैनाती (जैसे स्वास्थ्य सेवा, स्वायत्त प्रणालियाँ) के लिए विशेष रूप से महत्वपूर्ण है जहाँ जवाबदेही के लिए डिबायसिंग प्रक्रिया का ऑडिट योग्य होना आवश्यक है।

लेखक विनम्रतापूर्वक नोट करते हैं कि eX2L के लिए प्रशिक्षण के समय इमेज-लेवल कन्फाउंडर एनोटेशन की आवश्यकता होती है, जो इसकी प्रयोज्यता को उन खोजपूर्ण सेटिंग्स में सीमित करता है जहाँ न्यूसेंस एट्रिब्यूट्स अज्ञात होते हैं। वे यह भी स्वीकार करते हैं कि समानता मीट्रिक (जैसे MAE बनाम Cosine) का चयन कन्फाउंडर की ज्यामिति (जैसे बैकग्राउंड कन्फाउंडर्स के लिए पिक्सेल-वाइज पेनल्टी, जबकि बालों के रंग जैसे विसरित गुणों के लिए सॉफ्ट मेट्रिक्स बेहतर हैं) द्वारा सूचित किया जाना चाहिए। शोध पत्र निष्कर्ष निकालता है कि eX2L यह प्रदर्शित करके एल्गोरिथमिक निष्पक्षता के लिए एक आधार तैयार करता है कि स्पष्ट रूप से एट्रिब्यूट्स को अलग करने से बिना व्याख्यात्मकता से समझौता किए बेहतर सामान्यीकरण प्राप्त किया जा सकता है।