तकनीकी सारांश: आंशिक निर्भरता (Partial Dependence) पर आधारित व्याख्यात्मक बाधाओं के माध्यम से न्यूरल नेटवर्क प्रशिक्षण को निर्देशित करना

समस्या विवरण

व्याख्यात्मक कृत्रिम बुद्धिमत्ता (Explainable AI - XAI) के क्षेत्र में मॉडल के निर्णयों की व्याख्या करने वाली तकनीकों को विकसित करने में महत्वपूर्ण वृद्धि हुई है। हालाँकि, इन स्पष्टीकरणों की गुणवत्ता का आकलन करने में और उससे भी महत्वपूर्ण रूप से, मॉडलों को यह सुनिश्चित करने के लिए समायोजित करने में एक गंभीर अंतराल बना हुआ है कि उनके स्पष्टीकरण पूर्व डोमेन ज्ञान के अनुरूप हों। मौजूदा "स्पष्टीकरण-निर्देशित शिक्षण" (Explanation-Guided Learning - EGL) दृष्टिकोण मुख्य रूप से वर्गीकरण कार्यों (अक्सर छवियों या पाठ से संबंधित) पर ध्यान केंद्रित करते हैं और आमतौर पर फीचर महत्व या विशिष्ट इनपुट क्षेत्रों के संबंध में ज्ञान को पूर्व-मान लेते हैं। इसके अलावा, कई विधियाँ जो संरचनात्मक गुणों (जैसे कि उत्तलता/convexity, एकतलता/monotonicity) पर ध्यान केंद्रित करती हैं, वे स्वयं स्पष्टीकरणों के बजाय कार्य के गुणों पर ध्यान केंद्रित करती हैं।

यह कार्य प्रतिगमन समस्याओं (regression problems)—विशेष रूप से डायनेमिकल सिस्टम फोरकास्टिंग सहित—के लिए न्यूरल नेटवर्क प्रशिक्षण को निर्देशित करने की चुनौती को संबोधित करता है ताकि यह सुनिश्चित किया जा सके कि मॉडल की कुछ विशेषताओं के प्रति औसत प्रतिक्रिया (उसकी आंशिक निर्भरता/partial dependence) एक ज्ञात कार्यात्मक डोमेन ज्ञान के अनुरूप हो। लक्ष्य ऐसे मॉडल तैयार करना है जो न केवल अधिक डेटा-कुशल और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) शिफ्ट के प्रति मजबूत हों, बल्कि ऐसे स्पष्टीकरण भी प्रदान करें जो दिए गए पूर्व ज्ञान के प्रति वफादार हों।

कार्यप्रणाली (Methodology)

बाधा के रूप में आंशिक निर्भरता (Partial Dependence as a Constraint)

लेखक इस समस्या को एक विभेदक मॉडल $h_\theta(x)$ सीखने के रूप में परिभाषित करते हैं जिसका आंशिक निर्भरता (PD) कुछ विशेषताओं $x_k$ पर एक ज्ञात कार्यात्मक रूप के साथ संरेखित होता है। $x_k$ पर फलन $f$ की PD, शेष विशेषताओं $x_{-k}$ के मार्जिनल वितरण पर फलन के अपेक्षित मान के रूप में परिभाषित की जाती है:
$$PD_\infty(f, x_k) = \mathbb{E}_{x_{-k}}[f(x_k, x_{-k})]$$

लेखक मानते हैं कि वास्तविक PD एक बीजगणितीय आकार $h^\phi_k(x_k)$ का अनुसरण करता है, जो $\phi$ द्वारा पैरामीटराइज्ड है। यह आकार स्केलिंग और बायस स्थिरांकों तक एक ज्ञात भौतिक संबंध (जैसे कि लॉगरिदमिक, साइनुसोइडल) का प्रतिनिधित्व कर सकता है।

प्रशिक्षण एल्गोरिदम

प्रशिक्षण उद्देश्य एक संयुक्त हानि फलन (loss function) $L_\lambda$ को कम करता है जो भविष्य कहनेवाला सटीकता (predictive accuracy) और PD बाधा के पालन के बीच संतुलन बनाता है:
$$L_\lambda(h_\theta, h^\phi_k, f; LS) = (1 - \lambda)L_{tot}(h_\theta, f; LS) + \lambda L_{PD}(h_\theta, h^\phi_k; LS)$$
जहाँ:

• $L_{tot}$ प्रशिक्षण सेट पर मानक मीन स्क्वेयर्ड एरर (MSE) है।
• $L_{PD}$ मॉडल के अनुमानित PD और लक्षित फलन $h^\phi_k$ के बीच वर्ग अंतर को मापता है, जिसे $x_k$ के बिंदुओं के एक विशिष्ट सेट पर मूल्यांकन किया जाता है।
• $\lambda \in [0, 1]$ ट्रेड-ऑफ को नियंत्रित करता है।

अनुकूलन रणनीति (Optimization Strategy):
लेखक एक वैकल्पिक अनुकूलन प्रक्रिया (एल्गोरिदम 1) प्रस्तावित करते हैं:

1. आरंभीकरण (Initialization): $\phi$ को आरंभीकृत करने के लिए $\phi$ को कच्चे आउटपुट्स पर एक निश्चित संख्या में इपोक (epochs) के लिए फिट किया जाता है।
2. वैकल्पिक चरण (Alternating Steps): मॉडल पैरामीटर $\theta$ और पूर्व पैरामीटर $\phi$ को वैकल्पिक ब्लॉक्स में अपडेट किया जाता है। प्रत्येक $S$ इपोक के बाद, $\phi$ को वर्तमान $\theta$ के आधार पर PD लॉस को कम करने के लिए अपडेट किया जाता है, और फिर $\theta$ को संयुक्त लॉस को कम करने के लिए अपडेट किया जाता है।
3. डेटासेट निर्माण: बाधा शब्द के लिए एक अलग डेटासेट $LS_{PD}$ का निर्माण एक महत्वपूर्ण घटक है। यह डेटासेट या तो निम्नलिखित में से एक हो सकता है:
   • इन-डिस्ट्रीब्यूशन (ID): प्रशिक्षण वितरण $p(x_k)$ से लिए गए नमूने।
   • लिन्सपेस (Linspace - L): इनपुट डोमेन को कवर करने वाले समान रूप से व्यवस्थित (evenly spaced) मानों का एक सेट (संभावित रूप से प्रशिक्षण वितरण से परे)। लेखक तर्क देते हैं कि समान रूप से व्यवस्थित बिंदुओं पर बाधा लगाने से मॉडल को उन क्षेत्रों में बेहतर सामान्यीकरण करने में मदद मिलती है जहाँ डेटा विरल (sparse) है या OOD डेटा मौजूद है।

मुख्य योगदान (Key Contributions)

1. प्रतिगमन के लिए नवीन EGL ढांचा: वर्गीकरण कार्यों में फीचर महत्व पर केंद्रित पिछले EGL कार्यों के विपरीत, यह दृष्टिकोण प्रतिगमन कार्यों (डायनेमिकल सिस्टम सहित) में आंशिक निर्भरता के कार्यात्मक रूप को बाधित करता है।
2. लिन्सपेस बाधा विन्यास (Linspace Constraint Configuration): यह पेपर "लिन्सपेस" बाधाओं (पूरे डोमेन में समान रूप से व्यवस्थित बिंदुओं पर PD को बाधित करना) के उपयोग और उनके सत्यापन को पेश करता है, जो इन-डिस्ट्रीब्यूशन बाधाओं की तुलना में एक बेहतर विकल्प है। यह विन्यास मॉडल को प्रशिक्षण डेटा के विरल क्षेत्रों में भी सही कार्यात्मक आकार सीखने के लिए मजबूर करता है।
3. डेटा की कमी और OOD शिफ्ट के प्रति मजबूती: यह विधि कम-डेटा शासन (low-data regimes) और जब टेस्ट-टाइम डेटा प्रशिक्षण वितरण से बाहर चला जाता है, तो विशेष रूप से प्रभावी है।
4. फिजिक्स-इन्फॉर्म्ड ML के साथ तुलना: लेखक अपने एकल-मॉडल बाधा दृष्टिकोण की तुलना फिजिक्स-इन्फॉर्म्ड हाइब्रिड मॉडल (जैसे APHYNITY, PD-hybrid) के साथ करते हैं। वे प्रदर्शित करते हैं कि उनका तरीका अक्सर बेहतर भविष्य कहनेवाला प्रदर्शन और अधिक वफादार PD अनुमान देता है, विशेष रूप से तब जब अंतर्निहित समस्या उन एडिटिविटी धारणाओं को सख्ती से संतुष्ट नहीं करती है जिनकी हाइब्रिड मॉडल को आवश्यकता होती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक समस्याओं (Friedman, Product), वास्तविक दुनिया के डेटासेट्स (Concrete Compressive Strength, PHALK), और एक डायनेमिकल सिस्टम (Damped Pendulum) पर अपने तरीके का मूल्यांकन किया।

• भविष्य कहनेवाला प्रदर्शन (Predictive Performance): PD बाधाओं के साथ प्रशिक्षित मॉडल अनबाउंड (unconstrained) मॉडलों की तुलना में लगातार बेहतर प्रदर्शन करते हैं, विशेष रूप से जैसे-जैसे प्रशिक्षण नमूना आकार कम होता जाता है (जैसे कि 50 नमूने)। कई मामलों में, 50 नमूनों पर प्रशिक्षित बाधित मॉडल, 300 नमूनों पर प्रशिक्षित अनबाउंड मॉडलों के बराबर प्रदर्शन प्राप्त करते हैं।
• स्पष्टीकरण की गुणवत्ता (Explanation Quality): बाधित मॉडलों के PD अनुमान, अनबाउंड मॉडलों की तुलना में पूर्व ज्ञान (ग्राउंड ट्रुथ या अनुमानित) के साथ काफी बेहतर ढंग से संरेखित होते हैं।
• लिन्सपेस बनाम इन-डिस्ट्रीब्यूशन: सभी प्रयोगों में, लिन्सपेस बाधाएं (समान रूप से व्यवस्थित बिंदुओं पर बाधित करना) आम तौर पर इन-डिस्ट्रीब्यूशन बाधाओं की तुलना में बेहतर प्रदर्शन करती हैं। यह विशेष रूप रूप से एक्सट्रपलेशन (extrapolation) परिदृश्यों में स्पष्ट था जहाँ टेस्ट डेटा प्रशिक्षण डोमेन के बाहर था। लिन्सपेस बाधाओं ने डोमेन शिफ्ट के प्रभाव को कम करने में मदद की, जबकि इन-डिस्ट्रीब्यूशन बाधाएं अक्सर प्रशिक्षण रेंज के बाहर सामान्यीकरण करने में विफल रहीं।
• गलत-निर्दिष्ट ज्ञान के प्रति मजबूती (Robustness to Mis-specified Knowledge): भले ही पूर्व ज्ञान अपूर्ण था (उदाहरण के लिए, लॉग रिदम के बजाय स्क्वायर रूट संबंध मानना, या गलत आवृत्तियों के साथ फूरियर सीरीज़ का उपयोग करना), लिन्सपेस-बाधित मॉडल मजबूत रहे। वे अक्सर अनबाउंड मॉडलों से बेहतर रहे और एक्सट्रपलेशन सेटिंग्स में, इन-डिस्ट्रीब्यूशन बाधाओं वाले मॉडलों की तुलना में वास्तविक अंतर्निहित फलन के करीब PD आकार उत्पन्न किया।
• डायनेमिकल सिस्टम्स: इस पद्धति को डायनेमिकल सिस्टम फोरकास्टिंग (Neural ODEs) में सफलतापूर्वक विस्तारित किया गया, जिससे बेहतर प्रक्षेपवक्र (trajectory) भविष्यवाणी और PD संरेखण दिखाया गया, विशेष रूप से जब प्रारंभिक अवस्थाएँ आउट-ऑफ-डिस्ट्रीब्यूशन थीं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि आंशिक निर्भरता बाधाओं के माध्यम से न्यूरल नेटवर्क को निर्देशित करना प्रतिगमन कार्यों में स्पष्टीकरण-निर्देशित शिक्षण (explanation-guided learning) के लिए एक शक्तिशाली तंत्र है। प्राथमिक महत्व निम्नलिखित में निहित है:

• डेटा दक्षता में सुधार: कार्यात्मक पूर्व ज्ञान का लाभ उठाकर बहुत कम प्रशिक्षण नमूनों के साथ उच्च भविष्य कहनेवाला सटीकता प्राप्त करना।
• सामान्यीकरण को बढ़ाना: पूरे इनपुट डोमेन में सही कार्यात्मक आकार को लागू करके बेहतर आउट-ऑफ-डिस्ट्रीब्यूशन डेटा के लिए मॉडल को सक्षम बनाना, न कि केवल वहां जहां डेटा सघन है।
• वफादार स्पष्टीकरण सुनिश्चित करना: यह गारंटी देना कि मॉडल की व्याख्यात्मकता (PD प्लॉट्स के माध्यम से) डोमेन विशेषज्ञ के ज्ञान को दर्शाती है, जिससे यह 防止 (रोकना) होता है कि मॉडल "गलत कारणों" से "सही" भविष्यवाणियां सीखे।

लेखक उल्लेख करते हैं कि हालांकि इस पद्धति में आंशिक निर्भरता के अनुमान के कारण उच्च कम्प्यूटेशनल लागत आती है (जिसके लिए कई फीचर संयोजनों पर मॉडल मूल्यांकन की आवश्यकता होती है), यह उन लो-डेटा शासन के लिए एक प्रबंधनीय ट्रेड-ऑफ है जहाँ सामान्यीकरण और व्याख्यात्मकता सर्वोपरि है। वे निष्कर्ष निकालते हैं कि यह दृष्टिकोण फिजिक्स-इन्फॉर्म्ड हाइब्रिड मॉडलों के लिए एक अधिक जेनेरिक विकल्प प्रदान करता है, क्योंकि इसमें समस्या के स्पष्ट एडिटिव डीकंपोजिशन की आवश्यकता नहीं होती है।