तकनीकी सारांश: स्थानीय आसवन (Local Distillation) के साथ व्याख्या योग्य AI

समस्या विवरण

आधुनिक आर्टिफिशियल इंटेलिजेंस मॉडल, जिनमें टेबुलर फाउंडेशन मॉडल और ग्रेडिएंट-बूस्टेड एंसेम्बल्स शामिल हैं, अक्सर शास्त्रीय सांख्यिकीय विधियों की तुलना में बेहतर भविष्य कहनेवाला सटीकता (predictive accuracy) प्रदर्शित करते हैं, यहाँ तक कि कम-नमूना टेबुलर सेटिंग्स में भी। हालाँकि, ये "ब्लैक-बॉक्स" मॉडल स्वाभाविक व्याख्यात्मकता (inherent interpretability) का अभाव रखते हैं, जो निर्णय लेने वालों को भविष्यवाणियों के बारे में तर्क करने के लिए बहुत कम आधार प्रदान करते हैं। जबकि पोस्ट-हॉक स्पष्टीकरण उपकरण (जैसे LIME, SHAP) मौजूद हैं, वे मॉडल से अलग निर्मित किए जाते हैं, अंतर्निहित प्रेडिक्टर के प्रति निष्ठा (fidelity) की कमी रखते हैं, और गड़बड़ी योजनाओं (perturbation schemes) या संदर्भ वितरणों के बाहरी चयन के कारण अस्थिर हो सकते हैं।

मुख्य चुनौती एक ऐसा भविष्य कहनेवाला ढांचा विकसित करना है जो अत्यधिक सटीक और डिज़ाइन द्वारा व्याख्या योग्य (interpretable by design) दोनों हो। लेखक तर्क देते हैं कि जबकि वैश्विक प्रतिगमन फलन (global regression functions) जटिल और गैर-रेखीय हो सकते हैं, वे स्थानीय रूप से रैखिक फलनों द्वारा अच्छी तरह से अनुमानित (well-approximated) होते हैं। कठिनाई यह परिभाषित करने में है कि "स्थानीय" (local) क्या है, जिसे एक पर्यवेक्षित (supervised), ट्यूनिंग-मुक्त तरीके से किया जा सके, और ऐसे सांख्यिकीय उपकरण विकसित करने में है जो यह सुनिश्चित करें कि परिणामी स्थानीय व्याख्याएँ स्थिर और विश्वसनीय हों।

कार्यप्रणाली: स्थानीय आसवन (Local Distillation)

लेखक स्थानीय आसवन (Local Distillation) का प्रस्ताव करते हैं, जो एक विधि है जहाँ एक उच्च-प्रदर्शन वाला ब्लैक-बॉक्स "शिक्षक" (teacher) मॉडल प्रत्येक विशिष्ट क्वेरी बिंदु पर एक विरल (sparse), नियमितीकृत (regularized) रैखिक "छात्र" (student) मॉडल के निर्माण का मार्गदर्शन करता है। यह विधि तीन प्राथमिक चरणों में कार्य करती है:

1. पर्यवेक्षित भारों के माध्यम से स्थानीयता को परिभाषित करना:
   शास्त्रीय स्थानीय प्रतिगमन (जैसे LOESS), जो अनसुपरवाइज्ड इनपुट-स्पेस समानता का उपयोग करता है, के विपरीत, स्थानीय आसवन शिक्षक के अनुमानित परिणामों के आधार पर स्थानीयता को परिभाषित करता है। एक क्वेरी बिंदु $x^*$ के लिए, प्रशिक्षण प्रेक्षणों $j$ को शिक्षक के भविष्यवाणी $\hat{\phi}(x_j)$ की क्वेरी बिंदु पर शिक्षक की भविष्यवाणी $\hat{\phi}(x^*)$ के साथ समानता के आधार पर भारित किया जाता है। यह $p$-आयामी फीचर स्पेस को अनुमानित जोखिम या परिणाम के एकल अक्ष में सिकोड़ देता है, जिससे समान रोगियों या डेटा बिंदुओं का एक स्थानीय पड़ोस (neighborhood) पहचाना जाता है।

2. फिट को एंकर करना (Anchoring the Fit):
   छात्र मॉडल को क्वेरी बिंदु पर शिक्षक की भविष्यवाणी से एंकर किया जाता है। इसे प्रशिक्षण डेटा में एक "छद्म-अवलोकन" (pseudo-observation) जोड़कर प्राप्त किया जाता है, जो शिक्षक की भविष्यवाणी को दर्शाता है। इस छद्म-अवलोकन का भार डेटा से छात्र के नुकसान (loss) और शिक्षक के नुकसान के क्रॉस-वैलिडेटेड अनुपात ($\hat{\mu}$) के रूप में अनुमानित किया जाता है।

   • यदि शिक्षक छात्र से बेहतर प्रदर्शन करता है ($\hat{\mu} > 1$), तो शिक्षक का प्रभाव बढ़ जाता है।
   • यदि स्थानीय पड़ोस विरल है (छोटा प्रभावी नमूना आकार $\hat{n}_{eff}$), तो फिट को स्थिर करने के लिए शिक्षक के प्रभाव को मजबूत किया जाता है।
   • यदि शिक्षक कोई सुधार नहीं देता है ($\hat{\mu} \le 1$), तो विधि एक वैश्विक रैखिक फिट की ओर लौट जाती है।

3. अनुकूलन (Optimization):
   प्रत्येक क्वेरी बिंदु के लिए, एक नियमितीकृत रैखिक मॉडल (जैसे Lasso या Elastic Net) को एक भारित लॉस फंक्शन को कम करके फिट किया जाता है जिसमें शामिल हैं:

   • प्रशिक्षण डेटा का भारित वर्ग त्रुटि (weighted squared error) (समानता द्वारा भारित)।
   • शिक्षक के आउटपुट से भविष्यवाणी को एंकर करने वाला एक पेनल्टी टर्म।
   • एक रेगुलराइजेशन पेनल्टी (जैसे L1/L2) जो विरलता (sparsity) और व्याख्यात्मकता सुनिश्चित करती है।

यादृच्छिक स्थिरता (Randomized Stability) के माध्यम से व्याख्यात्मकता

फीचर चयन में निहित अस्थिरता (जैसे डेटा के मामूली बदलाव के साथ Lasso गुणांकों का बदलना) को संबोधित करने के लिए, लेखक यादृच्छिक स्थानीय आसवन (Randomized Local Distillation) पेश करते हैं।

• तंत्र: स्थानीय फिट के अनुकूलन उद्देश्य में सीधे एक छोटा सा गॉसियन रैंडमाइजेशन (Gaussian randomization) जोड़ा जाता है। यह स्थानीयता की परिभाषा (भार और शिक्षक भविष्यवाणियाँ स्थिर रहती हैं) को बदले बिना लॉस फंक्शन को विक्षेपित (perturb) करता है।
• चयन आवृत्तियाँ (Selection Frequencies): विभिन्न रैंडमाइजेशन ड्रॉ के साथ मॉडल को कई बार फिर से फिट करके, विधि प्रत्येक फीचर के लिए अनुभवजन्य चयन आवृत्ति (empirical selection frequency) की गणना करती है। जो फीचर्स उच्च अनुपात में पुन: फिट में चुने जाते हैं, उन्हें स्थिर और विश्वसनीय माना जाता है; जिन फीचर्स की आवृत्ति कम होती है, उन्हें अनिश्चित के रूप में चिह्नित किया जाता है।
• एग्रीगेट व्याख्या: यादृच्छिक स्थानीय गुणांकों का उपयोग प्रेक्षणों को स्थिर उपसमूहों (subgroups) में क्लस्टर करने के लिए किया जाता है। यह फीचर-आउटकम संबंधों में विषमता (heterogeneity) को प्रकट करता है जिसे एक वैश्विक रैखिक मॉडल औसत कर देता है और एक ब्लैक-बॉक्स मॉडल अस्पष्ट कर सकता है।

सैद्धांतिक योगदान

यह शोध पत्र Lasso पेनल्टी के तहत फीचर-सिलेक्शन प्रोबेबिलिटी की स्थिरता के लिए सैद्धांतिक गारंटी प्रदान करता है।

• सुगमता (Smoothness): लेखक सिद्ध करते हैं कि गॉसियन रैंडमाइजेशन जोड़ना फीचर-सिलेक्शन प्रोबेबिलिटी फंक्शन को सुचारू (smooth) बनाता है।
• संवेदनशीलता सीमा (Sensitivity Bounds): वे प्रशिक्षण प्रतिक्रियाओं में विक्षेपों के प्रति इन संभावनाओं की संवेदनशीलता के लिए एक सीमा स्थापित करते हैं। यह सीमा प्रभावी नमूना आकार ($\hat{n}_{eff}$) और शिक्षक के भविष्यवाणी फंक्शन की सुगमता पर निर्भर करती है।
• स्थिरता गारंटी: विशिष्ट धारणाओं (bounded design, general position) के तहत, फीचर-सिलेक्शन संभावनाओं को प्रशिक्षण डेटा के छोटे विक्षेपों के तहत स्थिर दिखाया गया है, जो चयन आवृत्तियों पर भरोसा करने के लिए एक सैद्धांतिक आधार प्रदान करता है।

परिणाम

विधि का मूल्यांकन 17 बेंचमार्क रिग्रेशन डेटासेट्स और एक उच्च-आयामी जीन एक्सप्रेशन केस स्टडी पर किया गया।

• भविष्य कहनेवाला प्रदर्शन (Predictive Performance): 17 डेटासेट्स में, स्थानीय आसवन ने अपने ब्लैक-बॉक्स शिक्षक (TabPFN या XGBoost) की भविष्य कहनेवाला सटीकता ($R^2$ और PSE द्वारा मापी गई) के लगभग बराबर प्रदर्शन किया, जो वैश्विक रैखिक मॉडलों (Lasso/Ridge) से काफी बेहतर था। Auto MPG उदाहरण में, स्थानीय आसदन ने वैश्विक Lasso की तुलना में प्रेडिक्शन स्क्वेर्ड एरर को 48% कम कर दिया और साथ ही TabPFN शिक्षक के बराबर रहा।
• व्याख्यात्मकता और विरलता (Interpretability and Sparsity): विधि ने प्रत्येक टेस्ट पॉइंट पर विरल रैखिक मॉडल तैयार किए। Auto MPG उदाहरण में, स्थानीय मॉडलों ने खुलासा किया कि "सिलिंडर्स" (cylinders) अक्षम कारों के लिए ईंधन अर्थव्यवस्था की भविष्यवाणी करते थे, जबकि "डिस्प्लेसमेंट" (displacement) कुशल कारों के लिए अधिक भविष्य कहनेवाला था—एक ऐसी विषमता जो वैश्विक Lasso (जिसने दोनों को शून्य गुणांक दिया था) में अदृश्य थी।
• उच्च-आयामी उदाहरण: एक ब्रेस्ट कैंसर जीन एक्सप्रेशन अध्ययन ($p=17,322$) में, स्थानीय आसवन ने शिक्षक की सटीकता ($R^2=0.670$) से मेल खाते हुए विशिष्ट रोगी उपसमूहों की पहचान की जिनके अलग-अलग जीन चालक (drivers) थे। एक वैश्विक Lasso ने 123 जीन चुने, जबकि स्थिर स्थानीय मॉडलों (चयन आवृत्ति द्वारा फ़िल्टर किए गए) ने केवल 15 जीन ही रखे, जिससे विशिष्ट ट्यूमर सप्रेसर्स (जैसे FAM10C, KLF14) का पता चला जो केवल विशिष्ट उपसमूहों में सक्रिय थे।

महत्व और दावे

लेखक दावा करते हैं कि स्थानीय आसवन व्याख्या योग्य मॉडलिंग और आधुनिक AI के बीच एक "स्वीट स्पॉट" (sweet spot) में स्थित है।

1. अंतर्निहित व्याख्यात्मकता: पोस्ट-हॉक उपकरणों के विपरीत, यह मॉडल निर्माण द्वारा व्याख्या योग्य है, जो प्रत्येक भविष्यवाणी के लिए एक पारदर्शी रैखिक स्पष्टीकरण प्रदान करता है।
2. विश्वसनीय निष्कर्ष: यादृच्छिक स्थिरता का लाभ उठाकर, यह ढांचा विश्वसनीय फीचर योगदान और एकल फिट के आर्टिफैक्ट के बीच अंतर करता है, जो AI में "विश्वास" के अंतर को संबोधित करता है।
3. विषमता को संभालना: यह विधि फीचर-आउटकम संबंधों में विषमता को स्पष्ट रूप से मॉडल करती है और प्रकट करती है, जिससे ऐसे स्थिर उपसमूहों की पहचान होती है जिन्हें वैश्विक मॉडल मिस कर देते हैं और ब्लैक-बॉक्स मॉडल अस्पष्ट कर देते हैं।
4. मजबूती (Robustness): यह विधि शिक्षक के चुनाव के प्रति मजबूत है; यदि शिक्षक छात्र में सुधार नहीं करता है, तो यह ढांचा स्वचालित रूप से एक वैश्विक रैखिक फिट पर वापस चला जाता है, जिससे प्रदर्शन में गिरावट सुनिश्चित नहीं होती है।

यह शोध पत्र निष्कर्ष निकालता है कि यह ढांचा भविष्य कहनेवाला, व्याख्या योग्य और विश्वसनीय सांख्यिकीय मॉडलिंग की ओर एक मार्ग प्रदान करता है, विशेष रूप से व्यक्तिगत चिकित्सा (personalized medicine) जैसे उच्च-दांव वाले क्षेत्रों में।