तकनीकी सारांश: एपिस्टेमिक अनिश्चितता के लिए क्रेडल सेट्स के रूप में MMD-बॉल्स (MMD-Balls as Credal Sets for Epistemic Uncertainty in Test-Time Adaptation)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र टेस्ट-टाइम अडैप्टेशन (TTA) में एक महत्वपूर्ण अंतराल को संबोधित करता है: जबकि मौजूदा विधियाँ (जैसे एंट्रॉपी मिनिमाइजेशन, रेगुलराइजेशन) वितरण बदलाव (distribution shifts) के तहत मॉडल की सटीकता में सुधार करती हैं, उनमें बदलाव के परिमाण (magnitude of the shift) को भविष्यवाणी विश्वसनीयता (prediction reliability) से जोड़ने वाले औपचारिक गारंटी का अभाव है। सुरक्षा-महत्वपूर्ण डोमेन (स्वायत्त ड्राइविंग, मेडिकल इमेजिंग) में, जब मॉडल ऐसी लक्षित वितरणों ($P_t$) का सामना करते हैं जो स्रोत प्रशिक्षण वितरण ($P_s$) से भिन्न होते हैं, तो वे चुपचाप खराब प्रदर्शन कर सकते हैं।

वर्तमान अनिश्चितता मात्रा निर्धारण (uncertainty quantification) विधियाँ अक्सर एलेयटोरिक अनिश्चितता (aleatoric uncertainty) (अंतर्निहित डेटा शोर) और एपिस्टेमिक अनिश्चितता (epistemic uncertainty) (डेटा-जनरेटिंग प्रक्रिया के सीमित ज्ञान के कारण अनिश्चितता) को मिला देती हैं। इसके अलावा, वे यह बताने में विफल रहती हैं कि वितरणत्मक बदलाव के फलन (function) के रूप में जोखिम कैसे घटता है। लेखक इस मूल प्रश्न को औपचारिक रूप देते हैं: क्या हम क्रियाशील एपिस्टेमिक अनिश्चितता प्रदान करने के लिए वितरणत्मक बदलाव के फलन के रूप में लक्ष्य जोखिम (target risk) को बांध (bound) सकते हैं?

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

यह शोध पत्र एक एकीकृत ढांचा प्रस्तावित करता है जो PAC-Bayesian सिद्धांत, कर्नल मीन एम्बेडिंग्स (MMD), और वॉली के इम्प्रेसिस प्रोबेबिलिटी (Walley's Imprecise Probability) सिद्धांत को एकीकृत करता है।

2.1 मुख्य परिभाषाएँ

• RKHS-लिप्सचिट्ज लॉस (Assumption 1): यह माना गया है कि सशर्त अपेक्षित लॉस फंक्शन $L(w, \cdot)$ एक रिप्रोड्यूसिंग कर्नल हिलबर्ट स्पेस (RKHS) $\mathcal{H}$ में है जिसका बाउंडेड नॉर्म $\|L(w, \cdot)\|_\mathcal{H} \leq L_H$ है। यह जोखिम अंतर को बांधने के लिए कर्नल गुणों के उपयोग की अनुमति देता है।
• MMD-प्रेरित क्रेडल सेट (MMD-Induced Credal Set): लेखक स्रोत के आसपास एक MMD-बॉल के रूप में संभावित लक्षित वितरणों के एक सेट को परिभाषित करते हैं:
  $$C_\varepsilon(P_s) = \{Q \in \mathcal{P}(\mathcal{X}) : \text{MMD}(P_s, Q) \leq \varepsilon\}$$
  वॉली के सिद्धांत के माध्यम से व्याख्या की गई, यह सेट उन सभी वितरणों का प्रतिनिधित्व करता है जो $\varepsilon$ रिज़ॉल्यूशन पर स्रोत के समान (indistinguishable) हैं, जो एक क्रेडल सेट (credal set) बनाता है जो एपिस्टेमिक अनिश्चितता को मात्रात्मक रूप से दर्शाता है।

2.2 सैद्धांतिक व्युत्पन्न (Theoretical Derivations)

1. MMD पेनल्टी के साथ PAC-Bayesian बाउंड (Theorem 1):
   लेखक लक्षित जोखिम $R_{P_t}(\rho)$ के लिए एक सामान्यीकरण बाउंड (generalization bound) व्युत्पन्न करते हैं जिसमें स्पष्ट रूप से एक MMD-निर्भर शिफ्ट पेनल्टी शामिल है:
   $$R_{P_t}(\rho) \leq \hat{R}_{P_s}(\rho) + \sqrt{\frac{KL(\rho\|\pi) + \log(2\sqrt{n}/\delta)}{2n}} + L_H \cdot \text{MMD}(P_s, P_t)$$
   यह जोखिम को विभाजित करता है: (i) एलेयटोरिक अनिश्चितता (अनुभवजन्य जोखिम/empirical risk), (ii) अनुमान अनिश्चितता (PAC-Bayesian जटिलता), और (iii) एपिस्टेमिक शिफ्ट पेनल्टी (MMD में रैखिक)।

2. परिमित-नमूना संस्करण (Theorem 3):
   चूंकि जनसंख्या MMD अज्ञात है, शोध पत्र एक निष्पक्ष (unbiased) MMD एस्टीमेटर $\widehat{\text{MMD}}_u$ और सब-गौसियन कंसन्ट्रेशन असमानताओं से प्राप्त कंसन्ट्रेशन टर्म $\varepsilon_{m,n}$ का उपयोग करके एक गणना योग्य बाउंड प्रदान करता है। यह बाउंड $1-\delta$ प्रायिकता के साथ मान्य है और $O(1/\sqrt{n})$ की मिनिमैक्स-ऑप्टिमल दर प्राप्त करता है।

3. जोखिम अपघटन (Risk Decomposition - Corollary 9):
   क्रेडल सेट पर लोअर ($\underline{R}_\varepsilon$) और अपर ($\overline{R}_\varepsilon$) जोखिमों को परिभाषित करके, ढांचा एक इम्प्रेसिजन इंटरवल (imprecision interval) प्रदान करता है। इस इंटरवल की चौड़ाई एपिस्टेमिक अनिश्चितता (शिफ्ट पेनल्टी $L_H \cdot \varepsilon$ और जटिलता द्वारा संचालित) को एलेयटोरिक अनिश्चितता (कार्य की कठिनाई द्वारा कैप्चर की गई) से अलग करती है।

4. जियोमेट्रिक संरक्षण (Geometric Preservation - Proposition 10):
   शोध पत्र RKHS में जियोडेसिक डिस्टॉर्शन (geodesic distortion) पर बाउंड स्थापित करता है। यह दिखाता है कि बाउंडेड फीचर मैप धारणाओं के तहत, स्रोत और लक्ष्य पड़ोस के बीच स्थानीय फीचर ज्योमेट्री का विरूपण MMD द्वारा नियंत्रित होता है। यह सैद्धांतिक स्पष्टीकरण प्रदान करता है कि क्यों कर्नल-निर्देशित अनुकूलन (kernel-guided adaptation) दुर्लभ वर्गों (rare classes) की संरचना को बेहतर ढंग से संरक्षित करता है, जबकि एंट्रॉपी-आधारित विधियाँ दुर्लभ-वर्ग क्षेत्रों को ध्वस्त (collapse) कर सकती हैं।

3. प्रमुख योगदान (Key Contributions)

शोध पत्र चार प्राथमिक सैद्धांतिक योगदान का दावा करता है:

1. MMD शिफ्ट पेनल्टी के साथ एक PAC-Bayesian बाउंड: एक सामान्यीकरण बाउंड (Theorem 1) और इसका परिमित-नमूना समकक्ष (Theorem 3) जो स्पष्ट रूप से वितरण बदलाव के परिमाण द्वारा जोखिम क्षरण (risk degradation) को पैरामीटराइज़ करता है।
2. क्रेडल सेट व्याख्या: MMD-बॉल्स की एक नवीन व्याख्या क्रेडल सेट्स के रूप में (Proposition 7), जो संपूर्ण संभावित वितरणों पर वर्स्ट-केस जोखिम गारंटी प्रदान करती है।
3. अनिश्चितता अपघटन: एक औपचारिक लोअर-अपर रिस्क अपघटन (Corollary 9) जो एपिस्टेमिक अनिश्चितता (वितरण बदलाव) को एलेयटोरिक अनिश्चितता (कार्य की कठिनाई) से अलग करता है, जो ह्युलेर्मियर और वेगेमन (2021) द्वारा सिद्धांतपूर्ण अनिश्चितता पृथक्करण के आह्वान को संबोधित करता है।
4. जियोडेसिक संरक्षण: वे बाउंड जो समझाते हैं कि कर्नल-निर्देशित अनुकूलन स्थानीय फीचर ज्योमेट्री को कैसे सुरक्षित रखता है (Proposition 10), जो एंट्रॉपी मिनिमाइजेशन की तुलना में कर्नल-गाइडेड TTA विधियों की मजबूती के लिए एक सैद्धांतिक आधार प्रदान करता है।

4. परिणाम और निहितार्थ (Results and Implications)

• अनुकूलन के लिए निर्णय मानदंड (Decision Criterion for Adaptation): इम्प्रेसिजन इंटरवल $[\underline{R}_\varepsilon, \overline{R}_\varepsilon]$ एक निर्णय मानदंड के रूप में कार्य करता है। अनुकूलन (adaptation) तब आवश्यक होता है जब अपर रिस्क एक सहनशीलता सीमा $r_{max}$ से अधिक हो जाता है जबकि लोअर रिस्क नहीं। यदि लोअर रिस्क पहले से ही $r_{max}$ से अधिक है, तो अनुकूलन को निरर्थक माना जाता है।
• हाइपोथीसिस टेस्टिंग कनेक्शन: क्रेडल सेट की चौड़ाई $\varepsilon$ को MMD टू-सैंपल टेस्ट के एसिम्प्टोटिक नल डिस्ट्रीब्यूशन का उपयोग करके कैलिब्रेट किया जा सकता है, जो शास्त्रीय सांख्यिकीय परीक्षण को एपिस्टेमिक अनिश्चितता मात्रा निर्धारण से जोड़ता है।
• दुर्लभ-वर्ग मजबूती (Rare-Class Robustness): जियोडेसिक संरक्षण बाउंड बताते हैं कि MMD को नियंत्रित करना स्थानीय फीचर मैनिफोल्ड के विरूपण को रोकता है, जो एंट्रॉपी मिनिमाइजेशन की तुलना में कर्नल-गाइडेड TTA विधियों की मजबूती के लिए एक औपचारिक तर्क प्रदान करता है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र स्वयं को प्रथम के रूप में स्थापित करता है जिसने MMD-प्रेरित क्रेडल सेट्स के माध्यम से TTA अनिश्चितता को सूत्रबद्ध किया है, जो PAC-Bayesian सामान्यीकरण, कर्नल विधियों और इम्प्रेसिस प्रोबेबिलिटी को एकीकृत करता है।

• विश्वसनीय तैनाती (Trustworthy Deployment): यह ढांचा प्रणालियों को तब 'एब्स्टेंशन' (abstention) या 'फालबैक' तंत्र को ट्रिगर करने में सक्षम बनाता है जब एपिस्टेमिक अनिश्चितता (क्रेडल चौड़ाई द्वारा मापी गई) एक स्वीकार्य सीमा से अधिक हो जाती है, जो एपिस्टेमिक इंटेलिजेंस के लक्ष्यों के अनुरूप है।
• औपचारिक गारंटी: मौजूदा TTA विधियों के विपरीत जो ह्यूरिस्टिक्स (heuristics) पर निर्भर करती हैं, यह दृष्टिकोण शिफ्ट परिमाण को जोखिम से जोड़ने वाले औपचारिक, डेटा-निर्भर बाउंड प्रदान करता है।
• कॉन्फ़ॉर्मल प्रेडिक्शन के साथ संबंध: लेखक नोट करते हैं कि जबकि कॉन्फ़ॉर्मल प्रेडिक्शन भविष्य कहने वाली अनिश्चितता (marginal coverage) को संभालता है, उनका क्रेडल विड्थ $\varepsilon$ वितरणत्मक एपिस्टेमिक अनिश्चितता को संभालता है। वे एक भविष्य के संयोजन का प्रस्ताव करते जहाँ $\varepsilon$ कॉन्फ़ॉर्मल प्रेडिक्टर्स के कवरेज स्तर को अनुकूलित करता है, हालांकि वे इस संयोजन के लिए प्रयोगात्मक परिणाम प्रस्तुत नहीं करते हैं।

स्वीकृत सीमाएं (Limitations Acknowledged):
शोध पत्र स्वीकार करता है कि धारणा 1 (RKHS-लिप्सचिट्ज लॉस) सॉफ्टमैक्स आउटपुट वाले डीप नेटवर्क के लिए गैर-तुच्छ (non-trivial) है, हालांकि RBF कर्नल्स की सार्वभौमिकता अनौपचारिक समर्थन प्रदान करती है। यह भी नोट करता है कि धारणा 2 (बाउंडेड फीचर मैप) विशिष्ट शासन (regimes) (जैसे NTK, स्पेक्ट्रल नॉर्मलाइजेशन) में लगभग सत्य है लेकिन इसके लिए और अधिक आर्किटेक्चर-विशिष्ट विश्लेषण की आवश्यकता है। MMD अभिसरण दर (convergence rate), हालांकि मिनिमैक्स-ऑप्टिमल है, बिना एडेप्टिव कर्नल चयन के व्यवहार में ढीली (loose) हो सकती है।