तकनीकी सारांश: डेटा ऑगमेंटेड बूटस्ट्रैप (DAB)

समस्या विवरण (Problem Statement)

वैध विश्वास अंतराल (Confidence Intervals - CIs) का निर्माण अक्सर डेटा के बारे में विशिष्ट संरचनात्मक धारणाओं पर निर्भर करता है। विधियों का एक प्रमुख वर्ग, जिसमें कॉन्फॉर्मल प्रेडिक्शन (conformal prediction), परम्यूटेशन टेस्ट (permutation tests), और कुछ बूटस्ट्रैप वेरिएंट शामिल हैं, सटीक समूह अपरिवर्तनीयता (exact group invariance) पर निर्भर करता है। ये विधियाँ इस बात का लाभ उठाकर परिमित-नमूना (finite-sample), वितरण-मुक्त वैधता की गारंटी देती हैं कि एक परीक्षण सांख्यिकी $f(X)$ रूपांतरणों के एक समूह $\Phi$ के तहत वितरण रूप से अपरिवर्तनीय है (अर्थात, $f(X) \stackrel{d}{=} f(\Phi_b(X))$)।

हालाँकि, सटीक अपरिवर्तनीयता की आवश्यकता व्यावहारिक अनुप्रयोगों के लिए अक्सर बहुत अधिक प्रतिबंधात्मक होती है। मशीन लर्निंग की कई व्यापक रूप से उपयोग की जाने वाली तकनीकें, जैसे कि डेटा ऑग्मेंटेशन (उदाहरण के लिए, रैंडम रोटेशन, शफलिंग, या नॉइज़ इंजेक्शन), केवल अनुमानित अपरिवर्तनीयता (approximate invariance) को संतुष्ट करती हैं। इसके अलावा, शास्त्रीय बूटस्ट्रैप विधियाँ, हालांकि विषम रूप से (asymptotically) वैध हैं, इंडेक्स रीसैंपलिंग के तहत डेटा की अनुमानित अपरिवर्तनीयता पर निर्भर करती हैं जब $n \to \infty$ होता है, न कि सटीक परिमित-नमूना समरूपताओं (symmetries) पर। एक ऐसे एकीकृत ढांचे (unified framework) की कमी है जो सटीक समूह समरूपताओं और गैर-समूह अपरिवर्तनीयताओं (जैसे डेटा ऑग्मेंटेशन से प्राप्त) दोनों को कठोरता से संभालने और गारंटीकृत कवरेज के साथ विश्वास अंतराल बनाने के लिए दोनों को संभाल सके।

कार्यप्रणाली: डेटा ऑगमेंटेड बूटस्ट्रैप (DAB)

यह शोध पत्र डेटा ऑगमेंटेड बूटस्ट्रैप (DAB) का प्रस्ताव करता है, जो अनुमानित अपरिवर्तनीयता का लाभ उठाकर विश्वास अंतराल निर्माण को एकीकृत करने वाला एक ढांचा है।

मुख्य ढांचा (Core Framework)

एक डेटासेट $X = (X_{obs}, X_{unobs})$ और एक सांख्यिकी $f: \mathcal{X}^n \to \mathcal{Y}$ दिया गया है, DAB मूल सांख्यिकी को $B$ रूपांतरित संस्करणों के विरुद्ध रैंक करके एक प्रेडिक्शन सेट $C_\alpha$ का निर्माण करता है:
$$C_\alpha := \left\{ \tilde{x}_n \in \mathcal{X}^n_{unobs} \mid \frac{\text{Rank}_T(f(X_{obs}, \tilde{x}_n); (f(\Phi_b(X_{obs}, \tilde{x}_n)))_{b=1}^B)}{B+1} \in S_\alpha \right\}$$
जहाँ $\Phi_b$ यादृच्छिक रूपांतरण (संभावित रूप से गैर-व्युत्क्रमणीय और गैर-समूह) हैं और $\text{Rank}_T$ टाई-ब्रेकिंग के साथ एक रैंकिंग फंक्शन है।

DAB की वैधता इस धारणा पर टिकी है कि अनुक्रम $(f(X), f(\Phi_1(X)), \dots, f(\Phi_B(X)))$ अनुमानित रूप से विनिमेय (approximately exchangeable) है।

सैद्धांतिक स्तंभ (Theoretical Pillars)

शोध पत्र रैंकिंग वितरण और एक सटीक रूप से विनिमेय प्रतिरूप (surrogate) अनुक्रम के बीच कोलमोगोरोव दूरी ($\Delta^r_{Kol}$) के माध्यम से कवरेज गारंटी स्थापित करके कवरेज गारंटी स्थापित करता है:

1. अनुमानित विनिमेयता (Theorem 2):
   कवरेज त्रुटि वास्तविक अनुक्रम और एक सटीक रूप से विनिमेय प्रतिरूप अनुक्रम के बीच कोलमोगोरोव दूरी ($\Delta^r_{Kol}$) द्वारा सीमित होती है। यदि रूपांतरण सटीक समूह अपरिवर्तनीयता को संतुष्ट करते हैं, तो $\Delta^r_{Kol} = 0$ होगा, जिससे ज्ञात परिमित-नमूना गारंटी प्राप्त होती है। यदि वे केवल अनुमानित अपरिवर्तनीयता को संतुष्ट करते हैं, तो त्रुटि विनिमेयता उल्लंघन के परिमाण द्वारा नियंत्रित होती है।

2. अनुमानित अपरिवर्तनीयता (Theorem 3):
   शोध पत्र अनुमानित अपरिवर्तनीयता के एक माप में विनिमेयता त्रुटि को कम करता है:
   $$\Delta_{inv}(X) := \sup_{t \in \mathbb{R}} |P(f(\Phi_1(X)) \le t \mid X) - P(f(X) \le t)|$$
   Theorem 3 एक कवरेज बाउंड प्रदान करता है जो परिमित-नमूना गारंटी (जब $\Delta_{inv}$ छोटा हो) और विषम गारंटी (जब $\Delta_{inv} \to 0$ हो) के बीच इंटरपोलेट करता है। यह तब भी लागू होता है जब $\Phi_b$ एक समूह संरचना से नहीं लिए गए हों।

3. गॉसियन सार्वभौमिकता और मोमेंट मैचिंग (Theorem 5):
   जटिल, गैर-रेखीय सांख्यिकी (जो उच्च-आयामी सांख्यिकी और मशीन लर्निंग में सामान्य हैं) के लिए अनुमानित अपरिवर्तनीयता के सत्यापन को सुलभ बनाने के लिए, शोध पत्र गॉसियन सार्वभौमिकता (Gaussian universality) का उपयोग करता है।

   • मुख्य अंतर्दृष्टि: यदि सांख्यिकी $f$ गॉसियन सार्वभौमिकता को संतुष्ट करती है, तो वितरण संबंधी सन्निकटन $f(X) \approx f(Z)$ (जहाँ $Z$ एक गॉसियन वितरण है) लागू होता है।
   • शर्त: इस धारणा के तहत, अनुमानित अपरिवर्तनीयता तब सुनिश्चित होती है जब रूपांतरण $\Phi_1$ मूल डेटा के पहले दो मोमेंट्स (सप्रतिबंध माध्य और प्रसरण) को मैच (match) करता है। विशेष रूप से, यदि $\| \text{Var}[\Phi_1(X) \mid X] - \text{Var}[X] \|_\infty$ छोटा है और सप्रतिबंध माध्य मेल खाता है, तो कवरेज त्रुटि विषम रूप से शून्य हो जाती है।
   • यह DAB में मानक डेटा ऑग्मेंटेशन तकनीकों (जैसे, ऑर्थोगोनल रूपांतरण, रैंडम रोटेशन) को शामिल करने की अनुमति देता है, बशर्ते वे डेटा के माध्य और प्रसरण संरचना को अनुमानित रूप से संरक्षित करें।

मुख्य योगदान (Key Contributions)

1. विधियों का एकीकरण: DAB एक एकल सैद्धांतिक ढांचा प्रदान करता है जो निम्नलिखित को पुनः प्राप्त करता है:

   • सटीक अपरिवर्तनीयता विधियाँ: कॉन्फॉर्मल प्रेडिक्शन, परम्यूटेशन टेस्ट, SymmPI, और U-सांख्यिकी के लिए वाइल्ड बूटस्ट्रैप।
   • विषम विधियाँ: शास्त्रीय बूटस्ट्रैप और ह्रासित (degenerate) U-सांख्यिकी के लिए वाइल्ड बूटस्ट्रैप।
   • नई क्षमताएं: यह अनिश्चितता मात्रा निर्धारण (uncertainty quantification) में डेटा ऑग्मेंटेशन (गैर-समूह अपरिवर्तनीयता) के उपयोग को सक्षम बनाता है।

2. अनुमानित अपरिवर्तनीयता के लिए सैद्धांतिक गारंटी:
   शोध पत्र सटीक विनिमेयता या केवल विषम तर्कों पर निर्भर रहने के बजाय, अपरिवर्तनीयता उल्लंघन के कोलमोगोरोव दूरी के आधार पर कवरेज बाउंड स्थापित करता है। यह सटीक और विषम शासन (regimes) के बीच इंटरपोलेट करने वाले परिमित-नमूना त्रुटि बाउंड प्रदान करता है।

3. गॉसियन सार्वभौमिकता के साथ संबंध:
   अनुमानित अपरिवर्तनीयता को गॉसियन सार्वभौमिकता से जोड़कर, शोध पत्र कवरेज स्थितियों के सत्यापन को सरल बनाता है। यह प्रदर्शित करता है कि उच्च-आयामी सांख्यिकी के लिए एस्टिमेटर्स सहित व्यापक वर्ग के लिए, यह सुनिश्चित करना कि एक रूपांतरण डेटा के सप्रतिबंध माध्य और प्रसरण से मेल खाता है, वैध CIs की गारंटी देने के लिए पर्याप्त है।

4. अनुभवजन्य सत्यापन (Empirical Validation):
   लेखक DAB को निम्नलिखित में डेटा ऑग्मेंटेशन शामिल करके अनुभवजन्य रूप से परीक्षण करते हैं:

   • बूटस्ट्रैप: माध्य अनुमान के लिए ऑर्थोगोनल रूपांतरण जोड़ना।
   • वाइल्ड बूटस्ट्रैप: दो-नमूना समस्याओं के लिए मैक्सिमम मीन डिस्प्रेसी (MMD) परीक्षणों में रूपांतरण जोड़ना।
   • कॉन्फॉर्मल प्रेडिक्शन: रिग्रेशन और आणविक ऊर्जा भविष्यवाणी के लिए स्प्लिट-कॉन्फॉर्मल प्रेडिक्शन में ऑग्मेंटेशन जोड़ना।
     परिणाम बताते हैं कि DAB अक्सर साधारण विधियों की तुलना में बेहतर कवरेज (विशेष रूप से छोटे नमूना आकार पर) और परीक्षण शक्ति (test power) प्रदान करता है, जबकि दक्षता बनाए रखता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि DAB समूह-अपरिवर्तनीय विधियों की कठोर परिमित-नमूना गारंटी और मशीन लर्निंग में पाई जाने वाली अनुमानित अपरिवर्तनीयता की व्यावहारिक उपयोगिता के बीच के अंतर को पाटता है।

• व्यावहारिक प्रभाव: यह अभ्यासकर्ताओं को अनिश्चितता मात्रा निर्धारण की गुणवत्ता में सुधार करने के लिए मानक डेटा ऑग्मेंटेशन तकनीकों (जैसे, रोटेशन, शफलिंग) को सांख्यिकीय अनुमान प्रक्रियाओं में शामिल करने की अनुमति देता है, विशेष रूप से उन सेटिंग्स में जहाँ सटीक समरूपताएं मौजूद नहीं हैं या गणनात्मक रूप से कठिन हैं।
• सैद्धांतिक दायरा: यह ढांचा बूटस्ट्रैप जैसी विधियों की प्रयोज्यता को उन एस्टिमेटर्स तक विस्तारित करता है जो विषम रूप से सामान्य (normally distributed) नहीं हैं, बशर्ते वे गॉसियन सार्वभौमिकता को संतुष्ट करते हों।
• विनम्रता: लेखक स्वीकार करते हैं कि जबकि DAB कई कार्यों (जैसे इमेज और वैज्ञानिक डेटा) में प्रदर्शन में सुधार करता है, कम समरूपता उपलब्ध होने पर (जैसे टेक्स्ट डेटा या हिग्स बोसन डेटासेट) लाभ सीमित हैं। वे यह भी नोट करते कि इष्टतम रूपांतरण का चयन डोमेन-विशिष्ट रहता है और एक खुला प्रश्न है।

संक्षेप में, DAB आत्मविश्वास अंतराल के निर्माण को "एकीकृत" करने का एक सिद्धांतपूर्ण तरीका प्रदान करता है, जिसमें डेटा ऑग्मेंटेशन को केवल बिंदु अनुमान (point estimates) में सुधार के लिए एक ह्यूरिस्टिक के रूप में नहीं, बल्कि अनुमानित अपरिवर्तनीयता के तहत वैध अनिश्चितता मात्रा निर्धारण अंतराल के रूप में उपयोग किया जाता है।