तकनीकी सारांश: उच्च-आयामी डेटा के साथ व्यक्तिगत थ्रेशोल्ड के मापन-प्रतिबंधित M-अनुमानन के लिए सक्रिय उप-नमूकरण (Active Subsampling)

1. समस्या का निरूपण

यह शोध पत्र उच्च-आयामी परिवेश में मापन बाधाओं (measurement constraints) के तहत इष्टतम व्यक्तिगत थ्रेशोल्ड (individualized threshold) के अनुमान की समस्या को संबोधित करता है। यह परिदृश्य आधुनिक अनुप्रयोगों में अक्सर देखा जाता है, जैसे कि इलेक्ट्रॉनिक हेल्थ रिकॉर्ड (EHR) अध्ययन, जहाँ एक बड़ी आबादी के लिए सह-चर (covariates) $(X, Z)$ उपलब्ध होते हैं, लेकिन प्रतिक्रिया चर (response variable) $Y$ (जैसे कि मैन्युअल चार्ट समीक्षा की आवश्यकता वाला नैदानिक परिणाम) प्राप्त करना महंगा या समय लेने वाला होता है। फलस्वरूप, एक बड़े बिना लेबल वाले डेटासेट के आकार $n$ में से केवल आकार $N$ (लेबल बजट) का एक छोटा उपसमुच्चय ही लेबल किया जा सकता है ($N \ll n$)।

विशिष्ट लक्ष्य एक उच्च-आयामी पैरामीटर $\theta^* \in \mathbb{R}^d$ का अनुमान लगाना है जो एक निरंतर चर $X$ के लिए एक रैखिक थ्रेशोल्ड $c(Z) = \theta^{*T}Z$ को परिभाषित करता है। इष्टतम थ्रेशोल्ड घटना $\{X > \theta^T Z\}$ और एक बाइनरी आउटकम $Y \in \{-1, +1\}$ के बीच विसंगति (discrepancy) को कम करता है। औपचारिक रूप से, इसे एक M-अनुमानन (M-estimation) समस्या के रूप में फ्रेम किया गया है:
$$\theta^* = \arg\min_{\theta} R(\theta), \quad \text{जहाँ} \quad R(\theta) = \mathbb{E}\left[\gamma(Y) L_{01}\{Y(X - \theta^T Z)\}\right]$$
यहाँ, $L_{01}$ 0-1 लॉस है, और $\gamma(\cdot)$ एक वेट फंक्शन है। इस समस्या की विशेषताएं हैं:

• गैर-नियमितता (Non-regularity): 0-1 लॉस गैर-मानक सीमा वितरण (limiting distributions) और अभिसरण दर (convergence rates) की ओर ले जाता है (जो आमतौर पर पैरामीट्रिक $N^{-1/2}$ दर से धीमी होती है)।
• उच्च-आयामीता (High-dimensionality): आयाम $d$, नमूना आकार से अधिक हो सकता है, जिसके लिए स्पर्सिटी (sparsity) धारणाओं ($s$-sparse $\theta^*$) की आवश्यकता होती है।
• मापन बाधाएं (Measurement Constraints): अनुमान प्रक्रिया को दक्षता को अधिकतम करने के लिए सक्रिय रूप से यह चुनना चाहिए कि किन डेटा बिंदुओं को लेबल किया जाए, न कि यादृच्छिक नमूनाकरण (random sampling) पर निर्भर रहना चाहिए।

2. कार्यप्रणाली (Methodology)

लेखक एक K-स्टेप सक्रिय उप-नमूकरण एल्गोरिदम (K-step active subsampling algorithm) का प्रस्ताव करते हैं जो सबसे सूचनात्मक डेटा बिंदुओं पर ध्यान केंद्रित करके अनुमानक (estimator) को पुनरावृत्त रूप से परिष्कृत करता है।

मुख्य तंत्र

एल्गोरिदम इस अंतर्दृष्टि पर कार्य करता है कि वे अवलोकन जहाँ अवशेष (residual) $X - \theta^T Z$ शून्य के करीब है (अर्थात, "नियर-थ्रेशोल्ड" बिंदु), $\theta^*$ के अनुमान के लिए सबसे अधिक जानकारी प्रदान करते हैं। प्रक्रिया इस प्रकार है:

1. आरंभीकरण (Initialization): प्रारंभिक अनुमानक $\hat{\theta}_1$ प्राप्त करने के लिए बिना लेबल वाले डेटा से एक छोटा उपसमुच्चय समान रूप से (uniformly) नमूना लें, जिसका उपयोग एक स्मूदनड सरोगेट लॉस (smoothed surrogate loss) के साथ नियमितीकृत M-अनुमेस्टर के लिए किया जाता है।
2. सक्रिय सेट निर्माण (Active Set Construction): आगामी पुनरावृत्तियों $k=2, \dots, K$ के लिए, एक "सक्रिय सेट" $S_k$ को परिभाषित करें जिसमें वे डेटा बिंदु $(X, Z)$ शामिल हों जहाँ अनुमानित अवशेष छोटा है:
   $$S_k = \left\{ (X, Z) : -b_{k-1} \leq \frac{X - \hat{\theta}_{k-1}^T Z}{\sqrt{1 + \|\hat{\theta}_{k-1}\|_2^2}} \leq b_{k-1} \right\}$$
   जहाँ $b_{k-1}$ एक ट्यूनिंग पैरामीटर है जो अंतराल की चौड़ाई को नियंत्रित करता है।
3. सक्रिय नमूनाकरण (Active Sampling): शेष बिना लेबल वाले डेटा में से उन बिंदुओं को नमूना लें जो $S_k$ के भीतर आते हैं, जिसकी संभावना उस चरण के लिए आवंटित बजट के समानुपाती होती है। $S_k$ के बाहर के बिंदुओं को लेबल नहीं किया जाता है।
4. अनुमान (Estimation): नए लेबल किए गए डेटा पर अपडेट किए गए अनुमानक $\hat{\theta}_k$ तक पहुँचने के लिए एक नियमितीकृत M-अनुमेस्टर को हल करें।
5. पुनरावृत्ति (Iteration): जब तक $K$ चरण पूरे नहीं हो जाते, तब तक दोहराते रहें।

तकनीकी घटक

• स्मूदनड सरोगेट लॉस (Smoothed Surrogate Loss): 0-1 लॉस की कम्प्यूटेशनल जटिलता और समस्या की गैर-नियमितता को संबोधित करने के लिए, लेखक एक कर्नेल-स्मूदनड लॉस फंक्शन $L_\delta(u) = \int_{u/\delta}^\infty K(t) dt$ का उपयोग करते हैं, जहाँ $K$ एक कर्नेल फंक्शन है और $\delta$ एक बैंडविड्थ है।
• नियमितीकरण (Regularization): उच्च-आयामीता ($d \gg N$) को संभालने के लिए एक $\ell_1$-पेनल्टी लागू की जाती है।
• पाथ-फॉलोइंग एल्गोरिदम (Path-Following Algorithm): गैर-कॉन्वेक्स अनुकूलन समस्या को कुशलतापूर्वक हल करने के लिए, लेखक एक पाथ-फॉलोइंग एल्गोरिदम (Feng et al., 2022) का उपयोग करते हैं जो अनुमानित स्थानीय समाधानों की गणना करता है।

3. प्रमुख सैद्धांतिक योगदान

शोध पत्र प्रस्तावित अनुमानक के अभिसरण दरों (convergence rates) में $\beta$ (Y और Z के सापेक्ष X के कंडीशनल डेंसिटी की स्मूथनेस) के आधार पर एक स्पष्ट फेज ट्रांजिशन (phase transition) स्थापित करता है।

अभिसरण दरें (Convergence Rates)

माना कि कुल लेबल बजट $N$ है, स्पर्सिटी $s$ है, और आयाम $d$ है। $\ell_2$ नॉर्म में अभिसरण दर $\beta$ पर निर्भर करती है:

1. मामला $\beta > (1+\sqrt{3})/2 \approx 1.37$:

   • दो-चरण एल्गोरिदम ($K=2$) पैरामीट्रिक दर प्राप्त करने के लिए पर्याप्त है:
     $$\|\hat{\theta}_K - \theta^*\|_2 = O_p\left(\sqrt{\frac{s \log d}{N}}\right)$$
   • यह दर जनसंख्या से $N$ i.i.d. नमूनों के साथ प्राप्त की जाने वाली मिनिमैक्स ऑप्टिमल दर $O_p((s \log d / N)^{\beta/(2\beta+1)})$ से काफी तेज़ है, जो सक्रिय नमूनाकरण के लाभ को प्रदर्शित करती है।

2. मामला $1 < \beta \leq (1+\sqrt{3})/2$:

   • दो-चरण एल्गोरिदम उप-इष्टतम (sub-optimal) है।
   • पैरामीट्रिक दर को पुनः प्राप्त करने के लिए, चरणों की संख्या $K$ को एक निश्चित परिमित मान तक बढ़ाना आवश्यक है: $K = \lceil \log_{\frac{\beta}{2\beta+1}}(1 - \frac{\beta+1}{2\beta^2}) \rceil + 1$।

3. मामला $0 < \beta \leq 1$:

   • अनुमानक निश्चित चरणों की संख्या के साथ पैरामीट्रिक दर तक नहीं पहुँच सकता।
   • एक सुपर-पैरामीट्रिक दर प्राप्त की जाती है: $O_p((s/N)^{1/(2\beta)})$ (लॉग फैक्टर्स के साथ)।
   • इसके लिए $K$ चरणों की संख्या को $N$ के साथ धीरे-धीरे बढ़ना होगा: $K = \lceil \log_{2\beta+1}(\log N) \rceil$।

मिनिमैक्स ऑप्टिमलिटी (Minimax Optimality)

लेखक एक $N$-बजट मिनिमैक्स फ्रेमवर्क तैयार करते हैं जहाँ नमूनाकरण वितरण $Q$ को सबसे खराब स्थिति के जोखिम (worst-case risk) को कम करने के लिए चुना जाता है। वे सिद्ध करते हैं कि मिनिमैक्स जोखिम के लिए निचली सीमा (lower bound) है:
$$\inf_{Q} \inf_{\hat{\theta}} \sup_{P} \mathbb{E}_{P,Q} \|\hat{\theta} - \theta^*(P)\|_2 \gtrsim \left(\frac{s \log(d/s)}{N}\right)^{\frac{1}{2(\beta \wedge 1)}}$$
प्रस्तावित सक्रिय उप-नमूकरण अनुमानक इस दर को प्राप्त करता है (लॉग फैक्टर्स तक), जो सिद्ध करता है कि यह मापन-प्रतिबंधित सेटिंग में मिनिमैक्स रेट ऑप्टिमल है।

अनुकूलन (Adaptation)

शोध पत्र अज्ञात स्मूथनेस $\beta$ और स्पर्सिटी $s$ के अनुकूल होने के लिए लेप्सकी के तरीकों (Lepski's methods) को विकसित करता है, जिससे एल्गोरिदम इन मात्राओं की पूर्व जानकारी के बिना ट्यूनिंग पैरामीटर चुनने में सक्षम होता है।

4. अनुभवजन्य परिणाम (Empirical Results)

• सिमुलेशन: विधि का परीक्षण तीन मॉडलों के तहत सिंथेटिक डेटा पर किया गया था: लॉजिस्टिक रिग्रेशन, कंडीशनल मीन मॉडल्स, और सामान्य बाइनरी रिस्पॉन्स मॉडल्स। "पाथ-फॉलोइंग के साथ दो-चरण सक्रिय उप-नमूकरण" विधि ने निष्क्रिय उप-नमूकरण (यूनिफॉर्म रैंडम सैंपलिंग) और मानक $\ell_1$-पेनलाइज्ड लॉजिस्टिक रिग्रेशन की तुलना में लगातार बेहतर प्रदर्शन किया, विशेष रूप से $\ell_1$ और $\ell_2$ अनुमान त्रुटियों के मामले में।
• वास्तविक डेटा अनुप्रयोग: विधि को HbA1c स्तरों के आधार पर शीघ्र पुन: प्रवेश (early readmission) की भविष्यवाणी करने के लिए 130 अमेरिकी अस्पतालों (UCI रिपॉजिटरी) के मधुमेह डेटासेट पर लागू किया गया था। सक्रिय उप-नमूकरण दृष्टिकोण ने महत्वपूर्ण सह-चरों (जैसे, "अस्पताल में समय," "दवाओं में परिवर्तन") की पहचान की और विभिन्न लेबल बजटों ($N=3000, 4000, 5000$) के तहत निष्क्रिय नमूनाकरण की तुलना में कम अनुमान त्रुटियां प्राप्त कीं।

5. महत्व और दावे

शोध पत्र दावा करता है कि जब डेटा को लेबल करना महंगा होता है, तो व्यक्तिगत थ्रेशोल्ड के अनुमान के लिए यह एक कम्प्यूटेशनल और सांख्यिकीय रूप से कुशल समाधान प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

1. अभिसरण को तेज करना: यह प्रदर्शित करना कि सक्रिय नमूनाकरण गैर-नियमित अभिसरण बाधा को तोड़ सकता है, जिससे पैरामीट्रिक दरें (या सुपर-पैरामीट्रिक दरें) प्राप्त की जा सकती हैं जो समान बजट के तहत निष्क्रिय नमूनाकरण के साथ अप्राप्य हैं।
2. सैद्धांतिक सटीकता: सटीक स्थितियों को (स्मूथनेस पैरामीटर $\beta$ के माध्यम से) स्पष्ट करना कि कब एक सरल दो-चरण प्रक्रिया पर्याप्त है बनाम कब अधिक जटिल पुनरावृत्त स्कीमा की आवश्यकता होती है।
3. व्यावहारिक व्यवहार्यता: एक ग्रेडिएंट-आधारित, पाथ-फॉलोइंग एल्गोरिदम का प्रस्ताव करना जो उच्च-आयामी डेटा के लिए कम्प्यूटेशनल रूप से सुलभ है, क्योंकि कई सक्रिय शिक्षण विधियों के विपरीत यह सीधे गैर-कॉन्वेक्स 0-1 लॉस को कम करने की आवश्यकता नहीं रखता है।
4. इष्टतमता: यह स्थापित करना कि प्रस्तावित विधि मिनिमैक्स ऑप्टिमल है, जिसका अर्थ है कि कोई अन्य सैंपलिंग रणनीति सबसे खराब स्थिति के परिदृश्य में अभिसरण की तेज़ दर प्राप्त नहीं कर सकती है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य गैर-नियमित सांख्यिकीय अनुमान और सक्रिय शिक्षण के बीच के अंतर को पाटता है, जो उच्च आयामों में मापन-प्रतिबंधित समस्याओं के लिए एक कठोर ढांचा प्रदान करता है।