LOTTERY: Learning from Reference-Only Samples in Two-Sample Testing under Size Asymmetry

तकनीकी सारांश: LOTTERY

समस्या विवरण (Problem Statement)

यह शोध पत्र तीव्र नमूना-आकार विषमता (severe sample-size asymmetry) की स्थितियों में डेटा-अनुकूली दो-नमूना परीक्षण (data-adaptive two-sample testing) की चुनौती को संबोधित करता है। कई वास्तविक दुनिया के निगरानी परिदृश्यों (जैसे, डेटासेट शिफ्ट डिटेक्शन, एडवरसेरियल डिटेक्शन, मॉडल मॉनिटरिंग) में, चिकित्सकों के पास प्रचुर मात्रा में ऐतिहासिक संदर्भ डेटासेट (reference dataset) ($X \sim P$) होता है, लेकिन परीक्षण करने के लिए केवल कुछ ही क्वेरी नमूने (query samples) ($Y \sim Q$) प्राप्त होते हैं।

मौजूदा लर्निंग-आधारित दो-सैंपल टेस्ट आमतौर पर हाइपोथीसिस टेस्टिंग से रिप्रेजेंटेशन लर्निंग को अलग करने के लिए ट्रेन-टेस्ट स्प्लिट (train-test split) प्रतिमान (paradigm) पर निर्भर करते हैं, ताकि वैध Type I एरर नियंत्रण सुनिश्चित किया जा सके। हालांकि, फिव-शॉट (few-shot) सेटिंग्स में जहाँ $|Y|$ अत्यंत छोटा है, क्वेरी डेटा को विभाजित करना हानिकारक है:

1. लर्निंग अस्थिरता (Learning Instability): $Y$ के एक बहुत छोटे उपसमुच्चय (subset) का उपयोग प्रशिक्षण के लिए करने से उच्च-विचरण (high-variance) और अस्थिर फीचर एक्सट्रैक्टर्स बनते हैं।
2. टेस्टिंग शोर (Testing Noise): शेष कुछ बिंदुओं को टेस्टिंग के लिए आवंटित करने से कैलिब्रेशन शोरपूर्ण हो जाता है और सांख्यिकीय शक्ति (statistical power) कम हो जाती है।
3. अवरोध (Bottleneck): केवल संदर्भ नमूना आकार को बढ़ाने से क्वेरी बिंदुओं की मौलिक कमी का समाधान नहीं होता है।

मूल प्रश्न यह है: हम लर्निंग-आधारित परीक्षण की अनुकूलन क्षमता (adaptivity) को बनाए रखते हुए, कम क्वेरी डेटा से सीखने से कैसे बच सकते हैं?

कार्यप्रणाली (Methodology): LOTTERY

लेखक LOTTERY (Learning from Reference-Only samples in Two-sample Testing under sizE asymmetRY) प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो प्रतिमान को "X और Y के बीच विसंगति (discrepancy) सीखने" से बदलकर "X से अनुकूलता संकेतों (compatibility signals) का एक संग्रह सीखने और उनके विरुद्ध Y का परीक्षण करने" में बदल देता है।

1. केवल-संदर्भ लर्निंग (Reference-Only Learning - RDR)

$Y$ को विभाजित करने के बजाय, LOTTERY विशेष रूप से प्रचुर संदर्भ डेटा $X$ से रेफरेंस-डिपेंडेंट रिप्रेजेंटेशन्स (RDRs) सीखता है। एक RDR एक फलन $f: \mathcal{X} \to \mathbb{R}$ है जिसे $X$ पर इस प्रकार प्रशिक्षित किया जाता है कि $f(y)$ के बड़े मान संदर्भ वितरण $P$ के साथ कम अनुकूलता (lower compatibility) को दर्शाते हैं।
यह ढांचा $P$ के विविध संरचनात्मक पहलुओं को पकड़ने के लिए पूरक RDRs के एक परिवार का उपयोग करता है:

• ME-RDR (Mean Embedding): विशिष्ट कर्नेल (characteristic kernels) और टेस्ट लोकेशन्स का उपयोग करके स्थानीय समानता पैटर्न को कैप्चर करता है। यह किसी भी वैकल्पिक $P \neq Q$ के लिए सुसंगत (consistent) होने की सैद्धांतिक गारंटी रखता है।
• Mahalanobis-RDR: वैश्विक संरचना (माध्य और सहप्रसरण बदलाव) को कैप्चर करता है।
• kNN-RDR: निकटतम-पड़ोसी दूरियों (nearest-neighbor distances) के माध्यम से स्थानीय स्केल और सपोर्ट ज्योमेट्री को कैप्चर करता है।
• LOF-RDR: स्थानीय सापेक्ष घनत्व अनियमितताओं (local relative density irregularities) को कैप्चर करता है।

2. अनिश्चितता-निर्देशित एकत्रीकरण (Uncertainty-Guided Aggregation)

चूंकि कोई भी एकल RDR सभी विकल्पों के विरुद्ध समान रूप से शक्तिशाली नहीं है, इसलिए LOTTERY पूरे परिवार से साक्ष्य (evidence) को एकत्रित करता है। क्वेरी डेटा का उपयोग किए बिना इस एकत्रीकरण को अनुकूलित करने के लिए, लेखक एक अनिश्चितता-निर्देशित वेटिंग स्कीम (uncertainty-guided weighting scheme) पेश करते हैं:

• स्थिरता (Stability): इसे संदर्भ कैलिब्रेशन सेट से पुन: नमूनाकरण (resampling) के दौरान RDR के बैच मीन के विचरण (variance) द्वारा मापा जाता है। अस्थिर RDRs (उच्च विचरण) को कम भार (downweight) दिया जाता है।
• संवेदनशीलता (Sensitivity): इसे संदर्भ डेटा के छोटे, नियंत्रित व्यवधानों (perturbations) के प्रति RDR की प्रतिक्रिया द्वारा मापा जाता है।
• वेटिंग (Weighting): एक RDR $f$ के लिए अंतिम भार $w_f = \hat{\delta}_f / \hat{\sigma}^2_f$ है, जो उन रिप्रेजेंटेशन्स को प्राथमिकता देता है जो शून्य (null) के तहत स्थिर और विचलन के प्रति संवेदनशील दोनों हैं।
• टेस्ट सांख्यिकी (Test Statistic): अंतिम सांख्यिकी स्क्वेर्ड मीन स्टैंडर्डाइज्ड शिफ्ट्स का भारित योग है: $T_{weight}(Y) = \sum_{f \in \mathcal{F}} w_f T_f(Y)$।

3. पुल्ड परम्यूटेशन टेस्टिंग (Pooled Permutation Testing)

क्वेरी डेटा को विभाजित किए बिना वैध Type I एरर नियंत्रण सुनिश्चित करने के लिए, LOTTERY एक पुल्ड परम्यूटेशन टेस्ट का उपयोग करता है।

• एक होल्ड-आउट संदर्भ सेट $X_{hold}$ को क्वेरी बैच $Y$ के साथ मिलाकर एक पुल्ड सैंपल $U$ बनाया जाता है।
• शून्य परिकल्पना (null hypothesis, $P=Q$) के तहत, $U$ में सभी बिंदु विनिमेय (exchangeable) होते हैं।
• टेस्ट सांख्यिकी का गणना देखे गए $Y$ के लिए की जाती है और इसे $U$ से आकार $|Y|$ के यादृच्छिक उपसमुच्चयों को नमूना बनाकर उत्पन्न वितरण के विरुद्ध तुलना की जाती है।
• यह स्तर $\alpha$ पर सटीक परिमित-नमूना (finite-sample) Type I एरर नियंत्रण प्रदान करता है।

मुख्य योगदान (Key Contributions)

1. केवल-संदर्भ ढांचा (Reference-Only Framework): दो-नमूना परीक्षण के लिए एक नया प्रतिमान पेश करता है जो आकार-विषम (size-asymmetric) शासन में काम करता है, जिससे दुर्लभ क्वेरी डेटा को रिप्रेजेंटेशन लर्निंग के लिए विभाजित करने की आवश्यकता समाप्त हो जाती है।
2. अनिश्चितता-निर्देशित एकत्रीकरण (Uncertainty-Guided Aggregation): केवल संदर्भ डेटा से प्राप्त स्थिरता और संवेदनशीलता के आधार पर कई संदर्भ-निर्भर रिप्रेजेंटेशन्स को अनुकूल रूप से भारित करने के लिए एक तंत्र प्रस्तावित करता है।
3. सैद्धांतिक गारंटी (Theoretical Guarantees):
   • Type I एरर नियंत्रण: सिद्ध करता है कि पुल्ड परम्यूटेशन प्रक्रिया परिमित नमूनों के लिए स्तर $\alpha$ पर Type I एरर को नियंत्रित करती है।
   • सुसंगतता (Consistency): दिखाता है कि यदि रिप्रेजेंटेशन परिवार में कम से कम एक सुसंगत प्रतिनिधित्व (जैसे, ME-RDR) शामिल है, तो नमूना आकार बढ़ने के साथ टेस्ट पावर 1 की ओर अभिसरित (converge) होती है।
4. अनुभवजन्य प्रदर्शन (Empirical Performance): सिंथेटिक और वास्तविक दुनिया के बेंचमार्क पर मजबूत प्रदर्शन प्रदर्शित करता है, विशेष रूप से अत्यधिक फिव-शॉट सेटिंग्स में कर्नेल-आधारित और स्प्लिट-आधारित लर्निंग विधियों को पछाड़ते हुए।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक सिंथेटिक डेटा (BLOB) और वास्तविक दुनिया के डेटासेट (Higgs Boson, CIFAR-10 adversarial detection) पर LOTTERY का मूल्यांकन करते हैं।

• बदलते संदर्भ आकार ($N$): एक निश्चित छोटे क्वेरी आकार के साथ, LOTTERY अन्य बेसलाइनों की तुलना में $N$ बढ़ने के साथ काफी तेजी से पावर ग्रोथ दिखाता है। यह सभी विधियों से बेहतर प्रदर्शन करता है जब $N$ पर्याप्त बड़ा होता है (जैसे, BLOB पर $N \ge 300$)।
• बदलते क्वेरी आकार ($M$): अत्यधिक फिव-शॉट शासन (जैसे, $M=2$ से $M=10$) में, LOTTERY कर्नेल-आधारित (MMD-FUSE, MMDAgg) और स्प्लिट-आधारित लर्निंग बेसलाइन्स (MMD-Deep, RL-TST) की तुलना में काफी उच्च पावर प्राप्त करता है, जो अक्सर चांस लेवल (chance levels) के करीब प्रदर्शन करते हैं।
• एब्लेशन अध्ययन (Ablation Studies):
  • अनिश्चितता-निर्देशित चयन तंत्र को हटाने से पावर में निरंतर गिरावट आती है, जो अस्थिर RDRs को कम भार देने के महत्व की पुष्टि करती है।
    क विभिन्न प्रकार के वितरण संबंधी बदलावों (वैश्विक माध्य, विचरण, स्थानीय घनत्व) में उनकी पूरकता की पुष्टि करते हैं।
• Type I एरर: प्रयोगात्मक जांच पुष्टि करती है कि टेस्ट सभी कॉन्फ़िगरेशन में महत्व स्तर $\alpha = 0.05$ के करीब Type I एरर बनाए रखता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि LOTTERY अत्यधिक क्लास असंतुलन के तहत दो-नमूना परीक्षण के लिए एक सिद्धांतिक और प्रभावी दृष्टिकोण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

• फिव-शॉट अवरोध को हल करना: यह मौजूदा डेटा-अनुकूली परीक्षणों की एक सीमा को दूर करता है, जो छोटे क्वेरी बैचों को विभाजित करने से उत्पन्न अस्थिरता से ग्रस्त हैं।
• वन-क्लास और टू-सैंपल टेस्टिंग के बीच सेतु बनाना: यह एक-वर्ग वर्गीकरण (एकल वितरण से सीखना) की सफलता को एक कठोर दो-नमूना परीक्षण ढांचे में अनुकूलित करता है, जो इसे मानक विसंगति पहचान (anomaly detection) से अलग करता है जिसमें अक्सर स्तर-$\alpha$ परीक्षण गारंटी की कमी होती है।
• व्यावहारिक उपयोगिता: यह एडवरसेरियल डिटेक्शन और मॉडल मॉनिटरिंग जैसे उच्च-दांव वाले अनुप्रयोगों के लिए एक नैदानिक उपकरण प्रदान करता है, जहाँ क्वेरी डेटा दुर्लभ है लेकिन संदर्भ डेटा प्रचुर है, जिससे वितरण संबंधी बदलावों और साइलेंट फेलियर की अधिक विश्वसनीय पहचान संभव होती है।

लेखक इस बात पर जोर देते हैं कि यह विधि प्रकृति में सांख्यिकीय है और इसे एक व्यापक पाइपलाइन के भीतर एक नैदानिक घटक के रूप में उपयोग किया जाना चाहिए, न कि व्यक्तियों के लिए एक स्टैंडअलोन निर्णय नियम के रूप में।