Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics

समस्या विवरण
दो-नमूना परीक्षण (Two-sample testing) सांख्यिकीय अनुमान की एक मौलिक समस्या है जिसका उद्देश्य यह निर्धारित करना है कि क्या दो वितरण, $P$ और $Q$, प्रत्येक से लिए गए नमूनों के आधार पर भिन्न हैं। जबकि मैक्सिमम मीन डिस्क्रिपेंसी (MMD) आधारित परीक्षणों ने अपनी लचीलेपन और सैद्धांतिक गुणों के कारण लोकप्रियता हासिल की है, मौजूदा तकनीकें अक्सर समान नमूना आकार ($n_X = n_Y$) की धारणा पर निर्भर करती हैं। व्यवहार में, नमूना आकार अक्सर असमान होते हैं। इन परिदृश्यों में मानक MMD अनुमानकों (estimators) को लागू करने के लिए आमतौर पर यू-सांख्यिकी (U-statistics) के सैद्धांतिक ढांचे को बनाए रखने हेतु मूल्यवान डेटा को हटाना (जैसे, छोटे सेट तक सब-सैंपलिंग करके) आवश्यक हो जाता है, जो अनावश्यक रूप से परीक्षण की शक्ति (test power) को कम कर देता है। असमान नमूना आकारों के साथ MMD अनुमानकों के विषम व्यवहार (asymptotic behavior) का, विशेष रूप से आनुपातिक व्यवस्थाओं (proportional regimes) के बाहर (जहाँ $n_X/n_Y$ एक स्थिरांक पर अभिसरित होता है), विकास अभी भी अपूर्ण रहा है।

कार्यप्रणाली
लेखक MMD अनुमानक के लिए सामान्यीकृत यू-सांख्यिकी (generalized U-statistics) के सिद्धांत को विस्तारित करके इस सीमा को संबोधित करते हैं।

• सामान्यीकृत यू-सांख्यिकी: मानक निष्पक्ष MMD अनुमानक ($\widehat{\text{MMD}}^2$) को $c=2$ नमूनों और कर्नेल ऑर्डर $m_1=m_2=2$ वाले एक सामान्यीकृत यू-सांख्यिकी के रूप में पहचाना गया है। मानक यू-सांख्यिकी के विपरीत, जिसमें समान नमूना आकार की आवश्यकता होती है, सामान्यीकृत यू-सांख्यिकी $n_X \neq n_Y$ को समायोजित करती है।
• स्केलिंग और एसिम्प्टोटिक्स (Scaling and Asymptotics): शोध पत्र दोनों स्थितियों—शून्य परिकल्पना ($P=Q$) और विकल्प ($P \neq Q$)—के तहत MMD अनुमानक के एसिम्प्टोटिक वितरणों को व्युत्पन्न करता है। एक महत्वपूर्ण पद्धतिगत बदलाव $\min(n_X, n_Y)$ को अभिसरण (convergence) के लिए सही स्केलिंग कारक के रूप में पहचानना है, न कि $n_X + n_Y$ को, जैसा कि पिछले आनुपातिक-व्यवस्था परिणामों में उपयोग किया गया था। यह सिद्धांत को गैर-आनुपातिक व्यवस्थाओं (जैसे, $n_Y = n_X^2$) में भी लागू करने की अनुमति देता है।
• विचरण लक्षण वर्णन (Variance Characterization): लेखक असमान नमूना आकारों के साथ MMD अनुमानक के विचरण (variance) का एक नया, अधिक स्पष्ट लक्षण वर्णन प्रदान करते हैं। इसमें वितरणों के माध्य एम्बेडिंग ($\mu_P, \mu_Q$) और कोवेरिएंस ऑपरेटर्स ($C_P, C_Q$) से जुड़े पदों में विचरण को विभाजित करना शामिल है।
• डीजनरेसी विश्लेषण (Degeneracy Analysis): शोध पत्र अनुमानक की "डीजनरेसी" (degeneracy) का कठोरता से विश्लेषण करता है। यह स्पष्ट करता है कि जबकि शून्य MMD एक डीजेनरेट अनुमानक को दर्शाता है, इसका विलोम हमेशा सत्य नहीं होता है: विशिष्ट स्थितियों (जैसे, कुछ कर्नेल्स के साथ विलगित सपोर्ट/disjoint supports) के तहत गैर-शून्य MMD के साथ भी एक डीजेनरेट अनुमानक मौजूद हो सकता है, हालांकि यह सामान्य सेटिंग्स (जैसे, निरंतर कर्नेल्स के साथ ओवरलैपिंग सपोर्ट) में असंभव है।
• शक्ति अनुकूलन (Power Optimization): गैर-डीजेनरेट मामलों के लिए प्राप्त एसिम्प्टोटिक नॉर्मलिटी का लाभ उठाते हुए, लेखक कर्नेल चयन को अनुकूलित करने के लिए एक मानदंड प्रस्तावित करते हैं। वे विचरण $\sigma^2$ के प्लग-इन अनुमानकों का उपयोग करके सिग्नल-टू-नॉइज़ अनुपात ($\text{MMD}^2 / \sigma$) को अधिकतम करते हैं, जिससे विशिष्ट नमूना आकार अनुपातों के लिए परीक्षण शक्ति को अधिकतम करने वाले कर्नेल्स का चयन किया जा सके।

मुख्य योगदान

1. सैद्धांतिक विस्तार: शोध पत्र सामान्यीकृत यू-सांख्यिकी को लागू करके असमान नमूना आकारों के लिए MMD के एसिम्प्टोटिक सिद्धांत को विस्तारित करता है, जिससे डेटा को हटाने की आवश्यकता समाप्त हो जाती है।
2. सही स्केलिंग कारक: यह स्थापित करता है कि आनुपातिक और गैर-आनुपातिक दोनों व्यवस्थाओं में अभिसरण के लिए $\min(n_X, n_Y)$ उपयुक्त स्केलिंग कारक है, जो उन पूर्व धारणाओं को सुधारता है जो $n_X + n_Y$ पर निर्भर थीं।
3. विचरण और डीजनरेसी अंतर्दृष्टि: लेखक असमान नमूना आकारों के लिए स्पष्ट विचरण सूत्र प्रदान करते हैं और अनुमानक डीजनरेसी की एक परिष्कृत समझ पेश करते हैं। वे सिद्ध करते हैं कि जबकि शून्य MMD डीजनरेसी को दर्शाता है, डीजनरेसी आवश्यक रूप से शून्य MMD को नहीं दर्शाता है, जो एक सूक्ष्म अंतर है जिसे साहित्य में अक्सर अनदेखा किया जाता है। वे यह भी सिद्ध करते हैं कि सामान्य स्थितियों (सेटिंग B: रियल-एनालिटिक कर्नेल्स, ओवरलैपिंग सपोर्ट) के तहत, डीजनरेसी तभी होती है जब $\mu_P = \mu_Q$ हो।
4. अनुकूलन ढांचा: शोध पत्र सिग्नल-टू-नॉइज़ अनुपात को अधिकतम करके कर्नेल मापदंडों को अनुकूलित करने की एक व्यावहारिक विधि व्युत्पन्न करता है, जो दिखाया गया है कि जनसंख्या इष्टतम (population optimum) की ओर समान रूप से अभिसरित होता है।
5. अनुभवजन्य सत्यापन (Empirical Validation): CIFAR-10 और CIFAR-10.1 पर प्रयोगों से पता चलता है कि प्रस्तावित $\widehat{\text{MMD}}^2$ अनुमानक और विचरण-आधारित अनुकूलन का उपयोग करके सभी उपलब्ध डेटा का उपयोग करने से, समान आकारों तक सब-सैंपलिंग करने वाले (Ratio/Equal) या मानक यू-सांख्यिकी का उपयोग करने वाले तरीकों की तुलना में काफी अधिक परीक्षण शक्ति प्राप्त होती है।

परिणाम

• एसिम्प्टोटिक वितरण: शून्य परिकल्पना (MMD=0) के तहत, स्केल्ड अनुमानक $\min(n_X, n_Y)\widehat{\text{MMD}}^2$ केंद्रित ची-स्क्वायर वितरणों के एक अनंत मिश्रण (infinite mixture) में अभिसरित होता है। विकल्प (MMD > 0) के तहत, यदि अनुमानक गैर-डीजेनरेट है, तो $\sqrt{\min(n_X, n_Y)}(\widehat{\text{MMD}}^2 - \text{MMD}^2)$ एक सामान्य वितरण (normal distribution) में अभिसरित होता है।
• विचरण न्यूनीकरण: सैद्धांतिक विश्लेषण दिखाता है कि जब नमूना आकार असमान होते हैं, तो सामान्यीकृत अनुमानक $\widehat{\text{MMD}}^2$ का विचरण मानक यू-सांख्यिकी अनुमानक $\widehat{\text{MMD}}^2_U$ की तुलना में काफी कम होता है, और जब एक नमूना आकार एसिम्प्टोटिक रूप से प्रभावी (dominant) होता है, तो यह दो गुना तक कम हो सकता है।
• प्रायोगिक प्रदर्शन: CIFAR-10 को CIFAR-10.1 से अलग करने के प्रयोगों में, विभिन्न नमूना आकार अनुपातों ($r$) के साथ, प्रस्तावित "Ratio/Ratio" (RR) विधि, जो सभी डेटा का उपयोग करती है और सिग्नल-टू-नॉइज़ अनुपात को अनुकूलित करती है, लगातार "Ratio/Equal" (RE) बेसलाइन से बेहतर प्रदर्शन करती है। जैसे-जैसे असंतुलन बढ़ा ($r=8$), RR विधि की शक्ति 1.0 के करीब पहुँच गई, जबकि RE विधि लगभग 0.82 पर स्थिर रही।

महत्व
यह शोध पत्र असमान नमूना आकारों के लिए एक सैद्धांतिक रूप से कठोर ढांचा प्रदान करके MMD-आधारित दो-नमूना परीक्षण की एक दीर्घकालिक सीमा को हल करने का दावा करता है। उपलब्ध सभी डेटा को संरक्षित करके, प्रस्तावित विधि परीक्षण की सटीकता और वास्तविक सेटिंग्स में इसकी प्रयोज्यता को बढ़ाती है जहाँ डेटा संग्रह अक्सर असममित होता है। इस ढांचे का एकीकरण यह सुनिश्चित करता है कि नया दृष्टिकोण समान नमूना आकारों के मामले में मौजूदा तरीकों में बदल जाता है, जिससे सैद्धांतिक निरंतरता बनी रहती है और उपयोगिता का विस्तार होता है। यह कार्य MMD मानों और अनुमानक डीजनरेसी के बीच संबंध के संबंध में गलत धारणाओं को भी सुधारता है, जो कर्नेल चयन और परीक्षण डिजाइन के लिए अधिक मजबूत आधार प्रदान करता है।