🔢 mathematics

Second-Order Asymptotics of Two-Sample Tests

यह शोध पत्र जेन्सन-शैनन डाइवर्जेंस (Jensen-Shannon divergence) को एक अनिश्चित डाइवर्जेंस से बदलकर गुटमैन टू-सैंपल टेस्ट का सामान्यीकरण करता है, यह प्रदर्शित करते हुए कि हालांकि ऐसे सभी डाइवर्जेंस टेस्ट इष्टतम प्रथम-क्रम त्रुटि घातांक (first-order error exponent) प्राप्त करते हैं, लेकिन जो इनवेरिएंट डाइवर्जेंस का उपयोग करते हैं वे गुटमैन टेस्ट के द्वितीय-क्रम के एसिम्प्टोटिक प्रदर्शन से भी मेल खाते हैं।

मूल लेखक: K V Harsha, Jithin Ravi, Tobias Koch

प्रकाशित 2026-07-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: K V Harsha, Jithin Ravi, Tobias Koch

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं: क्या ये डेटा के दो ढेर एक ही स्रोत से आ रहे हैं, या ये छलावे (imposters) हैं?

सांख्यिकी (statistics) की दुनिया में, इसे "टू-सैंपल टेस्टिंग" (two-sample testing) कहा जाता है। आपके पास यादृच्छिक संख्याओं (random numbers) की दो लंबी सूचियाँ हैं (मान लीजिए कि वे सीक्वेंस X और सीक्वेंस Y हैं)। शायद वे एक ही निष्पक्ष पासे (fair die) के रोल की सूचियाँ हैं, या शायद एक निष्पक्ष पासे से है और दूसरी एक भारित (weighted), धोखाधड़ी वाले पासे से है। आपका काम उन सूचियों को देखना है और चिल्लाना है, "एक समान!" या "अलग!" बिना उस गुप्त रेसिपी (प्रायिकता वितरण/probability distribution) को जाने जो उन सूचियों के पीछे है।

पुराने जासूस का औज़ार: गुटमैन टेस्ट (The Gutman Test)

लंबे समय तक, इस काम के लिए सबसे अच्छा जासूसी औज़ार गुटमैन टेस्ट था। इसे एक "समानता स्कोर" (Similarity Score) की तरह समझें। गुटमैन टेस्ट दोनों सूचियों को लेता है, यह गिनता है कि प्रत्येक संख्या कितनी बार आती है (एक "एम्पिरिकल डिस्ट्रीब्यूशन" बनाता है), और फिर जेन्सन-शैनन (JS) डाइवर्जेंस नामक एक विशिष्ट पैमाने (रूलर) का उपयोग करके उनके बीच की दूरी को मापता है।

यदि दूरी कम है, तो जासूस कहता है, "वे एक जैसे दिखते हैं!" (नल हाइपोथीसिस/Null Hypothesis)। यदि दूरी बहुत अधिक है, तो वह कहता है, "वे अलग हैं!" (अल्टरनेटिव हाइपोथीसिस/Alternative Hypothesis)।

नया विचार: "डाइवर्जेंस टेस्ट" (The "Divergence Test")

इस शोध पत्र के लेखकों ने एक मजेदार सवाल पूछा: क्या होगा अगर हम JS पैमाने को किसी अन्य प्रकार के पैमाने से बदल दें?

दो सूचियों के बीच "दूरी" मापने के कई तरीके हैं। कुछ को रेनी डाइवर्जेंस (Rényi divergences) कहा जाता है, अन्य f-डाइवर्जेंस (f-divergences) हैं, इत्यादि। प्रस्तावित "सामान्यीकृत डाइवर्जेंस टेस्ट" (generalized "Divergence Test") आपको यह विकल्प देता है कि आप इस काम को करने के लिए इनमें से कोई भी पैमाना चुन सकें।

बड़ी खोज: क्या पैमाना मायने रखता है?

यहीं पर जादू होता है। लेखकों ने यह देखने के लिए आंकड़े चलाए कि क्या पैमाना बदलने से जासूस की सफलता दर बदल जाती है। उन्होंने सफलता के दो स्तरों को देखा:

दीर्घकालिक सफलता (प्रथम-क्रम/First-Order): जैसे-जैसे सूचियाँ अनंत रूप से लंबी होती जाती हैं, गलती करने की संभावना कितनी तेजी से कम होती है?
- निष्कर्ष: यह पता चला कि इससे कोई फर्क नहीं पड़ता कि आप कौन सा पैमाना उपयोग करते हैं! चाहे आप क्लासिक JS पैमाने का उपयोग करें, रेनी पैमाने का, या किसी अन्य "इनवैरिएंट" (invariant) पैमाने का, गलतियाँ होने की गति बिल्कुल एक समान है। वे सभी "इष्टतम" (optimal) गति प्राप्त करते हैं।
- गति की सीमा: शोध पत्र यह सिद्ध करता है कि चाहे कुछ भी हो, आप एक विशिष्ट गति सीमा को पार नहीं कर सकते जो भट्टाचर्य दूरी (Bhattacharyya distance) द्वारा निर्धारित होती है (यह मापने का एक शानदार तरीका कि दो प्रायिकता वितरण आपस में कितने मिलते हैं)। कोई भी टेस्ट जो सबसे अच्छा कर सकता है, वह त्रुटि की संभावना को $2 \times$ भट्टाचर्य दूरी की दर से कम करना है। नया डाइवर्जेंस टेस्ट इस सीमा को पूरी तरह से छू लेता है, चाहे आप कोई भी पैमाना चुनें।
बारीक-ट्यून की गई सफलता (द्वितीय-क्रम/Second-Order): यह "किशोर" (teenager) स्तर का विवरण है। यह पूछता है: यदि हमारे पास समय की एक निश्चित मात्रा (एक निश्चित सैंपल साइज $n$ ) है, तो हम सटीक उत्तर के कितने करीब पहुँच सकते हैं?
- निष्कर्ष: यदि आप एक ऐसा पैमाना उपयोग करते हैं जो "इनवैरिएंट" है (एक विशेष गणितीय गुण जिसका अर्थ है कि पैमाना डेटा के खिंचने या सिकुड़ने पर भी सुसंगत रहता है), तो आप क्लासिक गुटमैन टेस्ट के समान ही बारीक-ट्यून प्रदर्शन प्राप्त करते हैं।
- "इनवैरियंस" क्लब: शोध पत्र में उन पैमानों की एक बड़ी सूची दी गई है जो "इनवैरिएंट" हैं, जिसमें प्रसिद्ध कुल्बैक-लीब्लर (KL) डाइवर्जेंस और जेन्सन-शैनन (JS) डाइवर्जेंस शामिल हैं। यदि आप इनमें से एक चुनते हैं, तो आप मूल गुटमैन टेस्ट जितने ही सक्षम हैं।

"ट्रिकी" (Tricky) पैमानों के बारे में क्या?

शोध पत्र ने उन पैमानों को भी देखा जो "इनवैरिएंट" नहीं हैं।

फैसला: शोध पत्र दिखाता है कि भले ही आप इन ट्रिकी, गैर-इनवैरिएंट पैमानों का उपयोग करें, फिर भी आप क्लासिक गुटमैन टेस्ट के समान ही दीर्घकालिक गति (प्रथम-क्रम का परिणाम) प्राप्त करते हैं। आप अभी भी उस इष्टतम $2 \times$ भट्टाचर्य दूरी की सीमा तक पहुँचते हैं।
अज्ञात: हालाँकि, लेखक स्वीकार करते हैं कि वे अभी तक यह सिद्ध नहीं कर सकते कि ये ट्रिकी पैमाने "फाइन-ट्यून्ड" (द्वितीय-क्रम) परिदृश्य में कैसा प्रदर्शन करते हैं। यह कहने जैसा है कि, "हम जानते हैं कि यह कार हाईवे पर तेज़ चलती है, लेकिन हमने अभी तक यह परीक्षण नहीं किया है कि यह तीखे मोड़ कैसे लेती है।" उन्हें संदेह है कि प्रदर्शन अलग हो सकता है, लेकिन इसे साबित करने के लिए गणित अभी बहुत कठिन है क्योंकि ये "ट्रिकी" पैमाने डेटा के उन रहस्यों पर निर्भर करते हैं जिन्हें जासूस नहीं जानता।

"रोबस्ट" (Robust) संबंध

यह शोध पत्र इस जासूसी कार्य को "रोबस्ट गुडनेस-ऑफ-फिट टेस्टिंग" नामक एक अन्य क्षेत्र से जोड़ता है। वे दिखाते हैं कि गुटमैन टेस्ट वास्तव में एक "सामान्यीकृत लाइकलीहुड रेशियो टेस्ट" (GLRT) का एक विशेष संस्करण है। यह महसूस करने जैसा है कि आपकी पसंदीदा जासूसी कहानी वास्तव में रोबस्ट टेस्टिंग की एक बहुत बड़ी, अधिक प्रसिद्ध किताब का एक विशिष्ट अध्याय थी। यह संबंध यह समझाने में मदद करता है कि गुटमैन टेस्ट इतना अच्छा क्यों काम करता है और पुष्टि करता है कि नया डाइवेरजेंस टेस्ट भी उतना ही ठोस है।

जिज्ञासु किशोरों के लिए सारांश

मुख्य बात: आप अपने टू-सैंपल टेस्ट में मानक पैमाने (JS डाइवर्जेंस) को लगभग किसी भी अन्य "इनवैरिएंट" पैमाने से बदल सकते हैं, और आप अपना प्रदर्शन नहीं खोएंगे। आपको गलतियों को पकड़ने के लिए वही सर्वश्रेष्ठ संभव गति मिलती है।
सावधानी: यदि आप ऐसा पैमाना चुनते हैं जो "इनवैरिएंट" नहीं है, तो भी आपको सर्वश्रेष्ठ दीर्घकालिक गति मिलती है, लेकिन हम अभी तक यह पूरी तरह से नहीं जानते कि अल्पकालिक (द्वितीय-क्रम के विवरण) में यह कैसा व्यवहार करता है।
प्रमाण: लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने टेलर सीरीज़ (Taylor series), आइगेनवैल्यू (eigenvalues) और ची-स्क्वायर डिस्ट्रीब्यूशन (chi-square distributions) जैसे कठोर गणित का उपयोग करके सिद्ध किया कि प्रथम-क्रम की गति इष्टतम है और द्वितीय-क्रम का प्रदर्शन सभी इनवैरिएंट डाइवर्जेंस के लिए समान है।
सीमाएं: वे स्पष्ट रूप से बताते हैं कि अनंत डेटा प्रकारों (जैसे एक रेखा पर निरंतर संख्याएं) के लिए इन "फाइन-ट्यून्ड" परिणामों को विस्तारित करना वर्तमान में बहुत कठिन है, इसलिए उनके परिणाम विशेष रूप से डिस्क्रीट (discrete) वस्तुओं (जैसे पासे के रोल या अक्षर) की सूचियों के लिए हैं।

इसलिए, यदि आप एक ऐसा सिस्टम बना रहे हैं जो यह बता सके कि डेटा के दो स्ट्रीम एक ही हैं या नहीं, तो आपके पास अपने "डिस्टेंस रूलर" को चुनने की बहुत स्वतंत्रता है। जब तक आप "इनवैरिएंट" क्लब से एक चुनते हैं, तो आप गारंटी के साथ व्यवसाय के सर्वश्रेष्ठ जासूस जितने सक्षम होंगे।

तकनीकी सारांश: दो-नमूना परीक्षणों का द्वितीय-क्रम एसिम्प्टोटिक्स (Second-Order Asymptotics)

समस्या का निरूपण
यह शोध पत्र सांख्यिकीय परिकल्पना परीक्षण (statistical hypothesis testing) में दो-नमूनों के परीक्षण की मौलिक समस्या को संबोधित करता है। इसका उद्देश्य यह निर्धारित करना है कि क्या $P_1$ और $P_2$ से उत्पन्न दो स्वतंत्र i.i.d. यादृच्छिक अनुक्रमों (random variables), $X^n$ और $Y^n$ , एक ही अंतर्निहित वितरण से आते हैं। इसे एक बाइनरी परिकल्पना परीक्षण के रूप में प्रस्तुत किया गया है:

$H_0: P_1 = P_2$
$H_1: P_1 \neq P_2$

यह अध्ययन स्टाइन के शासन (Stein's regime) में कार्य करता है, जहाँ प्रकार-I त्रुटि प्रायिकता ( $\alpha_n$ ) को एक निश्चित $\epsilon \in (0, 1)$ से नीचे सीमित किया गया है, और लक्ष्य नमूना आकार $n \to \infty$ होने पर प्रकार-II त्रुटि प्रायिकता ( $\beta_n$ ) के एसिम्प्टोटिक व्यवहार का विश्लेषण करना है। विशेष रूप से, लेखक त्रुटि घातांक (error exponent) $-\frac{1}{n}\ln \beta_n$ के प्रथम-क्रम पद ( $\beta'$ ) और द्वितीय-क्रम पद ( $\beta''$ ) का लक्षण वर्णन करते हैं।

कार्यप्रणाली और परिभाषाएँ
यह शोध पत्र गुटमैन परीक्षण (Gutman test) का सामान्यीकरण करता है, जो जेन्सन-शैनन (JS) डाइवर्जेंस पर आधारित है, और एक "डाइवर्जेंस टेस्ट" पेश करके इसे विस्तृत करता है। यह परीक्षण $H_0$ को तब स्वीकार करता है जब दोनों अनुक्रमों (टाइप्स) के बीच का डाइवर्जेंस $D(P_{X^n} \| P_{Y^n})$ एक थ्रेशोल्ड $r$ से कम होता है।

मुख्य परिभाषाएँ शामिल हैं:

डाइवर्जेंस (Divergence): एक स्मूथ फलन $D(S \| R)$ जो गैर-ऋणात्मकता, पहचान की अनन्यता ( $D(S\|R)=0 \iff S=R$ ), और विकर्ण (diagonal) के पास एक विशिष्ट सकारात्मक-निश्चित मैट्रिक्स $G(R)$ के साथ एक विशिष्ट द्विघात विस्तार (quadratic expansion) को संतुष्ट करता है।
इनवेरिएंट डाइवर्जेंस (Invariant Divergence): एक ऐसा डाइवर्जेंस जहाँ किसी भी वितरण $R$ पर इसके द्वितीय-क्रम विस्तार से जुड़ा मैट्रिक्स $\eta \Sigma_R$ के रूप में लेता है, जहाँ $\Sigma_R$ संभाव्यता सिम्प्लेक्स (probability simplex) की ज्यामिति से संबंधित एक विशिष्ट मैट्रिक्स संरचना है। इस वर्ग में कुलबैक-लीब्लर (KL) डाइवर्जेंस, JS डाइवर्जेंस, $f$ -डाइवर्जेंस और रेनी (Rényi) डाइवर्जेंस शामिल हैं।

लेखक दो-नमूनों के परीक्षण और रोबस्ट गुडनेस-ऑफ-फिट (GoF) परीक्षण के बीच एक सैद्धांतिक संबंध स्थापित करते हैं। वे प्रदर्शित करते हैं कि गुटमैन टेस्ट एक विशिष्ट रोबस्ट GoF समस्या के लिए सामान्यीकृत लाइकलीहुड रेशियो टेस्ट (GLRT) के समान है, जहाँ अनिश्चितता वर्ग (uncertainty class) समान वितरणों के युग्मों से बना है।

मुख्य योगदान और परिणाम

प्रथम-क्रम इष्टतमता (First-Order Optimality):
यह शोध पत्र सिद्ध करता है कि डाइवर्जेंस टेस्ट इष्टतम प्रथम-क्रम त्रुटि घातांक, $2D_B(P_1, P_2)$ (दोहरा भट्टाचार्य दूरी/Bhattacharyya distance), प्राप्त करता है, चाहे चुना गया डाइवर्जेंस माप $D$ कुछ भी हो। यह पुष्टि करता है कि चुनी गई डाइवर्जेंस सीमा (limit) में प्रकार-II त्रुटि के घातीय क्षय दर (exponential decay rate) को प्रभावित नहीं करती है।
इनवेरिएंट डाइवर्जेंस के लिए द्वितीय-क्रम एसिम्प्टोटिक्स:
इनवेरिएंट डाइवर्जेंस के लिए द्वितीय-क्रम एसिम्प्टोटिक्स का लक्षण वर्णन करना मुख्य योगदान है। लेखक दिखाते हैं कि किसी भी इनवेरिएंट डाइवर्जेंस के लिए, $\beta''$ गुटमैन टेस्ट (जो JS डाइवर्जेंस का उपयोग करता है) के समान है।
एसिम्प्टोटिक विस्तार इस प्रकार है:
$-\frac{1}{n} \ln \beta_n \approx 2D_B(P_1, P_2) - \frac{\sqrt{V_{KL}(P^* \| P_1) + V_{KL}(P^* \| P_2)}}{\sqrt{n}} Q^{-1}_{\chi^2_{k-1}}(\epsilon)$
जहाँ $P^*$ वह वितरण है जो $P_1$ और $P_2$ के KL डाइवर्जेंस के योग को न्यूनतम करता है, $V_{KL}$ क्रमशः KL डाइवर्जेंस विचरण (variance) को दर्शाता है, और $Q^{-1}_{\chi^2_{k-1}}$ $k-1$ डिग्री ऑफ फ्रीडम वाले ची-स्क्वायर वितरण का इनवर्स टेल प्रोबेबिलिटी है।
नॉन-इनवेरिएंट डाइवर्जेंस (Non-Invariant Divergences):
नॉन-इनवेरिएंट डाइवर्जेंस के लिए, शोध पत्र यह स्थापित करता है कि प्रथम-क्रम इष्टतमता अभी भी बनी रहती है। हालाँकि, द्वितीय-क्रम पद का लक्षण वर्णन एक खुला प्रश्न बना हुआ है। कठिनाई इसलिए उत्पन्न होती है क्योंकि टेस्ट स्टैटिस्टिक की टेल प्रोबेबिलिटी एक ऐसे मैट्रिक्स के आइजनवैल्यू (eigenvalues) पर निर्भर करती है जो अज्ञात वितरण $P$ के साथ बदलता रहता है, जिससे थ्रेशोल्ड चयन और त्रुटि बाउंडिंग काफी जटिल हो जाती है। लेखक नोट करते हैं कि जबकि नॉन-इनवेरिएंट डाइवर्जेंस सैद्धांतिक रूप से रोबस्ट GoF टेस्टिंग में बेहतर द्वितीय-क्रम प्रदर्शन प्रदान कर सकते हैं (जैसा कि पूर्व कार्य में दिखाया गया है), यह अभी तक निर्धारित नहीं हुआ है कि क्या यह दो-नमूनों की समस्या के लिए भी लागू होता है।

महत्व और दावे
शोध पत्र का दावा है कि इनवेरिएंट डाइवर्जेंस का वर्ग एसिम्प्टोटिक प्रदर्शन के संदर्भ में रोबस्ट है; गुटमैन टेस्ट में JS डाइवर्जेंस को किसी अन्य इनवेरिएंट डाइवर्जेंस (जैसे KL या रेनी) से बदलने से प्रकार-II त्रुटि के प्रथम- या द्वितीय-क्रम के एसिम्प्टोटिक व्यवहार में कोई परिवर्तन नहीं होता है। यह विभिन्न डाइवर्जेंस-आधारित परीक्षणों को एक सामान्य एसिम्प्टोटिक ढांचे के तहत एकीकृत करता है।

इसके अलावा, यह कार्य दो-नमूनों के परीक्षण और रोबस्ट गुडनेस-ऑफ-फिट परीक्षण के बीच के संबंध को स्पष्ट करता है, यह दिखाते हुए कि गुटमैन टेस्ट रोबस्ट GoF सेटिंग में GLRT का एक विशिष्ट उदाहरण है। लेखक नॉन-इनवेरिएंट डाइवर्जेंस के संबंध में विनम्र रहते हैं, यह स्वीकार करते हुए कि जबकि प्रथम-क्रम इष्टतमता सुनिश्चित है, द्वितीय-क्रम व्यवहार पूरी तरह से चरित्रित नहीं है और यह डाइवर्जेंस के विशिष्ट गुणों और अंतर्निहित वितरणों पर निर्भर हो सकता है। वर्तमान विश्लेषण परिमित वर्णमाला (finite alphabets) तक सीमित है, और लेखक नोट करते हैं कि प्रथम-क्रम MMD परिणामों (जैसा कि किया गया है) के लिए द्वितीय-क्रम परिणामों को मनमाने पॉलिश स्पेस (Polish spaces) तक विस्तारित करना महत्वपूर्ण चुनौतियाँ पेश करता है, क्योंकि द्वितीय-क्रम पद वर्णमाला के आकार पर निर्भर करता है।