📊 statistics

Two-Sample Homogeneity Test via Entropic Optimal Transport

यह शोध पत्र एक सामान्य संदर्भ वितरण से एंट्रोपिक ऑप्टिमल ट्रांसपोर्ट मानचित्रों के बीच वर्ग $L^2$ -दूरी पर आधारित एक टू-सैंपल होमोजेनिटी टेस्ट प्रस्तुत करता है, जो इसके सैद्धांतिक गुणों को स्थापित करता है, अंशांकन (कैलिब्रेशन) के लिए एक वेटेड मल्टीप्लायर बूटस्ट्रैप प्रस्तावित करता है, और सिमुलेशन एवं वास्तविक डेटा अनुप्रयोगों के माध्यम से इसकी प्रतिस्पर्धी शक्ति और नैदानिक क्षमताओं का प्रदर्शन करता है।

मूल लेखक: Yiming Ma, Hang Liu, Weiwei Zhuang

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Yiming Ma, Hang Liu, Weiwei Zhuang

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या दो समूहों के लोग वास्तव में एक ही भीड़ हैं, जो बस इधर-उधर बिखरे हुए हैं, या वे मौलिक रूप से अलग समूह हैं।

सांख्यिकी (statistics) में, इसे टू-सैंपल होमोजेनिटी टेस्ट (Two-Sample Homogeneity Test) कहा जाता है। आमतौर पर, आपके पास समूह A से डेटा का एक ढेर होता है और समूह B से एक ढेर होता है। आप जानना चाहते हैं: क्या ये दोनों ढेर एक ही अंतर्निहित वास्तविकता से आ रहे हैं, या वे अलग हैं?

मौजूदा अधिकांश तरीके इस रहस्य को सुलझाने का प्रयास करते हैं जहाँ वे पूरे जटिल डेटा के आकार को एक एकल संख्या (जैसे कि एक दूरी स्कोर) में सिकोड़ देते हैं। यदि संख्या बड़ी है, तो वे कहते हैं, "अलग!" यदि संख्या छोटी है, तो वे कहते हैं, "एक समान!" लेकिन यह दो अलग-अलग शहरों की तुलना केवल उनके औसत तापमान से करने जैसा है। आप इस प्रक्रिया में उन दिलचस्प विवरणों को खो देते हैं कि वे कैसे भिन्न हैं।

यह शोध पत्र एंट्रोपिक ऑप्टिमल ट्रांसपोर्ट (Entropic Optimal Transport - EOT) की एक अवधारणा का उपयोग करके इस रहस्य को हल करने का एक नया, अधिक विस्तृत तरीका प्रस्तावित करता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

1. "यूनिवर्सल मैप" (सार्वभौमिक मानचित्र) की उपमा

समूह A की सीधे समूह B से तुलना करने के बजाय, लेखक एक तीसरे पक्ष को पेश करते हैं: एक रेफरेंस मैप (संदर्भ मानचित्र)।

सेटअप: कल्पना कीजिए कि "यूनिट बॉल सिटी" नामक एक आदर्श, खाली, गोल शहर है। इसका एक मानक ग्रिड लेआउट है।
रूपांतरण (Transformation): लेखक समूह A के लिए एक "ट्रांसपोर्ट मैप" बनाते हैं। यह मानचित्र दिखाता है कि यूनिट बॉल सिटी के प्रत्येक निवासी को उनके नए घर (समूह A के पड़ोस) में कैसे ले जाया जाए। यह हर एक व्यक्ति के लिए एक GPS रूट की तरह है।
दूसरा मानचित्र: वे समूह B के लिए भी बिल्कुल ऐसा ही करते हैं। वे एक दूसरा GPS मानचित्र बनाते हैं जो उसी यूनिट बॉल सिटी के निवासियों को समूह B के पड़ोस में ले जाने का रास्ता दिखाता है।

अब, दो अव्यवस्थित पड़ोसों की तुलना करने के बजाय, लेखक दो GPS मानचित्रों की तुलना कर रहे हैं जो बिल्कुल एक ही स्थान से शुरू होते हैं।

2. "डिफरेंस वेक्टर" (अंतर वेक्टर)

एक बार जब उनके पास ये दो मानचित्र हो जाते हैं, तो वे उनके बीच के अंतर को देखते हैं।

यूनिट बॉल सिटी के किसी भी विशिष्ट बिंदु पर, मैप A कह सकता है, "5 मील उत्तर की ओर जाएँ।"
मैप B कह सकता है, "5 मील पूर्व की ओर जाएँ।"
"विसंगति" (discrepancy) उन दोनों दिशाओं के बीच का अंतर है।

टेस्ट स्टैटिस्टिक अनिवार्य रूप से पूरे शहर में इन दो GPS मानचित्रों के बीच की कुल वर्ग दूरी (total squared distance) है। यदि मानचित्र समान हैं, तो समूह एक ही हैं। यदि मानचित्र बहुत अलग दिशाओं में संकेत करते हैं, तो समूह अलग हैं।

3. यह बेहतर क्यों है ("डायग्नोस्टिक" शक्ति)

पेपर का दावा है कि इस तरीके में दो महाशक्तियाँ हैं:

यह केवल एक न्यायाधीश नहीं, बल्कि एक जासूस है: अधिकांश परीक्षण केवल आपको "हाँ/नहीं" का उत्तर देते हैं। यह विधि आपको अंतर का एक दृश्य मानचित्र (visual map) देती है।
- यदि समूह A केवल समूह B से थोड़ा दाईं ओर खिसका हुआ है, तो मानचित्र दाईं ओर इशारा करने वाला एक समान तीर दिखाएगा।
- यदि समूह B अधिक फैला हुआ है (बड़ा विचरण/variance), तो मानचित्र एक स्टारबर्स्ट की तरह बाहर की ओर फैलते हुए तीर दिखाएगा।
- यदि चरों (variables) के बीच का संबंध मुड़ा हुआ है, तो यह एक शेयरिंग (shearing) या घुमावदार पैटर्न दिखाएगा।
- उपमा: यह एक मौसम मानचित्र को देखने जैसा है। एक मानक परीक्षण केवल यह बताता है कि "बारिश हो रही है।" यह परीक्षण आपको दिखाता है कि कहाँ बारिश हो रही है, कितनी तेज़ गिर रही है, और हवा किस दिशा में चल रही है।
यह जटिलता को अच्छी तरह से संभालता है: लेखक गणितीय रूप से सिद्ध करते हैं कि यदि मानचित्र अलग हैं, तो समूह भी निश्चित रूप से अलग होंगे (identifiability)। वे यह भी दिखाते हैं कि उनका तरीका समूहों के बीच सूक्ष्म अंतर का पता लगाने में बहुत प्रभावी है (high power), विशेष रूप से जब अंतर स्थान का बदलाव (जैसे माध्य/mean का शिफ्ट) हो।

4. "बूटस्ट्रैप" सुरक्षा जाल

चूंकि इन अंतरों की सटीक गणितीय संभावना की गणना करना अत्यंत कठिन है (जैसे कि हर बूंद के गिरने के सटीक पथ की भविष्यवाणी करना), लेखक एक चतुर तकनीक का उपयोग करते हैं जिसे वेटेड मल्टीप्लायर बूटस्ट्रैप (Weighted Multiplier Bootstrap) कहा जाता है।

उपमा: कल्पना कीजिए कि आपके पास ताश की एक गड्डी है जो आपके डेटा का प्रतिनिधित्व करती है। यह देखने के लिए कि क्या आपका परिणाम महज एक इत्तेफाक है, आप गड्डी को फेंटते हैं, उसमें कुछ यादृच्छिक शोर (multipliers) जोड़ते हैं, और इस परीक्षण को हजारों बार फिर से चलाते हैं।
ऐसा करके, वे एक "कॉन्फिडेंस ज़ोन" (विश्वास क्षेत्र) बनाते हैं ताकि यह तय किया जा सके कि जो अंतर उन्होंने पाया है वह वास्तविक है या केवल यादृच्छिक शोर। पेपर सिद्ध करता है कि यह तकनीक विश्वसनीय रूप से काम करती है।

5. वास्तविक दुनिया का परीक्षण: बाइक राइडर्स

इसे सिद्ध करने के लिए, उन्होंने जर्सी सिटी के सिटी बाइक (Citi Bike) डेटा पर इसका परीक्षण किया।

प्रश्न: क्या "मेंबर" (सदस्य) राइडर्स और "कैजुअल" (साधारण) राइडर्स अपनी यात्रा एक ही स्थान से शुरू करते हैं?
परिणाम: परीक्षण ने कहा "नहीं, वे अलग हैं।"
बोनस: मानचित्र ने केवल "नहीं" नहीं कहा। इसने दिखाया कि कहाँ अंतर था। इसने खुलासा किया कि जबकि दोनों समूह डाउनटाउन क्षेत्र में सवारी करते हैं, उनकी तीव्रता और विशिष्ट शुरुआती स्थान इस तरह भिन्न थे जिन्हें एक साधारण "औसत" परीक्षण शायद मिस कर देता। इसने दिखाया कि मेंबर्स और कैजुअल्स के उपयोग के पैटर्न अलग-अलग हैं।

सारांश

यह शोध पत्र एक नया सांख्यिकीय उपकरण पेश करता है जो दो समूहों की तुलना एक सामान्य, मानक संदर्भ के विरुद्ध मानचित्रित करके करता है।

पुराना तरीका: दो अव्यवस्थित डेटा ढेरों की तुलना एक पैमाने (ruler) से करना (एक संख्या प्राप्त करना)।
नया तरीका: उन ढेरों तक पहुँचने के विस्तृत दो GPS मानचित्रों की तुलना करना (एक दृश्य, दिशात्मक मानचित्र प्राप्त करना)।

लेखक दिखाते हैं कि यह नया तरीका गणितीय रूप से सुदृढ़ है, कंप्यूटर के अनुकूल है, और आपको इस बारे में कहीं अधिक समृद्ध जानकारी देता है कि दो समूह एक-दूसरे से कैसे भिन्न हैं, न कि केवल यह कि वे भिन्न हैं।

तकनीकी सारांश: एंट्रोपिक ऑप्टिमल ट्रांसपोर्ट के माध्यम से टू-सैंपल होमोजेनिटी टेस्ट

समस्या विवरण
यह शोध पत्र मल्टीवेरिएट सेटिंग्स ( $d \ge 1$ ) में टू-सैंपल होमोजेनिटी टेस्टिंग की मौलिक सांख्यिकीय समस्या को संबोधित करता है। अज्ञात वितरण $P$ और $Q$ से प्राप्त दो स्वतंत्र नमूनों (samples) को देखते हुए, लक्ष्य शून्य परिकल्पना $H_0: P = Q$ के विरुद्ध $H_1: P \neq Q$ का परीक्षण करना है। यूनिवैरिएट टेस्टिंग को कैनोनिकल ऑर्डरिंग (जैसे क्वांटाइल फंक्शन्स) से लाभ मिलता है, लेकिन मल्टीवेरिएट टेस्टिंग में कोई स्वाभाविक क्रम नहीं होता, जिससे ऐसे वितरण संबंधी निरूपण (distributional representations) बनाना कठिन हो जाता है जो ज्यामितीय संरचना को संरक्षित कर सकें। मौजूदा विधियाँ, जैसे कि एनर्जी डिस्टेंस, कर्नल-आधारित मैक्सिमम मीन डिसेंट्रेशन (MMD), और ग्राफ-आधारित सांख्यिकी, आमतौर पर वितरण संबंधी अंतरों को एक एकल स्केलर मान में संकुचित कर देती हैं। यह एकत्रीकरण अक्सर मैप-लेवल की जानकारी को त्याग देता है कि एक वितरण दूसरे वितरण या एक सामान्य संदर्भ के सापेक्ष कैसे व्यवस्थित है। इसके अलावा, मल्टीवेरिएट सेटिंग्स में एम्पिरिकल वासरस्टीन दूरियों (Wasserstein distances) पर आधारित निष्कर्ष निकालना अक्सर गणनात्मक रूप से महंगा होता है और इसमें गैर-मानक एसिम्प्टोटिक्स (asymptotics) की समस्या होती है।

कार्यप्रणाली
लेखक एक सामान्य संदर्भ वितरण (common reference distribution) से एंट्रोपिक ऑप्टिमल ट्रांसपोर्ट (EOT) मैप्स पर आधारित होमोजेनिटी टेस्ट प्रस्तावित करते हैं। कार्यप्रणाली इस प्रकार है:

सामान्य संदर्भ निर्माण: मान लीजिए $U_d$ यूनिट बॉल $B_d \subset \mathbb{R}^d$ पर यूनिफॉर्म डिस्ट्रीब्यूशन है। किसी भी लक्ष्य वितरण $P$ के लिए, विधि $B_d \to \mathbb{R}^d$ के लिए एक एंट्रोपिक ट्रांसपोर्ट मैप $T_{\varepsilon, P}$ को परिभाषित करती है। यह मैप $U_d$ और $P$ के बीच अद्वितीय एंट्रोपिक ऑप्टिमल कपलिंग $\pi_{\varepsilon, P}$ का बेरसेंट्रिक प्रोजेक्शन (barycentric projection) है, जो लागत $\int \frac{1}{2}\|u-x\|^2 d\pi + \varepsilon \text{KL}(\pi \| U_d \otimes P)$ को न्यूनतम करता है।
एम्पिरिकल अनुमान: दिए गए नमूने $X_1, \dots, X_n \sim P$ और $Y_1, \dots, Y_m \sim Q$ को देखते हुए, जनसंख्या मैप्स को उनके एम्पिरिकल समकक्षों $\hat{T}_{\varepsilon, n}$ और $\hat{T}_{\varepsilon, m}$ द्वारा अनुमानित किया जाता है, जहाँ स्रोत वितरण (source distribution) स्थिर $U_d$ रहता है (जिसे संदर्भ नमूने द्वारा संख्यात्मक रूप से अनुमानित किया जाता है) और लक्ष्य को एम्पिरिकल मेजर्स $P_n$ और $Q_m$ द्वारा प्रतिस्थापित किया जाता है।
टेस्ट स्टैटिस्टिक: टेस्ट स्टैटिस्टिक $T_{n,m}$ संदर्भ डोमेन पर दो एम्पिरिकल मैप्स के बीच स्केल्ड स्क्वेर्ड $L^2$ -डिस्टेंस है:
$T_{n,m} = \frac{nm}{n+m} \int_{B_d} \| \hat{T}_{\varepsilon, n}(u) - \hat{T}_{\varepsilon, m}(u) \|^2 dU_d(u).$
कैलिब्रेशन: चूंकि $T_{n,m}$ का नल डिस्ट्रीब्यूशन अज्ञात कोवेरिएंस स्ट्रक्चर (जो कि नॉन-पिवोटल है) पर निर्भर करता है, लेखक एक वेटेड मल्टीप्लायर बूटस्ट्रैप (weighted multiplier bootstrap) प्रस्तावित करते हैं। यह प्रक्रिया स्थिर स्रोत को रखते हुए एम्पिरिकल टार्गेट मेजर्स को अलग-अलग पुन: भारित (reweight) करती है, जिससे क्रिटिकल वैल्यूज को अनुमानित करने के लिए एक कंडिशनल डिस्ट्रीब्यूशन उत्पन्न होता है।

प्रमुख योगदान
यह शोध पत्र इस मैप-आधारित टेस्टिंग फ्रेमवर्क के सैद्धांतिक और व्यावहारिक आधार स्थापित करता है:

आइडेंटिफिएबिलिटी (Identifiability): कॉम्पैक्ट सपोर्ट और फिक्स्ड रेगुलराइजेशन धारणाओं के तहत, लेखक सिद्ध करते हैं कि जनसंख्या EOT मैप अंतर्निहित वितरण को विशिष्ट रूप से निर्धारित करता है। विशेष रूप से, $T_{\varepsilon, P} = T_{\varepsilon, Q}$ $U_d$ -लगभग हर जगह (almost everywhere) है यदि और केवल यदि $P = Q$ है। यह सुनिश्चित करता है कि जनसंख्या विसंगति (discrepancy) शून्य के तहत सटीक रूप से समाप्त हो जाती है।
एसिम्प्टोटिक थ्योरी:
- नल लिमिट: $H_0$ के तहत एम्पिरिकल मैप अंतर के लिए एक फंक्शनल सेंट्रल लिमिट थ्योरम (FCLT) व्युत्पन्न किया गया है। स्टैटिस्टिक एक गौसियन क्वाड्रेटिक फॉर्म $\sum \omega_k Z_k^2$ में अभिसरित होता है, जहाँ $\omega_k$ लिमिटिंग गौसियन फील्ड के कोवेरिएंस ऑपरेटर के आइजनवैल्यूज़ हैं।
- कंसिस्टेंसी (Consistency): टेस्ट को फिक्स्ड अल्टरनेटिव्स ( $P \neq Q$ ) के विरुद्ध कंसिस्टेंट दिखाया गया है, जहाँ स्टैटिस्टिक अनंत की ओर बढ़ता है।
- लोकल पावर: कंटिग्यूअस लोकल अल्टरनेटिव्स के तहत टेस्ट की एसिम्प्टोटिक पावर को भी वर्णित किया गया है, जो यह दर्शाता है कि टेस्ट वितरणों के टेंजेंट दिशाओं में अंतर के प्रति संवेदनशील है।
बूटस्ट्रैप वैधता: वेटेड मल्टीप्लायर बूटस्ट्रैप की वैधता स्थापित की गई है, जो यह सिद्ध करती है कि बूटस्ट्रैप स्टैटिस्टिक का कंडिशनल डिस्ट्रीब्यूशन नल लिमिट डिस्ट्रीब्यूशन का निरंतर अनुमान लगाता है।
डायग्नोस्टिक क्षमता: स्केलर डिसक्रेपेंसी टेस्ट के विपरीत, यह विधि एक अनुमानित वेक्टर फील्ड ( $\hat{T}_{\varepsilon, n} - \hat{T}_{\varepsilon, m}$ ) प्रदान करती है जो वितरण संबंधी अंतरों (जैसे ट्रांसलेशन, रेडियल एक्सपेंशन, शीयर) की दिशा और प्रकृति को विज़ुअलाइज़ करती है।

परिणाम
व्यापक संख्यात्मक प्रयोग और वास्तविक-डेटा अनुप्रयोग सैद्धांतिक निष्कर्षों का समर्थन करते हैं:

फाइनाइट-सैंपल कैलिब्रेशन: वेटेड मल्टीप्लायर बूटस्ट्रैप विभिन्न नल डिस्ट्रीबशंस (गौसियन, स्टूडेंट-t, गौसियन मिक्सचर) और आयामों ( $d=2, 5, 10$ ) के लिए विश्वसनीय साइज कंट्रोल प्रदान करता है, जिसमें एम्पिरिकल रिजेक्शन रेटات नाममात्र स्तर (0.05) के करीब हैं।
पावर: टेस्ट मौजूदा विधियों (Energy, MMD, Sinkhorn divergence, k-NN, Wasserstein, OT-rank) के विरुद्ध प्रतिस्पर्धी पावर प्रदर्शित करता है। यह लोकेशन अल्टरनेटिव्स के तहत विशेष रूप से मजबूत प्रदर्शन करता है, जहाँ मैप्स के बीच सुसंगत दिशात्मक विस्थापन को आसानी से पकड़ा जा सकता है। यह स्केल, कोरिलेशन और मिक्सचर अल्टरनेटिव्स के तहत भी मजबूत पावर दिखाता है, हालांकि विशिष्ट अल्टरनेटिव और आयाम के आधार पर अन्य विधियों के सापेक्ष प्रदर्शन भिन्न होता है।
कंप्यूटेशनल एफिशिएंसी: जबकि EOT-मैप टेस्ट, एनर्जी या MMD की तुलना में धीमा है, यह परम्यूटेशन-कैलिब्रेटेड सिंकहॉर्न डायवर्जेंस की तुलना में तेज़ है। गणनात्मक लागत को संदर्भ बिंदुओं की संख्या $N$ के माध्यम से ट्यून किया जा सकता है; मध्यम $N$ मान स्थिर पावर और साइज प्रदान करते हुए रनटाइम को काफी कम कर देते हैं।
रियल-डेटा एप्लीकेशन: सिटी बाइक ट्रिप डेटा (मेंबर बनाम कैजुअल राइडर्स) पर लागू करने पर, टेस्ट ने शुरुआती स्थान के वितरणों में महत्वपूर्ण अंतर का पता लगाया। मैप-लेवल विज़ुअलाइज़ेशन ने खुलासा किया कि विसंगति केवल एक वैश्विक बदलाव नहीं थी, बल्कि इसमें जटिल स्थानिक विविधताएं शामिल थीं, जिसमें कोऑर्डिनेट-वाइज डिकंपोजिशन ने देशांतर (longitude) और अक्षांश (latitude) दोनों के योगदान को दिखाया।

महत्व और दावे
यह शोध पत्र प्रस्तावित EOT-मैप टेस्ट को मौजूदा स्केलर डिसक्रेपेंसी टेस्ट के एक प्रतिस्पर्धी और व्याख्या योग्य पूरक के रूप में प्रस्तुत करता है, न कि एक समान रूप से प्रभावी प्रतिस्थापन के रूप में। इसका प्राथमिक महत्व निम्नलिखित है:

ज्यामितीय व्याख्यात्मकता (Geometric Interpretability): यह वितरण संबंधी परिवर्तनों के बारे में दिशात्मक और ज्यामितीय जानकारी बनाए रखता है, जिससे शोधकर्ताओं को केवल यह जानने के बजाय कि वे कैसे भिन्न हैं (जैसे वेक्टर फील्ड विज़ुअलाइज़ेशन के माध्यम से), यह निदान करने की अनुमति मिलती है।
सैद्धांतिक कठोरता: यह फिक्स्ड रेगुलराइजेशन के तहत EOT मैप्स के लिए एक कठोर लिमिट थ्योरी प्रदान करता है, जो अनरेगुलराइज्ड वासरस्टीन दूरियों से जुड़े गैर-मानक एसिम्प्टोटिक्स की समस्या को हल करता है।
व्यावहारिक उपयोगिता: विधि सांख्यिकीय पावर, गणनात्मक व्यवहार्यता (सिंकहॉर्न एल्गोरिदम और बूटस्ट्रैप के माध्यम से), और डायग्नोस्टिक अंतर्दृष्टि के बीच एक व्यावहारिक संतुलन प्रदान करती है, जो इसे उन अनुप्रयोगों के लिए उपयुक्त बनाती है जहाँ वितरण परिवर्तन की संरचना को समझना उतना ही महत्वपूर्ण है जितना कि स्वयं टेस्ट का निर्णय लेना।