📊 statistics

Wilcoxon-Mann-Whitney Test of No Group Discrimination

यह शोध पत्र इस सामान्य गलतफहमी को सुधारता है कि विल्कोक्सन-मैन-व्हिटनी परीक्षण वितरणों की समानता ( $F=G$ ) या स्टोकेस्टिक प्रभुत्व का आकलन करता है, बल्कि यह प्रदर्शित करता है कि यह विशेष रूप से यह परीक्षण करता है कि कर्व के नीचे का क्षेत्र (AUC) 0.5 के बराबर है, साथ ही इस मानकीकृत सांख्यिकी के लिए व्युत्पन्न स्पर्शोन्मुखी वितरण और परिमित नमूना पूर्वाग्रह सुधार भी प्रदान करता है।

मूल लेखक: Marian Grendar

प्रकाशित 2026-07-22

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Marian Grendar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

महान सांख्यिकीय गड़बड़ी (The Great Statistical Mix-Up)

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: "क्या ये दो समूह वास्तव में अलग हैं?" सांख्यिकी (statistics) की दुनिया में, यह एक क्लासिक समस्या है। आपके पास डेटा के दो ढेर हैं—शायद दो अलग-अलग स्कूलों के टेस्ट स्कोर, या एथलीटों के दो समूहों के रिएक्शन टाइम। यह पता लगाने के लिए कि क्या वे ढेर वास्तव में भिन्न हैं, सांख्यिकीविदों ने लंबे समय से विल्कोक्सन-मैन-व्हिटनी (Wilcoxon-Mann-Whitney - WMW) नामक एक प्रसिद्ध उपकरण का उपयोग किया है। इस परीक्षण को एक दौड़ में रेफरी के रूप में सोचें। इसे इस बात से फर्क नहीं पड़ता कि हर धावक की सटीक गति क्या है; इसके बजाय, यह देखता है कि कौन किसके आगे रहा। यदि समूह A लगातार समूह B को हराता है, तो रेफरी झंडा उठाता है और कहता है, "ये समूह अलग हैं!"

द दशकों से, इस रेफरी के लिए नियम पुस्तिका सरल लेकिन थोड़ी गलत समझी जाने वाली रही है। मानक स्पष्टीकरण यह था कि परीक्षण यह जांचता है कि क्या दोनों समूह बिल्कुल एक ही "वितरण" (distribution) से आते हैं—जो एक फैंसी तरीका है यह कहने का कि, "क्या इन दो नंबरों के ढेर हर तरह से बिल्कुल एक जैसे दिखते हैं?" यदि वे एक जैसे नहीं दिखते हैं, तो परीक्षण को "अलग!" चिल्लाना चाहिए। हालाँकि, यह पेपर तर्क देता है कि रेफरी वास्तव में गलत स्कोरबोर्ड देख रहा है। लेखक, एम. ग्रेनडार (M. Grendár), सुझाव देते हैं कि परीक्षण वास्तव में यह जांच नहीं रहा है कि क्या ढेर बिल्कुल समान दिखते हैं; यह कुछ बहुत अधिक विशिष्ट चीज़ की जांच कर रहा है: "क्या एक समूह के पास दूसरे को हराने का बेहतर मौका है?" इसे "एरिया अंडर द कर्व" (Area Under the Curve - AUC) कहा जाता है। यदि AUC 0.5 है, तो इसका मतलब है कि मुकाबला एक सिक्के के उछाल (coin flip) जैसा है, और समूह आपस में पहचाने नहीं जा सकते कि कौन जीत रहा है। यदि यह कुछ भी और है, तो एक समूह के पास व्यवस्थित लाभ है। यह क्यों मायने रखता है? क्योंकि यदि आप पुराने नियम पुस्तिका का उपयोग तब करते हैं जब समूह अजीब तरीकों से अलग होते हैं (जैसे कि डेटा का फैलाव अलग होना लेकिन औसत समान होना), तो रेफरी भ्रमित हो सकता है और आपको गलत उत्तर दे सकता है।

प्लॉट ट्विस्ट: यह "एक जैसा दिखने" के बारे में नहीं है

पेपर इस बात पर ध्यान केंद्रित करते हुए शुरू होता है कि हम वर्षों से इस परीक्षण का उपयोग करने के तरीके में एक तार्किक त्रुटि (logical glitch) है। पारंपरिक रूप से, पाठ्यपुस्तकें कहती हैं कि WMW परीक्षण शून्य परिकल्पना (null hypothesis) की जांच करता है: "दोनों समूह समान हैं ( $F = G$ )।" यदि परीक्षण अंतर पाता है, तो इसका मतलब है कि समूह समान नहीं हैं। लेकिन लेखक दिखाते हैं कि यह बहुत व्यापक है।

इसे साबित करने के लिए, लेखक डेटा के दो समूहों के साथ एक सिमुलेशन चलाते हैं जो निश्चित रूप से समान नहीं हैं। कल्पना कीजिए कि धावकों का एक समूह बहुत सुसंगत (consistent) है (वे सभी एक ही गति से दौड़ते हैं), जबकि दूसरा समूह अराजक (chaotic) है (कुछ बहुत तेज़ दौड़ते हैं, कुछ बहुत धीरे)। सांख्यिकistically, ये दो समूह अलग हैं; उनके आकार पूरी तरह से भिन्न हैं। पुरानी नियम पुस्तिका के अनुसार, WMW परीक्षण को उन्हें अलग घोषित करना चाहिए। लेकिन यहाँ ट्विस्ट है: जब लेखक ने इन बेमेल समूहों पर 10,000 बार परीक्षण चलाया, तो परिणाम लगभग ठीक 0.5 था। परीक्षण ने इस तरह व्यवहार किया जैसे कि समूह समान हों, भले ही वे स्पष्ट रूप से नहीं थे।

यह एक विरोधाभास पैदा करता है। यदि परीक्षण ने "पूर्ण समानता" की जांच करने का दावा किया होता, तो उसे "अलग!" चिल्लाना चाहिए था जब आकार इतने अलग थे। इसके बजाय, वह चुप रहा। लेखक निष्कर्ष निकालते हैं कि परीक्षण वास्तव में यह नहीं देख रहा है कि समूह एक जैसे दिखते हैं या नहीं; यह एक बहुत ही संकीर्ण प्रश्न की जांच कर रहा है: "क्या समूह A के एक यादृच्छिक व्यक्ति के समूह B के एक यादृच्छिक व्यक्ति को हराने की संभावना 50% है?" लेखक के शब्दों में, परीक्षण वास्तव में यह जांच रहा है कि AUC = 0.5 है या नहीं।

वास्तविक लक्ष्य: एक-पर-एक मुकाबले में कौन जीतता है?

तो, परीक्षण वास्तव में क्या कर रहा है? पेपर का तर्क है कि WMW परीक्षण एक "भेदभाव" (discrimination) उपकरण है। यह पूछता है: यदि आप समूह A से एक व्यक्ति और समूह B से एक व्यक्ति चुनते हैं और उन्हें दौड़ने के लिए कहते हैं, तो किसकी जीतने की अधिक संभावना है?

यदि उत्तर है "यह 50/50 का सिक्का उछाल है," तो AUC 0.5 है, और परीक्षण कहता है, "यहाँ कोई भेदभाव नहीं है।"
यदि समूह A 60% बार जीतता है, तो AUC 0.6 है, और परीक्षण कहता है, "एक व्यवस्थित लाभ है!"

पेपर इस बात पर प्रकाश डालता है कि पारंपरिक "वैकल्पिक परिकल्पना" (alternative hypothesis) (यह विचार कि समूह अलग हैं) बहुत संकीर्ण है। लोग अक्सर सोचते हैं कि परीक्षण केवल तभी काम करता है जब एक समूह सीधे रेखा में दूसरे से बेहतर होता है (जैसे एक समूह हमेशा तेज़ दौड़ता है)। लेकिन लेखक बताते हैं कि परीक्षण वास्तव में किसी भी ऐसी स्थिति के विरुद्ध सुसंगत है जहाँ AUC 0.5 नहीं है। इसमें वे मामले भी शामिल हैं जहाँ समूह एक-दूसरे को कई बार पार करते हैं, जब तक कि एक पक्ष का शुद्ध लाभ (net advantage) मौजूद हो। परीक्षण "कौन जीतता है" का पता लगाने में माहिर है, न कि "कौन एक जैसा दिखता है" का।

गणित को ठीक करना: "बायस" (Bias) की समस्या

एक बार जब लेखक ने यह स्थापित कर लिया कि परीक्षण वास्तव में AUC के बारे में है, तो उन्हें एहसास हुआ कि हम परिणामों में "विश्वास" (confidence) की गणना करने के लिए जिस गणित का उपयोग कर रहे थे, वह थोड़ा गलत था। पुराने फॉर्मूलों ने माना था कि समूह हर तरह से समान हैं, जिससे गणनाओं में एक छोटी लेकिन वास्तविक त्रुटि (जिसे "बायस" कहा जाता है) हुई, विशेष रूप से जब नमूना आकार (sample sizes) छोटे थे।

पेपर विचरण (variance - परिणामों का प्रसार) की गणना करने का एक नया, सुधारा गया तरीका व्युत्पन्न करता है।

समस्या: पुराना गणित इस तथ्य को ध्यान में नहीं रखता था कि हम एक सीमित नमूने से AUC का अनुमान लगा रहे हैं, जिससे एक छोटा सा ऊपर की ओर बायस आता है।
समाधान: लेखक एक "बायस-करेक्टेड" (bias-corrected) फॉर्मूला बनाते हैं। वे दिखाते हैं कि यदि आप एक विशिष्ट सुधार कारक (correction factor) घटाते हैं (जो नमूना आकार पर निर्भर करता है), तो आपको अनिश्चितता की बहुत अधिक सटीक तस्वीर मिलती है।
परिणाम: वे विश्वास अंतराल (confidence intervals - वह सीमा जहाँ वास्तविक उत्तर होने की संभावना है) बनाने का एक नया तरीका प्रदान करते हैं जो "टाईज़" (ties - जब दो धावक ठीक एक ही समय पर समाप्त होते हैं) के साथ भी काम करता है। यह महत्वपूर्ण है क्योंकि वास्तविक दुनिया का डेटा शायद ही कभी पूर्ण होता है; इसमें अक्सर 'टाईज़' होते हैं।

लेखक यह भी उल्लेख करते हैं कि बहुत छोटे समूहों (कुल 20 से कम लोग) के लिए, मानक गणित बिल्कुल विश्वसनीय नहीं है, इसलिए वे एक अलग विधि की सिफारिश करते हैं जिसे "स्टूडेंटाइज्ड परम्यूटेशन टेस्ट" (studentized permutation test) कहा जाता है, जो कंप्यूटर सिमुलेशन में दौड़ को बार-बार चलाने जैसा है ताकि देखा जा सके कि क्या होता है।

टूलकिट: दौड़ चलाने का एक नया तरीका

यह सुनिश्चित करने के लिए कि लोग इन नए निष्कर्षों का वास्तव में उपयोग कर सकें, लेखक ने wmwAUC नामक एक R पैकेज विकसित किया है। यह सॉफ्टवेयर परीक्षण चलाने के दो मुख्य तरीके प्रदान करता है:

"एक्सैक्ट अनबायस्ड" (Exact Unbiased - EU) विधि: यह लेखक द्वारा अनुशंसित स्वर्ण मानक (gold standard) है। यह 'टाईज़' को पूरी तरह से संभालता है और नए, सुधारे गए गणित का उपयोग करता है। यह सबसे विश्वसनीय विकल्प है, विशेष रूप से छोटे समूहों के लिए।
"बायस-करेक्टेड" (Bias-Corrected - BC) विधि: यह एक थोड़ा अधिक रूढ़िवादी दृष्टिकोण है जो अतिरिक्त सावधानी बरतने की कोशिश करता है।

पेपर इस बात पर जोर देता है कि जबकि पुराने तरीके सरल मामलों में ठीक काम कर सकते हैं, वे तब विफल हो सकते हैं जब डेटा अव्यवस्थित हो या समूह अजीब तरीकों से अलग हों (जैसे कि अलग विचरण/variances होना)। नई विधियाँ यह सुनिश्चित करती हैं कि जब आप कहते हैं कि "ये समूह अलग हैं," तो आप वास्तव में यह कह रहे होते हैं कि मुकाबला जीतने में वास्तविक अंतर है, न कि गलत फॉर्मूले के उपयोग के कारण उत्पन्न एक सांख्यिकीय भ्रम।

मुख्य निष्कर्ष (The Takeaway)

संक्षेप में, यह पेपर सांख्यिकी में लंबे समय से चली आ रही गलतफहमी का एक सुधार है। यह हमें बताता है कि विल्कोक्सन-मैन-व्हिटनी परीक्षण एक सामान्य "क्या ये समूह समान हैं?" डिटेक्टर नहीं है। यह एक विशिष्ट "मैचअप में कौन जीतता है?" डिटेक्टर है। हमारा ध्यान "वितरण समानता" से हटाकर "AUC = 0.5" पर केंद्रित करके, और छोटे नमूना आकार और 'टाईज़' को ध्यान में रखते हुए गणित को ठीक करके, हमें एक बहुत अधिक स्पष्ट और ईमानदार तस्वीर मिलती है कि क्या दो समूह वास्तव में अलग हैं। लेखक केवल त्रुटि की ओर इशारा नहीं करते हैं; वे इसे ठीक करने के लिए सुधारे गए फॉर्मूले और सॉफ्टवेयर टूल भी प्रदान करते हैं, जिससे यह सुनिश्चित होता है कि भविष्य के जासूसों को सही निर्णय मिले।

तकनीकी सारांश: समूह विभेद के अभाव का विल्कोक्सन-मैन-व्हिटनी परीक्षण

समस्या विवरण
यह शोध पत्र विल्कोक्सन-मैन-व्हिटनी (WMW) परीक्षण के पारंपरिक निरूपण को चुनौती देता है, जिसे वितरण समानता ( $H_0: F = G$ ) के परीक्षण के रूप में व्यापक रूप से पढ़ाया और लागू किया जाता है, जिसके विरुद्ध स्टोकेस्टिक डोमिनेंस (stochastic dominance) या सामान्य असमानता ( $H_1: F \neq G$ ) की वैकल्पिक परिकल्पनाएं होती हैं। लेखक का तर्क है कि यह निरूपण तार्किक रूप से त्रुटिपूर्ण है। विशेष रूप से, परीक्षण वितरणों $F$ और $G$ के भिन्न होने पर भी (जैसे समान माध्य वाले सामान्य वितरण जिनमें भिन्न प्रसरण/variance होते हैं) शून्य परिकल्पना को अस्वीकार करने में विफल हो सकता है। ऐसे मामलों में, पारंपरिक शून्य $F=G$ असत्य होता है, फिर भी परीक्षण सांख्यिकी अपने शून्य मान पर केंद्रित रहती है, जो एक विरोधाभास उत्पन्न करती है। यह शोध पत्र प्रतिपादित करता है कि WMW परीक्षण वास्तव में वितरण समानता का परीक्षण नहीं करता है, बल्कि व्यवस्थित युग्मवार विभेदन (systematic pairwise discrimination) के अभाव का परीक्षण करता है।

कार्यप्रणाली और सैद्धांतिक ढांचा
यह शोध पत्र WMW परीक्षण सांख्यिकी $U$ को अनुभवजन्य 'एरिया अंडर द कर्व' (eAUC) के रूप में पुनर्व्याख्यायित करता है, जहाँ $\hat{A} = \frac{U}{n_1 n_2} = \widehat{P}(X < Y)$ है। मुख्य पद्धतिगत योगदान संशोधित शून्य परिकल्पना के तहत इस सांख्यिकी के सही स्पर्शोन्मुखी वितरण (asymptotic distribution) और परिमित-नमूना गुणों (finite-sample properties) को प्राप्त करने में निहित हैं।

सही परिकल्पना निरूपण:
शोध पत्र स्थापित करता है कि WMW परीक्षण वास्तव में निम्नलिखित का परीक्षण करता है:

शून्य (Null): $H_0: \text{AUC} = 0.5$ (कोई समूह विभेदन नहीं)।
वैकल्पिक (Alternative): $H_1: \text{AUC} \neq 0.5$ (व्यवस्थित युग्मवार प्रभुत्व/dominance)।
यह वैन डैंटज़िग (1951) के निरंतरता परिणाम (consistency result) के अनुरूप है, जिसने दिखाया था कि यह परीक्षण किसी भी ऐसी वैकल्पिक परिकल्पना के विरुद्ध सुसंगत है जहाँ $P(Y < X) \neq 0.5$ , चाहे स्टोकेस्टिक डोमिनेंस हो या न हो।

स्पर्शोन्मुखी वितरण (Asymptotic Distribution):
लेखक $H_0: \text{AUC} = A_0$ के तहत मानकीकृत अनुभवजन्य AUC के स्पर्शोन्मुखी वितरण को व्युत्पन्न करता है। U-सांख्यिकी सिद्धांत और होफडिंग प्रोजेक्शन (Hoeffding projections) का उपयोग करते हुए, शोध पत्र दिखाता है कि $\sqrt{n}(\hat{A} - A_0)$ एक सामान्य वितरण $N(0, \sigma^2)$ की ओर अभिसरित होता है, जहाँ प्रसरण $\sigma^2$ प्लेसमेंट चरों $G(X)$ और $F(Y)$ के प्रसरणों पर निर्भर करता है। महत्वपूर्ण रूप से, यह प्रसरण संरचना $F=G$ की धारणा के तहत व्युत्पन्न पारंपरिक प्रसरण अनुमानक से भिन्न है।
परिमित-नमूना पूर्वाग्रह सुधार (Finite-Sample Bias Correction):
शोध पत्र प्लेसमेंट चरों के नैव (naive) प्रसरण अनुमानकों में एक परिमित-नमूना पूर्वाग्रह की पहचान करता है। यह सटीक $O(n^{-1})$ क्रम के पूर्वाग्रह पदों को व्युत्पन्न करता है और पूर्वाग्रह-सुधारित अनुमानक ( $\hat{\zeta}^{2*}$ ) प्रस्तावित करता है जो इन सटीक पूर्वाग्रह घटकों को घटाते हैं।
टाई (Ties) का प्रबंधन:
वास्तविक दुनिया के डेटा में अक्सर 'टाई' (समान मान) होते हैं, इसे पहचानते हुए, शोध पत्र मध्य-रैंक कर्नेल $h(x,y) = 1\{x < y\} + \frac{1}{2}1\{x=y\}$ का उपयोग करके निरंतर या विविक्त (discretized continuous) चरों के लिए सिद्धांत का विस्तार करता है।

एक सटीक परिमित-नमूना निष्पक्ष प्रसरण अनुमानक, पुल्ड सैंपल वेरिएंस और रो/कॉल मीन वेरिएंस के रैखिक संयोजन के माध्यम से व्युत्पन्न किया गया है (प्रमेय 1)।
'टाई' की उपस्थिति में स्पर्शोन्मुखी वितरण यह दर्शाता है कि यह अभी भी समान सामान्य रूप बनाए रखता है, जिसमें टाई-सुधारित प्रसरण घटकों में 'टाई' की प्रायिकताएं ( $\pi_X, \pi_Y$ ) शामिल हैं।

अनुमान और कार्यान्वयन:
शोध पत्र परिकल्पना को उलटने (inverting) द्वारा "स्यूडोमेडियन" (वह शिफ्ट पैरामीटर $\theta$ जिसके लिए $\text{AUC}(X, Y+\theta) = 0.5$ ) के लिए विश्वास अंतराल (confidence intervals) बनाने का प्रस्ताव करता है। दो विशिष्ट अनुमान विधियों को R पैकेज wmwAUC में लागू किया गया है:

सटीक निष्पक्ष (Exact Unbiased - EU): यह सटीक परिमित-नमूना निष्पक्ष प्रसरण अनुमानक (प्रमेय 1) और छोटे नमूनों ( $n < 20$ ) के लिए स्टूडेंटाइज्ड परम्यूटेशन टेस्ट का उपयोग करता है।
पूर्वाग्रह-सुधारित (Bias-Corrected - BC): यह निरंतर डेटा के लिए व्युत्पन्न पूर्वाग्रह सुधार को 'टाई' की उपस्थिति में भी प्रसरण घटकों पर लागू करता है (जिसे अनुभवजन्य रूप से सत्यापित किया गया है)।

मुख्य परिणाम

तार्किक सुसंगतता: शोध पत्र प्रदर्शित करता है कि $H_0: \text{AUC} = 0.5$ के तहत, परीक्षण सांख्यिकी सही ढंग से व्यवहार करती है भले ही $F \neq G$ हो (जैसे, समान माध्य वाले भिन्न प्रसरण के मामले में), जिससे उस विरोधाभास का समाधान होता है जहाँ पारंपरिक परीक्षण एक असत्य $F=G$ परिकल्पना को अस्वीकार करने में विफल रहता है।
प्रसरण अनुमान (Variance Estimation): व्युत्पन्न प्रसरण अनुमानक (दोनों स्पर्शोन्मुखी और सटीक परिमित-नमूना) सही शून्य परिकल्पना के तहत सुसंगत और निष्पक्ष दिखाए गए हैं। शोध पत्र इन अनुमानकों के लिए स्पष्ट सूत्र प्रदान करता है, जिसमें 'टाई' और परिमित-नमूना पूर्वाग्रह के लिए समायोजन शामिल हैं।
प्रदर्शन: मोंटे कार्लो सिमुलेशन (पाठ में संदर्भित) संकेत देते हैं कि 'बायस-करेक्टेड' (BC) विधि छोटे नमूनों में शक्ति (power) खो सकती है, जबकि 'एक्जैक्ट अनबायस्ड' (EU) विधि नाममात्र आकार (nominal size) बनाए रखती है और शक्ति भी बरकरार रखती है। फलस्वरूप, EU विधि की अनुशंसा डिफ़ॉल्ट के रूप में की जाती है।

महत्व और दावे
शोध पत्र दावा करता है कि यह WMW परीक्षण की गलत व्याख्या का "मौलिक समाधान" प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में है:

शून्य परिकल्पना का सुधार: यह स्पष्ट रूप से कहता है कि WMW परीक्षण विभेदन ( $AUC \neq 0.5$ ) का परीक्षण है, न कि वितरण समानता ( $F=G$ ) का।
वैकल्पिक परिकल्पना का सामान्यीकरण: यह स्थापित करता है कि यह परीक्षण $P(Y < X) \neq 0.5$ की विस्तृत श्रेणी के विरुद्ध सुसंगत है, जिसमें स्टोकेस्टिक डोमिनेंस केवल एक विशेष मामला है।
व्यावहारिक कार्यान्वयन: wmwAUC R पैकेज के माध्यम से सटीक परिमित-नमूना अनुमान और पूर्वाग्रह-सुधारित स्पर्शोन्मुखी विधियों को प्रदान करके, यह शोध पत्र शोधकर्ताओं को सही सैद्धांतिक ढांचे के तहत वैध अनुमान करने के लिए एक व्यावहारिक उपकरण प्रदान करता है, विशेष रूप से उन परिदृश्यों में जहाँ 'टाई' या छोटे नमूने शामिल हैं जहाँ पारंपरिक सन्निकटन विफल हो सकते हैं।

लेखक नोट करता है कि हालांकि यह कार्य दो-नमूना सेटिंग पर केंद्रित है, समान मुद्दे $k$ -नमूना विस्तार (जैसे क्रुस्कल-वालिस) में भी संभवतः मौजूद हैं, जो वर्तमान दायरे से बाहर हैं। शोध पत्र स्वीकार करता है कि वैन डैंटज़िग ने पहले वैकल्पिक परिकल्पना को सही ढंग से पहचाना था लेकिन उसे गलत शून्य परिकल्पना के साथ जोड़ा था; यह कार्य उस युग्मन को ठीक करता है और आधुनिक अनुप्रयोग के लिए आवश्यक पूर्ण स्पर्शोन्मुखी और परिमित-नमूना मशीनरी प्रदान करता है।