Stop Using the Wilcoxon Test: Myth, Misconception and Misuse in IR Research

यहाँ जूलियन उरबानो के शोध पत्र "Stop Using the Wilcoxon Test: Myth, Misconception and Misuse in IR Research" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

इन्फॉर्मेशन रिट्रीवल (IR) मूल्यांकन में, शोधकर्ता सिस्टम के प्रदर्शन की तुलना करने के लिए अक्सर सांख्यिकीय सार्थकता परीक्षणों (statistical significance tests) का उपयोग करते हैं। स्टूडेंट का $t$-टेस्ट और विलकॉक्स साइन्ड-रैंक टेस्ट (Wilcoxon signed-rank test) दो प्रमुख विधियाँ हैं। IR समुदाय में एक व्यापक विश्वास है, जो पाठ्यपुस्तकों और दिशानिर्देशों द्वारा संचालित है, कि जब मेट्रिक स्कोर (जैसे NDCG, AP) सामान्य रूप से वितरित (normally distributed) नहीं होते हैं, तो विलकॉक्स टेस्ट $t$-टेस्ट का एक "सुरक्षित", गैर-पैरामीट्रिक विकल्प है।

लेखक का तर्क है कि यह विमर्श भ्रामक और हानिकारक है। मुख्य समस्या यह है कि IR समुदाय विलकॉक्स टेस्ट के अनुमानों (assumptions) को समझने में गलतफहमी के कारण इसका नियमित रूप से गलत अनुप्रयोग करता है। जबकि $t$-टेस्ट को अक्सर स्कोर की गैर-सामान्यता (non-normality) के कारण खारिज कर दिया जाता है, विलकॉक्स टेस्ट को इस गलत धारणा के तहत अपनाया जाता है कि यह "मान्यता-मुक्त" (assumption-free) है। वास्तव में, विलकॉक्स टेस्ट युग्मित अंतरों (paired differences) के वितरण के संबंध में एक सममिति (symmetry) धारणा पर निर्भर करता है। पेपर का तर्क है कि IR डेटा अक्सर इस सममिति का उल्लंघन करता है, जिससे विलकॉक्स टेस्ट अपने टाइप I एरर रेट (गलत सकारात्मक/false positives) पर नियंत्रण खो देता है, जबकि $t$-टेस्ट मजबूत बना रहता है।

2. कार्यप्रणाली (Methodology)

यह पेपर साहित्य समीक्षा, सैद्धांतिक विश्लेषण और अनुभवजन्य सिमुलेशन (empirical simulation) को संयोजित करते हुए एक बहुआयामी दृष्टिकोण अपनाता है:

• व्यवस्थित साहित्य समीक्षा (Systematic Literature Review): लेखक ने "विलकॉक्स सुरक्षित है" के मिथक के उद्गम का पता लगाने के लिए 25 सांख्यिकी पाठ्यपुस्तकों (सामान्य सांख्यिकी, गैर-पैरामीट्रिक सांख्यिकी और क्षेत्र-विशिष्ट अनुप्रयोगों को कवर करने वाली) का विश्लेषण किया। समीक्षा इस बात पर केंद्रित थी कि ये ग्रंथ गैर-पैरामीट्रिक विधियों को कैसे परिभाषित करते हैं, $t$-टेस्ट की मान्यताओं का वर्णन कैसे करते हैं, और विलकॉक्स टेस्ट को कैसे प्रस्तुत करते हैं।
• सैद्धांतिक विश्लेषण (Theoretical Analysis):
  • $t$-टेस्ट: पेपर स्पष्ट करता है कि $t$-टेस्ट के लिए कच्चे स्कोर ($X, Y$) का सामान्य होना आवश्यक नहीं है, बल्कि अंतरों का नमूना माध्य ($\bar{D}$) लगभग सामान्य होना चाहिए। सेंट्रल लिमिट थ्योरम (CLT) के माध्यम से, यह स्थिति मध्यम नमूना आकार के लिए पूरी हो जाती है, भले ही अंतरों ($D$) का अंतर्निराधार वितरण गैर-सामान्य हो।
  • विलकॉक्स टेस्ट: पेपर इस बात पर प्रकाश डालता है कि विलकॉक्स साइन्ड-रैंक टेस्ट माध्यिका (median) का एक परीक्षण है, जो केवल तभी माध्य के बराबर होता है जब अंतरों का वितरण सममित (symmetric) हो। यदि सममिति का उल्लंघन होता है, तो टेस्ट प्रभावी रूप से माध्य अंतरों के बजाय सममिति का परीक्षण बन जाता है, जिससे अमान्य $p$-वैल्यू प्राप्त होती है।
• अनुभवजन्य सिमुलेशन (Monte Carlo):
  • डेटा स्रोत: वास्तविक दुनिया का IR डेटा TREC ट्रैक्स (Web, Microblog, Deep Learning, Clinical Decision Support, Precision Medicine) से एकत्र किया गया था, जिससे 53,703 युग्मित अंतर नमूने प्राप्त हुए।
  • वितरण मॉडलिंग (Distribution Modeling): लेखक ने शून्य परिकल्पना ($H_0: \mu_D = 0$) के तहत 100,000 नमूनों का अनुकरण (simulate) किया, जिसमें IR डेटा की विशेषताओं को मॉडल करने के लिए चार विशिष्ट गैर-सामान्य वितरणों का उपयोग किया गया:
    1. असममिति (Asymmetry): असिमेट्रिक जनरलाइज्ड नॉर्मल (AGN) और ट्यूकी जी-एंड-एच (TGH) वितरणों का उपयोग करके।
    2. पूंछ का भारीपन (Tail Heaviness): सिमेट्रिक जनरलाइज्ड नॉर्मल (SGN) और TGH का उपयोग करके।
    3. विच्छिन्नता (Discreteness): P@k और RR@k जैसे मेट्रिक्स को सिम्युलेट करने के लिए इर्रगुलर बीटा-बाइनोमियल (IBB) का उपयोग करके।
    4. बहुविधता (Multimodality): (संक्षिप्त में चर्चा की गई लेकिन मात्रात्मक कठिनाइयों के कारण विस्तृत सिमुलेशन से बाहर रखा गया)।
  • पैरामीटर्स: सिमुलेशन में नमूना आकार ($n = 5, 50, 500, 5000$) और सामान्यता से विचलन के स्तरों (कम से लेकर "पैथोलॉजिकल रूप से उच्च" तक) को बदला गया।
  • मेट्रिक: प्राथमिक मेट्रिक टाइप I एरर रेट ($\alpha = 0. 05$ पर) था।

3. मुख्य योगदान (Key Contributions)

A. "मिथक, गलत धारणा, दुरुपयोग" का विखंडन

1. मिथक: गैर-पैरामीट्रिक विधियाँ "मान्यता-मुक्त" हैं।
   • सुधार: वे नहीं हैं। विलकॉक्स टेस्ट अंतर वितरण की सममिति की धारणा रखता है। यह $t$-टेस्ट के लिए आवश्यक अनुमानित सामान्यता की तुलना में एक अधिक मजबूत और अक्सर अधिक आसानी से उल्लंघन होने वाली धारणा है।
2. गलत धारणा: $t$-टेस्ट के लिए सामान्य रूप से वितरित स्कोर की आवश्यकता होती है।
   • सुधार: $t$-टेस्ट के लिए नमूना माध्य का सामान्य होना आवश्यक है। CLT के कारण, यह विषम या भारी-पूंछ वाले डेटा के साथ भी IR नमूना आकारों ($n \ge 50$) के लिए सत्य होता है।
3. दुरुपयोग: गैर-सामान्य डेटा के लिए "सुरक्षित" विकल्प के रूप में विलकॉक्स का उपयोग करना।
   • सुधार: क्योंकि IR डेटा अक्सर असममित होता है, विलकॉक्स का उपयोग करने से टाइप I एरर रेट के बढ़ने का गंभीर जोखिम होता है, जिससे यह $t$-टेस्ट की तुलना में कम सुरक्षित हो जाता है।

B. विफलता का अनुभवजन्य प्रमाण

सिमुलेशन ने प्रदर्शित किया कि:

• विच्छिन्नता और पूंछ का भारीपन: जब तक $n$ बहुत छोटा न हो, दोनों $t$-टेस्ट और विलकॉक्स टेस्ट (सामान्य वितरण बनाए रखते हुए $\approx 5\%$ एरर रेट के साथ) अच्छा प्रदर्शन करते हैं।
• असममिति (महत्वपूर्ण विफलता):
  • $t$-टेस्ट मजबूत बना रहता है। अत्यधिक विषमता के तहत भी, $n \ge 500$ के लिए एरर रेट 5% के करीब रहता है और $n=50$ के लिए केवल थोड़ा बढ़ता है (लग'bh ~10% तक)।
  • विलकॉक्स टेस्ट विनाशकारी रूप से विफल होता है। जैसे-जैसे नमूना आकार बढ़ता है, एरर रेट आसमान छूने लगता है। अत्यधिक असममिति के साथ $n=500$ के तहत, टेस्ट शून्य परिकल्पना को लगभग 100% बार खारिज कर देता है, भले ही कोई वास्तविक अंतर मौजूद न हो। यह प्रदर्शन अंतर के बजाय असममिति का परीक्षण करने लगता है।

C. पाठ्यपुस्तकीय विसंगतियों का विश्लेषण

समीक्षा से पता चला कि सर्वेक्षण की गई केवल ~50% पाठ्यपुस्तकों ने विलकॉक्स टेस्ट के लिए सममिति धारणा का स्पष्ट उल्लेख किया है। कई पुस्तकें इसे "ऑर्डिनल डेटा" या "लोकेशन" के परीक्षण के रूप में अस्पष्ट रूप से प्रस्तुत करती हैं, जो महत्वपूर्ण सममिति आवश्यकता को छिपा देती हैं। बुनियादी साहित्य में स्पष्टता की इस कमी ने IR अनुसंधान में इस दुरुपयोग को फैलाया है।

4. परिणाम (Results)

• टाइप I एरर रेट्स:
  • सममित/भारी-पूंछ/विच्छिन्न: दोनों टेस्ट निर्धारित एरर रेट ($\approx 0.05$) बनाए रखते हैं।
  • असममित:
    • $t$-टेस्ट: एरर रेट $n \ge 500$ के लिए 0.05 के करीब रहता है; अत्यधिक विषमता के तहत $n=50$ के लिए थोड़ा बढ़ता है।
    • विलकॉक्स: एरर रेट असममिति और नमूना आकार के साथ रैखिक रूप से बढ़ता है। अत्यधिक असममिति के साथ $n=5000$ पर, एरर रेट 1.0 (100% गलत सकारात्मक दर) तक पहुँच जाता है।
• IR डेटा की वास्तविकता: TREC डेटा का विश्लेषण पुष्टि करता है कि IR मेट्रिक अंतर अक्सर असममित होते हैं (विषमता $|\gamma| \approx 0.5$ से $3.0$), जो उन्हें विलकॉक्स टेस्ट के लिए "खतरे के क्षेत्र" में रखता है।

5. महत्व और सिफारिशें (Significance and Recommendations)

• विलकॉक्स की सेवानिवृत्ति (Retirement of Wilcoxon): पेपर निष्कर्ष निकालता है कि IR मूल्यांकन में विलकॉक्स साइन्ड-रैंक टेस्ट को त्याग दिया जाना चाहिए। इसका उपयोग अनुचित है क्योंकि यह उन परिस्थितियों (असममिति) के तहत संरचनात्मक रूप से विफल होने के प्रति संवेदनशील है जो IR डेटा की विशेषता हैं।
• $t$-टेस्ट का पुनर्मूल्यांकन: $t$-टेस्ट को IR में युग्मित तुलनाओं के लिए मानक के रूप में अनुशंसित किया गया है, क्योंकि यह गैर-सामान्यता (विषमता, कुर्टोसिस, विच्छिन्नता) के प्रति मजबूत है, बशर्ते नमूना आकार उचित ($n \ge 50$) हो।
• कार्यप्रणाली में बदलाव: लेखक सरल युग्मित परिकल्पना परीक्षणों से आगे बढ़कर स्पष्ट मॉडलिंग (जैसे, लीनियर मिक्स्ड मॉडल, जनरलाइज़ेबिलिटी थ्योरी) की ओर बढ़ने की वकालत करता है। ये दृष्टिकोण विचरण के कई स्रोतों (विषय, संग्रह, मूल्यांकनकर्ता) को बेहतर ढंग से संभाल सकते हैं और मान्यताओं को पारदर्शी बना सकते हैं, बजाय "ब्लैक बॉक्स" सार्थकता परीक्षणों पर निर्भर रहने के।
• व्यापक प्रभाव: पेपर बिना जांच के अन्य क्षेत्रों के पद्धतिगत नियमों को आयात करने के विरुद्ध चेतावनी देता है। यह रेखांकित करता है कि कैसे पाठ्यपुस्तकीय सरलीकरण एक विशिष्ट डोमेन में दशकों की पद्धतिगत त्रुटियों का कारण बन सकते हैं।

संक्षेप में, पेपर एक कठोर सांख्यिकीय और अनुभवजन्य तर्क प्रदान करता है कि "सुरक्षित" विकल्प (विलकॉक्स) वास्तव में IR में अधिक जोखिम भरा विकल्प है, और $t$-टेस्ट या अधिक परिष्कृत मॉडलिंग ढांचे की ओर तुरंत लौटने का आह्वान करता है।