Assessing Monotone Dependence: Area Under the Curve Meets Rank Correlation

तकनीकी सारांश: एकदिष्ट निर्भरता का आकलन: कर्व के नीचे का क्षेत्र (Area Under the Curve) और रैंक सहसंबंध का मिलन

समस्या विवरण
यादृच्छिक चरों (random variables) के बीच एकदिष्ट निर्भरता (monotone dependence) का आकलन करना एक शास्त्रीय सांख्यिकीय समस्या है जिसके विविध क्षेत्रों में अनुप्रयोग हैं। ऐतिहासिक रूप से, साहित्य खंडित रहा है: निरंतर चरों (continuous variables) के लिए, सममित रैंक सहसंबंध गुणांक (Spearman's Rho और Kendall's Tau) मानक हैं, जबकि द्वितलीय परिणामों (dichotomous outcomes) के लिए, असममित 'कर्व के नीचे का क्षेत्र' (AUC) माप प्रचलित है। असतत या मिश्रित सेटिंग्स में सममित मापों की एक महत्वपूर्ण सीमा "प्राप्यता समस्या" (attainability problem) है, जहाँ एक पूर्ण एकदिष्ट संबंध होने पर भी माप का अधिकतम मान प्राप्त नहीं किया जाता है। इसके अतिरिक्त, शोधकर्ता AUC-आधारित उपकरणों को लागू करने के लिए निरंतर परिणामों को कृत्रिम रूप से द्वितलीय (dichotomize) कर देते हैं, जिससे प्रतिकूल विश्लेषणात्मक प्रभाव पड़ते हैं। यह शोध प्रबंध तर्क देता है कि असममित माप, जो एक कोवेरिएट ($X$) और एक परिणाम ($Y$) की विशिष्ट भूमिकाओं का सम्मान करते हैं, इन मुद्दों को हल करने और सभी रैखिक रूप से क्रमबद्ध परिणामों के लिए एक एकीकृत ढांचा प्रदान करने के लिए आवश्यक हैं।

कार्यप्रणाली
लेखक एक एकीकृत जनसंख्या-स्तरीय सिद्धांत और संबंधित अनुमानक (estimators) स्थापित करते हैं जो निरंतर और द्वितलीय सेटिंग्स के बीच के अंतर को पाटते हैं।

1. Kendall's Tau और AUC को जोड़ना:
   यह शोध पत्र C इंडेक्स (CID) की पुनरावृत्ति करता है, जिसे सामंजस्य (concordance) की टाई-समायोजित प्रायिकता के रूप में परिभाषित किया गया है:
   $$CID(X, Y) = E(s(X', X'') \mid Y' < Y'')$$
   जहाँ $s(x', x'') = \mathbb{1}\{x' < x''\} + \frac{1}{2}\mathbb{1}\{x' = x''\}$।
   लेखक CID को AKC (Asymmetric Kendall Correlation) से जोड़ते हैं, जो परिणाम की सूक्ष्मता (granularity) के लिए समायोजित Kendall's Tau का एक सामान्यीकृत संस्करण है:
   $$AKC(X, Y) = \frac{\tau(X, Y)}{\tau(Y, Y)} = \frac{\tau(X, Y)}{1 - \gamma^{(2)}(Y)}$$
   जहाँ $\gamma^{(2)}(Y)$ 2-ग्रैनुलैरिटी (टाई की प्रायिकता) है। यह संबंध रैखिक है: $CID(X, Y) = \frac{1}{2}(AKC(X, Y) + 1)$। यह माप द्वितलीय परिणामों के लिए AUC में बदल जाता है और निरंतर चरों के लिए Kendall's Tau से रैखिक रूप से संबंधित होता है।

2. Spearman's Rho और AUC को जोड़ना (मुख्य योगदान):
   Spearman's Rho और AUC को जोड़ने के लिए, लेखक Asymmetric Grade Correlation (AGC) और Coefficient of Monotone Association (CMA) पेश करते हैं।

   • वे "मिड डिस्ट्रीब्यूशन फंक्शन" (MDF), $\bar{F}(x) = P(X < x) + \frac{1}{2}P(X=x)$ का उपयोग करके "ग्रेड्स" को परिभाषित करने के लिए करते हैं।
   • AGC को $X$ और $Y$ के ग्रेड्स के सहप्रसरण (covariance) के रूप में परिभाषित किया गया है, जो $Y$ के ग्रेड के प्रसरण (variance) द्वारा विभाजित है:
     $$AGC(X, Y) = \frac{\text{cov}(\bar{F}(X), \bar{G}(Y))}{\text{cov}(\bar{G}(Y), \bar{G}(Y))}$$
   • CMA, AGC का एक एफ़ाइन ट्रांसफॉर्मेशन (affine transformation) है:
     $$CMA(X, Y) = \frac{1}{2}(AGC(X, Y) + 1)$$
   • गुणधर्म: CMA, $[0, 1]$ के लिए सामान्यीकृत है। यह "पूर्ण एकदिष्ट भविष्यवक्ता गुण" (perfect monotone predictor property) को संतुष्ट करता है: $CMA(X, Y) = 1$यदि और केवल यदि$Y = m(X)$ लगभग निश्चित रूप से (almost surely) एक गैर-घटते फलन $m$ के लिए है।
   • न्यूनीकरण (Reductions): द्वितलीय परिणामों के लिए, $CMA(X, Y_d) = AUC(X, Y_d)$। निरंतर चरों के लिए, $CMA(X_c, Y_c) = \frac{1}{2}(\rho + 1)$, जो Spearman's Rho से रैखिक रूप से संबंधित है।
   • इंटीग्रल प्रतिनिधित्व: निरंतर $Y$ के लिए, CMA को सभी संभावित द्वितलीय दहलीज (thresholds) पर AUC के भारित इंटीग्रल के रूप में व्यक्त किया जा सकता है:
     $$CMA(X, Y) = 6 \int_0^1 \alpha(1-\alpha) AUC^{(\alpha)}(X, Y) d\alpha$$

3. नमूनाकरण सिद्धांत और निष्कर्ष (Sampling Theory and Inference):
   Pohle et al. (2025) के हालिया कार्य पर आधारित, लेखक इन मापों ($AK_n, CID_n, AGC_n, CMA_n$) के अनुभवजन्य संस्करणों के लिए सेंट्रल लिमिट थ्योरम्स (CLTs) व्युत्पन्न करते हैं।

   • वे एकल भविष्यवक्ताओं (predictors) और प्रतिस्पर्धी भविष्यवक्ताओं के वेक्टर्स के लिए स्पर्शोन्मुख सामान्यता (asymptotic normality) स्थापित करते हैं।
   • वे U-सांख्यिकी सिद्धांत से प्राप्त कर्नेल फलनों का उपयोग करके स्पर्शोन्मुख प्रसरण (asymptotic variance) के लिए स्पष्ट सूत्र प्रदान करते हैं।
   • वे कई भविष्यवक्ताओं की एक साझा परिणाम के साथ एकदिष्ट जुड़ाव की तुलना करने के लिए DeLong-प्रकार के परीक्षण विकसित करते हैं। ये परीक्षण AUC समानता के शास्त्रीय DeLong परीक्षण को सभी रैखिक रूप से क्रमबद्ध परिणामों (द्वितलीय, क्रमसूचक, निरंतर और मिश्रित) के लिए सामान्यीकृत करते हैं।

प्रमुख परिणाम

• सैद्धांतिक एकीकरण: शोध प्रबंध प्रदर्शित करता है कि AKC/CID और AGC/CMA ऐसे मापों का एक स्पेक्ट्रम प्रदान करते हैं जो द्वितलीय परिणामों के लिए AUC के रूप में और निरंतर चरों के लिए पुनर्गठित रैंक सहसंबंधों के रूप में व्यवहार करते हैं, जो असतत डेटा के लिए निहित सममित मापों की प्राप्यता समस्या को दूर करते हैं।
• स्पर्शोन्मुख निष्कर्ष (Asymptotic Inference): व्युत्पन्न CLTs उन विश्वास अंतरालों (confidence intervals) और परिकल्पना परीक्षणों (जैसे, स्वतंत्रता या जुड़ाव की समानता का परीक्षण) के निर्माण की अनुमति देते हैं जो परिणाम के वितरण प्रकार के बावजूद वैध हैं।
• सिमुलेशन साक्ष्य: सिमुलेशन पुष्टि करते हैं कि प्रस्तावित AGC/CMA समानता परीक्षणों से प्राप्त p-मान शून्य परिकल्पना (null hypothesis) के तहत समान (uniform) होते हैं, यहाँ तक कि छोटे नमूना आकार और असतत परिणामों के लिए भी, जो निरंतर सेटिंग्स में Spearman's Rho की तुलना करने वाली मौजूदा विधियों से बेहतर प्रदर्शन करते हैं।
• केस स्टडीज:
  • LLM अनिश्चितता: LLM आउटपुट पर लागू करते हुए, शुद्धता स्कोर (correctness scores) के विरुद्ध अनिश्चितता मेट्रिक्स का मूल्यांकन करने के लिए CMA और CID का उपयोग किया गया। इन मापों ने सफलतापूर्वक पहचाना कि कौन से अनिश्चितता मेट्रिक्स शुद्धता के साथ सबसे अधिक संरेखित थे, जो विभिन्न शुद्धता स्कोर (BERT, ROUGE, आदि) के प्रति मजबूती दिखाते हैं।
  • मौसम पूर्वानुमान: WeatherBench 2 डेटासेट पर लागू करते हुए, CMA और CID ने डेटा-संचालित (GraphCast) बनाम भौतिकी-आधारित (HRES) वर्षा पूर्वानुमानों की तुलना की। विश्लेषण ने दिखाया कि GraphCast भूमध्य रेखा के पास HRES से बेहतर प्रदर्शन करता है, जबकि HRES उच्च अक्षांशों पर बेहतर प्रदर्शन करता है, जो भविष्य कहने की क्षमता में क्षेत्रीय अंतरों को उजागर करता है जिन्हें मानक मेट्रिक्स छिपा सकते हैं।

महत्व और दावे
शोध पत्र का दावा है कि यह साझा जनसंख्या-स्तरीय सिद्धांत, अनुमानक और परीक्षण स्थापित करके पहले से अलग थलग पड़े साहित्य के धागों को एकीकृत और पूर्ण करता है।

• प्राप्यता का समाधान: असममित माप (AKC, CID, AGC, CMA) "पूर्ण एकदिष्ट भविष्यवक्ता गुण" को संतुष्ट करते हैं, यह सुनिश्चित करते हुए कि एक पूर्ण भविष्यवक्ता एक स्कोर प्राप्त करता है, एक गुण जिसे सममित माप असतत सेटिंग्स में विफल कर देते हैं।
• DeLong परीक्षणों का सामान्यीकरण: यह कार्य AUC समानता के लिए प्रसिद्ध DeLong et al. (1988) परीक्षण को सभी व्यापक श्रेणियों के रैखिक रूप से क्रमबद्ध परिणामों के लिए सामान्यीकृत करता है, जिससे द्वितलीय वर्गीकरण से लेकर निरंतर प्रतिगमन (regression) तक के सेटिंग्स में कठोर तुलना सक्षम होती है।
• व्यावहारिक उपयोगिता: लेखक तर्क देते हैं कि स्वचालित डेटा विश्लेषण के युग में, असममित माप अधिक उपयुक्त हैं क्योंकि वे चरों की विधा (द्वितलीय, निरंतर या मिश्रित) के अनुसार स्वाभाविक रूप से अनुकूलित होते हैं, बिना किसी मनमाने द्वितलीयकरण (dichotomization) की आवश्यकता के।
• सॉफ्टवेयर उपलब्धता: लेखक इन अनुमानकों और परीक्षणों के लिए पायथन (Python) कोड प्रदान करते हैं, जो अनुसंधान और उद्योग में तत्काल अनुप्रयोग की सुविधा प्रदान करता है।

शोध प्रबंध निष्कर्ष निकालता है कि जबकि AKC और CID का विकास काफी हद तक व्याख्यात्मक है (Harrell et al., 1996 पर आधारित), AGC और CMA का परिचय और विश्लेषण एक मूल योगदान है, जो सभी प्रकार के चरों के लिए एक मजबूत, एकीकृत ढांचा प्रदान करता है।