An association measure for mixed-type variables

तकनीकी सारांश: मिश्रित प्रकार के चरों के लिए एक साहचर्य माप (An Association Measure for Mixed-Type Variables)

समस्या विवरण (Problem Statement)
एक वास्तविक मान वाले चर ($X$) और एक श्रेणीबद्ध (categorical) चर ($Y$) के बीच साहचर्य (association) को मापना डेटा विश्लेषण में एक मौलिक चुनौती है, विशेष रूप से जैसे-जैसे जीनोमिक्स और सामाजिक विज्ञान जैसे क्षेत्रों में मिश्रित प्रकार के डेटा का प्रचलन बढ़ रहा है। इस "संख्यात्मक-श्रेणीबद्ध" (numerical–categorical) सेटिंग के लिए मौजूदा विधियाँ महत्वपूर्ण सीमाओं से ग्रस्त हैं:

• पैरामीट्रिक धारणाएँ (Parametric Assumptions): पॉलीसिरियल सहसंबंध (polyserial correlation) जैसी विधियाँ लेटेंट-नॉर्मल मॉडल या रैखिक/क्रमिक (linear/ordinal) धारणाओं पर निर्भर करती हैं जो शायद लागू न हों।
• मनमाना एनकोडिंग (Arbitrary Encoding): सामान्य समाधानों में संख्यात्मक विधियों (जैसे चैटर्जी का $\xi_n$) को लागू करने के लिए श्रेणीबद्ध श्रेणियों को पूर्णांकों (integers) के रूप में एनकोड करना या संख्यात्मक चरों का विवक्तीकरण (discretization) करना शामिल है। ये दृष्टिकोण कृत्रिम क्रम और अंतराल उत्पन्न करते हैं, जिससे अस्थिर परिणाम मिलते हैं जहाँ सांख्यिकी चुनी गई कोडिंग योजना के आधार पर काफी बदल जाती है।
• स्केल का अभाव (Lack of Scale): मानक परीक्षण जैसे कि ANOVA $F$-टेस्ट माध्य अंतरों का आकलन करते हैं लेकिन एक निश्चित, व्याख्या योग्य स्केल (जैसे 0 से 1) पर निर्भरता का माप प्रदान नहीं करते हैं।

कार्यप्रणाली (Methodology)
लेखक एक नया लेबल-अपरिवर्तनीय (label-invariant) जनसंख्या साहचर्य माप प्रस्तावित करते हैं, जिसे $\xi'$ कहा गया है, और इसके अनुरूप नमूना अनुमानक (sample estimator), $\xi'_n$, जो विशेष रूप से मिश्रित वास्तविक-श्रेणीबद्ध सेटिंग के लिए डिज़ाइन किया गया है।

1. जनसंख्या माप ($\xi'$):
   इस माप को $X$ को देखने से प्राप्त गिनी इम्प्योरिटी (Gini impurity) या सूचना लाभ (information gain) की कमी के आधार पर परिभाषित किया गया है। मान लीजिए कि $g_j(x) = P(Y=j | X=x)$ सशर्त संभाव्यता फलन (conditional probability functions) हैं। जनसंख्या माप है:
   $$\xi'(X, Y) = \frac{E\left[\sum_{j=1}^k g_j(X)^2\right] - \sum_{j=1}^k P(Y=j)^2}{1 - \sum_{j=1}^k P(Y=j)^2}$$
   यह सूत्रीकरण सशर्त वितरण के संकेंद्रण (concentration of the conditional distribution) को एकत्रित करता है और उन्हें मार्जिनल संकेंद्रण के विरुद्ध सामान्यीकृत (normalize) करता है।

2. नमूना अनुमानक ($\xi'_n$):
   अनुमानक को बिना किसी स्मूथिंग या ट्यूनिंग पैरामीटर के गैर-पैरामीट्रिक रूप से निर्मित किया गया है:

• $(X, Y)$ को $X$ के आधार पर सॉर्ट करें ताकि $(X_{(1)}, Y_{(1)}), \dots, (X_{(n)}, Y_{(n)})$ प्राप्त हो सके।
• आसन्न-मिलान अनुपात (adjacent-match proportion) $A_n = \frac{1}{n-1}\sum_{i=1}^{n-1} \mathbb{I}(Y_{(i+1)} = Y_{(i)})$ की गणना करें।
• मार्जिनल संयोग प्रायिकता (marginal coincidence probability) $B_n = \sum_{j=1}^k \hat{p}_j^2$ की गणना करें, जहाँ $\hat{p}_j$ वर्ग $j$ का नमूना अनुपात है।
• अनुमानक $\xi'_n = \frac{A_n - B_n}{1 - B_n}$ है।
• सॉर्टिंग चरण के कारण यह अनुमानक $O(n \log n)$ समय में गणनीय है।

3. सैद्धांतिक गुण (Theoretical Properties):

• सामान्यीकरण (Normalization): $\xi' \in [0, 1]$।
• स्वतंत्रता (Independence): $\xi' = 0$ यदि और केवल यदि $X$ और $Y$ स्वतंत्र हैं।
• कार्यात्मक निर्भरता (Functional Dependence): $\xi' = 1$ यदि और केवल यदि $Y$, $X$ का लगभग निश्चित रूप से (almost surely) एक मापने योग्य फलन है।
• अपरिवर्तनीयता (Invariance): माप $X$ के स्ट्रिक्टली मोनोटोन रूपांतरणों के प्रति अपरिवर्तनीय है और महत्वपूर्ण रूप से, $Y$ के श्रेणीबद्ध लेबलों के किसी भी क्रमपरिवर्तन (permutation) के प्रति अपरिवर्तनीय है।
• शास्त्रीय मापों से संबंध: $\xi'$ गिनी इम्प्योरिटी का उपयोग करके निर्धारण गुणांक (coefficient of determination - $R^2$) का सामान्यीकरण करता है। यह संरचनात्मक रूप से चैटर्जी के $\xi$ के समान है लेकिन प्रवलता भारण (prevalence weighting) के बिना वर्ग-विशिष्ट प्रसरणों को एकत्रित करता है, जो इसे नाममात्र (nominal/unordered) श्रेणियों के लिए उपयुक्त बनाता है।

अनंतस्पर्शी सिद्धांत और निष्कर्ष (Asymptotic Theory and Inference)
पेपर $\xi'_n$ की स्ट्रॉन्ग कंसिस्टेंसी (strong consistency) स्थापित करता है और दो व्यवस्थाओं के तहत इसके अनंतस्पर्शी सामान्य वितरण (asymptotic normality) को व्युत्पन्न करता है:

• स्वतंत्रता के तहत ($H_0$): $\sqrt{n}\xi'_n$ एक सामान्य वितरण की ओर अभिसरित होता है जिसका माध्य 0 है। लेखकों ने एक सुसंगत प्रसरण अनुमानक (consistent variance estimator) व्युत्पन्न किया है, जो स्वतंत्रता के लिए एक गणनात्मक रूप से कुशल, परम्यूटेशन-मुक्त वाल्ड टेस्ट (Wald test) को सक्षम बनाता है। छोटे नमूनों में नकारात्मक पूर्वाग्रह (negative bias) को दूर करने के लिए एक परिमित-नमूना सेंट्रिंग सुधार प्रस्तावित किया गया है।
• सामान्य निर्भरता के तहत: लेखक हल्के प्रतिबंधों (सशर्त प्रायिकताओं के सीमित परिवर्तन) के तहत $\sqrt{n}(\xi'_n - \xi')$ के लिए अनंतस्पर्शी सामान्यता सिद्ध करते हैं। $k$-निकटतम पड़ोसियों ($k$-NN) का उपयोग करके एक प्लग-इन प्रसरण अनुमानक प्रदान किया गया है, जो जनसंख्या माप के लिए अनंतस्पर्शी रूप से वैध विश्वास अंतराल (confidence intervals) के निर्माण की अनुमति देता है।

मुख्य परिणाम (Key Results)

• सिमुलेशन अध्ययन: एक ब्लॉक डिज़ाइन मॉडल का उपयोग करते हुए व्यापक सिमुलेशन दर्शाते हैं कि $\xi'_n$ विश्वास अंतरालों के लिए नाममात्र कवरेज प्रायिकता प्राप्त करता है और टाइप I त्रुटि दरों को सही बनाए रखता है।
• कोडिंग स्थिरता (Coding Stability): चैटर्जी के $\xi_n$ के विपरीत, जो समान नाममात्र डेटा के विभिन्न पूर्णांक एनकोडिंग के तहत बहुत अधिक उतार-चढ़ाव करता है, $\xi'_n$ लेबल के क्रमपरिवर्तन के बावजूद स्थिर रहता है।
• शक्ति (Power): प्रस्तावित विधि दूरी सहप्रसरण (Distance Covariance - dCov), HSIC और ANOVA जैसे स्थापित विकल्पों के मुकाबले प्रतिस्पर्धी शक्ति प्रदर्शित करती है, विशेष रूप से कमजोर संकेतों या अल्पसंख्यक वर्ग का पता लगाने वाले परिदृश्यों में।
• गणनात्मक दक्षता (Computational Efficiency): $O(n \log n)$ की जटिलता इसे स्केलेबल बनाती है, जिससे यह HSIC जैसे कर्नेल-आधारित तरीकों की $O(n^2)$ लागत से बच जाती है।
• वास्तविक डेटा अनुप्रयोग: द कैंसर जीनोम एटलस (TCGA) ब्रेस्ट कैंसर डेटा पर एक अनुप्रयोग यह दिखाता है कि यह विधि सामान्य निर्भरता, जिसमें विचरण विषमता (variance heterogeneity) शामिल है, का पता लगाने में सक्षम है जिसे माध्य-आधारित परीक्षणों द्वारा छोड़ा जा सकता है।

महत्व और दावे (Significance and Claims)
यह पेपर मिश्रित प्रकार के डेटा में साहचर्य को मापने के लिए एक मजबूत, मॉडल-मुक्त समाधान प्रदान करने का दावा करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

1. लेबल अपरिवर्तनीयता (Label Invariance): रैंक-आधारित सांख्यिकी को नाममात्र श्रेणीबद्ध चरों पर लागू करने की अस्थिरता की समस्या को हल करना, जो कृत्रिम क्रम थोपने के बजाय सीधे वर्ग संकेतकों को एकत्रित करता है।
2. व्याख्यात्मकता (Interpretability): एक सामान्यीकृत माप (0 से 1) प्रदान करना जो गिनी इम्प्योरिटी में कमी (सूचना लाभ) के अनुपात को मात्रात्मक रूप से दर्शाता है, जो सांख्यिकीय परीक्षण और भविष्य कहनेवाला मॉडलिंग (predictive modeling) की अवधारणाओं के बीच के अंतर को पाटता है।
3. कुशल निष्कर्ष (Efficient Inference): अनंतस्पर्शी सिद्धांत के माध्यम से तेज़, परम्यूटेशन-मुक्त परिकल्पना परीक्षण और विश्वास अंतराल निर्माण को सक्षम बनाना, जो पुनर्मूल्यांकन-भारी (resampling-heavy) विकल्पों की तुलना में बड़े पैमाने के डेटासेट के लिए गणनात्मक रूप से फायदेमंद है।

लेखक $\xi'$ को चैटर्जी के कार्य के एक आवश्यक विस्तार के रूप में देखते हैं, जो विशेष रूप से उन नाममात्र श्रेणीबद्ध प्रतिक्रियाओं की चुनौतियों के लिए तैयार किया गया है जहाँ मानक रैंक सहसंबंध (rank correlations) मनमाने कोडिंग के प्रति संवेदनशील होने के कारण विफल हो जाते हैं।