smartcor: Intelligent Correlation Method Selection for Mixed Variable Types
R और Python के लिए **smartcor** पैकेज डेटा की विशेषताओं का पता लगाकर, सभी चर युग्म संयोजनों (variable pair combinations) में 14 विशिष्ट विधियों का समर्थन करके, और अपने चयन के लिए पारदर्शी तर्क प्रदान करके, मिश्रित प्रकार के चरों के लिए सांख्यिकीय रूप से उपयुक्त सहसंबंध या साहचर्य विधियों के चयन को स्वचालित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट मिसमैच: क्यों डेटा के लिए 'एक ही नियम सब पर लागू नहीं होता'
कल्पना कीजिए कि आप एक जासूस हैं जो किसी रहस्य को सुलझाने की कोशिश कर रहे हैं। आपका काम यह पता लगाना है कि दुनिया में दो चीजें आपस में कैसे जुड़ी हुई हैं। शायद आप जानना चाहते हैं कि क्या अधिक आइसक्रीम खाने से लोग खुश होते हैं, या क्या अधिक पढ़ाई करने से बेहतर टेस्ट स्कोर मिलते हैं। सांख्यिकी (statistics) की दुनिया में, इस काम को "कोरिलेशन" (correlation) खोजना कहा जाता है। यह मापने का एक तरीका है कि दो चर (variables) एक साथ कितनी मजबूती से चलते हैं। यदि वे तालमेल में नाचते हैं, तो संबंध मजबूत है; यदि वे बेतरतीब ढंग से चलते हैं, तो कोई संबंध नहीं है।
द दशकों से, जासूस का पसंदीदा उपकरण एक साधारण, 'वन-साइज़-फिट्स-ऑल' (सब पर एक जैसा लागू होने वाला) पैमाना रहा है जिसे पियर्सन कोरिलेशन (Pearson correlation) कहा जाता है। यह लगभग हर कंप्यूटर प्रोग्राम का डिफॉल्ट सेटिंग है जिसका उपयोग वैज्ञानिक करते हैं। समस्या यह है कि यह पैमाना एक बहुत ही विशिष्ट प्रकार के डेटा के लिए बनाया गया था: सुचारू, निरंतर संख्याएँ जैसे तापमान, ऊंचाई या गति। लेकिन वास्तविक दुनिया अव्यवस्थित है। कभी हम हाँ-या-ना वाले सवालों (binary) से निपटते हैं, कभी रैंक वाली सूचियों जैसे "कम, मध्यम, उच्च" (ordinal) के साथ, और कभी ऐसी श्रेणियों के साथ जिनका कोई क्रम नहीं होता, जैसे पसंदीदा रंग या फलों के प्रकार (categorical)।
इन अव्यवस्थित, मिश्रित डेटा प्रकारों पर सुचारू-संख्या वाले पैमाने का उपयोग करना एक बादल की लंबाई को टेप माप से मापने जैसा है, या कमरे में लोगों की संख्या को उनका वजन करके गिनने जैसा है। यह आपको एक संख्या तो दे सकता है, लेकिन वह संख्या सच्चाई नहीं बताती। यह एक वास्तविक संबंध को छिपा सकती है, एक नकली संबंध बना सकती है, या बस एक ऐसा परिणाम दे सकती है जिसका कोई अर्थ न निकले। यही वह पहेली है जिसे यह शोध पत्र संबोधित करता है: हम गलत उपकरण का उपयोग करना कैसे बंद करें और सही डेटा के लिए सही मापने वाले डंडे का मिलान कैसे शुरू करें?
"स्मार्टकोर" (Smartcor) का आगमन: डेटा का मैचमेकर
यह शोध पत्र smartcor (और इसका पायथन जुड़वां, pysmartcor) नामक एक नया सॉफ्टवेयर पैकेज पेश करता है जो डेटा के लिए एक सुपर-स्मार्ट मैचमेकर (जोड़ी बनाने वाले) के रूप में कार्य करता है। हर चीज़ पर आँख मूंदकर एक ही पैमाना लागू करने के बजाय, smartcor आपके डेटा को देखता है, यह पता लगाता है कि आपके पास किस प्रकार के चर हैं, और फिर उस विशिष्ट जोड़ी के लिए एकदम सही सांख्यिकीय उपकरण चुनता है।
इसे एक वार्डरोब (अलमारी) की तरह समझें। यदि आपके पास सूट है, तो आप सूट पहनते हैं; यदि आपके पास स्विमिंग सूट है, तो आप स्विमिंग सूट पहनते हैं। आप समुद्र तट पर टक्सीडो पहनकर नहीं जाएंगे, भले ही वह आपका पसंदीदा पहनावा हो। इसी तरह, यह शोध पत्र तर्क देता है कि आपको हर चीज़ के लिए पियर्सन कोरिलेशन का उपयोग नहीं करना चाहिए। लेखकों ने 14 अलग-अलग मापने वाले उपकरणों (जैसे पॉइंट-बाइसेरियल, पोलीकोरिक, क्रेमर का वी, और अन्य) की एक लाइब्रेरी बनाई है और smartcor को यह जानने के लिए प्रोग्राम किया है कि किसी भी चरों के संयोजन के लिए कौन सा उपकरण उठाना है।
यहाँ यह व्यवहार में कैसे काम करता है:
- "एटेनुएशन" (क्षीणन) की समस्या: कल्पना कीजिए कि आपके पास दो चीजों के बीच एक छिपा हुआ, सुचारू संबंध है, लेकिन आप उन्हें केवल एक धुंधली खिड़की के माध्यम से देखते हैं (जैसे कि लिकर्ट स्केल जहाँ लोग "1 से 5" चुनते हैं)। यदि आप मानक पैमाने का उपयोग करते हैं, तो संबंध वास्तव में जितना मजबूत है, उससे कहीं कमजोर दिखाई देता है। शोध पत्र के सिमुलेशन दिखाते हैं कि ऑर्डिनल डेटा के लिए, मानक विधि वास्तविक संबंध को लगभग 9% (या यदि श्रेणियां कम हैं तो और भी अधिक) कम आंक सकती है। Smartcor "धुंध साफ करने वाले" विशेष उपकरणों (जैसे पोलीकोरिक कोरिलेशन) का उपयोग करता है ताकि वास्तविक जुड़ाव की ताकत देखी जा सके।
- "निरर्थक" की समस्या: क्या होगा यदि आप "देश का मूल" को "पसंदीदा खेल" के साथ सह-संबंधित करने की कोशिश करते हैं? चूंकि देशों का कोई क्रम नहीं होता (फ्रांस जापान से इस तरह "बड़ा" नहीं है जो गणित में मदद करे), मानक पैमाना एक ऐसा नंबर देता है जो पूरी तरह से निरर्थक है। Smartcor इसे पहचान लेता है और एक "एसोसिएशन" (जुड़ाव) उपकरण (जैसे क्रेमर का वी) पर स्विच हो जाता है जो यह पूछता है कि, "क्या ये दो चीजें आपस में संबंधित हैं?" बिना उन पर कोई दिशा थोपे।
- "छिपी हुई धारणा" की समस्या: कुछ फैंसी उपकरण यह मान लेते हैं कि डेटा सतह के नीचे एक पूरी तरह से सुचारू, बेल-आकार के वक्र (curve) से आता है। शोध पत्र ने यह परीक्षण करने के लिए हजारों सिमुलेशन चलाए कि क्या होता है जब वह वक्र वास्तव में ऊबड़-खाबड़ या विषम होता है। उन्होंने पाया कि यदि धारणा गलत है, तो फैंसी उपकरण पक्षपाती हो सकते हैं। इसलिए, smartcor में एक इन-बिल्ट "झूठ पकड़ने वाला" टेस्ट शामिल है। यह जाँचता है कि क्या डेटा फैंसी टूल का उपयोग करने के लिए पर्याप्त सामान्य (normal) दिखता है। यदि टेस्ट विफल हो जाता है, तो यह स्वचालित रूप से एक सुरक्षित, अधिक मजबूत विधि (जैसे केंडल का ताऊ) पर स्विच हो जाता है जो उन जोखिम भरी धारणाओं को नहीं बनाता।
शोध पत्र ने क्या पाया (और क्या नहीं)
लेखकों ने केवल एक टूल नहीं बनाया; उन्होंने इसका कड़ाई से परीक्षण किया। उन्होंने मोंटे कार्लो सिमुलेशन (जो कंप्यूटर प्रयोगों की तरह हैं जिन्हें बनाए गए डेटा के साथ हजारों बार चलाया जाता है) चलाए ताकि यह साबित किया जा सके कि उनका चयन तर्क काम करता है। उन्होंने पाया कि तीन विशिष्ट जोड़ियों के लिए (निरंतर के साथ निरंतर, निरंतर के साथ बाइनरी, और बाइनरी के साथ बाइनरी), मानक पियर्सन पैमाना वास्तव में ठीक है क्योंकि यह वही उत्तर देता है जो विशेष उपकरण देते हैं। लेकिन अन्य सात जोड़ियों के लिए, मानक पैमाने का उपयोग करना एक गलती है।
वास्तविक दुनिया में यह समस्या कितनी बड़ी है, यह देखने के लिए लेखकों ने शीर्ष जर्नल्स में प्रकाशित 197 अर्थशास्त्र के शोध पत्रों का अध्ययन किया। उन्होंने पाया कि रिपोर्ट किए गए सहसंबंधों में से 92.3% केवल मानक पियर्सन कोरिलेशन थे, चाहे डेटा का प्रकार कुछ भी हो। कई मामलों में, इससे कोई फर्क नहीं पड़ा क्योंकि डेटा सही प्रकार का था। लेकिन उन मामलों में जहाँ इससे फर्क पड़ता था—विशेष रूप से ऑर्डिनल डेटा (जैसे सर्वेक्षण रेटिंग) के मामले में—मानक विधि लगभग हमेशा गलत चुनाव थी। वास्तविक सर्वेक्षण डेटा (जनरल सोशल सर्वे) के अपने विश्लेषण में, उन्होंने दिखाया कि सही पद्धति पर स्विच करने से परिणाम काफी बदल गए। कुछ मामलों में, एक संबंध जो गलत टूल के साथ "महत्वहीन" (not significant) लग रहा था, सही टूल के साथ "महत्वपूर्ण" (significant) हो गया।
शोध पत्र सावधानीपूर्वक नोट करता है कि यह कोई जादुई छड़ी नहीं है जो हर समस्या को हल कर देती है। वे "फैंसी" उपकरण जो छिपे हुए कनेक्शनों को पुनः प्राप्त करते हैं, इस धारणा पर निर्भर करते हैं कि डेटा एक छिपे हुए सामान्य वितरण (normal distribution) से आता है। यदि वह धारणा टूट जाती है, तो वे उपकरण पक्षपाती हो सकते हैं। इसीलिए smartcor में यह तय करने के लिए एक स्वचालित परीक्षण शामिल है कि फैंसी टूल का उपयोग करना है या सुरक्षित, रैंक-आधारित टूल पर टिके रहना है।
मुख्य निष्कर्ष
इस शोध पत्र का मुख्य संदेश यह है कि संदर्भ मायने रखता है। सिर्फ इसलिए कि एक कंप्यूटर प्रोग्राम "कोरिलेशन" कहता है, इसका मतलब यह नहीं है कि यह सही उत्तर है। smartcor पैकेज इसे ऑटोमेशन के माध्यम से हल करता है: यह डेटा के प्रकारों की पहचान करता है, धारणाओं की जाँच करता है, अपने 14-टूल किट में से सही सांख्यिकीय उपकरण चुनता है, और यहाँ तक कि यह भी समझाता है कि इसने यह चुनाव क्यों किया।
लेखक सुझाव देते हैं कि जबकि मानक विधि सुविधाजनक है, मिश्रित डेटा पर लागू होने पर यह अक्सर एटेन्यूएटेड (कमजोर) परिणाम या निरर्थक नंबरों की ओर ले जाती है। smartcor का उपयोग करके, शोधकर्ता इन त्रुटियों से बच सकते हैं और इस बात की सच्ची तस्वीर प्राप्त कर सकते हैं कि दुनिया के चर वास्तव में एक-दूसरे से कैसे जुड़े हुए हैं। यह "वन-साइज़-फिट्स-ऑल" दृष्टिकोण को "टेलर-मेड" (दर्जी द्वारा बनाया गया) समाधान में बदल देता है, जिससे यह सुनिश्चित होता है कि चाहे आप तापमान, खुशी या पसंदीदा रंगों को माप रहे हों, आप काम के लिए सही पैमाने का उपयोग कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।