Recovering Pre-Deletion Measurement Quality from Published Statistics: An Inverse Meta-Analysis of the Technology Readiness Index 2.0
यह शोध पत्र प्रकाशित अध्ययनों से विलोपन-पूर्व (pre-deletion) मापन गुणवत्ता सांख्यिकी को पुनः प्राप्त करने के लिए एक "इनवर्स मेटा-एनालिसिस" पद्धति प्रस्तुत करता है, जो यह प्रकट करता है कि टेक्नोलॉजी रेडिनेस इंडेक्स 2.0 में कमजोर मदों को हटाने की व्यापक प्रथा विश्वसनीयता मेट्रिक्स को कृत्रिम रूप से बढ़ा देती है और इसके अवरोधक आयामों (inhibitor dimensions) की वास्तविक कमजोरी को छिपा देती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सामाजिक विज्ञान की दुनिया में, शोधकर्ता जटिल मानवीय भावनाओं, जैसे कि कोई व्यक्ति नई तकनीक को अपनाने के लिए कितना तैयार है, को मापने के लिए अक्सर सर्वेक्षणों (सर्वे) पर भरोसा करते हैं। ऐसा करने के लिए, वे प्रश्नों (आइटम्स) की लंबी सूचियों का उपयोग करते हैं, जो लोगों से तकनीक के संबंध में उनके आत्मविश्वास, डर और आदतों के बारे में सहमति या असहमति व्यक्त करने के लिए कहते हैं। जब इन सर्वेक्षणों को डिजाइन किया जाता है, तो लक्ष्य एक संतुलित चित्र बनाना होता है: कुछ प्रश्न उत्साह और नवाचार की इच्छा जैसी सकारात्मक भावनाओं को मापते हैं, जबकि अन्य चिंता और नियंत्रण खोने के डर जैसी नकारात्मक भावनाओं को मापते हैं। एक सर्वेक्षण को विश्वसनीय माने जाने के लिए, प्रत्येक विशिष्ट भावना को मापने वाले प्रश्न आपस में मजबूती से जुड़े होने चाहिए, जिसका अर्थ है कि जो लोग किसी विषय के बारे में एक तरह महसूस करते हैं, उन्हें आमतौर पर उस विषय के अन्य प्रश्नों के बारे में भी वैसा ही महसूस होना चाहिए। यदि प्रश्न अच्छी तरह से मेल नहीं खाते हैं, तो कहा जाता है कि सर्वेक्षण में "वैधता" (validity) की कमी है, और इसके द्वारा उत्पन्न परिणाम अविश्वसनीय होते हैं।
वर्षों से, 'टेक्नोलॉजी रेडिनेस इंडेक्स' नामक एक व्यापक रूप से उपयोग किया जाने वाला सर्वेक्षण तकनीकी तत्परता को मापने के लिए एक मानक उपकरण रहा है। हालांकि, एक हालिया जांच बताती है कि इस सर्वेक्षण की सफलता का प्रकाशित रिकॉर्ड भ्रामक हो सकता है। जब शोधकर्ता अपने सर्वेक्षण डेटा का विश्लेषण करते हैं, तो वे कभी-कभी पाते हैं कि कुछ प्रश्न पैटर्न में अच्छी तरह फिट नहीं बैठते हैं। मानक अभ्यास उन कमजोर प्रश्नों को हटा देना और केवल शेष, मजबूत प्रश्नों के आधार पर परिणामों की रिपोर्ट करना है। हालांकि यह डेटा को साफ करने का एक उचित तरीका लग सकता है, एक नया अध्ययन तर्क देता है कि यह नियमित विलोपन (deletion) एक महत्वपूर्ण समस्या को छिपाता है: तकनीकी तत्परता का नकारात्मक पक्ष को व्यवस्थित रूप से कमजोर किया गया है, जिससे सर्वेक्षण वास्तव में जितना है उससे अधिक मजबूत दिखाई देता है।
एक शोधकर्ता ने इस सर्वेक्षण की वास्तविक स्थिति का पता लगाने के लिए इस सर्वेक्षण के प्रकाशित साहित्य (literature) को पीछे मुड़कर देखते हुए एक प्रयास किया। उन्होंने 'टेक्नोलॉजी रेडिनेस इंडेक्स 2.0' पर ध्यान केंद्रित किया, जो मूल सर्वेक्षण का एक छोटा संस्करण है जिसमें चार श्रेणियों में विभाजित सोलह प्रश्न पूछे जाते हैं: दो सकारात्मक श्रेणियां जिन्हें "आशावाद" (optimism) और "नवाचार" (innovativeness) कहा जाता है, और दो नकारात्मक श्रेणियां जिन्हें "असहजता" (discomfort) और "असुरक्षा" (insecurity) कहा जाता है। इस सर्वेक्षण के मूल सत्यापन (validation) में, नकारात्मक श्रेणियां पहले से ही कमजोर कड़ी के रूप में जानी जाती थीं, जहाँ प्रश्न सकारात्मकों की तुलना में उतनी मजबूती से नहीं जुड़े थे। फिर भी, इसके बाद प्रकाशित हजारों अध्ययनों में, नकारात्मक श्रेणियां अक्सर गुणवत्ता के उन्हीं उच्च मानकों को पूरा करती हुई दिखाई देती हैं जो सकारात्मक श्रेणियों के लिए हैं। शोधकर्ता को संदेह था कि यह सुधार उन हटाए गए कमजोर प्रश्नों के चयनात्मक विलोपन से पैदा हुआ एक भ्रम है।
इसकी जांच करने के लिए, शोधकर्ता ने एक विधि विकसित की जिसे वे "इनवर्स मेटा-एनालिसिस" (inverse meta-analysis) कहते हैं। कई अध्ययनों के परिणामों का औसत निकालने के बजाय, उन्होंने लेखकों द्वारा पहले से प्रकाशित सांख्यिकी से पीछे की ओर काम किया। उन्होंने छूटे हुए प्रश्नों को—जिन्हें लेखकों ने हटा दिया था—ऐसे छिपे हुए डेटा पॉइंट्स के रूप में माना जो कमजोर होने के लिए जाने जाते थे। शेष प्रश्नों के रिपोर्ट किए गए नंबरों और लेखकों द्वारा उपयोग किए गए आइटम हटाने के ज्ञात नियमों का उपयोग करके, शोधकर्ता गणितीय रूप से उस सर्वेक्षण के परिणामों का पुनर्निर्माण कर सके जो बिना किसी प्रश्न को हटाए होते। इसने उन्हें किसी भी संपादन से पहले के सर्वेक्षण के वास्तविक सामर्थ्य का अनुमान लगाने की अनुमति दी।
जांच में विश्लेषण के लिए पर्याप्त विवरण प्रदान करने वाले निन्यानवे प्रकाशित अध्ययन शामिल थे। शोधकर्ता ने पाया कि नकारात्मक श्रेणियां, विशेष रूप से "असुरक्षा" को मापने वाली श्रेणी, वास्तव में चयनात्मक विलोपन की शिकार थी। लेखक सकारात्मक श्रेणियों की तुलना में नकारात्मक श्रेणियों से प्रश्न हटाने के प्रति काफी अधिक इच्छुक थे। वास्तव में, नकारात्मक श्रेणियां कम से कम एक प्रश्न खोने के लिए बारह प्रतिशत अधिक संभावित थीं। जब शोधकर्ता ने इन हटाए गए प्रश्नों को डेटा में वापस जोड़ा, तो तस्वीर नाटकीय रूप से बदल गई। नकारात्मक श्रेणियों की गुणवत्ता गिर गई, जिससे पता चला कि वे प्रकाशित रिपोर्टों की तुलना में बहुत कमजोर थीं।
विशेष रूप से, शोधकर्ता ने पाया कि सकारात्मक और नकारात्मक श्रेणियों के बीच का अंतर, जो प्रकाशित रिपोर्टों में छोटा दिखता था, हटाए गए आइटम्स को शामिल करने के बाद लगभग दोगुना हो गया। प्रकाशित साहित्य में, नकारात्मक श्रेणियां गुणवत्ता के मानक परीक्षण को पास करती हुई प्रतीत होती थीं। हालांकि, पुनर्निर्माण के बाद, "असुरक्षा" को मापने वाले पांच में से एक से अधिक अध्ययन उसी परीक्षण में विफल रहे। सबसे अधिक बार हटाया गया प्रश्न केवल ऑनलाइन मौजूद कंपनी के साथ व्यापार करने के विश्वास के बारे में था। इस प्रश्न को, समाज की तकनीक पर निर्भरता के एक अन्य प्रश्न के साथ, इतनी बार हटाया गया कि इसने पूरे सर्वेक्षण के प्रकाशित रिकॉर्ड के परिणामों को ही प्रभावित कर दिया।
यह सुनिश्चित करने के लिए कि उनकी विधि सटीक है, शोधकर्ता ने एक कंप्यूटर सिमुलेशन चलाया जहाँ उन्होंने ज्ञात उत्तरों के साथ नकली अध्ययन बनाए। उन्होंने नकली लेखकों को ठीक वैसे ही कमजोर प्रश्न हटाने के लिए प्रोग्राम किया जैसे वास्तविक लेखक करते हैं, और फिर अपने पुनर्निर्माण की विधि को नकली परिणामों पर लागू किया। सिमुलेशन ने पुष्टि की कि उनकी तकनीक सटीक और रूढ़िवादी थी; इसने वहां समस्याएं पैदा नहीं कीं जहां वे मौजूद नहीं थीं, बल्कि इसने नकारात्मक श्रेणियों की वास्तविक, कमजोर गुणवत्ता को सफलतापूर्वक पुनः प्राप्त किया जो विलोपन द्वारा छिपाई गई थी। यह विधि तब भी काम करती रही जब विलोपन के नियम सख्त थे, जिससे यह सिद्ध हुआ कि प्रकाशित नंबरों और वास्तविक नंबरों के बीच का अंतर वास्तविक था।
अंत में, शोधकर्ता ने दो कच्चे डेटासेट्स (raw datasets) पर अपने सिद्धांत का परीक्षण किया जहाँ कोई भी प्रश्न हटाया नहीं गया था। इन अनएडिटेड डेटासेट्स में, नकारात्मक श्रेणियां अपने आप में गुणवत्ता मानकों को पूरा करने में विफल रहीं, जिससे पुष्टि हुई कि यह कमजोरी सर्वेक्षण डिजाइन की अंतर्निहित विशेषता थी न कि कुछ अध्ययनों के बुरे भाग्य का परिणाम। जब शोधकर्ता ने इन कच्चे डेटासेट्स पर विशिष्ट विलोपन नियम लागू किया, तो रिपोर्ट की गई गुणवत्ता स्कोर बढ़ गई, और सफलता की दहलीज को पार कर गई। इसने बिल्कुल प्रदर्शित किया कि कैसे हटाने के सामान्य नियम से एक विफल होते सर्वेक्षण को, केवल विफलता के साक्ष्य को हटाकर, सफल बनाया जा सकता है।
अध्ययन निष्कर्ष निकालता है कि तकनीकी तत्परता पर प्रकाशित साहित्य डेटा की वास्तविकता के बजाय लेखकों के निर्णयों द्वारा आकार दिया गया है। सबसे कमजोर प्रश्नों को हटाकर, शोधकर्ताओं ने सर्वेक्षण का एक ऐसा संस्करण बनाया है जो संतुलित और विश्वसनीय दिखता है, जबकि अंतर्निहित उपकरण तकनीक के बारे में डर और चिंता को मापने में त्रुटिपूर्ण बना हुआ है। शोधकर्ता का तर्क है कि यह केवल इस विशिष्ट सर्वेक्षण के लिए समस्या नहीं है, बल्कि पूरे क्षेत्र के लिए एक चेतावनी है। वे वैज्ञानिकों से आग्रह करते हैं कि वे अपने द्वारा पूछे गए प्रत्येक प्रश्न की रिपोर्ट करें, जिनमें वे प्रश्न भी शामिल हैं जिन्हें वे बाद में हटा देते हैं, ताकि सर्वेक्षण के प्रदर्शन का पूर्ण चित्र दृश्यमान हो सके। इस पारदर्शिता के बिना, वैज्ञानिक रिकॉर्ड निरंतर एक ऐसी दुनिया दिखा सकता है जहाँ तकनीकी तत्परता को पूरी तरह से मापा जाता है, जबकि उसे मापने के वास्तविक उपकरण अपूर्ण बने रहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।