Psychometric inference without refitting across heterogeneous instruments and populations
यह शोध पत्र METER को प्रस्तुत करता है, जो एक सिमुलेशन-प्रशिक्षित साइकोमेट्रिक मॉडल है जो बिना री-फिटिंग के विविध अनदेखे उपकरणों और आबादी में व्यक्ति के गुणों का सफलतापूर्वक अनुमान लगाता है, वास्तविक दुनिया के डेटा में विशेषज्ञ अनुमानों के साथ उच्च सहसंबंध प्राप्त करता है और साथ ही विशिष्ट संरचनात्मक जटिलताओं को संभालने और पूर्ण वैधता स्थापित करने में अपनी सीमाओं को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मानवीय गुणों को मापने की दुनिया में, किसी व्यक्ति के अवसाद की गहराई से लेकर उनके व्यक्तित्व की व्यापकता तक, वैज्ञानिक प्रश्नावली पर भरोसा करते हैं। ये उपकरण लोगों से उनकी भावनाओं या व्यवहारों को रेट करने के लिए कहते हैं, और उत्तरों का उपयोग एक छिपे हुए स्कोर की गणना करने के लिए किया जाता है, जिसे 'लेटेंट ट्रेट' (latent trait) कहा जाता है, जो यह दर्शाता है कि वे कौन हैं या वे कैसा महसूस कर रहे हैं। पारंपरिक रूप से, जब भी कोई शोधकर्ता एक नई प्रश्नावली का उपयोग करना चाहता है या लोगों के एक अलग समूह का अध्ययन करना चाहता है, तो उन्हें शून्य से शुरुआत करनी पड़ती है। वे एक कस्टम गणितीय मॉडल बनाते हैं, उसमें नया डेटा डालते हैं, और सबसे सटीक फिट खोजने के लिए एक जटिल गणना चलाते हैं। यह प्रक्रिया लचीली तो है लेकिन धीमी है, जिसमें हर एक अध्ययन के लिए भारी गणना का एक नया दौर आवश्यक होता है, ठीक वैसे ही जैसे एक बढ़ई लकड़ी के हर अलग टुकड़े के लिए औजारों का एक नया सेट बनाता है।
कोलंबिया यूनिवर्सिटी और UNSW सिडनी के शोधकर्ताओं की एक टीम ने एक अलग सवाल पूछा: क्या एक एकल, पूर्व-निर्मित प्रणाली बिना हर नई स्थिति के लिए पुनर्गठित हुए, इन प्रश्नावलियों को स्कोर करना सीख सकती है? उन्होंने सोचा कि क्या एक कंप्यूटर प्रोग्राम को पूरी तरह से सिम्युलेटेड डेटा—कंप्यूटर द्वारा उत्पन्न लाखों काल्पनिक परीक्षण परिदृश्यों—पर प्रशिक्षित किया जा सकता है ताकि वह इस सामान्य नियम को सीख सके कि लोग सवालों के जवाब कैसे देते हैं। यदि सफल रहे, तो यह "एमोर्टाइज्ड" (amortised) प्रणाली वास्तविक दुनिया की किसी भी ऐसी प्रश्नावली को देख सकती थी जिसे उसने पहले कभी नहीं देखा है और तुरंत एक स्कोर उत्पन्न कर सकती थी, बिना किसी नए प्रशिक्षण या समायोजन के। इसका अर्थ यह होगा कि मानवीय गुणों को मापने के लिए भारी मेहनत एक बार आभासी दुनिया में होती है, जिससे इस प्रणाली को विभिन्न संस्कृतियों, भाषाओं और परीक्षणों के प्रकारों में तुरंत पुन: उपयोग किया जा सकता है।
शोधकर्ताओं ने एक प्रणाली बनाई जिसे वे METER कहते हैं, जिसका अर्थ है 'ट्रांसफरेबल एस्टीमेशन एंड रिप्रेजेंटेशन के लिए मेजरमेंट इंजन' (Measurement Engine for Transferable Estimation and Representation)। वास्तविक लोगों से सीखने के बजाय, METER को 40 अलग-अलग सिम्युलेटेड दुनियाओं पर प्रशिक्षित किया गया था जहाँ कंप्यूटर को प्रत्येक व्यक्ति के गुणों और प्रत्येक प्रश्न की कठिनाई के बारे में सटीक सत्य पता था। इन सिमुलेशन में, प्रणाली ने लोगों के जवाब देने के पैटर्न को पहचानना सीखा, चाहे कितने भी प्रश्न पूछे गए हों या कौन उत्तर दे रहा हो। एक बार यह प्रशिक्षण पूरा हो जाने के बाद, शोधकर्ताओं ने सिस्टम की आंतरिक सेटिंग्स को फ्रीज कर दिया, यानी उन्हें स्थिर कर दिया ताकि वे बदल न सकें। फिर उन्होंने इस फ्रीज किए गए सिस्टम का परीक्षण दुनिया भर के हजारों लोगों के वास्तविक डेटा पर किया, उन प्रश्नावलियों का उपयोग करके जिन्हें सिस्टम ने अपने प्रशिक्षण के दौरान कभी नहीं देखा था।
परिणामों ने दिखाया कि फ्रीज की गई प्रणाली वास्तव में उल्लेखनीय सटीकता के साथ वास्तविक दुनिया में अपने ज्ञान को स्थानांतरित कर सकती है। जब यूरोपीय सोशल सर्वे में उपयोग किए जाने वाले अवसाद पैमाने पर परीक्षण किया गया, जिसमें 21 देशों के 40,000 से अधिक लोग शामिल थे, तो सिस्टम के स्कोर पारंपरिक, कस्टम-निर्मित मॉडलों के साथ लगभग 0.97 के सहसंबंध (correlation) के साथ मेल खाते थे। यूरोप में स्वास्थ्य, वृद्धावस्था और सेवानिवृत्ति के सर्वेक्षण (Survey of Health, Ageing and Retirement in Europe) में एक अलग अवसाद पैमाने का उपयोग करते हुए एक और सख्त परीक्षण में, सिस्टम ने 28 देशों में लगभग 0.99 का सहसंबंध प्राप्त किया। इसका मतलब है कि निम्न से उच्च स्तर के पैमाने पर लोगों का क्रम लगभग वैसा ही था जैसा कि एक विशेषज्ञ मॉडल ने तैयार किया होता, लेकिन बिना उस विशेषज्ञ मॉडल को बनाए या चलाए। यह प्रणाली जटिल व्यक्तित्व परीक्षणों के लिए भी अच्छी तरह से काम करती है जो एक साथ कई गुणों को मापते हैं, बशर्ते शोधकर्ता सिस्टम को यह बता दें कि कौन से प्रश्न किस गुण से संबंधित हैं।
हालाँकि, अध्ययन ने स्पष्ट रूप से यह भी परिभाषित किया कि यह नया दृष्टिकोण कहाँ काम करना बंद कर देता है। जब सिस्टम से एक संज्ञानात्मक क्षमता (cognitive ability) परीक्षण का विश्लेषण करने के लिए कहा गया जिसमें बहुविकल्पीय प्रश्न थे, तो यह विफल रहा, क्योंकि यह रेटिंग स्केल से बहुत अलग प्रारूप है। यह स्वयं डेटा में नए पैटर्न या छिपे हुए ढांचे की खोज भी नहीं कर सका; यह केवल तभी गुणों को स्कोर कर सकता था जब शोधकर्ता एक स्पष्ट मानचित्र प्रदान करते कि प्रश्नों को आपस में कैसे जुड़ना चाहिए। इसके अलावा, जबकि सिस्टम लोगों को सटीक रूप से रैंक कर सकता था, यह अभी तक सटीक सांख्यिकीय विश्वास अंतराल (confidence intervals) प्रदान नहीं कर सका जिनकी डॉक्टरों या शोधकर्ताओं को अक्सर नैदानिक निर्णय लेने के लिए आवश्यकता होती है। सिस्टम विभिन्न सेटिंग्स में स्कोरिंग लॉजिक को पुन: उपयोग करने के लिए एक शक्तिशाली उपकरण है, लेकिन यह अध्ययन डिजाइन की आवश्यकता या वास्तव में क्या मापा जा रहा है, इसकी समझ को बदलने वाला कोई जादुई चिराग नहीं है।
शोधकर्ताओं ने प्रदर्शित किया कि सिम्युलेटेड वातावरण में मापन के नियमों को सीखना और बिना पुन: प्रशिक्षण के उन्हें वास्तविक दुनिया में लागू करना संभव है। यह ध्यान को हर अध्ययन के लिए एक नई गणितीय समस्या को हल करने से हटाकर, नई स्थितियों में सीखे गए कौशल को लागू करने पर केंद्रित करता है। हालाँकि यह प्रणाली अभी सभी पारंपरिक तरीकों का विकल्प नहीं है, लेकिन यह बड़े, विविध डेटासेट को तेज़ी से और लगातार स्कोर करने का एक तरीका प्रदान करती है। अध्ययन का निष्कर्ष है कि यह दृष्टिकोण तब सबसे अच्छा काम करता है जब प्रश्न उन प्रश्नों के समान हों जिनसे सिस्टम ने सीखा है और जब परीक्षण की संरचना पहले से ज्ञात हो। यह साइकोमेट्रिक स्कोरिंग को अधिक कुशल बनाने की दिशा में एक महत्वपूर्ण कदम है, हालांकि यह एक ऐसा उपकरण बना हुआ है जिसे इसके दायरे और डेटा के विशिष्ट प्रकारों की स्पष्ट समझ के साथ उपयोग किया जाना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।