📊 statistics

Asymptotic Standard Errors for Reliability Coefficients in Item Response Theory

यह शोध पत्र एक सामान्य रणनीति प्रस्तावित करता है जो आइटम पैरामीटर अनुमान और नमूना मोमेंट प्रतिस्थापन परिवर्तनशीलता (sample moment substitution variability) दोनों को ध्यान में रखते हुए प्रयुक्त होने वाले एसिम्प्टोटिक मानक त्रुटियों (asymptotic standard errors) को व्युत्पन्न करती है, और आइटम रिस्पॉन्स थ्योरी के अंतर्गत ग्रेडेड रिस्पॉन्स मॉडल के तहत CTT और PRMSE विश्वसनीयता गुणांकों के लिए विश्वसनीय सैंपलिंग परिवर्तनशीलता अनुमानों की गणना करने हेतु इस ढांचे को लागू करती है।

मूल लेखक: Youjin Sung, Yang Liu

प्रकाशित 2026-03-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Youjin Sung, Yang Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नए व्यंजन (रेसिपी) को बेहतर बनाने की कोशिश कर रहे एक शेफ हैं। आप दो चीजें जानना चाहते हैं:

आपकी कुकिंग कितनी सुसंगत (consistent) है? (यदि आप उस व्यंजन को 100 बार बनाते हैं, तो क्या वह हर बार एक जैसा स्वाद देता है?)
स्वाद आपकी सामग्री की गुणवत्ता को कितनी अच्छी तरह दर्शाता है? (यदि सामग्री उच्च गुणवत्ता की है, तो क्या व्यंजन यह साबित करता है?)

मनोविज्ञान और शिक्षा की दुनिया में, यह "व्यंजन" एक परीक्षण (test) है (जैसे गणित की परीक्षा या व्यक्तित्व सर्वेक्षण), "सामग्री" प्रश्न हैं, और "स्वाद" व्यक्ति द्वारा प्राप्त किया गया स्कोर है।

यह पेपर इन परीक्षणों के स्कोर की विश्वसनीयता (reliability) (सुसंगतता) को मापने का एक नया, अधिक सटीक तरीका है, विशेष रूप से तब जब परीक्षण लंबे और जटिल हों।

यहाँ लेखक द्वारा किए गए कार्यों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "रेसिपी" बनाम "टेस्ट टेस्ट"

अतीत में, सांख्यिकीविदों (statisticians) के पास विश्वसनीयता को मापने का एक अच्छा तरीका था, लेकिन यह तभी काम करता था जब उन्हें पहले से ही "परफेक्ट रेसिपी" (हर प्रश्न की सटीक कठिनाई) पता हो। उन्होंने यह माना कि एकमात्र त्रुटि (error) स्वयं रेसिपी के अनुमान से आती है।

लेकिन वास्तविक दुनिया में, हमें परफेक्ट रेसिपी का पता नहीं होता। हमें लोगों के एक नमूने (sample) के आधार पर रेसिपी का अनुमान लगाना पड़ता है।

पुराना तरीका: केवल रेसिपी के अनुमान से होने वाली त्रुटि को गिनता था।
वास्तविकता: यहाँ दो प्रकार की त्रुटियाँ हैं:
1. रेसिपी का अनुमान लगाना (item parameters का अनुमान लगाना)।
2. यह तथ्य कि हमने केवल सूप का एक छोटा बैच चखा (पूरे विश्व के बजाय लोगों के एक नमूने का उपयोग करना)।

लेखकों ने महसूस किया कि पिछले तरीकों ने दूसरी त्रुटि को अनदेखा कर दिया था, जो बहुत बड़ी हो जाती है जब आपके पास एक लंबा परीक्षण हो जिसमें उत्तरों के कई संभावित संयोजन होते हैं। यह समुद्र के तापमान को मापने के लिए केवल एक जगह थर्मामीटर डालने जैसा है, लेकिन केवल थर्मामीटर की अशुद्धि को ही ध्यान में रखना, जबकि समुद्र विशाल और परिवर्तनशील है।

2. समाधान: एक "डबल-चेक" फॉर्मूला

लेखकों (यूजिन सुंग और यांग लियू) ने एक नया गणितीय "नुस्खा" (फॉर्मूला) बनाया जो एक साथ दोनों प्रकार की त्रुटियों को ध्यान में रखता है।

इसे एक सुरक्षा प्रणाली की तरह सोचें जिसमें दो ताले हैं:

लॉक 1: क्या ताले का तंत्र (mechanism) मजबूत है? (आइटम पैरामीटर अनुमान)।
लॉक 2: क्या हम सुनिश्चित होने के लिए पर्याप्त दरवाजों की जांच कर चुके हैं? (सैंपल मोमेंट्स)।

उनका नया फॉर्मूला दोनों तालों को एक साथ चेक करके "मानक त्रुटि" (Standard Error - अनिश्चितता का एक माप) की गणना करता है। यह शोधकर्ताओं को एक बहुत अधिक ईमानदार "कॉन्फिडेंस इंटरवल" (confidence interval) देता है—संख्याओं की वह सीमा जहाँ वास्तविक विश्वसनीयता संभवतः स्थित है।

3. विश्वसनीयता के दो प्रकार (प्रश्न की "दिशा")

यह पेपर विश्वसनीयता के दो विशिष्ट तरीकों पर ध्यान केंद्रित करता है, जिन्हें वे CTT और PRMSE कहते हैं। मानचित्र बनाम क्षेत्र (Map vs. Territory) की उपमा का उपयोग करके अंतर यहाँ दिया गया है:

CTT विश्वसनीयता (मानचित्र की जाँच):
- प्रश्न: "यदि मैं मानचित्र (परीक्षण स्कोर) को देखता हूँ, तो यह क्षेत्र (व्यक्ति की वास्तविक क्षमता) का कितनी अच्छी तरह प्रतिनिधित्व करता है?"
- उपमा: आपके पास एक शहर का मानचित्र है। आप जानना चाहते हैं: "यदि मैं इस मानचित्र का पालन करता हूँ, तो मैं वास्तविक गंतव्य के कितने करीब पहुँच पाऊँगा?"
- उपयोग का मामला: आप एक शिक्षक हैं। आपने एक परीक्षण (मानचित्र) दिया है और आप जानना चाहते हैं कि स्कोर छात्रों के वास्तविक ज्ञान (क्षेत्र) को कितनी अच्छी तरह दर्शाते हैं।
PRMSE (क्षेत्र की जाँच):
- प्रश्न: "यदि मैं क्षेत्र (व्यक्ति की वास्तविक क्षमता) को देखता हूँ, तो मैं इसे मानचित्र (परीक्षण स्कोर) का उपयोग करके कितनी अच्छी तरह अनुमानित कर सकता हूँ?"
- उपमा: आप शहर (क्षेत्र) में खड़े हैं। आप जानना चाहते हैं: "यदि मैं अपने स्थान का वर्णन करने के लिए इस मानचित्र का उपयोग करता हूँ, तो यह मेरे वास्तविक स्थान के कितने हिस्से की व्याख्या करता है?"
- उपयोग का मामला: आप मानव क्षमता का अध्ययन करने वाले एक शोधकर्ता हैं। आप जानना चाहते हैं कि किसी व्यक्ति की वास्तविक बुद्धि का कितना हिस्सा परीक्षण के प्रश्नों द्वारा "कैप्चर" या "अनुमानित" किया जा सकता है।

4. सिमुलेशन: नए नुस्खे का परीक्षण

अपने फॉर्मूले को सिद्ध करने के लिए, लेखकों ने एक विशाल कंप्यूटर सिमुलेशन चलाया।

उन्होंने अलग-अलग लंबाई (छोटी, मध्यम, लंबी) और अलग-अलग छात्रों की संख्या (छोटी क्लास, बड़ी यूनिवर्सिटी) के साथ हजारों नकली परीक्षण बनाए।
उन्होंने अपने नए फॉर्मूले की तुलना "वास्तविक सत्य" (जो उन्हें पता था क्योंकि उन्होंने डेटा खुद बनाया था) से की।
परिणाम: उनका नया फॉर्मूला अविश्वसनीय रूप से सटीक था। इसने सही ढंग से भविष्यवाणी की कि नमूना त्रुटि (sampling error) के कारण विश्वसनीयता स्कोर में कितना उतार-चढ़ाव आएगा, यहाँ तक कि छात्रों के अपेक्षाकृत छोटे समूहों के मामले में भी।

5. वास्तविक दुनिया का परीक्षण: SAT उदाहरण

उन्होंने वास्तविक डेटा पर अपनी विधि लागू की जो एक विज्ञान परीक्षण (SAT के समान) से लिया गया था।

उन्होंने परीक्षण के स्कोर की विश्वसनीयता की गणना की।
पुराना तरीका: केवल एक संख्या देगा (जैसे, "विश्वसनीयता 0.92 है")।
नया तरीका: एक संख्या और उसके साथ त्रुटि की सीमा (margin of error) देगा (जैसे, "विश्वसनीयता 0.92 है, प्लस या माइनस 0.03")।
यह शोधकर्ताओं को बताता है: "हमें 95% विश्वास है कि वास्तविक विश्वसनीयता 0.89 और 0.95 के बीच है।" यह छात्रों या नीतियों के बारे में निर्णय लेने के लिए अत्यंत महत्वपूर्ण है।

यह क्यों मायने रखता है?

कल्पना कीजिए कि आप एक जज हैं जो परीक्षण स्कोर के आधार पर किसी छात्र को छात्रवृत्ति (scholarship) देने का निर्णय ले रहे हैं।

यदि आप परीक्षण की अनिश्चितता को नहीं जानते हैं, तो आप सोच सकते हैं कि 90 का स्कोर एकदम सही है।
लेकिन इस नई विधि के साथ, आपको एहसास होता है: "आह, परीक्षण वास्तव में थोड़ा अस्थिर है। वास्तविक स्कोर 85 और 95 के बीच कहीं भी हो सकता है।"

यह आपको एक ऐसे नंबर के आधार पर अनुचित निर्णय लेने से रोकता है जो सटीक दिखता है लेकिन वास्तव में धुंधला (fuzzy) है।

सारांश

यह पेपर मापन में ईमानदारी के बारे में है।
लेखकों ने एक बेहतर कैलकुलेटर बनाया है जो स्वीकार करता है, "हम सटीक सत्य नहीं जानते, और हमारा नमूना (sample) भी पूर्ण नहीं है।" परीक्षण डिजाइन की अनिश्चितता और परीक्षण देने वाले लोगों के समूह की अनिश्चितता, दोनों को ध्यान में रखकर, वे एक स्पष्ट तस्वीर प्रदान करते हैं कि एक परीक्षण वास्तव में कितना अच्छा है।

संक्षेप में: उन्होंने शोधकर्ताओं को एक बेहतर पैमाना दिया है जिसमें एक अंतर्निहित "wiggle room" (लचीलापन) संकेतक है, ताकि हम यह दावा करना बंद कर सकें कि हमारे माप पूर्ण हैं जब वे वास्तव में नहीं होते।

यहाँ यूजिन सुंग और यांग लियू के शोध पत्र "Asymptotic Standard Errors for Reliability Coefficients in Item Response Theory" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विश्वसनीयता (Reliability) मनोमापन विज्ञान (psychometrics) में मापन परिशुद्धता का एक मौलिक सूचकांक है। जबकि हालिया ढांचे (Liu et al., 2025b) ने क्लासिकल टेस्ट थ्योरी (CTT) विश्वसनीयता और प्रोपोर्शनल रिडक्शन इन मीन स्क्वेयर्ड एरर (PRMSE) को एक प्रतिगमन-आधारित (regression-based) परिभाषा के तहत एकीकृत किया है, आइटम रिस्पांस थ्योरी (IRT) मॉडल के तहत इन गुणांकों की नमूना परिवर्तनशीलता (sampling variability) को मापने में एक महत्वपूर्ण अंतराल बना हुआ है।

विश्वसनीयता गुणांकों (जैसे, मार्जिनल रिलायबिलिटी, टेस्ट रिलायबिलिटी) के लिए मानक त्रुटियों (SEs) की गणना करने वाली मौजूदा विधियाँ डेल्टा विधि (Delta method) पर निर्भर करती हैं और यह मानती हैं कि नमूना परिवर्तनशीलता केवल आइटम मापदंडों (item parameters) के अनुमान से उत्पन्न होती है। हालाँकि, व्यवहार में, विशेष रूप से लंबे परीक्षणों के लिए:

सभी संभावित प्रतिक्रिया पैटर्न (response patterns) पर जनसंख्या क्षणों (population moments/variances) की गणना करना कम्प्यूटेशनल रूप से असंभव है क्योंकि प्रतिक्रिया पैटर्न में घातीय वृद्धि (exponential growth) होती है।
शोधकर्ताओं को जनसंख्या क्षणों के स्थान पर नमूना क्षणों (sample moments/empirical reliability) का उपयोग करना पड़ता है।
यह प्रतिस्थापन परिवर्तनशीलता के दूसरे स्रोत (स्वयं नमूना क्षणों से) को पेश करता है जिसे मौजूदा SE सूत्र पकड़ने में विफल रहते हैं, जिससे संभावित रूप से अमान्य अनिश्चितता परिमाणीकरण (uncertainty quantification) होता है।

2. कार्यप्रणाली (Methodology)

लेखक एक सामान्य स्पर्शोन्मुख ढांचा (general asymptotic framework) प्रस्तावित करते हैं ताकि ऐसे SEs प्राप्त किए जा सकें जो परिवर्तनशीलता के दोनों स्रोतों को एक साथ समाहित कर सकें: आइटम पैरामीटर अनुमान और नमूना क्षणों का उपयोग।

A. सामान्य सैद्धांतिक ढांचा (General Theoretical Framework)

लेखक एक पैरामीटराइज्ड सांख्यिकी परिवार को $H(Y_i; \nu)$ के वेक्टर्स के आधार पर परिभाषित करते हैं, जहाँ $\nu$ आइटम मापदंडों का प्रतिनिधित्व करता है।

अनुमान (Estimation): वे जनसंख्या प्रत्याशा (population expectation) $\eta(\nu)$ और उसके नमूना अनुमानक $\hat{\eta}(\hat{\nu})$ को परिभाषित करते हैं, जहाँ $\hat{\nu}$ आइटम मापदंडों का मैक्सिमम लाइकलीहुड (ML) अनुमानक है।
रूपांतरण (Transformation): विश्वसनीयता गुणांकों को इन क्षणों पर लागू एक अवकलनीय रूपांतरण फलन $\phi$ (जैसे, $\phi(\eta(\nu))$ ) के रूप में व्यक्त किया जाता है।
स्पर्शोन्मुख सामान्यता (Asymptotic Normality): डेल्टा विधि का उपयोग करते हुए, वे अनुमानित विश्वसनीयता $\phi(\hat{\eta}(\hat{\nu}))$ के स्पर्शोन्मुख वितरण को व्युत्पन्न करते हैं। स्पर्शोन्मुख सहप्रसरण आव्यूह (asymptotic covariance matrix) $\Sigma(\nu)$ फिशर इंफॉर्मेशन मैट्रिक्स (पैरामीटर अनुमान से) और नमूना क्षणों की परिवर्तनशीलता को शामिल करता है।
SE सूत्र: स्पर्शोन्मुख SE को इस प्रकार व्युत्पन्न किया जाता है:
$SE[\phi(\hat{\eta}(\hat{\nu}))] = \sqrt{\frac{1}{n} \nabla\phi(\hat{\eta}(\hat{\nu}))^\top \hat{\Sigma}(\hat{\nu}) \nabla\phi(\hat{\eta}(\hat{\nu}))}$

B. विशिष्ट अनुप्रयोग (Specific Applications)

इस सिद्धांत को ग्रेडेड रिस्पांस मॉडल (GRM) (जिसमें 2-पैरामीटर लॉजिस्टिक मॉडल एक विशेष मामला है) के तहत दो विशिष्ट अनुमानकों पर लागू किया गया है:

लेटेन्ट वेरिएबल (LV) के लिए PRMSE:
- इसे देखे गए रिस्पॉन्स पर लेटेन्ट स्कोर $\Theta_i$ के प्रतिगमन के को-एफिशिएंट ऑफ डिटरमिनेशन के रूप में परिभाषित किया गया है।
- इसके लिए एक्सपेक्टेड ए पोस्टेरिओरी (EAP) स्कोर के वेरिएंस और LV के कंडीशनल वेरिएंस के अनुमान की आवश्यकता होती है।
- लेखक एक 3-आयामी वेक्टर $H$ को परिभाषित करते हैं जिसमें EAP स्कोर, उसका वर्ग और कंडीशनल वेरिएंस शामिल है।
EAP स्कोर के लिए CTT विश्वसनीयता:
- इसे लेटेन्ट वेरिएबल पर देखे गए EAP स्कोर के प्रतिगमन के को-एफिशिएंट ऑफ डिटरमिनेशन के रूप में परिभाषित किया गया है।
- तकनीकी चुनौती: इसके अंश (numerator) के लिए "ट्रू स्कोर" (कंडीशनल एक्सपेक्टेशन) के वेरिएंस की आवश्यकता होती है, जिसमें निरंतर लेटेन्ट वेरिएबल पर एक जटिल इंटीग्रल शामिल है।
- समाधान: लेखक इस इंटीग्रल को न्यूमेरिकल क्वाड्रचर (numerical quadrature) का उपयोग करके अनुमानित करते हैं। वे कंडीशनल एक्सपेक्टेशन को मार्जिनल एक्सपेक्टेशन के रूप में पुन: व्यक्त करते हैं (बेज़ के नियम का उपयोग करके) ताकि इसे सैंपल मीन्स के माध्यम से अनुमानित किया जा सके। इससे $H$ वेक्टर के आयाम को क्वाड्रचर वेट्स और टर्म्स को शामिल करने के लिए विस्तारित किया जाता है।

3. मुख्य योगदान (Key Contributions)

दोहरे स्रोत की परिवर्तनशीलता (Dual-Source Variability): यह शोध पत्र पहला है जो ऐसे SEs का सामान्य विश्लेषणात्मक व्युत्पन्न प्रदान करता है जो दोनों—आइटम पैरामीटर अनुमान त्रुटि और जनसंख्या क्षणों के स्थान पर नमूना क्षणों के उपयोग से उत्पन्न त्रुटि—को ध्यान में रखता है।
सामान्यीकरण (Generalizability):fully specified पैरामेट्रिक IRT मॉडल और किसी भी देखे गए या लेटेन्ट स्कोर के लिए यह ढांचा लागू करने योग्य है, हालांकि शोध पत्र विशेष रूप से GRM के तहत EAP स्कोर के लिए इसका प्रदर्शन करता है।
कम्प्यूटेशनल व्यवहार्यता (Computational Feasibility): न्यूमेरिकल क्वाड्रचर और नमूना क्षणों का उपयोग करके, यह विधि लंबे परीक्षणों (जहाँ जनसंख्या क्षणों की सटीक गणना असंभव है) के लिए सटीक-रूप विश्वसनीयता गुणांक और उनके SE की गणना करने की अनुमति देती है।
व्यावहारिक कार्यान्वयन (Practical Implementation): लेखक इन SEs को लागू करने के लिए पूर्ण गणितीय व्युत्पत्ति और R कोड (mirt पैकेज के संदर्भ में) प्रदान करते हैं।

4. सिमुलेशन परिणाम (Simulation Results)

विभिन्न नमूना आकार ( $n=250, 500, 1000$ ) और टेस्ट लंबाई ( $m=4$ से $32$) के साथ 2PL और GRM मॉडल का उपयोग करके एक सिमुलेशन अध्ययन किया गया।

SE की सटीकता (Accuracy of SEs): व्युत्पन्न स्पर्शोन्मुख SEs सभी स्थितियों में विश्वसनीयता अनुमानों के अनुभवजन्य मानक विचलन (empirical standard deviations) के करीब थे। विसंगति नगण्य थी (अक्सर $<0.002$ ), यहाँ तक कि मध्यम नमूना आकार ( $n=500$ ) के लिए भी।
पॉइंट एस्टीमेट बायस (Point Estimate Bias):
- छोटे नमूने ( $n=250$ ): दोनों CTT विश्वसनीयता और PRMSE में हल्का सकारात्मक बायस (ओवरएस्टीमेशन) देखा गया।
- बड़े नमूने: जैसे-जैसे $n$ बढ़ा, बायस कम होता गया, जो स्पर्शोन्मुख सिद्धांत के अनुरूप है।
कॉन्फिडेंस इंटरवल (CI) कवरेज:
- छोटे नमूने: 95% CI ने अंडरकवरेज (जैसे, 95% के बजाय ~92%) दिखाया, विशेष रूप से PRMSE के लिए। इसका कारण सैंपलिंग डिस्ट्रीब्यूशन की नॉन-नॉर्मलिटी (skewness) और पॉइंट एस्टीमेट्स में बायस था, न कि गलत SEs।
- मध्यम/बड़े नमूने ( $n \ge 500$ ): कवरेज दर नाममात्र 95% स्तर पर अभिसरित (converged) हुई, जो दर्शाता है कि SEs और नॉर्मल एप्रोक्सिमेशन वैध हैं।
CTT विश्वसनीयता विशिष्टता: चरम स्थितियों (छोटा $n$ , लंबा टेस्ट) में, सैंपलिंग परिवर्तनशीलता के कारण CTT अनुमान कभी-कभी 1.0 से अधिक हो गए, जो बहुत छोटे नमूनों के लिए संभावित बायस-करेक्शन या ट्रांसफॉर्मेशन की आवश्यकता को रेखांकित करता है।

5. महत्व और निहितार्थ (Significance and Implications)

वैध अनिश्चितता परिमाणीकरण (Valid Uncertainty Quantification): यह अध्ययन शोधकर्ताओं को IRT में विश्वसनीयता गुणांकों के लिए कॉन्फिडेंस इंटरवल रिपोर्ट करने के लिए एक कठोर विधि प्रदान करता है, जो केवल पॉइंट एस्टीमेट्स तक सीमित नहीं है। यह उच्च-दांव वाले परीक्षणों (high-stakes testing) और मेटा-एनालिसिस के लिए महत्वपूर्ण है।
लंबे परीक्षणों को संभालना (Handling Long Tests): यह विधि उन लंबे परीक्षणों (जैसे, $m > 20$ ) के लिए कम्प्यूटेशनल बाधा को हल करती है जहाँ सटीक जनसंख्या क्षणों की गणना कठिन है।
भविष्य की दिशाएं (Future Directions): लेखक मल्टीडायमेंशनल IRT मॉडल के लिए इस ढांचे को विस्तारित करने, छोटे नमूनों के लिए बायस-करेक्शन विधियों (जैसे, बूटस्ट्रैप या फिशर z-ट्रांसफ़ॉर्मेशन) का पता लगाने और अन्य मापन परिशुद्धता सूचकांकों पर सिद्धांत को लागू करने का सुझाव देते हैं।

निष्कर्षतः, सुंग और लियू IRT विश्वसनीयता गुणांकों के अनिश्चितता अनुमान के लिए एक मजबूत, सैद्धांतिक रूप से आधारित समाधान प्रदान करते हैं, जो सैद्धांतिक परिभाषाओं और व्यावहारिक अनुप्रयोग के बीच के अंतर को पाटता है।