Sequential generalized kernel equating: Providing comparable scores across multiple test forms with nonequivalent groups and differently measured covariates

तकनीकी सारांश: अनुक्रमिक सामान्यीकृत कर्नेल तुलन (Sequential Generalized Kernel Equating)

समस्या विवरण
विभिन्न समूहों को प्रशासित किए गए कई परीक्षण रूपों (test forms) के स्कोर की तुलना करते समय निष्पक्षता सुनिश्चित करने के लिए टेस्ट इक्वेटिंग (test equating) आवश्यक है। ऐसी स्थितियों में जहाँ समूह असमान हैं और कोई एंकर टेस्ट (समान आइटम) उपलब्ध नहीं है, वहां 'नॉन-इक्विवेलेंट ग्रुप्स विद कोवेरिएट्स' (NEC) डिज़ाइन का उपयोग किया जाता है। यह डिज़ाइन जनसंख्या-अपरिवर्तनीय सशर्त वितरण (population-invariant conditional distributions) की महत्वपूर्ण धारणा पर निर्भर करता है: कि एक बार कोवेरिएट्स (जैसे, स्कूल ग्रेड, पूर्व टेस्ट स्कोर) को ध्यान में रखने के बाद, टेस्ट स्कोर का वितरण दोनों समूहों में समान होता है।

हालाँकि, यह धारणा तब खतरे में पड़ जाती है जब कोवेरिएट्स को स्वयं अलग-अलग कठिनाइयों या पैमानों वाले विभिन्न टेस्ट फॉर्मों का उपयोग करके मापा जाता है। ऐसे मामलों में, कोवेरिएट केवल एक शुद्ध प्री-ट्रीटमेंट बेसलाइन का प्रतिनिधित्व नहीं करता है, बल्कि वह विशिष्ट टेस्ट फॉर्म से प्रभावित होता है जो प्रशासित किया गया है। ऐसे "पोस्ट-ट्रीटमेंट" या गैर-अपरिवर्तनीय कोवेरिएट्स पर आधारित होने से इक्वेटिंग परिणामों में पूर्वाग्रह (bias) आ सकता है, क्योंकि कोवेरिएट और लक्षित टेस्ट स्कोर के बीच का संबंध समूहों के बीच भिन्न हो सकता है। यह शोध पत्र कर्नेल इक्वेटिंग ढांचे के भीतर इन विशिष्ट उल्लंघनों को संभालने के लिए एक मजबूत विधि के अभाव को संबोधित करता है।

कार्यप्रणाली (Methodology)
लेखक अनुक्रमिक सामान्यीकृत कर्रल इक्वेटिंग (Sequential Generalized Kernel Equating - Sequential GKE) का प्रस्ताव करते हैं, जो NEC डिज़ाइन के लिए मानक 'जनरलाइज्ड कर्नेल इक्वेटिंग' (GKE) विधि का एक दो-चरणीय विस्तार है।

1. मानक GKE संदर्भ: शोध पत्र मानक GKE ढांचे का उपयोग करता है, जिसमें पांच चरण शामिल हैं: प्रीस्मूथिंग (लॉग-लीनियर मॉडल का उपयोग करके), स्कोर संभावनाओं का अनुमान, कॉन्टिन्युइज़ेशन (गौसियन कर्नेल का उपयोग करके), इक्वेटिंग फंक्शन को परिभाषित करना, और स्टैंडर्ड एरर की गणना करना। मानक GKE यह मानता है कि कोवेरिएट्स को विभिन्न आबादी के बीच एक ही पैमाने पर मापा जाता है।
2. अनुक्रमिक दृष्टिकोण (The Sequential Approach): कोवेरिएट के पैमाने के अंतर को संबोधित करने के लिए, प्रस्तावित विधि एक मध्यवर्ती इक्वेटिंग चरण पेश करती है:
   • चरण 1 (कोवेरिएट इक्वेटिंग): कोवेरिएट $C$ (विशेष रूप से वह जिसे विभिन्न रूपों द्वारा मापा गया है) को पहले दो गैर-समान आबादी ($P$ और $Q$) के बीच तुलित (equate) किया जाता है। यह जनसंख्या $Q$ के देखे गए कोवेरिएट मानों ($C$) को तुलित मानों ($C^*$) में बदल देता है जो जनसंख्या $P$ के वितरण के साथ तुलनीय होते हैं। यह चरण मुख्य टेस्ट स्कोर को समायोजित करने के लिए उपयोग किए जाने से पहले कोवेरिएट से 'फॉर्म इफेक्ट्स' को प्रभावी ढंग से हटा देता है।
   • चरण 2 (प्राथमिक स्कोर इक्वेटिंग): प्राथमिक टेस्ट स्कोर ($X$ और $Y$) को तुलित करने के लिए मानक GKE प्रक्रिया को फिर से लागू किया जाता है। महत्वपूर्ण रूप से, इस चरण में उपयोग किए जाने वाले जॉइंट प्रोबेबिलिटी डिस्ट्रीबशंस में कच्चे देखे गए मानों के बजाय रूपांतरित, तुलित कोवेरिएट मानों ($C^*$) को शामिल किया जाता है। यह सुनिश्चित करता है कि 'कंडीशनल डिस्ट्रीब्यूशन' की धारणा के अधिक संभावित होने की संभावना है, क्योंकि कोवेरिएट अब एक सामान्य पैमाने पर है।

सिमुलेशन अध्ययन और परिणाम
लेखकों ने NEC डिज़ाइन का उपयोग करके एक सिमुलेशन अध्ययन के माध्यम से प्रस्तावित विधि का मूल्यांकन किया, जिसमें टेस्ट फॉर्म की कठिनाई, कोवेरिएट और टेस्ट स्कोर के बीच सहसंबंध की शक्ति, और सैंपल साइज को बदला गया।

• धारणा का उल्लंघन: जब कोवेरिएट को समूहों के बीच अलग-अलग कठिनाइयों के साथ मापा गया (जिससे अपरिवर्तनीय सशर्त वितरण धारणा का उल्लंघन हुआ), तो मानक GKE ने तुलित स्कोर में महत्वपूर्ण पूर्वाग्रह (bias) दिखाया। यह पूर्वाग्रह तब विशेष रूप से अधिक था जब कोवेरिएट और टेस्ट स्कोर के बीच सहसंबंध मजबूत था।
• Sequential GKE का प्रदर्शन: अनुक्रमिक दृष्टिकोण को लागू करने से इस पूर्वाग्रह में काफी कमी आई। कोवेरिएट को पहले तुलित करके, इस विधि ने तुलनीयता को बहाल कर दिया, जिससे अधिक सटीक इक्वेटिंग परिणाम प्राप्त हुए।
• व्यापार-बंद (Trade-offs): हालांकि कोवेरिएट को तुलित करने से रूपांतरण चरण से जुड़ी परिवर्तनशीलता के कारण 'स्टैंडर्ड एरर ऑफ इक्वेटिंग' (SEE) में मामूली वृद्धि हुई, लेकिन समग्र 'रूट मीन स्क्वायर्ड एरर' (RMSE) में सुधार हुआ। यह इंगित करता है कि एक अनुकूल व्यापार-बंद है जहाँ पूर्वाग्रह में कमी, विचरण (variance) में मामूली वृद्धि से अधिक महत्वपूर्ण है, विशेष रूप से बड़े सैंपल साइज के साथ।
• कमजोर सहसंबंध: जब कोवेरिएट और टेस्ट स्कोर के बीच संबंध कमजोर था, तो धारणा के उल्लंघन से होने वाला पूर्वाग्रह कम गंभीर था, लेकिन अनुक्रमिक विधि ने बिना किसी बड़े SEE इन्फ्लेशन के सुधार प्रदान किया।

वास्तविक डेटा अनुप्रयोग
इस विधि को तीन वर्षों में स्प्रिंग और फॉल टर्म में आयोजित एक राष्ट्रीय हाई स्कूल लीविंग एग्जामिनेशन (अंग्रेजी भाषा परीक्षण) के डेटा पर लागू किया गया। नेटिव लैंग्वेज (NL) टेस्ट स्कोर का उपयोग कोवेरिएट के रूप में किया गया।

• संदर्भ: NL टेस्ट अनिवार्य है, लेकिन अंग्रेजी टेस्ट वैकल्पिक है। लेखकों ने नोट किया कि NL स्कोर टर्म/वर्ष के अनुसार थोड़ा भिन्न हो सकता है।
• निष्कर्ष: इस विशिष्ट डेटासेट में, NL टेस्ट फॉर्म समय के साथ अपेक्षाकृत स्थिर दिखाई दिए। फलस्वरूप, कच्चे NL स्कोर और तुलित NL स्कोर का उपयोग करने के बीच का अंतर न्यूनतम था। मानक और अनुक्रमिक GKE मॉडल के बीच तुलित अंग्रेजी स्कोर बहुत समान थे।
• निहितार्थ: यह सुझाव देता है कि जब कोवेरिएट्स स्थिर होते हैं, तो अतिरिक्त चरण की आवश्यकता नहीं हो सकती है। हालाँकि, लेखक इस बात पर जोर देते हैं कि जब कोवेरिएटता (invariance) के उल्लंघन का संदेह हो, तो अनुक्रमिक GKE एक सुरक्षा कवच के रूप में कार्य करता है।

महत्व और दावे
शोध पत्र का दावा है कि Sequential GKE उन उच्च-दांव वाले शैक्षिक मूल्यांकनों के लिए एक पद्धतिगत समाधान प्रदान करता है जहाँ:

1. कोई एंकर टेस्ट उपलब्ध नहीं है।
2. समूह गैर-समान (nonequivalent) हैं।
3. बैकग्राउंड कोवेरिएट्स को विभिन्न उपकरणों या रूपों का उपयोग करके मापा जाता है जो सीधे तुलनीय नहीं हो सकते हैं।

लेखक तर्क देते हैं कि यह दृष्टिकोण जनसंख्या-अपरिवर्तनीय सशर्त वितरण धारणा के उल्लंघन के कारण होने वाले पक्षपाती इक्वेटिंग परिणामों के जोखिम को कम करता है। वे इस बात पर प्रकाश करते हैं कि जबकि मानक GKE ऐसे उल्लंघनों के प्रति संवेदनशील है, अनुक्रमिक दृष्टिकोण मुख्य इक्वेटिंग से पहले कोवेरिएट माप स्केल्स को संरेखित करता है, जिससे निष्पक्षता और स्कोर तुलनीयता बढ़ती है। अध्ययन निष्कर्ष निकालता है कि चिकित्सकों को कोवेरिएट स्थिरता का अनुभवजन्य सत्यापन करना चाहिए; यदि इनवेरिएंस के उल्लंघन का संदेह है, तो Sequential GKE इन विसंगतियों को ठीक करने के लिए एक मजबूत तंत्र प्रदान करता है।