Refining Effect-Size Measures and Classification for Differential Item Functioning: Toward Unified Guidelines Across Methods

तकनीकी सारांश: विभेदक आइटम फंक्शनिंग (DIF) के लिए प्रभाव-आकार माप और वर्गीकरण का परिशोधन

समस्या विवरण
विभेदक आइटम फंक्शनिंग (DIF) विश्लेषण बहु-आइटम मापन में पूर्वाग्रह (bias) की पहचान करने के लिए महत्वपूर्ण है, जो यह सुनिश्चित करता है कि विभिन्न समूहों के व्यक्तियों की, जिनका अंतर्निहित गुण स्तर समान है, एक ही आइटम के प्रति प्रतिक्रिया देने की संभावना समान हो। हालांकि सांख्यिकीय महत्व परीक्षण (statistical significance testing) एक मानक प्रक्रिया है, लेकिन यह अपने आप में अपर्याप्त है क्योंकि टाइप I त्रुटि दर और सांख्यिकीय शक्ति (statistical power) नमूना आकार (sample size) पर अत्यधिक निर्भर होती है। फलस्वरूप, प्रभाव-आकार माप (effect-size measures) और वर्गीकरण (आमतौर पर "नगण्य," "मध्यम," और "बड़े" श्रेणियों में) के माध्यम से DIF के व्यावहारिक महत्व का मूल्यांकन करना आवश्यक है।

हालाँकि, वर्तमान में क्षेत्र में एकीकृत दिशा-निर्देशों का अभाव है। मौजूदा प्रभाव-आकार माप (जैसे, मंटल-हेन्ज़ल $\Delta MH$, SIBTEST $\hat{\beta}$, लॉजिस्टिक रिग्रेशन $\Delta R^2$, और क्षेत्र-आधारित माप) अक्सर एक ही आइटम के लिए असंगत वर्गीकरण प्रदान करते हैं। कई मौजूदा कट-ऑफ मान छोटे पैमाने के सिमुलेशन अध्ययनों से प्राप्त किए गए हैं या विभिन्न पहचान विधियों में व्यवस्थित सत्यापन का अभाव है। यह विसंगति आइटम को बनाए रखने या हटाने के संबंध में निर्णय लेने की प्रक्रिया को जटिल बनाती है, विशेष रूप से बड़े डेटासेट में जहाँ मामूली अंतर भी सांख्यिकीय रूप से महत्वपूर्ण के रूप में चिह्नित किया जा सकता है।

कार्यप्रणाली
लेखकों ने मौजूदा DIF प्रभाव-आकार मापों के गुणों का मूल्यांकन करने और एकीकृत वर्गीकरण दिशा-निर्देश प्रस्तावित करने के लिए एक व्यापक सिमुलेशन अध्ययन आयोजित किया। अध्ययन ने द्वि-आधारी (dichotomous) आइटम्स और बाइनरी समूह सदस्यता पर ध्यान केंद्रित किया, जिसमें यूनिफॉर्म (uniform) और नॉन-यूनिफॉर्म (non-uniform) DIF दोनों को शामिल किया गया।

• सिमुलेशन डिज़ाइन: अध्ययन ने छह डिज़ाइन कारकों में हेरफेर किया: नमूना आकार (प्रति समूह 100 से 10,000 तक), टेस्ट की लंबाई (20 और 40 आइटम्स), DIF आइटम्स का अनुपात (5% और 10%), क्षमता वितरण में बदलाव, और अंतर्निहित DIF का परिमाण (आइटम विशेषता वक्रों [Item Characteristic Curves] के बीच अनसाइंड एरिया [Unsigned Area, UA] द्वारा परिभाषित), और DIF प्रकार (यूनिफॉर्म बनाम नॉन-यूनिफॉर्म)। इसके परिणामस्वरूप 1,008 अद्वितीय सेटिंग्स प्राप्त हुईं, जिनमें से प्रत्येक को 1,000 बार दोहराया गया (कुल 1 मिलियन से अधिक डेटासेट)।
• मूल्यांकित विधियाँ: अध्ययन ने पारंपरिक विधियों (मंटल-हेन्ज़ल, SIBTEST, क्रॉसिंग SIBTEST) और मॉडल-आधारित दृष्टिकोणों (लॉजिस्टिक रिग्रेशन, IRT-आधारित 2PL/3PL/4PL मॉडल) का मूल्यांकन किया।
• प्रभाव-आकार माप: एक विस्तृत श्रृंखला के मापों का विश्लेषण किया गया, जिनमें शामिल हैं:
  • ऑड्स-अनुपात आधारित: $|\Delta MH|$, $\Delta LR$।
    ही प्रायिकता-आधारित: $LR-P-DIF$, $LR-STD-P-DIF$ (विभिन्न वेटिंग स्कीमों के साथ)।
  • विचरण-आधारित (Variance-based): $\Delta R^2$।
  • क्षेत्र-आधारित (Area-based): साइन्ड एरिया (SA), अनसाइंड एरिया (UA), क्लोज्ड साइन्ड/अनसाइंड एरिया (CSA, CUA), वेटेड साइन्ड/अनसाइंड एरिया (WSA, WUA), और नए प्रस्तावित मानकीकृत संस्करण ($SA^{STD}$, $UA^{STD}$)।
• विश्लेषणात्मक दृष्टिकोण: लेखकों ने विभिन्न प्रभाव-आकार मापों को एक सामान्य एंकर (अंतर्निहित UA या $|\Delta MH|$) से जोड़ने के लिए लीनियर और क्यूबिक रिग्रेशन मॉडल का उपयोग किया। उन्होंने इन मापों की डिज़ाइन कारकों (जैसे, नमूना आकार) पर निर्भरता की जांच की और नए कट-ऑफ मान निकाले जो विभिन्न विधियों के बीच वर्गीकरण को संरेखित करते हैं।

प्रमुख योगदान

1. एकीकृत वर्गीकरण दिशा-निर्देश: यह शोध पत्र विभिन्न DIF पहचान विधियों में सुसंगत वर्गीकरण (नगण्य, मध्यम, बड़ा) सुनिश्चित करने के लिए संशोधित कट-ऑफ मान प्रस्तावित करता है।
   • यूनिफॉर्म DIF के लिए: SIBTEST ($|\hat{\beta}|$), लॉजिस्टिक रिग्रेशन ($\Delta R^2$, $LR-STD-P-DIF$), और क्षेत्र-आधारित मापों के लिए नए थ्रेशोल्ड प्रस्तावित किए गए हैं। विशेष रूप से, लेखक मानकीकृत क्षेत्र माप ($UA^{STD}$) पेश करते हैं जिनके थ्रेशोल्ड **0.426** (नगण्य/मध्यम) और **0.638** (मध्यम/बड़ा) हैं, जो पारंपरिक$|\Delta MH|$ थ्रेशोल्ड के 1 और 1.5 से विश्लेषणात्मक रूप से जुड़े हुए हैं।
   • नॉन-यूनिफॉर्म DIF के लिए: क्रॉसिंग SIBTEST, लॉजिस्टिक रिग्रेशन ($\Delta R^2$), और क्षेत्र-आधारित मापों के लिए नए थ्रेशोल्ड प्रस्तावित किए गए हैं, जिसमें नमूना आकारों पर विशिष्ट प्रतिबंध हैं।
2. मानकीकृत क्षेत्र माप: लेखक $SA^{STD}$ और $UA^{STD}$ पेश करते हैं, जो ICCs के बीच के क्षेत्र को आइटम भेदभाव पैरामीटर ($a_i$) द्वारा स्केल करते हैं। यह क्षेत्र-आधारित मापों को ऑड्स-अनुपात आधारित मेट्रिक्स के साथ सीधे तुलना करने योग्य बनाता है और एक स्केल-इनवेरिएंट (scale-invariant) प्रभाव-आकार प्रदान करता है।
3. उपयोग प्रतिबंध: अध्ययन मौजूदा मापों की विशिष्ट सीमाओं की पहचान करता है और उपयोग प्रतिबंधों की सिफारिश करता है:
   • SIBTEST के $|\hat{\beta}|$ और क्षेत्र-आधारित मापों को छोटे नमूनों में अस्थिरता के कारण $N \ge 500$ (यूनिफॉर्म) या $N \ge 1,000$ (नॉन-यूनिफॉर्म) के नमूना आकार तक सीमित किया जाना चाहिए।
   • वितरण संबंधी धारणाओं (जैसे, $LR-P-DIF$, $WUA$) पर निर्भर मापों के उपयोग के प्रति सावधानी बरतने की सलाह दी जाती है जब क्षमता वितरण अनुमानित मॉडल से विचलित होता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): प्रस्तावित दिशा-निर्देशों का परीक्षण दो वास्तविक दुनिया के डेटासेट पर किया गया: हेल्थ बिहेवियर इन स्कूल-एज्ड चिल्ड्रन (HBSC) अध्ययन (बड़ा नमूना, $N \approx 180,000$) और मेडिकल स्कूल एडमिशन टेस्ट इन बायोलॉजी (MSATB) डेटासेट (छोटा नमूना, $N \approx 1,400$)।

परिणाम

• वर्तमान दिशा-निर्देशों की विसंगति: सिमुलेशन ने खुलासा किया कि मौजूदा कट-ऑफ मान अक्सर असंगत वर्गीकरण की ओर ले जाते हैं। उदाहरण के लिए, $\Delta R^2$ अक्सर DIF के परिमाण को कम आंकता है, जिससे आइटम्स को "नगण्य" के रूप में वर्गीकृत किया जाता है जबकि अन्य माप उन्हें "मध्यम" या "बड़ा" दर्शाते हैं। इसके विपरीत, p-मेट्रिक्स जैसे $LR-P-DIF$ नमूना आकार और क्षमता वितरण के बदलावों के प्रति उच्च संवेदनशीलता दिखाते हैं।
• नए दिशा-निर्देशों का प्रदर्शन: नए प्रस्तावित कट-ऑफ मानों ने वर्गीकरण सटीकता में काफी सुधार किया। यूनिफॉर्म DIF के लिए, $\Delta R^2$ के लिए सही वर्गीकरण दर पुराने थ्रेशोल्ड के 27.41% से सुधरकर नए थ्रेशोल्ड के 63.12% हो गई। मानकीकृत क्षेत्र मापों ($UA^{STD}$) ने ऑड्स-अनुपात आधारित मापों ($|\Delta MH|$, $\Delta LR$) के साथ मजबूत सहमति दिखाई, जिससे 60% से अधिक समग्र सहमति प्राप्त हुई।
• नमूना आकार के प्रभाव: छोटे नमूना आकार ($N \le 200$) उच्च विचरण (variance) और प्रभाव-आकार मापों के बीच कमजोर सहसंबंध का परिणाम थे, जो कुछ विधियों को बड़े नमूनों तक सीमित करने की सिफारिश की पुष्टि करते हैं।
• वास्तविक डेटा अनुप्रयोग: HBSC डेटासेट में, नए दिशा-निर्देशों ने उन संघर्षों को सुलझा दिया जहाँ विभिन्न विधियों ने विरोधाभासी वर्गीकरण सुझाए थे (उदाहरण के लिए, एक आइटम जिसे एक माप द्वारा "मध्यम" और दूसरे द्वारा "नगण्य" वर्गीकृत किया गया था)। MSATB डेटासेट में, नए थ्रेशोल्ड ने उन आइटम्स के संबंध में DIF के परिमाण के बारे में अधिक सुसंगत निष्कर्ष प्रदान किए जिन्हें विभिन्न विधियों द्वारा चिह्नित किया गया था।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य क्षेत्र-आधारित DIF प्रभाव-आकार मापों के लिए विश्लेषणात्मक रूप से व्युत्पन्न और सिमुलेशन-सत्यापित वर्गीकरण दिशा-निर्देश प्रदान करके एक महत्वपूर्ण अनुसंधान अंतराल को भरता है, जो पहले मानकीकृत थ्रेशोल्ड के अभाव में था। इन मापों को व्यापक रूप से स्वीकृत मंटल-हेन्ज़ल मेट्रिक से जोड़कर, यह अध्ययन एक "एकीकृत ढांचा" (unified framework) प्रदान करता है जो पारंपरिक और मॉडल-आधारित विधियों के बीच DIF परिणामों की व्याख्यात्मकता और तुलनात्मकता को बढ़ाता है।

यह शोध पत्र इस बात पर जोर देता है कि हालांकि सभी मापों का पूर्ण संरेखण संभव नहीं है क्योंकि मॉडल किए गए संबंधों की अनुमानित प्रकृति होती है, प्रस्तावित ढांचा आइटम फ्लैगिंग निर्णयों में अस्पष्टता को कम करता है। लेखक विनम्रतापूर्वक नोट करते हैं कि उनके दिशा-निर्देश मुख्य रूप से 2PL मॉडल और बाइनरी आइटम्स के लिए सत्यापित हैं; 3PL/4PL मॉडल या पॉलिटोमस (polytomous) आइटम्स के लिए उनकी प्रयोज्यता के लिए आगे के अन्वेषण की आवश्यकता है। फिर भी, यह अध्ययन DIF विश्लेषण के मानकीकरण को आगे बढ़ाता है, जो शोधकर्ताओं को आइटम पूर्वाग्रह के व्यावहारिक महत्व का मूल्यांकन करने के लिए एक अधिक पारदर्शी और विश्वसनीय आधार प्रदान करता है।