Propensity score adjustment when errors in achievement measures inform treatment assignment

तकनीकी सारांश: जब उपलब्धि मापों में त्रुटियाँ उपचार असाइनमेंट को सूचित करती हैं तो प्रोपेंसिटी स्कोर एडजस्टमेंट

समस्या विवरण
यह शोध पत्र स्कूल-स्तरीय हस्तक्षेपों के मूल्यांकन में एक विशिष्ट चुनौती को संबोधित करता है, जैसे कि टेक्सस एडिशनल डेज़ स्कूल ईयर (ADSY) पहल, जहाँ उपचार असाइनमेंट (treatment assignment) जनसांख्यिकीय उपसमूहों के उपलब्धि अंतराल (achievement gaps) द्वारा संचालित होता है। कई स्कूलों में, ये उपसमूह (जैसे, विशिष्ट नस्लीय/जातीय समूह) छोटे होते हैं, जिससे वर्ष के अंत के टेस्ट स्कोर छात्रों के "वास्तविक" औसत स्कोर के शोर युक्त (noisy) माप बन जाते हैं।

शास्त्रीय परीक्षण सिद्धांत (classical test theory) के तहत, एक प्राप्त स्कोर ($W$) वास्तविक स्कोर ($X$) और एक यादृच्छिक त्रुटि ($\epsilon$) का योग होता है। जबकि हस्तक्षेप असाइनमेंट तंत्र ($T$) प्राप्त स्कोर ($W$) द्वारा संचालित होता है, लेखक तर्क देते हैं कि वैध कारण अनुमान (causal inference) के लिए, प्रोपेंसिटी स्कोर (PS) को आदर्श रूप से वास्तविक अनऑब्जर्व्ड (unobserved) स्कोर ($X$) पर संतुलन बनाना चाहिए। $W$ पर आधारित मानक प्रोपेंसिटी स्कोर अनुमान, वास्तविक स्कोर ($X$) को संतुलित करने में विफल रहता है जब माप त्रुटि "विभेदक" (differential) होती है—अर्थात, जब $W$ और $T$, $X$ के दिए जाने पर सशर्त स्वतंत्र नहीं होते हैं। ऐसा इसलिए होता है क्योंकि असाइनमेंट तंत्र स्पष्ट रूप से शोर युक्त $W$ के प्रति प्रतिक्रिया करता है, न कि केवल अंतर्निहित $X$ के प्रति। इसके अलावा, सार्वजनिक रिपोर्टिंग थ्रेशोल्ड बहुत छोटे समूहों के लिए उपसमूह औसत को रोक देते हैं, जिससे डेटा की कमी (missing data) की समस्या उत्पन्न होती है जो उन स्कूलों के लिए मानक PS अनुमान को बाधित करती है।

कार्यप्रणाली
लेखक प्रोपेंसिटी स्कोर का अनुमान लगाने के लिए दो विधियों का प्रस्ताव करते हैं जो प्राप्त स्कोर ($W$) के बजाय उपसमूह औसत वास्तविक स्कोर ($X$) पर संतुलन बनाते हैं, और इसके लिए राज्य शिक्षा एजेंसियों द्वारा प्रदान किए गए माप त्रुटि विचरण (कंडीशनल स्टैंडर्ड एरर्स ऑफ मेजरमेंट, या CSEM) के बाहरी अनुमानों का उपयोग करते हैं।

1. रिग्रेशन कैलिब्रेशन (RC) प्रोपेंसिटी स्कोर:

   • यह दृष्टिकोण त्रुटिपूर्ण प्राप्त स्कोर ($W$) को PS मॉडल में वास्तविक स्कोर के एम्पिरिकल बेयस (EB) भविष्यवाणियों ($\hat{X}$) से बदल देता है।
   • EB भविष्यवाणियाँ एक दो-स्तरीय पदानुक्रमित रैखिक मॉडल (HLM) से प्राप्त की जाती हैं जो स्कूलों के बीच और स्कूलों के भीतर उपसमूहों के बीच की परिवर्तनशीलता को ध्यान में रखती है।
   • HLM में रैंडम इफेक्ट्स की पहचान करने के लिए CSEM से प्राप्त बाहरी माप त्रुटि विचरण ($\Sigma_i$) का उपयोग किया जाता है।
   • PS मॉडल वास्तविक स्कोर ($\hat{X}$) और त्रुटि-मुक्त सह-चरों ($Z$) पर उपचार असाइनमेंट का लॉजिस्टिक रिग्रेशन है।

2. मैक्सिमम लाइकलीहुड (ML) प्रोपेंसिटी स्कोर:

   • यह दृष्टिकोण वास्तविक स्कोर ($X$) और त्रुटि-मुक्त सह-चरों ($Z$) के सापेक्ष उपचार असाइनमेंट ($T$) और प्राप्त स्कोर ($W$) को संयुक्त रूप से मॉडल करता है।
   • यह मानता है कि $W$, $X$ के $T$ पर पूर्ण प्रभावों को कैप्चर करता है (अर्थात, $T \perp W | X, Z$), यह स्वीकार करते हुए कि $W$ एक "कमजोर सरोगेट" (weak surrogate) के रूप रूप में कार्य करता है।
   • लक्षित प्रोपेंसिटी स्कोर, $e(X, Z)$, $T$ और $W$ के संयुक्त वितरण से $W$ को एकीकृत (integrate) करके प्राप्त किया जाता है।
   • चूंकि परिणामी इंटीग्रल (एक लॉजिस्टिक-नॉर्मल इंटीग्रल) विश्लेषणात्मक रूप से कठिन है, इसलिए लेखक मोनहन और स्टेफ़्स्की (1992) पर आधारित एक तेज़ सन्निकटन (approximation) का उपयोग करते हैं, जो इंटीग्रल को नॉर्मल डिस्ट्रीब्यूशन फंक्शनों के लोकेशन-स्केल मिश्रण के रूप में प्रस्तुत करता है।
   • यह विधि PS अनुमान प्रदान करती है जो केवल $X$ और $Z$ पर आधारित होते हैं, जिससे शोर को प्रभावी ढंग से हटाया जा सकता है।

मुख्य परिणाम
लेखकों ने सिमुलेशन अध्ययनों और टेक्सस ADSY पहल के अनुप्रयोग के माध्यम से इन विधियों का मूल्यांकन किया।

• सिमुलेशन अध्ययन:

  • ओवरलैप और मिलान (Matching): ML और RC विधियों ने "नाइव" (naive) दृष्टिकोण (W पर मानक लॉजिस्टिक रिग्रेशन) की तुलना में हस्तक्षेप और नियंत्रण समूहों के बीच ओवरलैप में महत्वपूर्ण सुधार किया। उच्च माप त्रुटि वाले छोटे उपसमूहों वाले परिदृश्यों में, नाइव दृष्टिकोण ने विश्लेषण के लिए हस्तक्षेप स्कूलों के 21% तक को बाहर कर दिया (पॉजिटिविटी उल्लंघन के कारण), जबकि ML दृष्टिकोण ने केवल 2% को बाहर किया।
  • संतुलन (Balance): ML और RC अनुमानों पर मिलान करने से नाइव अनुमानों की तुलना में वास्तविक उपसमूह स्कोर ($X$) पर बेहतर संतुलन प्राप्त हुआ।
  • अनुमान त्रुटि (Estimation Error): उपयोग किए गए ML या RC PS अनुमानों के साथ प्राप्त प्रभाव अनुमानों (Average Treatment Effect on the Treated) में रूट मीन स्क्वेर्ड एरर (RMSE) कम था। ML अनुमानकर्ता, विशेष रूप से, एक अनुकूल व्यापार-बंद (trade-off) प्रदर्शित करता है: हालांकि इसमें विशिष्ट विषम त्रुटि परिदृश्यों में थोड़ा अधिक बायस (bias) था, लेकिन इसने काफी कम वेरिएंस दिखाया, जिससे बेहतर समग्र RMSE प्राप्त हुआ।

• टेक्सस ADSY पर अनुप्रयोग:

  • इन विधियों को सार्वजनिक स्कूल-स्तरीय डेटा पर लागू किया गया जहाँ छोटे समूहों के लिए उपसमूह औसत को रोक दिया गया था।
  • नाइव दृष्टिकोण के विपरीत, जिसे कार्य करने के लिए डेटा इम्प्यूटेशन की आवश्यकता होती है, RC और ML विधियाँ केवल EB भविष्यवाणियों और त्रुटि विचरण अनुमानों का उपयोग करके withheld डेटा वाले स्कूलों के लिए PS अनुमान उत्पन्न कर सकती हैं।
  • ML PS अनुमानों पर मिलान करने से तीन विधियों में से वास्तविक स्कोर पर सबसे अच्छा संतुलन प्राप्त हुआ, जिसमें सबसे कम औसत मानकीकृत अंतर (standardized differences) देखे गए।
  • PS मॉडल में उपयोग न किए गए उपसमूहों (एशियाई और श्वेत छात्रों) के लिए 2019 के स्कोर पर एक प्लेसबो टेस्ट ने एशियाई छात्रों के लिए सभी विधियों में महत्वपूर्ण असंतुलन प्रकट किया, जिसका कारण अत्यंत छोटा उपसमूह आकार (कुछ मामलों में मध्यिका 0 छात्र) था, जो डेटा की कमी के मामले में संतुलन बनाने की सीमाओं को रेखांकित करता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि इसके प्रस्तावित तरीके उन हस्तक्षेपों के मूल्यांकन के लिए एक व्यावहारिक समाधान प्रदान करते जहाँ उपचार असाइनमेंट शोर युक्त, छोटे-नमूना उपलब्धि मापों द्वारा संचालित होता है। इसके प्राथमिक योगदान हैं:

1. विभेदक माप त्रुटि को संबोधित करना: ये विधियाँ स्पष्ट रूप से इस तथ्य को ध्यान में रखती हैं कि माप त्रुटि उपचार असाइनमेंट को प्रभावित करती है, जो नॉन-डिफरेंशियल एरर की धारणा से आगे बढ़ती है जिसकी अक्सर मानक रिग्रेशन कैलिब्रेशन के लिए आवश्यकता होती है।
2. लुप्त डेटा (Missing Data) को संभालना: ये दृष्टिकोण उन स्कूलों के लिए PS अनुमान उत्पन्न करने की अनुमति देते जहाँ उपसमूह औसत सार्वजनिक डेटा से हटा दिए गए हैं, बिना छात्र-स्तरीय डेटा तक पहुँच के, जो शिक्षा अनुसंधान में एक सामान्य मुद्दा है।
3. बेहतर पॉजिटिविटी (Positivity): PS अनुमानों की परिवर्तनशीलता को कम करके, ये विधियाँ हस्तक्षेप और नियंत्रण समूहों के बीच ओवरलैप में सुधार करती हैं, जिससे विश्लेषण के लिए हस्तक्षेप स्कूलों को बाहर करने की आवश्यकता कम हो जाती है और इस प्रकार नमूना आकार और सटीकता बनी रहती है।
4. बायस-वेरिएंस ट्रेड-ऑफ: ML अनुमानकर्ता कन्फाउंडर बायस और पॉजिटिविटी उल्लंघन से होने वाले बायस के बीच एक सम्मोहक समाधान प्रदान करता है, जो महत्वपूर्ण माप त्रुटि की उपस्थिति में अधिक सटीक प्रभाव अनुमान प्रदान करता है।

लेखक नोट करते हैं कि हालांकि उनके तरीके माप त्रुटि को अनदेखा करने की तुलना में सुधार करते हैं, वे माप त्रुटि के बाहरी अनुमानों (CSEMs) की उपलब्धता और एक गाऊसी (Gaussian) त्रुटि वितरण (ML विधि के लिए) पर निर्भर हैं। वे स्वीकार करते हैं कि जब विभिन्न उपसमूहों के अलग-अलग माप त्रुटि वितरण होते हैं, तो ML अनुमानकर्ता के व्यवहार को समझने के लिए भविष्य के कार्य की आवश्यकता है।