Small Samples and Short Panels: Evaluating Policy Evaluation Methods with Realistic Data

तकनीकी सारांश: छोटे नमूने और लघु पैनल: वास्तविक डेटा के साथ नीति मूल्यांकन विधियों का मूल्यांकन

समस्या विवरण
अर्थशास्त्र, सार्वजनिक स्वास्थ्य और राजनीति विज्ञान के शोधकर्ता अक्सर भौगोलिक स्तर (जैसे, राज्य, काउंटियाँ, शहर) पर नीतिगत हस्तक्षेपों का मूल्यांकन करने के लिए अनुदैर्ध्य अर्ध-प्रायोगिक डिजाइनों (longitudinal quasi-experimental designs) का उपयोग करते हैं, जैसे कि डिफरेंस-इन-डिफरेंसेस (DiD) और सिंथेटिक कंट्रोल मेथड्स (SCM)। हालांकि, ये मूल्यांकन अक्सर गंभीर डेटा बाधाओं का सामना करते हैं: भौगोलिक इकाइयों की सीमित संख्या और लघु पैनल लंबाई (कम पूर्व- और पश्चात-उपचार काल)। जबकि DiD 'समानांतर रुझान' (parallel trends) धारणा पर निर्भर करता है, जो व्यापक सह-चरों (covariates) के आधार पर स्थिति को नियंत्रित किए बिना (जो छोटे नमूनों में एक कठिन कार्य है) अवास्तविक हो सकता है, नए तरीके जैसे सिंथेटिक डिफरेंस-इन-डिफरेंसेस (SDiD) और ऑगमेंटेड सिंथेटिक कंट्रोल मेथड (ASCM) विकल्प प्रदान करते हैं।

मुख्य समस्या जिसे संबोधित किया गया है वह यह है कि SDiD और ASCM के सैद्धांतिक प्रदर्शन गारंटी—विशेष रूप से पूर्वाग्रह (bias) और विश्वास अंतराल कवरेज (confidence interval coverage) के संबंध में—एसिम्प्टोटिक मान्यताओं (asymptotic assumptions) के तहत प्राप्त किए गए हैं, जिनमें बड़ी संख्या में इकाइयाँ और समय अवधि की आवश्यकता होती है। ये धारणाएँ अक्सर वास्तविक स्वास्थ्य नीति मूल्यांकन में विफल हो जाती हैं जहाँ नमूना आकार छोटा होता है (उदाहरण के लिए, 10 नियंत्रण इकाइयों से कम) और पैनल लघु होते हैं (उदाहरण के लिए, 20 पूर्व-उपचार काल से कम)। ऐसे में कि क्या ये विधियाँ गंभीर डेटा सीमाओं के तहत विश्वसनीय अनुमान और वैध निष्कर्ष प्रदान करती हैं, इस संबंध में व्यवस्थित साक्ष्य की कमी है।

कार्यप्रणाली
इन वास्तविक, छोटे-नमूना सेटिंग्स में SDiD और ASCM के प्रदर्शन का मूल्यांकन करने के लिए, लेखक एक कैलिब्रेटेड सिमुलेशन रणनीति का उपयोग करते हैं। विशुद्ध रूप से सैद्धांतिक डेटा निर्माण पर निर्भर रहने के बजाय, वे वास्तविक दुनिया के अनुभवजन्य वितरणों से प्राप्त सिम्युलेटेड डेटासेट में ज्ञात उपचार प्रभावों (विशेष रूप से शून्य प्रभाव को परीक्षण करने के लिए वास्तविक प्रभाव को शून्य निर्धारित करके) को इंजेक्ट करते हैं।

• डेटा कैलिब्रेशन: सिमुलेशन पैरामीटर दो वास्तविक दुनिया के डेटासेट से अनुमानित हैं:
  1. यूथ रिस्क बिहेवियर सर्विलांस सिस्टम (YRBSS): शहर-स्तरीय सोडा उपभोग डेटा ($N=7$ शहर, $T=6$ काल), जो कम इकाइयों वाले लघु पैनलों का प्रतिनिधित्व करता है।
  2. करेंट पॉपुलेशन सर्वे (CPS): राज्य-स्तरीय लॉग वेज डेटा ($N=50$ राज्य, $T=40$ वर्ष), जो लंबे पैनलों के अध्ययन की अनुमति देता है।
• डेटा जेनरेटिंग प्रोसेस (DGP): डेटा एक लेटेंट फैक्टर मॉडल ($Y = \Gamma\Psi' + W \cdot \tau + E$) के तहत उत्पन्न किया जाता है, जो एक ऐसी सेटिंग है जहाँ SDiD और ASCM दोनों के पास अनुकूल सैद्धांतिक गुण हैं। कैलिब्रेशन डेटासेट का उपयोग करके फैक्टर लोडिंग ($\Gamma$) और टाइम फैक्टर्स ($\Psi$) का अनुमान लगाया जाता है।
• सिमुलेशन डिज़ाइन: लेखक उपचारित इकाइयों ($N_{tr}$), नियंत्रण इकाइयों ($N_{co}$), पूर्व-उपचार काल ($T_{pre}$) और पश्चात-उपचार काल ($T_{post}$) की संख्या में भिन्नता लाते हैं। परिदृश्यों में चरम सीमाएं शामिल हैं (जैसे, $N_{co}=6, T_{pre}=5$)।
• मूल्यांकित विधियाँ:
  • SDiD: synthdid R पैकेज के माध्यम से कार्यान्वित, प्लेसेबो वेरिएंस एस्टीमेशन का उपयोग करते हुए।
  • ASCM: आउटकम मॉडल के रूप में रिज रिग्रेशन के साथ augsynth R पैकेज के माध्यम से कार्यान्वित, परिकल्पना परीक्षण के लिए कॉन्फॉर्मल इन्फरेंस का उपयोग करते हुए।
  • DiD: उन सेटिंग्स में बेंचमार्क के रूप में शामिल किया गया जहाँ समानांतर रुझान सटीक रूप से लागू होता है, ताकि दक्षता हानि को मापा जा सके।
• मेट्रिक्स: प्रदर्शन का आकलन पूर्वाग्रह (bias), अनुभवजन्य मानक त्रुटि (empirical standard error), और विश्वास अंतराल कवरेज दरों (उन सिमुलेशन का अनुपात जहाँ वास्तविक नल $\tau=0$ को खारिज नहीं किया गया) के माध्यम से किया जाता है।

प्रमुख परिणाम
सिमुलेशन के परिणाम नमूना आकार और पैनल की लंबाई के आधार पर SDiD और ASCM के लिए विशिष्ट प्रदर्शन विशेषताओं को प्रकट करते हैं:

1. पूर्वाग्रह और परिशुद्धता (Bias and Precision):

   • दोनों विधियाँ अधिकांश परिदृश्यों में मध्यम पूर्वाग्रह (आमतौर पर $<0.1$ अनुभवजन्य मानक विचलन) प्रदर्शित करती हैं।
   • ASCM आमतौर पर SDiD की तुलना में कम पूर्वाग्रह उत्पन्न करता है, विशेष रूप से जब अधिक इकाइयाँ उपलब्ध हों। हालांकि, अधिक समय अवधि और कम उपचारित इकाइयों वाली सेटिंग्स में, ASCM अधिक पूर्वाग्रह प्रदर्शित कर सकता है।
   • SDiD आमतौर पर ASCM की तुलना में कम अनुभवजन्य मानक त्रुटि (उच्च परिशुद्धता) प्राप्त करता है, विशेष रूप से उन परिदृश्यों में जहाँ पूर्व-उपचार काल लंबा और उपचारित इकाइयाँ कम हों (उदाहरण के लिए, CPS डेटा में $N_{tr}=1, N_{co}=10, T_{pre}=30$ के साथ, ASCM का वेरिएंस SDiD की तुलना में 2.26 गुना अधिक था)।

2. विश्वास अंतराल कवरेज (Confidence Interval Coverage):

   • ASCM: कॉन्फॉर्मल इन्फरेंस प्रक्रिया जब पूर्व-उपचार काल कम ($T < 20$) होता है, तो लगातार ओवरकवर (कवरेज $>95\%$) करती है, जिससे सांख्यिकीय शक्ति (statistical power) में भारी कमी आती है। हालांकि, ओवरकवरेज लंबे पैनलों के साथ भी बना रह सकता है (जैसे, $T=30$), जब उपचारित इकाइयाँ बहुत कम हों ($N_{tr}=1$)। पर्याप्त उपचारित इकाइयों के साथ, कम से कम 20 पूर्व-उपचार काल उपलब्ध होने पर सामान्यतः नाममात्र कवरेज प्राप्त किया जाता है।
   • SDiD: कवरेज नियंत्रण इकाइयों की संख्या पर अत्यधिक निर्भर है। एकल उपचारित इकाई के साथ, नाममात्र कवरेज केवल तभी प्राप्त होता है जब कम से कम 25 नियंत्रण इकाइयाँ हों। कई उपचारित इकाइयों के साथ, 10 नियंत्रण इकाइयों के साथ भी नाममात्र कवरेज प्राप्त किया जा सकता है।
   • DiD: जब समानांतर रुझान की धारणा लागू होती है, तो नमूना आकार की परवाह किए बिना नाममात्र कवरेज प्राप्त करता है, हालांकि SDiD और ASCM समानांतर रुझान के उल्लंघन के विरुद्ध मजबूती प्राप्त करने के लिए परिशुद्धता (सापेक्ष दक्षता सीमा 1.09 से 2.25 तक) का त्याग करते हैं।

3. लघु नमूना प्रदर्शन (Small Sample Performance):

   • सबसे सीमित परिदृश्यों में (जैसे, $N_{co}=6, T_{pre}=5$), दोनों विधियाँ नाममात्र कवरेज से विचलन दिखाती हैं, हालांकि पूर्वाग्रह अपेक्षाकृत कम रहता है।
   • लेखक नोट करते हैं कि जबकि एसिम्प्टोटिक नॉर्मलिटी के लिए सैद्धांतिक धारणाएं अक्सर इन छोटे नमूनों में विफल हो जाती हैं, विधियाँ बिंदु अनुमान (point estimation) के मामले में "उचित रूप से अच्छा" प्रदर्शन करती हैं, हालांकि निष्कर्ष (अंतराल) के लिए सावधानी की आवश्यकता है।

महत्व और व्यावहारिक मार्गदर्शन
यह शोध पत्र उन शोधकर्ताओं के लिए व्यावहारिक मार्गदर्शन प्रदान करता है जो कम इकाइयों और लघु पैनलों वाले परिवेश में नीतिगत हस्तक्षेपों का मूल्यांकन कर रहे हैं, विशेष रूप से वहां जहां समानांतर रुझान की धारणा संदिग्ध है:

• विधि चयन: SDiD और ASCM को केवल तभी प्राथमिक विश्लेषण के रूप में अनुशंसित किया जाता है जब विषय-वस्तु का ज्ञान यह सुझाव दे कि समानांतर रुझान अवास्तविक है (जैसे, हस्तक्षेप-पूर्व झटकों के कारण)। अन्यथा, उन्हें DiD के संवेदनशीलता विश्लेषण (sensitivity analyses) के रूप में उपयोग किया जाना चाहिए।
• निष्कर्ष संबंधी बाधाएं (Inference Constraints):
  • ASCM का लघु पैनलों ($T < 20$) में सावधानी के साथ उपयोग किया जाना चाहिए क्योंकि इसके रूढ़िवादी विश्वास अंतराल शक्ति को कम करते हैं; लंबे पैनलों के साथ भी, यदि उपचारित इकाइयाँ बहुत कम हैं, तो कवरेज खराब हो सकता है।
  • SDiD को वैध निष्कर्ष प्राप्त करने के लिए पर्याप्त नियंत्रण इकाइयों (एकल उपचारित इकाइयों के लिए लगभग 25, कई के लिए 10) की आवश्यकता होती है।
• व्यापार (Trade-offs): अध्ययन इस बात पर प्रकाश डालता है कि समानांतर रुझान के उल्लंघन के विरुद्ध SDiD और ASCM की मजबूती, DiD की तुलना में परिशुद्धता (जब समानांतर रुझान वास्तव में लागू होता है) की कीमत पर आती है।
• सीमाएं: लेखक स्वीकार करते हैं कि उनके सिमुलेशन केवल दो डेटासेट के लिए कैलिब्रेटेड हैं और एक लेटेंट फैक्टर मॉडल और समवर्ती अंगीकरण (simultaneous adoption) को मानते हैं। वे विशिष्ट सह-चर समायोजन या वैकल्पिक वेरिएंस अनुमानकों के लिए निर्देशात्मक मार्गदर्शन का दावा नहीं करते हैं, यह नोट करते हुए कि उनके परिणाम डिफॉल्ट सॉफ़्टवेयर कार्यान्वयन को दर्शाते हैं।

निष्कर्ष
अध्ययन यह निष्कर्ष निकालता है कि हालांकि SDiD और ASCM डेटा-दुर्लभ वातावरण में नीति मूल्यांकन के लिए मूल्यवान उपकरण प्रदान करते हैं, उनके निष्कर्ष संबंधी गुण नमूना आकार और पैनल की लंबाई के प्रति संवेदनशील हैं। शोधकर्ताओं को परिकल्पना परीक्षण के लिए इन विधियों पर भरोसा करने से पहले उपलब्ध नियंत्रण इकाइयों और समय अवधि की संख्या पर सावधानीपूर्वक विचार करना चाहिए, क्योंकि छोटे-नमूना सेटिंग्स में मानक एसिम्प्टोटिक गारंटी लागू नहीं हो सकती है, जैसा कि स्वास्थ्य नीति अनुसंधान में सामान्य है।