Bias-robust causal inference for panel data

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: "क्या इस नई नीति ने वास्तव में लोगों के जीवन को बदला?" वास्तविक दुनिया में, हमें शायद ही कभी ऐसे पूर्ण प्रयोग करने को मिलते हैं जहाँ हम एक स्विच चालू करते हैं और कुछ लोगों को नीति मिल जाती है जबकि दूसरों को नहीं। इसके बजाय, हमें उस अव्यवस्थित, अवलोकन संबंधी डेटा (observational data) को देखना पड़ता है जो हमारे पास पहले से मौजूद है। यह पता लगाने के लिए कि नीति के बिना क्या होता (जिसे "काउंटरफैक्चुअल" या प्रति-तथ्य कहा जाता है), सांख्यिकीविद मॉडल बनाते हैं—जैसे डिजिटल टाइम मशीन—जो अतीत के आधार पर भविष्य की भविष्यवाणी करने की कोशिश करते हैं। वे अक्सर छिपे हुए पैटर्न खोजने के लिए जटिल गणित का उपयोग करते हैं, जैसे कि एक सामान्य "ट्रेंड" या "कारक" जो सभी को प्रभावित करता है, और फिर उन पैटर्नों का उपयोग यह अनुमान लगाने के लिए करते हैं कि उपचारित समूह (treated group) कैसा दिखता यदि उसे कभी उपचारित ही न किया गया होता। समस्या यह है कि ये टाइम मशीन पूर्ण नहीं होतीं। यदि मॉडल किसी छिपे हुए पैटर्न को मिस कर देता है या गलत ट्रेंड का अनुमान लगाता है, तो भविष्यवाणी गलत हो जाती है। पारंपरिक तरीके ऐसे व्यवहार करते हैं जैसे उन्हें अपनी भविष्यवाणी पर 100% भरोसा हो, इस बात को नजरअंदाज करते हुए कि उनकी "टाइम मशीन" थोड़ी खराब हो सकती है, जिससे ऐसे निष्कर्ष निकलते हैं जो आत्मविश्वासी दिखते हैं लेकिन वास्तव में डगमगाए हुए होते हैं।

यह शोध पत्र इस जासूसी काम को करने का एक नया, अधिक सतर्क तरीका पेश करता है, विशेष रूप से उस डेटा के लिए जो कई अलग-अलग लोगों या स्थानों को समय के साथ ट्रैक करता है (जिसे पैनल डेटा कहा जाता है)। लेखक, एंजेलो एलेक्सोपोलस का तर्क है कि हमारे भविष्यवाणियों के पूर्ण होने का ढोंग करने के बजाय, हमें यह स्वीकार करना चाहिए कि वे गलत हो सकती हैं और उस अनिश्चितता को सीधे हमारे अंतिम उत्तर में शामिल करना चाहिए। इसे मौसम के पूर्वानुमान की तरह समझें: केवल यह कहने के बजाय कि "दोपहर 2 बजे बारिश होगी," एक बायस-रोबस्ट (bias-robust) तरीका कहता है, "दोपहर 2 बजे बारिश होगी, लेकिन यदि हमारा मॉडल गलत है, तो बारिश वास्तव में 1:30 या 2:30 बजे भी शुरू हो सकती है।" यह शोध पत्र एक ऐसी विधि विकसित करता है जो भविष्यवाणी को डेटा में बचे हुए "त्रुटियों" (errors) को देखकर समायोजित करती है और एक सुरक्षा कवच (एक व्यापक अंतराल) बनाती है जो यह गारंटी देता है कि वास्तविक उत्तर इसके भीतर होगा, भले ही मॉडल पूर्ण न हो।

द टाइम मशीन एंड द सेफ्टी नेट (समय मशीन और सुरक्षा कवच)

यह शोध पत्र अर्थशास्त्र और सामाजिक विज्ञान की एक विशिष्ट समस्या को हल करता है: जब हम नियंत्रित प्रयोग नहीं कर सकते हैं तो नीति के प्रभाव को कैसे मापें। मानक दृष्टिकोण, जैसे कि "जनरलाइज्ड सिंथेटिक कंट्रोल" (GSC) विधि, एक सेलिब्रिटी के कपड़ों को साधारण लोगों के कपड़ों के टुकड़ों को जोड़कर बनाने जैसा है। यह तब अच्छा काम करता है जब सेलिब्रिटी और साधारण लोग अपने अंतर्निद्य शैली (factors) में बहुत समान हों। लेकिन यदि मॉडल शैली को गलत समझ लेता है—मान लीजिए, यह एक सूक्ष्म ट्रेंड को मिस कर देता है जिसका पालन केवल सेलिब्रिटी करता है—तो "जोड़ा गया" पहनावा गलत दिखता है, और नीति का अनुमानित प्रभाव बिगड़ जाता है। इससे भी बुरा यह है कि पारंपरिक तरीके अपनी "कन्फिडेंस" (विश्वास) की गणना इस तरह करते हैं जैसे कि सिलाई एकदम सटीक थी, इस तथ्य को नजरअंदाज करते हुए कि पैटर्न गलत हो सकता है।

लेखक एक "बायस-रोबस्ट" विधि का प्रस्ताव करते हैं। कल्पना कीजिए कि आप एक रहस्यमयी बॉक्स के वजन का अनुमान लगाने की कोशिश कर रहे हैं। आपके पास एक तराजू है जो थोड़ा गलत हो सकता है। केवल संख्या पढ़ने और यह कहने के बजाय कि "इसका वजन 10 पाउंड है," आप कहते हैं, "इसका वजन 10 पाउंड है, लेकिन मेरा तराजू 2 पाउंड तक गलत हो सकता है, इसलिए वास्तविक वजन 8 और 12 के बीच कहीं है।" नई विधि नीतिगत प्रभावों के लिए बिल्कुल यही करती है। यह मानक भविष्यवाणी लेती है, यह जांचती है कि मॉडल कितना गलत हो सकता है (काउंटरफैक्चुअल एरर), और फिर परिणाम में एक "सुरक्षा मार्जिन" जोड़ देती है। यह "मिनिमैक्स" (minimax) अनुकूलन नामक एक गणितीय ट्रिक का उपयोग करता है, जो एक खेल की तरह है जहाँ आप सबसे अच्छा अनुमान लगाने की कोशिश करते हैं जो उस सबसे खराब स्थिति में भी काम करे जब आपका मॉडल गलत हो सकता है।

सिमुलेशनों ने क्या दिखाया

इस विचार का परीक्षण करने के लिए, लेखक ने कंप्यूटर सिमुलेशन चलाए—नकली दुनिया बनाई जहाँ वास्तविक उत्तर शून्य था (जिसका अर्थ है कि नीति ने कुछ नहीं किया)। इन सिमुलेशनों में, नई विधि एक विश्वसनीय जासूस साबित हुई। जब मानक "जनरलाइज्ड सिंथेटिक कंट्रोल" विधि प्रभाव का अनुमान लगाने की कोशिश करती थी, तो वह अक्सर पूरी तरह से गलत लेकिन अत्यधिक आत्मविश्वासी होती थी, और लगभग हर बार वास्तविक उत्तर (शून्य) को मिस कर देती थी, खासकर जब मॉडल के पास डेटा का वर्णन करने के लिए पर्याप्त "फैक्टर्स" नहीं होते थे। एक परिदृश्य में जहाँ मॉडल एक प्रमुख ट्रेंड को मिस कर रहा था, मानक विधि के कॉन्फिडेंस इंटरवल इतने संकीर्ण थे कि वे 100% समय सच को मिस कर गए।

इसके विपरीत, नई विधि के अंतराल (intervals) व्यापक थे, लेकिन वे हमेशा सही उत्तर को पकड़ लेते थे। यह एक बड़े और भारी मछली पकड़ने के जाल की तरह था, जिसने कभी भी मछली को जाने नहीं दिया। शोध पत्र नोट करता है कि इसकी एक कीमत है: अंतराल व्यापक हैं, जिसका अर्थ है कि अनुमान कम सटीक है। हालांकि, लेखक का तर्क है कि थोड़ा कम सटीक लेकिन वास्तव में सही होना, बहुत सटीक लेकिन गलत होने से कहीं बेहतर है। सिमुलेशन में, नई विधि ने सत्य को पकड़ने में 100% सफलता दर बनाए रखी, जबकि मानक विधि की सफलता दर लगभग शून्य हो गई जब मॉडल थोड़ा भी अपूर्ण था।

वास्तविक दुनिया का परीक्षण: चुनाव के दिन पंजीकरण (Election Day Registration)

लेखक ने इस विधि को एक वास्तविक मामले पर लागू किया: मतदाता मतदान (voter turnout) पर 'इलेक्शन डे रजिस्ट्रेशन' (EDR) का प्रभाव। पिछले अध्ययनों ने मानक विधि का उपयोग करके अनुमान लगाया था कि EDR ने मतदान में लगभग 4.9 प्रतिशत अंक की वृद्धि की। जब लेखक ने नई, बायस-रोबस्ट विधि को लागू किया, तो अनुमान लगभग समान रहा (लगभग 4.99 अंक), लेकिन "सुरक्षा कवच" बहुत व्यापक था।

इस वास्तविक दुनिया के परीक्षण का सबसे दिलचस्प हिस्सा यह था कि विधि कितनी त्रुटि सहन कर सकती थी जिससे निष्कर्ष बदल जाए। लेखक ने पाया कि निष्कर्ष (कि EDR मतदान बढ़ाता है) तब भी वैध रहता है जब मॉडल की भविष्यवाणी त्रुटि "प्लेसबो" परीक्षणों (नकली प्रयोग जहाँ नीति का कोई प्रभाव नहीं होना चाहिए) में देखे गए सामान्य त्रुटियों से लगभग दोगुनी बड़ी हो। हालांकि, यदि त्रुटि बहुत बड़ी हो जाती—विशेष रूप से, यदि मॉडल बहुत अधिक गलत होता—तो निष्कर्ष बदल जाता। शोध पत्र इस बात पर प्रकाश डालता है कि जबकि मानक विधि एक संकीर्ण सीमा देती है जो प्रभावशाली दिखती है, नई विधि कहती है, "हमें काफी यकीन है कि प्रभाव सकारात्मक है, लेकिन हमें इस संभावना को भी ध्यान में रखना होगा कि हमारा मॉडल थोड़ा गलत हो सकता है।"

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र यह दावा नहीं करता कि इसने सभी मॉडलों को पूर्ण बनाने वाला कोई जादुई समाधान ढूंढ लिया है। इसके बजाय, यह परिणाम रिपोर्ट करने का एक अधिक ईमानदार तरीका प्रदान करता है। यह सुझाव देता है कि जब हम यह अनुमान लगाने के लिए जटिल मॉडलों का उपयोग करते हैं कि क्या हुआ होता, तो हमें स्पष्ट रूप से इस संभावना को भी शामिल करना चाहिए कि हमारा अनुमान गलत हो सकता है। नया तरीका सटीकता (precision) के बदले विश्वसनीयता (reliability) का सौदा करता है। यह हमें बताता है कि भले ही हम यह सटीक रूप से न जान सकें कि काउंटरफैक्चुअल एरर क्या है, हम यह सीमा तय कर सकते हैं कि वह त्रुटि कितनी बड़ी हो सकती है और फिर भी अपने निष्कर्ष पर भरोसा कर सकते हैं। अंत में, शोध पत्र का तर्क है कि अनिश्चितता के बारे में पारदर्शी होना ही यह जानने का एकमात्र तरीका है कि क्या कोई नीति सफल रही, बजाय इसके कि हम केवल यह दिखावा करें कि हमारी टाइम मशीन दोषरहित है।