Learning What to Learn: Experimental Design when Combining Experimental with Observational Evidence

महान जासूस की दुविधा: जब सुराग झूठ बोलते हैं

कल्पना कीजिए कि आप एक जासूस हैं जो एक बहुत बड़े रहस्य को सुलझाने की कोशिश कर रहे हैं: कैसे एक नई नीति, जैसे कि गरीब परिवारों को पैसा देना, पूरे देश की अर्थव्यवस्था को बदल देगी। आपके पास दो प्रकार के सुराग हैं। पहला प्रकार "रैंडमाइज्ड कंट्रोल्ड ट्रायल" (RCT) से आता है। यह एक पूरी तरह से नियंत्रित वैज्ञानिक प्रयोग की तरह है जहाँ आप लोगों के एक छोटे समूह को एक विशिष्ट उपचार देते हैं और देखते हैं कि क्या होता है। ये सुराग सोने के समान मूल्यवान हैं क्योंकि वे भरोसेमंद होते हैं; आप जानते हैं कि परिणाम का कारण क्या था। लेकिन इसमें एक पेच है: ये प्रयोग महंगे होते हैं और आमतौर पर बहुत छोटे, विशिष्ट कस्बों में ही होते हैं। वे आपको उस एक गाँव के बारे में बता सकते हैं कि वहाँ क्या हुआ, लेकिन वे आपको यह नहीं बता सकते कि क्या होगा यदि आप इस कार्यक्रम को पूरे राष्ट्र में लागू करते हैं, जहाँ कीमतें बदलती हैं और लोग जटिल तरीकों से प्रतिक्रिया करते हैं।

दूसरा प्रकार का सुराग "ऑब्जर्वेशनल एविडेंस" (अवलोकन संबंधी साक्ष्य) से आता है। यह पुराने केस फाइलों या समाचार रिपोर्टों को पढ़ने जैसा है कि अन्य स्थानों पर क्या हुआ था। ये सुराग सस्ते हैं और बड़े क्षेत्रों को कवर करते हैं, लेकिन वे अस्त-व्यस्त हैं। हो सकता है कि उन पुरानी रिपोर्टों के लोग अलग थे, या शायद कुछ और ही चल रहा था जिसने परिणामों को वास्तव में होने वाली चीज़ों से अलग दिखा दिया। वैज्ञानिकों के लिए बड़ी समस्या यह है: आप इन दो प्रकार के सुरागों को कैसे मिलाएँ? आप प्रयोग की विश्वसनीयता और पुराने रिपोर्टों के व्यापक दृष्टिकोण, दोनों को चाहते हैं, लेकिन आप यह नहीं जानते कि पुराने रिपोर्ट कितने झूठ बोल रहे हैं। यदि आप पुराने रिपोर्टों पर बहुत अधिक भरोसा करते हैं, तो आपका पूरा सिद्धांत ढह सकता है। यदि आप उन्हें अनदेखा करते हैं, तो आप बहुत सारी उपयोगी जानकारी बर्बाद कर देते हैं। यह शोधपत्र जासूसों के लिए एक बेहतर नक्शा बनाने के बारे में है ताकि वे यह तय कर सकें कि उन्हें महंगे प्रयोग पर कितना बजट खर्च करना चाहिए और कितने तक पुराने अस्त-व्यस्त फाइलों पर भरोसा करना चाहिए।

शोधपत्र का समाधान: "रिग्रेट" (पछतावा) कंपास

"लर्निंग वॉट टू लर्न" (क्या सीखना है, यह सीखना) नामक यह शोधपत्र एक नया तरीका प्रस्तावित करता है जिससे नए, महंगे डेटा को पुराने, संभावित रूप से पक्षपाती डेटा के साथ मिलाने के लिए प्रयोगों को डिजाइन किया जा सके। लेखक, अरिस्टोटेलिस एपानोमेरिटाकिस और डेविड विवियानो का तर्क है कि पुराना तरीका—अपने परिणामों में "शोर" (नॉइज़) या विचरण (वैरिएंस) को कम करने की कोशिश करना—खतरनाक है यदि आप इस संभावना को नजरअंदाज कर देते हैं कि आपका पुराना डेटा पक्षपाती हो सकता है। इसके बजाय, वे एक नया कंपास पेश करते हैं जिसे मिनिमैक्स प्रोपोर्शनल रिग्रेट कहा जाता है।

"रिग्रेट" (पछतावा) को उस भावना के रूप में सोचें जो आपको तब होती है जब आप पीछे मुड़कर देखते हैं और सोचते हैं कि काश आपने एक अलग चुनाव किया होता। इस शोधपत्र में, लेखक एक सुपर-स्मार्ट "ओरेकल" (एक जादुвई सत्ता) की कल्पना करते हैं जो पुराने डेटा में पक्षपात की सटीक मात्रा जानता है। ओरेकल सबसे अच्छा उत्तर प्राप्त करने के लिए एकदम सही प्रयोग और डेटा को मिलाने का सबसे अच्छा तरीका चुनता है। चूंकि वास्तविक शोधकर्ताओं के पास कोई जादुवी ओरेकल नहीं होता, इसलिए वे पक्षपात की सटीक मात्रा नहीं जान सकते। इसलिए, लेखक पूछते हैं: "क्या हम एक ऐसा डिज़ाइन चुन सकते हैं जो हमें हमारे चुनाव पर कम से कम पछतावा कराए, भले ही वह सबसे खराब स्थिति (वर्स्ट-केस सिनेरियो) हो?"

शोधपत्र बताता है कि सबसे अच्छी रणनीति केवल उस प्रयोग को चुनना नहीं है जो सबसे सटीक नंबर देता है। इसके बजाय, यह एक "स्वीट स्पॉट" खोजने के बारे में है जहाँ आप दो चीजों के बीच संतुलन बना सकें:

1. वैरिएंस रिग्रेट (विचरण का पछतावा): आपके परिणाम कितने "शोर भरे" या अस्थिर हैं क्योंकि आपने पर्याप्त डेटा एकत्र नहीं किया।
2. बायस रिग्रेट (पक्षपात का पछतावा): आपके परिणाम कितने गलत हो सकते हैं क्योंकि आपने एक पक्षपाती पुरानी रिपोर्ट पर बहुत अधिक भरोसा किया।

लेखक बताते हैं कि इष्टतम (ऑप्टिमल) डिज़ाइन वह है जहाँ ये दोनों प्रकार के पछतावे बराबर होते हैं। यह एक रस्सी पर चलने वाले (टाइटरोप वॉकर) की तरह है: यदि आप शोर को कम करने की ओर बहुत अधिक झुकते हैं (भारी मात्रा में प्रयोगात्मक डेटा एकत्र करना), तो आप पक्षपात (एक झूठ पर भरोसा करने) की खाई में गिर सकते हैं। यदि आप पक्षपात को कम करने की ओर बहुत अधिक झुकते हैं (शोर वाले डेटा को पूरी तरह अनदेखा करना), तो आप विचरण (आपके नंबर बहुत अस्थिर होना) की खाई में गिर सकते हैं। शोधपत्र गणितीय रूप से सिद्ध करता है कि सबसे अच्छा डिज़ाइन वह है जहाँ आप दोनों खाइयों के बारे में समान रूप से चिंतित होते हैं।

यह वास्तविक दुनिया में कैसे काम करता है

अपने विचार को सिद्ध करने के लिए, लेखकों ने इसे एक वास्तविक दुनिया के उदाहरण के साथ परखा: केन्या की एक सरकार जो यह जानना चाहती है कि नकद हस्तांतरण (कैश ट्रांसफर) स्कूल में उपस्थिति को कैसे प्रभावित करता है। उनके पास मेक्सिको (PROGRESA) के एक प्रसिद्ध कार्यक्रम का कुछ पुराना डेटा था जो शायद केन्या में पूरी तरह से लागू न हो। उन्हें यह तय करना था कि नकद के प्रत्यक्ष प्रभाव, आय के प्रभाव, या मजदूरी के प्रभाव को मापने के लिए नया प्रयोग करना है।

अपने नए "रिग्रेट" पद्धति का उपयोग करते हुए, उन्होंने पाया कि काम करने का मानक तरीका (जिसे "नेयमैन एलोकेशन" कहा जाता है) अपना सारा पैसा नकद हस्तांतरण प्रयोगों पर खर्च कर देता क्योंकि वे सबसे साफ नंबर देते थे। हालांकि, इसने इस जोखिम को नजरअंदाज कर दिया कि पुराना मैक्सिकन डेटा पक्षपाती हो सकता है। नए तरीके ने एक अलग रास्ता सुझाया: इसने हर सैंपल साइज पर एक जॉब प्रोग्राम एक्सपेरिमेंट चलाने की सिफारिश की, न कि नकद-हस्तांतरण प्रयोगों की। मानक तरीकों ने जॉब प्रोग्राम की ओर बहुत बड़े सैंपल साइज पर स्विच किया, लेकिन नए तरीके ने पक्षपात के जोखिम से बचने के लिए इसे तुरंत प्राथमिकता दी।

अपने सिमुलेशन में, नए तरीके ने दिखाया कि जबकि पुराने तरीके बहुत अच्छे दिख सकते थे यदि पुराना डेटा एकदम सही होता, तो वे थोड़े से भी गलत होने पर बिखर जाते। नया "रिग्रेट-ऑप्टिमल" डिज़ाइन स्थिर रहा। इसने परिणामों के "शोर" में थोड़ी वृद्धि को स्वीकार किया ताकि गलत होने के जोखिम में भारी कमी लाई जा सके। उदाहरण के लिए, 3,700 लोगों के सैंपल साइज पर, पुराने तरीकों का "रिग्रेट" स्कोर 4 या 5 से अधिक था, जिसका अर्थ है कि वे सर्वोत्तम संभव उत्तर से बहुत दूर थे। नया तरीका अपने रिग्रेट स्कोर को लगभग 1.3 तक नीचे रखता है, जिसका अर्थ है कि यह पक्षपाती डेटा होने के बावजूद भी सच्चाई के बहुत करीब था।

शोधपत्र क्या कहता है और क्या नहीं कहता

शोधपत्र इस बारे में बहुत स्पष्ट है कि वह क्या करता है और क्या नहीं करता। यह यह दावा नहीं करता कि हमें प्रयोग करना बंद कर देना चाहिए या पुराने डेटा का उपयोग करना बंद कर देना चाहिए। यह यह भी नहीं कहता कि हम जादुई रूप से यह जान सकते हैं कि पुराना डेटा कितना पक्षपाती है। वास्तव में, पूरी बात यही है कि हम यह नहीं जानते।

लेखक स्पष्ट रूप से इस विचार के खिलाफ तर्क देते हैं कि केवल प्रयोगात्मक नंबरों को यथासंभव सटीक बनाने (वैरिएंस को कम करने) की कोशिश की जाए बिना पक्षपात के बारे में सोचे। वे दिखाते हैं कि यदि आप ऐसा करते हैं, तो आप गलत सवाल के बहुत सटीक उत्तर के साथ समाप्त हो सकते हैं। वे पक्षपात से इतना डरने के विरुद्ध भी तर्क देते हैं कि पुराने डेटा को पूरी तरह से अनदेखा कर दिया जाए; यह संसाधनों को बर्बाद करता है और आपको अस्थिर परिणामों के साथ छोड़ देता है।

निष्कर्ष गणितीय प्रमाणों और कंप्यूटर सिमुलेशन पर आधारित हैं। लेखक दिखाते हैं कि उनका तरीका सामान्य सांख्यिकीय उपकरणों (जैसे GMM और मिनिमम डिस्टेंस एस्टिमेटर्स) के एक विस्तृत वर्ग के लिए काम करता है और यहाँ तक कि उन परिदृश्यों के लिए भी जहाँ एक "बेयसियन ऑडियंस" (विभिन्न विश्वासों वाला समूह) डेटा की व्याख्या करने की कोशिश करता है। वे सिद्ध करते हैं कि उनका "रिग्रेट" दृष्टिकोण अज्ञात को संभालने का एक मजबूत तरीका है। वे यह दावा नहीं करते कि उन्होंने अर्थशास्त्र की हर संभव समस्या को हल कर दिया है, बल्कि वे एक बहुत ही सामान्य समस्या के लिए एक विशिष्ट, गणितीय रूप से ठोस उपकरण प्रदान करते हैं जिसमें साफ प्रयोगों को अस्त-व्यस्त वास्तविक दुनिया के डेटा के साथ मिलाना शामिल है।

मुख्य निष्कर्ष (टेकअवे)

अंत में, यह शोधपत्र शोधकर्ताओं को उनके सीमित बजट खर्च करने के लिए एक नया नियम पुस्तिका देता है। यह उन्हें बताता है: "केवल सबसे चमकदार, सबसे सटीक डेटा की तलाश न करें। उस डिज़ाइन की तलाश करें जो आपको सबसे बड़ी गलतियों से सुरक्षित रखे, भले ही आप यह न जानते हों कि वे गलतियाँ क्या हैं।" यह विनम्रता का एक सबक है: यह स्वीकार करके कि हम अतीत के बारे में सब कुछ नहीं जानते, हम भविष्य के लिए बेहतर प्रयोगों को डिजाइन कर सकते हैं। परिणाम एक अधिक ईमानदार, अधिक विश्वसनीय तरीका है जिससे बड़े नीतिगत प्रश्नों के उत्तर दिए जा सकें, यह सुनिश्चित करते हुए कि जब सरकारें कार्यक्रमों पर पैसा खर्च करने का निर्णय लेती हैं, तो वे उन निर्णयों को एक ऐसे आधार पर ले रही हैं जो सटीक भी है और लचीला भी।