When and How to Pilot: Design Rules for Two-Wave Experiments

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास सुरागों की आपूर्ति सीमित है। आप जानना चाहते हैं कि संदिग्ध दोषी है या नहीं, लेकिन आप यह नहीं जानते कि कौन सबसे ज्यादा रहस्य छिपा रहा है। विज्ञान की दुनिया में, शोधकर्ता उत्तर खोजने के लिए "प्रयोग" (experiments) करते हैं, जैसे यह परीक्षण करना कि क्या कोई नई दवा काम करती है या क्या कोई नया शिक्षण तरीका छात्रों को सीखने में मदद करता है। ऐसा करने के लिए, वे लोगों को दो समूहों में विभाजित करते हैं: एक "उपचार" (treatment) समूह जिसे नई चीज़ मिलती है, और एक "नियंत्रण" (control) समूह जिसे कुछ नहीं मिलता (या पुरानी चीज़ मिलती है)। लक्ष्य दोनों समूहों के बीच अंतर देखकर तुलना करना है।

लेकिन पेच यह है: हर कोई एक जैसा व्यवहार नहीं करता। कुछ लोग बहुत सुसंगत होते हैं; अन्य बहुत अनिश्चित होते हैं। यदि "उपचार" समूह अनिश्चित लोगों से भरा है, तो आपको स्पष्ट उत्तर पाने के लिए उनमें से अधिक का परीक्षण करने की आवश्यकता होगी। यदि "नियत्रण" समूह भी अनिश्चित लोगों से भरा है, तो आपको उनमें से भी अधिक की आवश्यकता होगी। बड़ा सवाल यह है: मुख्य जांच शुरू करने से पहले आप कैसे जानते हैं कि कौन सा समूह "अनिश्चित" वाला समूह है?

वैज्ञानिक अक्सर वास्तविक चीज़ का एक छोटा "पायलट" परीक्षण पहले करते हैं—वास्तविक चीज़ का एक छोटा सा स्वाद लेने के लिए—ताकि एक संकेत मिल सके। लेकिन यह एक दुविधा पैदा करता है। यदि आप पायलट पर बहुत अधिक भरोसा करते हैं, तो आप एक संयोग का शिकार हो सकते हैं (जैसे दो बार सिक्का उछालना और दोनों बार 'हेड्स' आना, यह सोचकर कि सिक्का पक्षपाती है)। यदि आप पायलट को पूरी तरह से अनदेखा कर देते हैं, तो आप एक बेहतर अवसर को खो सकते हैं जिससे अधिक सटीक उत्तर मिल सकता था। यह शोध पत्र इस बारे में है कि एक बड़े प्रयोग को डिजाइन करने के लिए उन छोटे पायलट संकेतों का उपयोग करते समय अत्यधिक सावधान रहने और अत्यधिक लापरवाह होने के बीच सही संतुलन कैसे बनाया जाए।

---

महान प्रयोग संतुलन कार्य (The Great Experiment Balancing Act)

कल्पना कीजिए कि आप 1,000 मेहमानों के लिए एक विशाल दावत तैयार कर रहे हैं। आपके पास दो मुख्य व्यंजन हैं: एक तीखी करी और एक हल्की स्टू (stew)। आप जानना चाहते हैं कि लोग किसे अधिक पसंद करते हैं। लेकिन आप यह भी जानते हैं कि कुछ लोग बहुत नखरेबाज खाने वाले होते हैं (उनके स्वाद में बहुत उतार-चढ़ाव होता है), जबकि अन्य बहुत सुसंगत होते हैं। यदि आप तीखी करी को नखरेबाज खाने वालों के समूह को परोसते हैं, तो औसत राय जानने के लिए आपको उन्हें बहुत से लोगों को परोसना होगा। यदि आप हल्की स्टू को सुसंगत खाने वालों को परोसते हैं, तो आपको कम लोगों की आवश्यकता होगी।

"परफेक्ट" योजना यह होगी कि यदि करी वाले लोग नखरेबाज हैं, तो आप 800 लोगों को करी और 200 को स्टू परोसें। इसे नेयमैन एलोकेशन (Neyman allocation) कहा जाता है (उस सांख्यिकीविद् के नाम पर जिसका नाम दशकों पहले इस विचार का प्रतिपादन करने वाले व्यक्ति के नाम पर रखा गया था)। यह उत्तर प्राप्त करने का सबसे कुशल तरीका है।

लेकिन पेच यह है कि आप अभी तक नहीं जानते कि नखरेबाज खाने वाले कौन हैं! आपको दावत शुरू होने से पहले विभाजन तय करना होगा।

इसलिए, आप पहले एक छोटा "पायलट" भोजन बनाने का निर्णय लेते हैं। आप 30 लोगों को स्वाद चखने के लिए आमंत्रित करते हैं। महत्वपूर्ण बात यह है कि प्रत्येक व्यक्ति को केवल एक ही व्यंजन चखने को मिलता है। कुछ को करी मिलती है, और कुछ को स्टू। उन विशिष्ट समूहों की प्रतिक्रिया के आधार पर, आप बड़े भोज की योजना बनाते हैं।

पुराने तरीके:

1. "डोंट रॉक द बोट" (जोखिम न लेने वाला) शेफ: यह शेफ पायलट को पूरी तरह से अनदेखा कर देता है। वे बस 1,000 मेहमानों को 50/50 के अनुपात में बांट देते हैं। यह सुरक्षित है। चाहे जो भी हो, वे गलती से नखरेबाज खाने वालों के लिए करी खत्म नहीं करेंगे। लेकिन वे एक बेहतर अवसर चूक सकते हैं यदि पायलट ने वास्तव में एक बड़ा अंतर दिखाया हो।
2. "ट्रस्ट द पायलट" (पायलट पर भरोसा करने वाला) शेफ: यह शेफ 30 पायलट चखने वालों को देखता है और कहता है, "अरे, करी वाला समूह बहुत अनिश्चित था! मैं 900 लोगों को करी परोसूंगा!" लेकिन क्या होगा अगर वे 30 पायलट चखने वाले बस एक बुरे दिन से गुजर रहे थे? क्या होगा अगर करी वास्तव में ठीक थी, लेकिन पायलट समूह बस शोर भरा (unpredictable) था? यह शेफ 900 लोगों को करी परोसने का निर्णय ले सकता है, जब उन्हें केवल 200 की आवश्यकता थी, जिससे संसाधनों की बर्बादी होगी और एक खराब उत्तर मिलेगा। सबसे खराब स्थिति में, यदि किसी एक व्यंजन के लिए पायलट समूह पूरी तरह से शांत (हर किसी ने उसे बिल्कुल एक समान पसंद किया) था, तो यह शेफ उस व्यंजन को शून्य लोगों को परोसने का निर्णय ले सकता है, जिससे उनके पास कोई डेटा ही नहीं बचेगा।

नया समाधान: "कंडीशनल मिनिमैक्स रिग्रेट" (CMR) नियम
इस शोध पत्र के लेखक, जुआन यामिन, एक नया तरीका प्रस्तावित करते हैं। वे इसे कंडीशनल मिनिमैक्स रिग्रेट (CMR) नियम कहते हैं।

CMR को एक बहुत ही स्मार्ट, थोड़े संदिग्ध (paranoid) शेफ के रूप में सोचें जो एक एकल अनुमान लगाने के बजाय पायलट डेटा का उपयोग करके एक "सुरक्षा क्षेत्र" (safety zone) बनाता है।

• यह कहने के बजाय कि, "करी निश्चित रूप से अनिश्चित है," शेफ कहता है, "इन 30 लोगों के आधार पर, करी अनिश्चित हो सकती है, लेकिन यह शांत भी हो सकती है। यहाँ संभावनाओं की एक सीमा है।"
• यदि पायलट डेटा कमजोर है (केवल 30 लोग), तो "सुरक्षा क्षेत्र" बहुत बड़ा है। शेफ महसूस करता है, "मैं अभी पक्का नहीं हो सकता," इसलिए वे सुरक्षित 50/50 विभाजन के करीब रहते हैं।
• यदि पायलट डेटा मजबूत है (500 लोग), तो "सुरक्षा क्षेत्र" छोटा हो जाता है। अब शेफ कह सकता है, "ठीक है, मुझे यकीन है कि करी ही अनिश्चित है," और वे विभाजन को करी समूह की ओर स्थानांतरित कर देते हैं।

CMR की खासियत यह है कि यह तब तक बहुत दूर नहीं जाता जब तक कि सबूत इतने मजबूत न हों कि "बुरे भाग्य" वाली स्थितियों को खारिज किया जा सके। इसके साथ एक प्रमाणपत्र (certificate) आता है—एक छोटा सा नोट जो कहता है, "भले ही मैं गलत हूँ, यहाँ सबसे खराब स्थिति क्या हो सकती है, और वह बहुत बुरी नहीं है।"

इस शोध पत्र ने क्या पाया

यह शोध पत्र केवल बात नहीं करता है; यह गणित के माध्यम से इसे सिद्ध करता है और प्रसिद्ध पिछले प्रयोगों (जैसे अफ्रीका में बच्चों को कीड़े मारने की दवा देने या नौकरी के भेदभाव के लिए रेज़्यूमे के परीक्षण) के वास्तविक डेटा का उपयोग करके सिमुलेशन के माध्यम से इसका परीक्षण करता है।

परिणाम:

• "ट्रस्ट द पायलट" शेफ (फिजिबल नेयमैन) छोटे पायलटों के साथ खतरनाक है: जब पायलट छोटा होता है (जैसे 30 लोग), तो यह विधि अक्सर बड़ी गलतियाँ करती है। सिमुलेशन में, इसने कभी-कभी प्रयोग को इतना अक्षम बना दिया कि यह ऐसा था जैसे शोधकर्ताओं ने अपने आधे डेटा को फेंक दिया हो। कुछ मामलों में, इसने वास्तव में एक समूह को परीक्षण की आवश्यकता होने पर भी शून्य लोगों को आवंटित करने की कोशिश की, जो कि एक आपदा है।
• "डोंट रॉक द बोट" शेफ सुरक्षित है लेकिन अवसर चूक जाता है: वे कभी बड़ी गलती नहीं करते, लेकिन वे उस अतिरिक्त सटीकता को भी प्राप्त नहीं कर पाते जो एक अच्छा पायलट प्रदान कर सकता था।
• CMR शेफ "गोल्डिलॉक्स" (सही संतुलन वाला) है: जब पायलट छोटा होता है, तो CMR सुरक्षित 50/50 विभाजन के करीब रहता है, जिससे "ट्रस्ट द पायलट" शेफ की बड़ी आपदाओं से बचा जा सकता है। लेकिन जैसे-जैसे पायलट बड़ा होता है और डेटा स्पष्ट होता जाता है, CMR सहजता से "ट्रस्ट द पायलट" विधि के लगभग सभी लाभों को प्राप्त करते हुए, आदर्श विभाजन की ओर बढ़ता है, बिना किसी जोखिम के।

सिमुलेशन में, जब पायलट छोटा (30 लोग) था, तो "ट्रस्ट द पायलट" विधि कभी-कभी पूरी तरह विफल हो गई (अनंत हानि), जबकि CMR सुरक्षित रहा। जैसे ही पायलट 500 लोगों तक बढ़ा, CMR ने पकड़ बना ली और "ट्रस्ट द पायलट" विधि के लगभग समान प्रदर्शन किया, लेकिन इस गारंटी के साथ कि यदि पायलट केवल एक संयोग था, तो यह क्रैश नहीं होगा।

यह क्यों महत्वपूर्ण है

यह शोध पत्र एक बहुत ही विशिष्ट, परेशान करने वाली समस्या को हल करता है जिसका सामना वैज्ञानिक हर दिन करते हैं: मुझे अपने छोटे परीक्षण रन पर कितना भरोसा करना चाहिए?

उत्तर है: इतना भरोसा करें कि आप आगे बढ़ सकें, लेकिन इतना भी नहीं कि आप खाई में गिर जाएं।

यह पत्र दिखाता है कि आपको डरपोक (पायलट को अनदेजना) या जुआरी (पायलट पर सब कुछ दांव पर लगाना) होने के बीच चयन करने की आवश्यकता नहीं है। आप एक ऐसे नियम का उपयोग कर सकते हैं जो कहता है, "मैं अपने प्लान को ठीक उतना ही आगे बढ़ाऊंगा जितना कि सबूत मुझे यह विश्वास दिलाने के लिए पर्याप्त हैं कि मैं गलती नहीं कर रहा हूँ।" यह छोटे डेटा की डरावनी अनिश्चितता को एक प्रबंधनीय, सुरक्षित कदम में बदल देता है।

लेखकों ने इसे चार अलग-अलग वास्तविक दुनिया के परिदृश्यों के साथ परखा, और हर मामले में, उनके नए नियम ने शोधकर्ताओं को सबसे खराब गलतियों से बचाया और उन्हें सबसे अच्छे उत्तर प्राप्त करने में भी मदद की। यह एक सीटबेल्ट की तरह है जो केवल तभी कसती है जब आप वास्तव में किसी झटके से गुजरते हैं, जिससे आप सुरक्षित रहते हैं बिना यात्रा को असहज बनाए।