How can the use of different modes of survey data collection introduce bias? A simple introduction to mode effects using directed acyclic graphs (DAGs)
यह शोध पत्र यह समझाने के लिए निर्देशित अचक्रीय ग्राफ़ (DAGs) का उपयोग करता है कि कैसे मिश्रित-मोड सर्वेक्षण डिज़ाइन "मोड प्रभाव" और "मोड चयन" के माध्यम से पूर्वाग्रह उत्पन्न करते हैं, यह प्रदर्शित करते हुए कि कंडिशनिंग जैसे सहज सांख्यिकीय समायोजन अनजाने में कोलाइडर बायस (collider bias) बना सकते हैं और मात्रात्मक पूर्वाग्रह विश्लेषण के लिए वकालत करते हैं जो एक अधिक सुदृढ़ समाधान है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि लोग वास्तव में किसी विशिष्ट प्रकार के भोजन को कितना पसंद करते हैं। इसे करने के लिए, आप उनसे एक सर्वेक्षण (सर्वे) भरने के लिए कहते हैं। लेकिन यहाँ एक मोड़ है: आप उन्हें यह चुनने की छूट देते हैं कि वे उत्तर कैसे दें। कुछ लोग कागजी फॉर्म भरते हैं, कुछ वेबसाइट पर उत्तर देते हैं, और कुछ लोग फोन पर किसी व्यक्ति से बात करते हैं।
यह लेख तर्क देता है कि लोगों को उत्तर देने के तरीके पर विकल्प देना वास्तव में आपके परिणामों को दो चालाक तरीकों से बिगाड़ सकता है। लेखक इसके कारणों को समझाने और इससे बचने के लिए "डायरेक्टेड एसाइक्लिक ग्राफ्स" (DAGs) नामक एक उपकरण का उपयोग करते हैं—जो मूल रूप से सरल फ्लोचार्ट हैं जो कारण-और-प्रभाव के संबंधों को दर्शाते हैं।
यहाँ समस्या और समाधानों का विवरण दिया गया है, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।
दो बड़ी समस्याएँ
1. "मोड इफेक्ट" (मुखौटा समस्या - The Mask Problem)
कल्पना कीजिए कि आप लोगों से पूछ रहे हैं, "क्या आप सब्जियां खाते हैं?"
- परिदृश्य A: आप एक मिलनसार साक्षात्कारकर्ता के साथ आमने-सामने पूछते हैं। लोग "हाँ!" कह सकते हैं क्योंकि वे किसी इंसान के सामने बुरा नहीं दिखना चाहते (वे सामाजिक रूप से विनम्र हो रहे हैं)।
- परिदृश्य B: आप एक निजी कंप्यूटर स्क्रीन पर पूछते हैं। वे "नहीं" टाइप कर सकते हैं क्योंकि वे सुरक्षित और ईमानदार महसूस करते हैं।
उनकी खाने की आदतों के बारे में सच्चाई नहीं बदली है, लेकिन उनके द्वारा दिया गया उत्तर बदल गया है क्योंकि उन्होंने जिस "मोड" (तरीके) का उपयोग किया था, वह अलग था। इसे मोड इफेक्ट (Mode Effect) कहा जाता है। यह एक मुखौटा पहनने जैसा है जो इस आधार पर बदल जाता है कि कौन देख रहा है।
2. "मोड सिलेक्शन" (स्व-चयन समस्या - The Self-Selection Problem)
अब, यह कल्पना करें कि कौन सा तरीका चुनता है।
- तकनीक-प्रेमी युवा वेबसाइट पसंद कर सकते हैं।
- बुजुर्ग या इंटरनेट के बिना रहने वाले लोग फोन कॉल पसंद कर सकते हैं।
इसका मतलब है कि वेबसाइट पर उत्तर देने वाले लोगों का समूह फोन पर उत्तर देने वाले लोगों से अलग है। यह मोड सिलेक्शन (Mode Selection) है। यह वैसा ही है जैसे यदि आप केवल उन लोगों से उनकी ड्राइविंग आदतों के बारे में पूछें जिनके पास कार है; आपका नमूना (sample) पहले से ही पक्षपाती है क्योंकि गैर-कार मालिक वहां मौजूद ही नहीं हैं।
जाल: "ठीक करने" से चीजें और खराब हो सकती हैं
लेख का मुख्य चेतावनी यह है कि जब शोधकर्ता "सेल्फ-सिलेक्शन समस्या" के बारे में सोचे बिना "मास्क समस्या" को ठीक करने की कोशिश करते हैं, तो क्या होता है।
एक नादान समाधान (The Naive Fix):
यदि आप देखते हैं कि वेबसाइट पर लोग सब्जियों के लिए "नहीं" कहते हैं और फोन पर "हाँ" कहते हैं, तो एक शोधकर्ता सोच सकता है, "ठीक है, मैं बस डेटा को अलग कर दूँगा और उनकी तुलना करूँगा।" या, "मैं बस अंतर को खत्म करने के लिए अपने गणितीय समीकरण में एक 'मोड' बॉक्स जोड़ दूँगा।"
जाल (कोलाइडर बायस - Collider Bias):
लेखक कहते हैं कि यह खतरनाक है यदि व्यक्ति का प्रकार (जैसे, उनकी आयु या शिक्षा) उन दोनों चीजों को प्रभावित करता है: जिस तरीके को उन्होंने चुना और जो उत्तर उन्होंने दिया।
इसे एक क्लब के बाउंसर की तरह समझें:
- "बाउंसर" है सर्वे मोड (वेबसाइट बनाम फोन)।
- "वीआईपी (VIPs)" वे लोग हैं जिन्होंने वेबसाइट चुनी (शायद वे युवा हैं)।
- "रेगुलर (Regulars)" वे लोग हैं जिन्होंने फोन चुना (शायद वे उम्रदराज हैं)।
यदि आप डेटा को "ठीक" करने के लिए वीआईपी और रेगुलर की सीधे तुलना करने की कोशिश करते हैं, तो आप अनजाने में एक नकली लिंक बना सकते हैं जो वास्तव में आपस में संबंधित नहीं है।
लेख की चेतावनी:
यदि आप सर्वे मोड को "कंट्रोल" करने की कोशिश करते हैं (डेटा को अलग करके या अपने गणित को समायोजित करके) जब लोगों ने स्वयं अपने गुणों के आधार पर मोड चुना था, तो आप अनजाने में अपने चरों (variables) के बीच एक नकली संबंध बना सकते हैं। यह ऐसा है जैसे कि आप उन लोगों के समूह को देख रहे हैं जिनके पास लाल कारें हैं और जिन्हें पिज्जा पसंद है, और यह निष्कर्ष निकालते हैं कि "लाल कारें पिज्जा के प्रति प्रेम का कारण बनती हैं," जबकि वास्तव में, वे लोग जो दोनों चीजों को पसंद करते थे, बस संयोग से उस 'रेड कार क्लब' का हिस्सा बन गए।
लेख के फ्लोचार्ट (DAGs) दिखाते हैं कि:
- यदि सर्वे मोड केवल एक "मुखौटा" है (जो उत्तर को प्रभावित करता है लेकिन व्यक्ति के गुणों द्वारा नहीं चुना गया है), तो आप डेटा को अलग करके इसे ठीक कर सकते हैं।
- यदि सर्वे मोड एक "बाउंसर" है (जिसे व्यक्ति के गुणों द्वारा चुना गया है), तो डेटा को अलग करने की कोशिश करना वास्तव में नई त्रुटियां पैदा करता है (जिसे कोलाइडर बायस कहा जाता है)।
शोधकर्ताओं को क्या करना चाहिए?
लेख तीन तरीके सुझाता है, जो स्थिति पर निर्भर करते हैं:
- इसे न छुएं (कंडीशनिंग - Don't touch it): यदि आप आश्वस्त हैं कि लोगों ने अपने गुणों के आधार पर मोड नहीं चुना, तो आप मोड के आधार पर डेटा को अलग कर सकते हैं। लेकिन यदि उन्होंने चुना था, तो ऐसा न करें!
- अनुमान लगाना और भरना (इम्पुटेशन - Guess and Fill): आप यह अनुमान लगाने की कोशिश कर सकते हैं कि "वेबसाइट वाले लोग" क्या कहते यदि उन्होंने "फोन विधि" का उपयोग किया होता और खाली जगहों को भर सकते हैं। लेख चेतावनी देता है कि यह जोखिम भरा है क्योंकि यह मान लेता है कि गायब डेटा यादृच्छिक (random) है, जो कि आमतौर पर नहीं होता है। यह एक दोस्त के उत्तर का अनुमान लगाने जैसा है जिसे उसने पूछा ही नहीं, यह मानते हुए कि वह बाकी सभी की तरह ही जवाब देता।
- "क्या होगा अगर" का खेल (क्वांटिटेटिव बायस एनालिसिस - The "What If" Game): यह वह तरीका है जिसे लेखक सबसे अधिक अनुशंसित करते हैं। डेटा को जादुई रूप से ठीक करने के बजाय, आप स्वीकार करते हैं कि डेटा अव्यवस्थित है। आप कहते हैं, "ठीक है, मान लेते हैं कि मोड इफेक्ट इतना बड़ा था। इससे हमारे परिणामों में क्या बदलाव आएगा?" फिर आप एक अलग आकार (size) का परीक्षण करते हैं। यदि आपका मुख्य निष्कर्ष हर बार समान रहता है चाहे आप त्रुटि को कितना भी बड़ा मान लें, तो आप अपने निष्कर्षों के प्रति आश्वस्त हो सकते हैं।
निष्कर्ष
जब आप डेटा एकत्र करने के विभिन्न तरीकों (जैसे फोन, वेब और पेपर) को मिलाते हैं, तो आपको सावधान रहना चाहिए।
- तरीका मायने रखता है: यह आपके उत्तर देने के तरीके को बदल देता है (मुखौटा)।
- लोग मायने रखते हैं: अलग-अलग लोग अलग-अलग तरीके चुनते हैं (बाउंसर)।
यदि आप "मुखौटे" की समस्या को ठीक करने की कोशिश करते हैं बिना यह समझे कि "बाउंसर" वहां मौजूद है, तो आप अनजाने में एक नकली कहानी बना सकते हैं। सबसे अच्छा दृष्टिकोण यह है कि आप अपने अनुमानों को मैप करें (उन फ्लोचार्टों का उपयोग करके), यह स्वीकार करें कि आप डेटा को हमेशा पूरी तरह से ठीक नहीं कर सकते, और इसके बजाय यह परीक्षण करें कि यदि त्रुटियां बड़ी या छोटी होतीं तो आपके परिणाम कितने बदल जाते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।