Making Uncertainty Visible: Multiverse Analysis for Robust Computational Social Science

यहाँ "Making Uncertainty Visible: Multiverse Analysis for Robust Computational Social Science" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: डेटा का "चूज़ योर ओन एडवेंचर" (अपनी पसंद का रोमांच चुनें)

कल्पना कीजिए कि आप एक जासूस हैं जो सुरागों के एक विशाल ढेर (डेटा) का उपयोग करके किसी रहस्य को सुलझाने की कोशिश कर रहे हैं। कंप्यूटेशनल सोशल साइंस (मानव व्यवहार का अध्ययन करने के लिए कंप्यूटर का उपयोग करना) की दुनिया में, सुराग अक्सर सोशल मीडिया पोस्ट या समाचार लेखों जैसे बिखरे हुए डिजिटल पदचिह्न होते हैं।

समस्या यह है कि इस रहस्य को सुलझाने का केवल एक ही तरीका नहीं है। आपको रास्ते में दर्जनों चुनाव करने होते हैं:

• आप किन सुरागों को हटा देते हैं?
• आप उन्हें कैसे साफ करते हैं?
• पैटर्न खोजने के लिए आप किस "जासूसी उपकरण" (एल्गोरिदम) का उपयोग करते हैं?
• आप उस उपकरण की किन सेटिंग्स को बदलते हैं?

अतीत में, शोधकर्ता आमतौर पर एक ही रास्ता चुनते थे, उसे अंत तक चलते थे, और परिणाम प्रकाशित करते थे। यह एक ऐसी कहानी लिखने जैसा था जहाँ आप पाठक को केवल वही एक रास्ता दिखाते हैं जिसे आपने चुना, और उन सभी अन्य रास्तों को छिपा देते हैं जिन पर आपने विचार किया था लेकिन उन पर चले नहीं।

मल्टीवर्स एनालिसिस (Multiverse Analysis) अनुसंधान करने का एक नया तरीका है। केवल एक रास्ता दिखाने के बजाय, शोधकर्ता कहते हैं: "आइए हम हर उस उचित रास्ते को आजमाएं जिसे हम अपना सकते थे।" वे विश्लेषण को हजारों बार चलाते हैं, एक समय में एक छोटा निर्णय बदलते हैं, यह देखने के लिए कि क्या अंतिम उत्तर समान रहता है या आपके द्वारा किए गए विकल्पों के आधार पर बहुत अधिक बदल जाता है।

इसे एक विशाल "चूज़ योर ओन एडवेंचर" (अपनी पसंद का रोमांच चुनें) वाली किताब की तरह समझें। केवल एक कहानी पढ़ने के बजाय, आप हजारों संस्करण पढ़ते हैं जहाँ नायक थोड़े अलग निर्णय लेता है। यदि नायक लगभग हर संस्करण में साम्राज्य को बचाता है, तो आप जानते हैं कि कहानी मजबूत (robust) है। यदि नायक केवल एक विशिष्ट संस्करण में साम्राज्य को बचाता है और अन्य सभी में विफल रहता है, तो आप जानते हैं कि कहानी नाजुक (fragile) है।

---

हमें इसकी आवश्यकता क्यों है?

लेखकों का तर्क है कि कंप्यूटेशनल सोशल साइंस लाखों गैजेट्स वाले एक हाई-टेक किचन की तरह है। क्योंकि इसमें बहुत सारे उपकरण और सेटिंग्स हैं, इसलिए शोधकर्ताओं के पास चुनाव करने की काफी "स्वतंत्रता" होती है। कभी-कभी, ये चुनाव मनमाने (सिर्फ एक अनुमान) होते हैं, लेकिन वे पूरी तरह से अंतिम परिणाम को बदल सकते हैं।

पेपर का दावा है कि मल्टीवर्स एनालिसिस का उपयोग करके, हम:

1. "छिपी हुई" विफलताओं को देख सकते हैं: अतीत में, यदि कोई कंप्यूटर मॉडल क्रैश हो जाता या काम करने में विफल रहता, तो शोधकर्ता बस एक अलग सेटिंग पर स्विच कर देते थे और उसका उल्लेख भी नहीं करते थे। मल्टीवर्स एनालिसिस उन्हें क्रैश दिखाना अनिवार्य बनाता है। यह एक शेफ द्वारा यह स्वीकार करने जैसा है, "मैंने 10 अलग-अलग ओवन आजमाए, और उनमें से 3 फट गए, लेकिन बाकी 7 में खाना अच्छा बना।"
2. सत्य का परीक्षण करते हैं: यह हमें यह देखने में मदद करता है कि कोई खोज एक ठोस तथ्य है या डेटा को प्रोसेस करने के तरीके का केवल एक भाग्यशाली संयोग है।

---

तीन केस स्टडीज (प्रयोग)

लेखकों ने यह देखने के लिए कि यह वास्तव में कैसे काम करता है, इस पद्धति का परीक्षण तीन वास्तविक अध्ययनों पर किया।

1. समाचार कवरेज अध्ययन (बेशियन विश्लेषण - Bayesian Analysis)

• मूल अध्ययन: शोधकर्ताओं ने देखा कि चीन के साथ व्यापार कितना अधिक है, इसके आधार पर विभिन्न देश चीन के बारे में कितनी खबरें लिखते हैं। उन्होंने एक स्पष्ट संबंध पाया: अधिक व्यापार = अधिक समाचार।
• मल्टीवर्स टेस्ट: लेखकों ने अध्ययन को 144 बार फिर से चलाया, जिसमें चीजें बदली गईं जैसे:
  • वे कौन से कीवर्ड खोज रहे थे (जैसे, केवल "चीन" बनाम "चीन" + "बीजिंग")।
    कहा गया कि कितने लेखों की आवश्यकता थी ताकि उन्हें शामिल किया जा सके।
  • कंप्यूटर मॉडल की गणितीय सेटिंग्स।
• परिणाम: लगभग सभी 144 संस्करणों में, व्यापार और समाचार के बीच का संबंध सकारात्मक बना रहा। खोज मजबूत (robust) थी। हालाँकि, उन्होंने यह भी पाया कि कुछ विशिष्ट संयोजनों में, कंप्यूटर मॉडल अटक गया और क्रैश हो गया। इससे पता चला कि मूल अध्ययन शायद एक ऐसे सेटिंग को चुनने में भाग्यशाली था जो काम कर गया, लेकिन मुख्य निष्कर्ष अभी भी सुरक्षित था।

2. क्लासरूम फ्रेंडशिप अध्ययन (नेटवर्क मॉडलिंग - Network Modeling)

• मूल अध्ययन: शोधकर्ताओं ने अध्ययन किया कि बच्चों का "प्रोसोशल" व्यवहार (मददगार होना) उनकी कक्षा की दोस्ती को कैसे प्रभावित करता है। उन्होंने दो चीजें पाईं: मददगार बच्चों के अधिक दोस्त होते हैं, और समान मददगारता स्तर वाले बच्चे एक साथ घूमते हैं।
• मसेप्टिव टेस्ट: उन्होंने दोस्ती के कंप्यूटर मॉडल को बनाने के 324 अलग-अलग तरीके आजमाए। उन्होंने उन बच्चों के साथ व्यवहार करने के तरीके को बदला जिनके कोई दोस्त नहीं थे, "समानता" को मापने के तरीके को बदला, और कंप्यूटर त्रुटियों को ठीक करने के तरीके को बदला।
• परिणाम:
  • खोज 1 (मददगार बच्चे दोस्त बनाते हैं): यह लगभग हर संस्करण में कायम रहा। यह एक ठोस खोज है।
  • खोज 2 (समान बच्चे साथ घूमते हैं): यह नाजुक (fragile) थी। जब उन्होंने "समानता" को मापने के तरीके को बदला (जैसे, एक अलग गणितीय सूत्र का उपयोग करना), तो परिणाम गायब हो गया या बदल गया। इसने हमें बताया कि दूसरा निष्कर्ष एक ठोस तथ्य नहीं था; यह मूल शोधकर्ताओं द्वारा किए गए एक विशिष्ट, विवादास्पद चुनाव पर बहुत अधिक निर्भर था।

3. राजनेता व्यक्तित्व अध्ययन (मशीन लर्निंग - Machine Learning)

• मूल अध्ययन: शोधकर्ताओं ने भाषणों को पढ़ने और राजनेताओं के व्यक्तित्व (क्या वे "कम्युनल" या "एजेंटिक" हैं?) का अनुमान लगाने के लिए उन्नत AI (लार्ज लैंग्वेज मॉडल्स) का उपयोग किया। उन्होंने पाया कि वामपंथी राजनेता अधिक "कम्युनल" दिखते हैं।
• मल्टीवर्स टेस्ट: उन्होंने कई अलग-अलग AI मॉडल, टेक्स्ट को साफ करने के अलग-अलग तरीके और अलग-अलग सैंपलिंग विधियों का परीक्षण किया। उन्होंने बुनियादी सांख्यिकीय मॉडल जैसे सरल उपकरणों का भी परीक्षण किया।
• परिणाम:
  • "क्रैश" फैक्टर: कई फैंसी AI मॉडल पूरी तरह से विफल रहे। वे टेक्स्ट को समझ नहीं पाए या रैंडम जवाब दिए। मूल पेपर में, ये विफलताएं छिपी हुई थीं। मल्टीवर्स एनालिसिस ने दिखाया कि "सबसे अच्छा" मॉडल वास्तव में बहुत अस्थिर था।
  • निष्कर्ष: आश्चर्यजनक रूप से, एक बहुत ही सरल, पुराना तरीका (SVM) फैंसी AI के समान ही अच्छा काम कर रहा था। मुख्य निष्कर्ष (वामपंथी राजनेता अधिक कम्युनल होते हैं) कायम रहा, लेकिन लेखकों को एहसास हुआ कि उन्हें इस निष्कर्ष तक पहुँचने के लिए महंगे, जटिल AI की आवश्यकता नहीं थी। अध्ययन ने यह भी दिखाया कि परिणाम इस बात पर बहुत अधिक बदल जाते हैं कि किस AI मॉडल का उपयोग किया गया है, जिससे साबित होता है कि ये मॉडल एक-दूसरे के विकल्प नहीं हैं।

---

मुख्य निष्कर्ष (Key Takeaways)

1. मजबूती $\neq$ निश्चितता (Robustness $\neq$ Certainty)
सिर्फ इसलिए कि कोई परिणाम मल्टीवर्स एनालिसिस में जीवित रहता है, इसका मतलब यह नहीं है कि वह 100% पूर्ण सत्य है। इसका मतलब केवल यह है कि यह कई उचित विकल्पों के बीच स्थिर (stable) है। यदि हर बार सेटिंग बदलने पर परिणाम बदल जाता है, तो यह एक चेतावनी संकेत है कि आपकी खोज केवल एक भ्रम हो सकती है।

2. "ब्लैक बॉक्स" की समस्या
कंप्यूटेशनल तरीके अक्सर अपनी विफलताओं को छिपा देते हैं। यदि कोई मॉडल क्रैश हो जाता है, तो शोधकर्ता आमतौर पर इसे ठीक करते हैं और आगे बढ़ जाते हैं। मल्टीवर्स एनालिसिस हमें "ब्लैक बॉक्स" पर रोशनी डालने और यह कहने के लिए मजबूर करता है, "हे, यह तरीका 30% बार विफल रहा।"

3. बहुत अधिक विस्तार में न जाएँ (Don't Flood the Zone)
लेखक चेतावनी देते हैं कि हर एक संभावना का परीक्षण करने की कोशिश न करें (जैसे, अरबों संयोजनों का परीक्षण करना)। इससे समय और पैसा बर्बाद होता है। इसके बजाय, शोधकर्ताओं को परीक्षण करने के लिए सबसे महत्वपूर्ण और उचित विकल्प चुनने चाहिए। 1 अरब मूर्ख विविधताओं के बजाय 100 स्मार्ट विविधताओं का परीक्षण करना बेहतर है।

4. ईमानदारी के लिए एक उपकरण
मल्टीवर्स एनालिसिस कोई जादू की छड़ी नहीं है जो खराब विज्ञान को ठीक करती है। यह पारदर्शिता (transparency) का एक उपकरण है। यह शोधकर्ताओं को यह कहने में मदद करता है, "यहाँ हमने क्या पाया, और हमारी खोजएँ हमारे द्वारा किए गए विशिष्ट विकल्पों पर कितनी निर्भर हैं।"

संक्षेप में

यह पेपर तर्क देता है कि डेटा विश्लेषण के एक "सही" तरीके का ढोंग करने के बजाय, हमें जटिल कंप्यूटेशनल सोशल साइंस की दुनिया में इसे अपनाना चाहिए। कई "क्या होगा अगर" परिदृश्यों (मल्टीवर्स) को चलाकर, हम उन निष्कर्षों को अलग कर सकते हैं जो वास्तव में मजबूत हैं और उन्हें भी जो केवल भाग्यशाली दुर्घटनाएं हैं। यह अनिश्चितता को दृश्यमान बनाने के बारे में है ताकि हम विज्ञान पर अधिक भरोसा कर सकें।