Causal Inference with Unstructured Outcomes

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि कोई अपराध क्यों हुआ। आमतौर पर, सुराग सरल संख्याएँ होते हैं: कितनी राशि चोरी हुई, कितने लोग घायल हुए, या संदिग्ध ने कबूल करने से पहले कितना इंतज़ार किया। आप इन संख्याओं की तुलना आसानी से कर सकते हैं ताकि यह देखा जा सके कि क्या किसी नई पुलिस रणनीति ने कोई अंतर पैदा किया है। लेकिन क्या होगा यदि "सुराग" कोई संख्या नहीं है? क्या होगा यदि सबूत एक बिखरा हुआ, हाथ से लिखा गया नोट, एक धुंधली फोटो, या एक लंबी, उलझी हुई कहानी है? आप एक कहानी को दूसरी कहानी से घटाकर अंतर नहीं निकाल सकते, ठीक वैसे ही जैसे आप एक पेंटिंग को दूसरी पेंटिंग से घटाकर यह नहीं देख सकते कि कलाकार की शैली कैसे बदली। यह वह पहेली है जिसका सामना वैज्ञानिक तब करते हैं जब वे टेक्स्ट, इमेज या मेडिकल रिकॉर्ड जैसी जटिल, असंरचित चीजों पर नए उपकरणों के प्रभावों का अध्ययन करने की कोशिश करते हैं। उन्हें यह मापने का एक तरीका चाहिए कि बदलाव का "आकार" क्या है, न कि केवल उसका "परिमाण"।

यहीं केविन क्रिश्चियन विबोनो और यिक्सिन वांग का शोध पत्र काम आता है। वे सांख्यिकीविद (statisticians) हैं जिन्होंने इन अव्यवस्थित परिणामों के बारे में सवाल पूछने का एक नया तरीका ईजाद किया है। यह अनुमान लगाने के बजाय कि टेक्स्ट या इमेज का कौन सा हिस्सा बदला है, उन्होंने एक ऐसा तरीका बनाया है जो स्वचालित रूप से "मैक्सिमली कॉन्ट्रास्टिंग फीचर" (MCF) को खोज लेता है। इसे एक जादुई हाइलाइटर की तरह समझें जो हजारों दस्तावेजों या छवियों को स्कैन करता है और तुरंत उन विशिष्ट विवरणों को सीख जाता है—जैसे कि बोलने का एक खास लहजा, एक विशेष प्रकार का धुंधलापन, या विचारों को व्यवस्थित करने का एक खास तरीका—जो उपचार के कारण सबसे अधिक बदले हैं। उन्होंने टेक्स्ट और इमेज का उपयोग करके कंप्यूटर सिमुलेशन के साथ इस विचार का परीक्षण किया, और परिणाम बताते हैं कि उनकी विधि सफलतापूर्वक उन सटीक विशेषताओं को पहचान सकती है जिन्हें एक नया उपकरण या हस्तक्षेप बदल देता है, भले ही शोधकर्ताओं को पहले से यह न पता हो कि उन्हें क्या खोजना है।

समस्या: जब उत्तर एक संख्या नहीं होती

लंबे समय से, विज्ञान सरल चीजों को मापने में बहुत अच्छा रहा है। यदि कोई डॉक्टर जानना चाहता है कि क्या एक नई दवा काम करती है, तो वे देखते हैं कि मरीज का तापमान 2 डिग्री कम हुआ या नहीं। यदि कोई कंपनी जानना चाहती है कि क्या उनकी नई वेबसाइट डिजाइन काम करती है, तो वे गिनती हैं कि क्या बिक्री में 10% की वृद्धि हुई। ये "स्केलर आउटकम्स" (scalar outcomes) हैं—एकल संख्याएँ जिन्हें आसानी से तुलना किया जा सकता है।

लेकिन दुनिया ऐसी चीजों से भरी है जो एकल संख्याएँ नहीं हैं। कल्पना कीजिए कि एक अस्पताल जानना चाहता है कि क्या एक नया AI टूल डॉक्टरों को बेहतर नोट्स लिखने में मदद करता है। "परिणाम" कोई संख्या नहीं है; यह टेक्स्ट का एक पूरा पैराग्राफ है। या कल्पना कीजिए कि एक शोधकर्ता जानना चाहता है कि क्या एक नया कैमरा एल्गोरिदम तस्वीरों को अधिक स्पष्ट बनाता है। परिणाम एक छवि (image) है। आप एक बिल्ली की फोटो को एक कुत्ते की फोटो से घटाकर "अंतर संख्या" प्राप्त नहीं कर सकते। आप वास्तव में यह भी नहीं कह सकते कि एक "औसत" नोट कैसा दिखता है।

पारंपरिक रूप से, वैज्ञानिकों ने इस समस्या को डेटा को एक बॉक्स में जबरदस्ती फिट करके हल करने की कोशिश की। वे टेक्स्ट को स्कोर करने के लिए नियमों की एक सूची (एक "कोडबुक") बनाते थे। शायद उन्होंने तय किया कि डॉक्टर ने कितनी बार "अर्जेंट" शब्द का उपयोग किया, या उनके नोट में कितने वाक्य थे। लेकिन यह एक सिम्फनी (symphony) को केवल वॉयलिन की संख्या गिनकर वर्णित करने जैसा है। आप सबसे महत्वपूर्ण हिस्सा चूक सकते हैं: धुन, भावना, या लय में अचानक आया बदलाव। यदि AI टूल ने शब्द गणना के बजाय नोट्स के लहजे को बदल दिया, तो पुराना तरीका इसे पूरी तरह से मिस कर देगा।

समाधान: जादुई हाइलाइटर (MCF)

लेखक एक नया दृष्टिकोण प्रस्तावित करते हैं। यह अनुमान लगाने के बजाय कि क्या मापना है, वे डेटा को खुद यह सिखाने देते हैं कि क्या महत्वपूर्ण है। वे इसे मैक्सिमली कॉन्ट्रास्टिंग फीचर (MCF) कहते हैं।

कल्पना कीजिए कि आपके पास नोट्स के दो ढेर हैं: एक ढेर जो डॉक्टरों द्वारा नए AI टूल का उपयोग करके लिखा गया है, और दूसरा ढेर जो बिना AI टूल वाले डॉक्टरों द्वारा लिखा गया है। आप उस "जादुई हाइलाइटर" को खोजना चाहते हैं जो, जब आप नोट्स पर चलाया जाता है, तो AI वाले ढेर को गैर-AI वाले ढेर से जितना संभव हो उतना अलग बना दे।

MCF वही हाइलाइटर है। यह एक कंप्यूटर प्रोग्राम है जो हर एक नोट को 0 से 1 तक का स्कोर देने के लिए सीखता है।

• यदि कोई नोट बहुत अधिक "AI शैली" जैसा दिखता है, तो उसे 1 के करीब स्कोर मिलता है।
• यदि वह "मानवीय शैली" जैसा दिखता है, तो उसे 0 के करीब स्कोर मिलता है।

कंप्यूटर केवल यह अनुमान नहीं लगाता कि "AI शैली" का क्या अर्थ है। यह नोट्स को स्कोर करने के लाखों अलग-अलग तरीकों को आज़माता है, और उस तरीके की तलाश करता है जो दोनों ढेरों के बीच सबसे बड़ा अंतर पैदा करे। एक बार जब यह सबसे अच्छी स्कोरिंग प्रणाली खोज लेता है, तो यह उच्च स्कोर वाले नोट्स और निम्न स्कोर वाले नोट्स को देखता है ताकि यह पता चल सके कि वास्तव में क्या अलग है। शायद यह पता चले कि AI वाले नोट्स हमेशा अधिक औपचारिक (formal) होते हैं, या शायद वे हमेशा एक विशिष्ट टेम्पलेट का उपयोग करते हैं, या शायद वे बस छोटे होते हैं। यह विधि उत्तर का पता बिना शोधकर्ता को पहले से उत्तर पता होने के भी लगा लेती है।

यह कैसे काम करता है: जासूसी किट (Detective's Toolkit)

पेपर बताता है कि यह केवल एक अनुमान लगाने वाला खेल नहीं है; यह एक कठोर गणितीय प्रक्रिया है जो "कन्फाउंडर्स" (confounders) को ध्यान में रखती है। वास्तविक दुनिया में, चीजें अस्त-व्यस्त होती हैं। हो सकता है कि जो डॉक्टर AI टूल का उपयोग करते हैं, वे वे लोग भी हों जो अधिक जटिल मरीजों को देखते हैं। यदि आप केवल नोट्स की तुलना करते हैं, तो आपको लग सकता है कि AI ने उन्हें छोटा कर दिया, जबकि वास्तव में मरीजों के पास कहने के लिए कम था।

MCF विधि इसे एक "प्रोपेंसिटी स्कोर" (propensity score) का उपयोग करके ठीक करती है। इसे एक मिलान खेल (matching game) के रूप में सोचें। कंप्यूटर पृष्ठभूमि के विवरण (जैसे मरीज की उम्र, दौरे का प्रकार और डॉक्टर का अनुभव) को देखता है और नोट्स के ऐसे जोड़े ढूंढता है जो हर मामले में लगभग समान हैं, सिवाय इसके कि क्या AI का उपयोग किया गया था। इन मेल खाए गए जोड़ों की तुलना करके, विधि AI टूल के वास्तविक प्रभाव को अलग करती है।

लेखकों ने एक "बजेटेड" (budgeted) संस्करण भी विकसित किया है। कभी-कभी, AI सब कुछ थोड़ा सा बदल देता है, या कुछ चीजों को बहुत अधिक बदल देता है। बजट वाला MCF शोधकर्ताओं को यह कहने की अनुमति देता है, "मुझे उन शीर्ष 10% नोट्स को दिखाएं जो सबसे अधिक बदले हैं।" यह मामूली और महत्वहीन बदलावों में खो जाने के बजाय सबसे स्पष्ट और नाटकीय परिवर्तनों पर ध्यान केंद्रित करने में मदद करता है।

उन्होंने क्या पाया: टेक्स्ट, इमेज और सरप्राइज

शोधकर्ताओं ने यह देखने के लिए कि क्या यह वास्तव में काम करता है, अपने विचार का परीक्षण तीन अलग-अलग प्रयोगों के साथ किया।

1. टेक्स्ट प्रयोग:
उन्होंने एक परिदृश्य का अनुकरण (simulate) किया जहाँ एक लेखन उपकरण को टेक्स्ट को अधिक "औपचारिक" बनाने के लिए बनाया गया था।

• परिणाम: MCF ने सफलतापूर्वक औपचारिक भाषा को पहचान लिया। इसने पेशेवर लगने वाले वाक्यों को उच्च स्कोर दिया और अनौपचारिक वाक्यों को कम स्कोर दिया।
• ट्विस्ट: उन्होंने एक अधिक कठिन परिदृश्य का भी परीक्षण किया जहाँ उपकरण को कुछ स्थितियों में (जैसे मनोरंजन में) टेक्स्ट को कम औपचारिक बनाना था, लेकिन अन्य स्थितियों में (जैसे पारिवारिक सलाह में) अधिक औपचारिक बनाना था। MCF भ्रमित नहीं हुआ। इसने एक "संदर्भ-जागरूक" (context-aware) नियम सीखा: "यदि यह संगीत के बारे में है, तो इसे अनौपचारिक बनाएं; यदि यह परिवार के बारे में है, तो इसे गंभीर बनाएं।" इसने समझ लिया कि "सही" उत्तर स्थिति पर निर्भर करता है।
• सुरक्षा परीक्षण: उन्होंने यह भी परीक्षण किया कि क्या टूल "विषाक्त" (toxic) भाषा को पकड़ सकता है। एक मामले में, टूल ने सहायता समूहों (support groups) में भाषा को सुरक्षित बनाया लेकिन गरमागरम बहसों में अधिक आक्रामक बना दिया। MCF ने सही ढंग से पहचाना कि संदर्भ के आधार पर "सुरक्षा" का फीचर बदल गया, जिससे साबित हुआ कि यह जटिल, वास्तविक दुनिया के नियमों को संभाल सकता है।

2. इमेज प्रयोग:
उन्होंने कोशिकाओं (जैसे सूक्ष्मदर्शी के नीचे देखी जाने वाली) की तस्वीरों का उपयोग किया।

• परिणाम: उन्होंने एक उपचार का अनुकरण किया जिसने छवियों को धुंधला बना दिया। MCF ने छवियों को उनकी धुंधलेपन के आधार पर स्कोर करना सीख लिया। इसने स्पष्ट छवियों को धुंधली छवियों से सफलतापूर्वक अलग किया, भले ही चित्रों में कोशिकाओं की संख्या समान रही। इसने साबित किया कि यह विधि केवल शब्दों के लिए ही नहीं, बल्कि दृश्य डेटा (visual data) के लिए भी काम करती है।

3. दोहरा रहस्य:
अंत में, उन्होंने एक ऐसे मामले को देखा जहाँ इनपुट और आउटपुट दोनों ही अव्यवस्थित थे। कल्पना कीजिए कि एक AI ड्राफ्ट का सुझाव देता है, और एक इंसान अंतिम नोट लिखता है। दोनों ही सुझाव और नोट टेक्स्ट हैं।

• परिणाम: उन्होंने दो हाइलाइटर्स बनाए: एक AI सुझाव के लिए और एक अंतिम नोट के लिए। सिस्टम ने सीखा कि जब AI सुझाव "ठोस और विशिष्ट" होता है, तो अंतिम नोट "पूर्ण और विस्तृत" होने की प्रवृत्ति रखता है। इसने बिना किसी के बताए कि क्या खोजना है, दोनों अव्यवस्थित टेक्स्टों के बीच के संबंध को खोज निकाला।

यह क्यों महत्वपूर्ण है

यह पेपर हमें दुनिया का अध्ययन करने का एक नया तरीका सुझाता है। हम अनस्ट्रक्चर्ड डेटा से घिरे हुए हैं—ईमेल, वीडियो, मेडिकल स्कैन, सोशल मीडिया पोस्ट। हम जानना चाहते हैं कि नई तकनीकें इन चीजों को कैसे बदलती हैं, लेकिन अक्सर हमें यह नहीं पता होता कि उन्हें कैसे मापा जाए।

MCF विधि डेटा को खुद बोलने का अवसर देती है। शब्दों या पिक्सेल को गिनकर एक चौकोर टुकड़े को गोल छेद में फिट करने के बजाय, यह उन छिपे हुए आयामों को खोज लेती है जो वास्तव में मायने रखते हैं। यह सुझाव देता है कि हम अपनी जटिल दुनिया में सबसे महत्वपूर्ण बदलावों की खोज कर सकते हैं, चाहे वह यह हो कि AI डॉक्टर के लेखन को कैसे बदलता है या एक नया फिल्टर फोटो को कैसे बदलता है, और इसके लिए हमें पहले से विशिष्ट विवरणों का विशेषज्ञ होने की आवश्यकता नहीं है।

लेखक सावधानी बरतते हुए नोट करते हैं कि ये परिणाम सिमुलेशन और अर्ध-सिंथेटिक प्रयोगों से आए हैं। उन्होंने अभी तक इसे किसी वास्तविक अस्पताल या लाइव न्यूज़ साइट पर लागू नहीं किया है, लेकिन सिमुलेशन दिखाते हैं कि गणित सही काम कर रहा है। यदि यह तरीका वास्तविक दुनिया की अव्यवस्था में काम करता है, तो यह हमें उन AI टूल्स के वास्तविक प्रभाव को समझने में मदद कर सकता है जो हमारे जीने, काम करने और संवाद करने के तरीके को तेजी से बदल रहे हैं।