Position: AI for Science Should Treat Measurement-to-Dataset Pipelines as Inference Components

यहाँ "AI for Science Should Treat Measurement-to-Dataset Pipelines as Inference Components" पेपर का एक सरल भाषा में अनुवाद दिया गया है:

मुख्य विचार: "फ्रोजन लेंस" (Frozen Lens) की समस्या

कल्पना कीजिए कि आप एक अंधेरे कमरे में एक रहस्यमय वस्तु को समझने की कोशिश कर रहे हैं। आप उस वस्तु को सीधे नहीं देख सकते; आप केवल एक विशिष्ट लैंप द्वारा दीवार पर डाली गई उसकी छाया को ही देख सकते हैं।

AI for Science में, शोधकर्ता अक्सर ऐसे व्यवहार करते हैं जैसे वे स्वयं उस वस्तु का अध्ययन कर रहे हों। लेकिन वास्तव में, वे छाया का अध्ययन कर रहे होते हैं।

यह पेपर तर्क देता है कि कई वैज्ञानिक क्षेत्रों (जैसे ब्रेन इमेजिंग, खगोल विज्ञान, या ड्रग डिस्कवरी) में, डेटा वैज्ञानिक जिस डेटा का उपयोग करते हैं, वह "कच्ची वास्तविकता" (raw reality) नहीं है। यह वास्तविकता का एक संसाधित (processed), साफ किया हुआ और पुनर्गठित संस्करण है। यह प्रोसेसिंग एक लंबी प्रक्रिया के माध्यम से होती है जिसे पाइपलाइन (शोर को फ़िल्टर करना, छूटे हुए हिस्सों को भरना, संकेतों को बदलना) कहा जाता है।

वर्तमान में, वैज्ञानिक इस अंतिम डेटासेट को एक निश्चित, वस्तुनिष्ठ तथ्य मानकर चलते हैं। वे कहते हैं, "यह रहा डेटा, अब चलिए एक मॉडल बनाते हैं।" लेखक इसे "फ्रोजन लेंस" (Frozen Lens) कहते हैं। उनका तर्क है कि यह एक गलती है। वह पाइपलाइन जिसने डेटा बनाया है, वास्तव में वैज्ञानिक तर्क का एक बहुत बड़ा हिस्सा है, और इसे "फ्रीज" करके (इसे अनदेखा करके), हम इस तथ्य को छिपा रहे हैं कि हमारे निष्कर्ष पूरी तरह से इस बात पर निर्भर करते हैं कि हमने उस छाया को कैसे डाला था।

---

यह तीन तरीकों से गलत कैसे होता है

लेखक पहचानते हैं कि "फ्रोजन लेंस" के कारण विज्ञान विफल होने के तीन विशिष्ट तरीके हैं। इन्हें इन तीन जाल के रूप में देखें:

1. छिपा हुआ मेनू (Hidden Hypothesis Space)

उपमा: कल्पना कीजिए कि एक रेस्टोरेंट आपको एक बर्गर परोसता है। आप मान लेते हैं कि बर्गर ही वह "सत्य" है जो शेफ ने बनाया है। लेकिन शेफ के पास उस बर्गर को बनाने के 50 अलग-अलग तरीके थे (अलग बन्स, अलग कुकिंग टाइम, या अलग सॉस)। रेस्टोरेंट ने आपको केवल एक विशिष्ट संस्करण परोसा और आपको अन्य 49 के बारे में नहीं बताया।
समस्या: जब वैज्ञानिक एक डेटासेट जारी करते हैं, तो वे आमतौर पर कच्चे मापन (raw measurements) को प्रोसेस करने का एक तरीका चुनते हैं। वे आपको यह नहीं बताते कि यदि उन्होंने थोड़ा अलग फ़िल्टर या सफाई का अलग तरीका चुना होता, तो "बर्गर" (डेटा) पूरी तरह से अलग दिख सकता था।
परिणाम: AI मॉडल उस एक विशिष्ट बर्गर संस्करण के आधार पर भविष्यवाणी करना सीख जाता है। उसे लगता है कि उसने एक सार्वभौमिक सत्य की खोज कर ली है, लेकिन वास्तव में वह केवल उस एक विशिष्ट रेसिपी की विचित्रताओं को याद कर रहा होता है। अन्य संभावित वास्तविकताओं का "मेनू" छिपा हुआ है।

2. टूटा हुआ नक्शा (Uncertified Transportability)

उपमा: कल्पना कीजिए कि आपके पास एक शहर का नक्शा है जो एक धूप वाले दिन के लिए पूरी तरह से बनाया गया था। आप इस नक्शे का उपयोग नेविगेशन के लिए करते हैं। लेकिन फिर, बारिश होने लगती है और सड़कें जलमग्न हो जाती हैं। नक्शा आपको गड्ढों के बारे में नहीं बताता क्योंकि इसे केवल धूप वाले दिनों के लिए बनाया गया था। आप उस नक्शे का उपयोग बारिश में करने की कोशिश करते हैं, फंस जाते हैं, और अपने ड्राइविंग कौशल को दोष देते हैं।
समस्या: एक पाइपलाइन लैब में बहुत अच्छा काम कर सकती है जहाँ डेटा एकत्र किया गया था (वह "धूप वाला दिन")। लेकिन यदि आप उसी डेटा प्रोसेसिंग पद्धति का उपयोग किसी अन्य अस्पताल, किसी अन्य देश, या किसी अन्य मशीन (वह "बारिश वाला दिन") के डेटा पर करते हैं, तो पाइपलाइन टूट सकती है या डेटा को अजीब तरीके से विकृत कर सकती है।
परिणाम: वैज्ञानिक अक्सर यह नहीं जानते कि उनकी डेटा प्रोसेसिंग पद्धति कब काम करना बंद कर देती है। जब एक AI मॉडल नए डेटा पर विफल होता है, तो हमें यह नहीं पता होता कि AI खराब है, या "नक्शा" (पाइपलाइन) ही उस नए वातावरण के लिए अमान्य था।

3. विशेषज्ञों की भीड़ (Ungoverned Multiplicity)

उपमा: कल्पना कीजिए कि 100 विशेषज्ञों की एक जूरी एक ही अपराध स्थल की फोटो देख रही है। वे सभी तथ्यों पर सहमत हैं, लेकिन वे सभी थोड़े अलग आवर्धक लेंस (magnifying glasses) का उपयोग कर रहे हैं। उनमें से 90 निष्कर्ष निकालते हैं कि संदिग्ध दोषी है। 10 निष्कर्ष निकालते हैं कि संदिग्ध निर्दोष है। समाचार रिपोर्ट करता है, "विशेषज्ञों का कहना है कि संदिग्ध दोषी है," उन 10 लोगों को अनदेखा करते हुए जो असहमत थे।
समस्या: विज्ञान में, डेटा को प्रोसेस करने के कई "तर्कसंगत" तरीके होते हैं। आप शोर (noise) को हटाने के पांच अलग-अलग वैध तरीकों में से एक चुन सकते हैं। यदि आप एक चुनते हैं, तो आपको एक परिणाम मिलता है। यदि आप दूसरा चुनते हैं, तो आपको एक अलग परिणाम मिलता है।
परिणाम: वैज्ञानिक अक्सर उस पद्धति को चुनते हैं जो उन्हें सबसे "कूल" या सबसे महत्वपूर्ण परिणाम देती है और इस तथ्य को अनदेखा कर देते हैं कि 99 अन्य वैध तरीकों से अलग उत्तर मिल सकता था। वे अपने एकल चुनाव को पूर्ण सत्य के रूप में देखते हैं, बजाय इसके कि वे यह स्वीकार करें, "हमने 100 तरीके आजमाए, और उत्तर थोड़ा संदिग्ध है।"

---

"EEG ऑडिट": एक वास्तविकता की जाँच

यह साबित करने के लिए कि यह केवल सिद्धांत नहीं है, लेखकों ने अवसाद (depression) से संबंधित मस्तिष्क डेटा (EEG) पर एक बड़ा प्रयोग चलाया।

• सेटअप: उन्होंने कच्चे मस्तिष्क तरंग डेटा (raw brain wave data) को लिया और उसे 245,376 अलग-अलग पाइपलाइन संयोजनों के माध्यम से चलाया। (कल्पना कीजिए कि हर संभव फ़िल्टर, क्लीनिंग टूल और माप नियमों के संयोजन को आज़माना)।
• लक्ष्य: वे एक विशिष्ट सिग्नल की तलाश कर रहे थे: अवसाद से ग्रस्त लोगों और स्वस्थ लोगों के बीच मस्तिष्क की गतिविधि में अंतर।
• चौंकाने वाला परिणाम:
  • कई 245,000+ पाइपलाइनों ने एक "महत्वपूर्ण" अंतर पाया।
  • लेकिन, जब उन्होंने जांच की कि क्या वे अंतर लोगों के विभिन्न समूहों (विभिन्न डेटासेट्स) में टिके रहते हैं, तो 245,376 में से केवल एक पाइपलाइन जीवित बची।
  • यह उत्तरजीविता दर (survival rate) 0.0004% थी।

इसका क्या अर्थ है: लगभग हर बार जब वैज्ञानिकों ने इस क्षेत्र में कोई "खोज" की, तो वह संभवतः इस बात का दुर्घटना मात्र था कि उन्होंने किस विशिष्ट पाइपलाइन को चुना था। "सत्य" इतना नाजुक था कि प्रसंस्करण नियमों (processing rules) को थोड़ा बदलने से वह खोज गायब हो गई।

---

समाधान: "कंप्यूटेबल ऑब्जर्वेशन फ्रेमवर्क" (Computable Observation Framework)

लेखक यह नहीं कह रहे हैं कि हम विज्ञान करना बंद कर दें। वे कह रहे हैं कि हमें डेटा के साथ व्यवहार करने का तरीका बदलना होगा।

वर्तमान तरीका:

1. कच्चा डेटा $\rightarrow$ [ब्लैक बॉक्स पाइपलाइन] $\rightarrow$ "साफ डेटा" $\rightarrow$ AI मॉडल।
2. हम मान लेते हैं कि "साफ डेटा" ही सत्य है।

प्रस्तावित तरीका:

1. कच्चा डेटा $\rightarrow$ पाइपलाइन एक वेरिएबल के रूप में $\rightarrow$ AI मॉडल।
2. हम पाइपलाइन को एक वैज्ञानिक परिकल्पना (hypothesis) की तरह मानते हैं। हम पूछते हैं: "क्या यह निष्कर्ष तब भी बना रहता है यदि हम पाइपलाइन बदल दें?"

वे एक ऐसी प्रणाली बनाने का प्रस्ताव करते हैं जहाँ:

• पाइपलाइन "एग्जीक्यूटेबल ऑब्जेक्ट्स" हैं: केवल एक PDF रिपोर्ट देने के बजाय कि "हमने विधि A का उपयोग किया," विधि A (और इसके सभी संभावित संस्करणों) का कोड एक डिजिटल ऑब्जेक्ट के रूप में सहेजा जाता है जिसे चलाया, टेस्ट किया और बदला जा सकता है।
• स्थिरता (Stability) लक्ष्य है: केवल उस मॉडल को खोजने के बजाय जो सबसे अच्छी भविष्यवाणी करता है, हम उस मॉडल को खोजते हैं जो हमें हर वैध पाइपलाइन का उपयोग करने पर वही उत्तर देता है।
• अनिश्चितता साझा की जाती है: यदि 100 पाइपलाइन 100 अलग उत्तर देती हैं, तो हम उस अनिश्चितता की रिपोर्ट करते हैं। हम इसे छिपाते नहीं हैं।

सारांश

पेपर का तर्क है कि AI for Science में, वास्तविकता को मापने के लिए उपयोग किया जाने वाला उपकरण उतना ही महत्वपूर्ण है जितना कि स्वयं मापन। डेटा प्रोसेसिंग (पाइपलाइन) को अनदेखा करके, वैज्ञानिक अक्सर अस्थिर आधार पर AI मॉडल बना रहे हैं। उन्हें प्रोसेस्ड डेटा को एक निश्चित तथ्य मानना बंद करना होगा और इसे वैज्ञानिक प्रयोग के एक परिवर्तनशील (variable) हिस्से के रूप में देखना शुरू करना होगा।