Can it be checked? A cross-sectional meta-research audit of access to, and reporting in, machine learning studies of pharmaceutical manufacturing and quality control

आधुनिक दवाओं का निर्माण करने वाली फैक्ट्रियों में, मशीनें अब केवल मिश्रण और बॉटलिंग ही नहीं करतीं। वे देखती हैं, वे मापती हैं, और वे भविष्यवाणी करती हैं। मशीन लर्निंग नामक कंप्यूटर इंटेलिजेंस के एक प्रकार का उपयोग करके, ये सिस्टम एक तस्वीर से दोषपूर्ण टैबलेट का पता लगा सकते हैं, यह अनुमान लगा सकते हैं कि एक दवा कैसे घुलेगी, या उस विशाल टैंक के भीतर की नाजुक स्थितियों की निगरानी कर सकते हैं जहाँ जीवित कोशिकाएं विकसित होती हैं। यह तकनीक यह सुनिश्चित करने के लिए एक मानक उपकरण बन गई है कि हर गोली और इंजेक्शन सुरक्षित और प्रभावी हो। लेकिन इन स्मार्ट सिस्टम पर उन लोगों का विश्वास करने के लिए जो उन्हें विनियमित करते हैं और उन डॉक्टरों का जो उन्हें लिखते हैं, जिन्हें ये सिस्टम बनाते हैं, वैज्ञानिकों को अपना काम सिद्ध करने में सक्षम होना चाहिए। जिस तरह एक शेफ यह दावा नहीं कर सकता कि कोई व्यंजन स्वादिष्ट है जब तक कि वह रेसिपी और सामग्री न दिखाए, उसी तरह एक वैज्ञानिक यह दावा नहीं कर सकता कि एक कंप्यूटर मॉडल काम करता है, जब तक कि वे वह डेटा न दिखाएं जिससे उसने सीखा है, वह कोड जिससे वह चलता है, और इस बात का प्रमाण न दें कि यह नए, अनदेखे उदाहरणों पर कैसे काम करता है।

एक नया अध्ययन एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: जब वैज्ञानिक दवाएं बनाने के बारे में इन मशीन लर्निंग अध्ययनों को प्रकाशित करते हैं, तो क्या लैब के बाहर का कोई व्यक्ति वास्तव में उनके काम की जांच कर सकता है? शोधकर्ता, फनी कुमार बालागाम नामक एक स्वतंत्र विद्वान ने, 2019 से 2025 तक के इस क्षेत्र के प्रकाशित रिकॉर्ड का ऑडिट करने का निर्णय लिया। वे दो बातें जानना चाहते थे। पहला, क्या एक सामान्य व्यक्ति, बिना किसी विशेष लाइब्रेरी सब्सक्रिप्शन के, पूरा पेपर वास्तव में पढ़ सकता था? दूसरा, यदि वे इसे पढ़ सकते थे, तो क्या पेपर में वे विशिष्ट विवरण शामिल थे जो प्रयोग को दोहराने और परिणामों को सत्यापित करने के लिए आवश्यक थे? अध्ययन में पाया गया उत्तर यह है कि इन अधिकांश पेपर्स के लिए, दोनों प्रश्नों का उत्तर 'नहीं' है।

यह जानने के लिए, शोधकर्ता ने हजारों पेपर्स के लिए पांच प्रमुख वैज्ञानिक डेटाबेस को खोजा जिन्होंने मानव दवाओं को बनाने या परीक्षण करने के लिए मशीन लर्निंग के उपयोग का वर्णन किया था। समीक्षाओं (reviews), प्रीप्रिंट्स और उन अध्ययनों को फ़िल्टर करने के बाद जो मानदंडों में फिट नहीं बैठते थे, उनके पास अध्ययन के लिए 553 पेपर बचे। पहली बाधा पहुंच (access) थी। अध्ययन ने जांचा कि क्या प्रत्येक पेपर जनता के लिए मुफ्त में उपलब्ध था। 553 में से केवल 186 पेपर, यानी लगभग एक-तिहाई, बिना सब्सक्रिप्शन के पढ़े जा सकते थे। बाकी या तो पे-वॉल (paywalls) के पीछे बंद थे या उन्हें प्राप्त नहीं किया जा सका, भले ही उनमें से कुछ को 'ओपन एक्सेस' के रूप में चिह्नित किया गया था, जो अक्सर तकनीकी बाधाओं के कारण था जैसे कि स्वचालित सुरक्षा जांच जिसने डाउनलोड को रोक दिया। इसका अर्थ है कि इस क्षेत्र के प्रत्येक तीन में से दो अध्ययनों को, एक जिज्ञासु पाठक देख भी नहीं सकता है।

इसके बाद शोधकर्ता ने उन 186 पेपर्स पर ध्यान केंद्रित किया जिन्हें पढ़ा जा सकता था। उन्होंने बारीकी से देखा कि क्या इन पेपर्स में परिणाम को सत्यापित करने के लिए आवश्यक चार अनिवार्य सामग्रियां रिपोर्ट की गई थीं: कच्चा डेटा (raw data), कंप्यूटर कोड, डेटा को प्रशिक्षण (training) और परीक्षण (testing) समूहों में विभाजित करने के तरीके का स्पष्ट विवरण, और एक अंतिम प्रदर्शन स्कोर जो उस डेटा पर आधारित हो जिसे मॉडल ने पहले कभी नहीं देखा था। यह अंतिम हिस्सा अत्यंत महत्वपूर्ण है; इसके बिना, एक मॉडल केवल उत्तरों को रट रहा हो सकता है बजाय इसके कि वह नियमों को सीख रहा हो। अध्ययन में पाया गया कि हालांकि लगभग सभी पेपर्स ने उल्लेख किया था कि उन्होंने अपने डेटा को कैसे विभाजित किया, लेकिन बहुत कम पेपर्स ने वास्तविक डेटा या कोड साझा किया। केवल लगभग चार में से एक पेपर ने डेटा सार्वजनिक किया, और केवल दस में से एक ने कोड सार्वजनिक किया।

पूरे पैकेज की तलाश करने के मामले में स्थिति और भी खराब थी। अध्ययन ने एक "चेकेबल" (जांच योग्य) पेपर को ऐसे पेपर के रूप में परिभाषित किया जो डेटा, कोड, विभाजन और अंतिम परीक्षण परिणाम, इन चारों को एक साथ साझा करता हो। 186 पठनीय पेपर्स में से केवल दो इस मानक पर खरे उतरे। यह केवल एक प्रतिशत से थोड़ा अधिक है। दूसरे शब्दों में, इस क्षेत्र के लगभग कोई भी प्रकाशित अध्ययन पर्याप्त जानकारी प्रदान नहीं करते हैं जिससे एक स्वतंत्र व्यक्ति विश्लेषण को फिर से चला सके और मुख्य संख्या की पुष्टि कर सके। शोधकर्ता ने नोट किया कि पारदर्शिता की यह कमी डेटा की प्रकृति के कारण नहीं थी। यहाँ तक कि जब डेटा बड़े औद्योगिक कारखानों के बजाय छोटे प्रयोगशाला प्रयोगों से आया था, तब भी इसे शायद ही कभी साझा किया गया। इसी तरह, साझा किए गए कोड की कमी इसलिए नहीं थी क्योंकि कोड गुप्त था; यह बस प्रदान नहीं किया गया था।

अध्ययन ने यह भी जांचा कि क्या ये समस्याएं समय के साथ बेहतर हो रही थीं या क्या वे इस आधार पर भिन्न थीं कि पेपर किस प्रकार की जर्नल में प्रकाशित हुआ था। परिणामों ने दिखाया कि वर्षों के दौरान डेटा या कोड साझा करने की दर में कोई महत्वपूर्ण सुधार नहीं हुआ, और विभिन्न प्रकार की वैज्ञानिक पत्रिकाओं में रिपोर्टिंग की गुणवत्ता समान थी। शोधकर्ता ने एक लार्ज लैंग्वेज मॉडल, जो एक प्रकार की आर्टिफिशियल इंटेलिजेंस है, का उपयोग पेपर्स को पढ़ने और स्कोर देने के लिए किया, एक ऐसी विधि जिसे उन्होंने मॉडल से एक ही पेपर्स को दो बार जांच करवाकर सत्यापित किया। मॉडल पेपर्स में उन विशिष्ट वाक्यों को खोजने में सक्षम था जो उसके निर्णयों का समर्थन करते थे, जिससे यह सिद्ध हुआ कि सूचना की कमी रिपोर्टिंग में एक वास्तविक अंतर था, न कि पाठक की गलतफहमी।

निष्कर्ष स्पष्ट है। जबकि मशीन लर्निंग फार्मास्युटिकल मैन्युफैक्चरिंग में एक नियमित प्रक्रिया बनती जा रही है, इस कार्य का प्रकाशित रिकॉर्ड काफी हद तक अपारदर्शी है। एक-तिहाई पेपर्स को जनता द्वारा पढ़ा नहीं जा सकता है, और जो पढ़े जा सकते हैं, उनमें से लगभग किसी में भी परिणामों को सत्यापित करने के लिए आवश्यक विवरणों का पूरा सेट मौजूद नहीं है। शोधकर्ता का सुझाव है कि समाधान के लिए लेखकों को कुछ नया या कठिन करने की आवश्यकता नहीं है। उन्हें बस उस डेटा और कोड को साझा करने की आवश्यकता है जो उनके पास पहले से ही है और स्पष्ट रूप से यह बताना है कि कौन सा डेटा उनके मुख्य परिणाम का आधार बना। यह पूछकर कि लेखकों के पास पहले से ही क्या मौजूद है, वैज्ञानिक समुदाय उस अंतर को पाट सकता है जो प्रकाशन और सत्यापन के बीच है, यह सुनिश्चित करते हुए कि हमारी दवाएं बनाने वाली स्मार्ट मशीनें उतनी ही विश्वसनीय हों जितना कि वे दावा करती हैं।