Temporally validated clinical trial outcome prediction from public registry text: a leakage-audited comparison of biomedical transformers and classical NLP
यह अध्ययन प्रदर्शित करता है कि बायोमेडिकल ट्रांसफॉर्मर मॉडल, विशेष रूप से बायोमेडबर्ट (BiomedBERT), जो केवल सार्वजनिक क्लिनिकल ट्रायल रजिस्ट्री टेक्स्ट से स्वचालित परिणाम संभावनाओं पर प्रशिक्षित हैं, कठोर टेम्पोरल वैलिडेशन और इनपुट प्रतिबंधों के माध्यम से डेटा लीकेज से बचते हुए, उच्च सटीकता, पुनरुत्पादकता और न्यूनतम कम्प्यूटेशनल लागत के साथ बाद के चरणों में न्यूरोसाइंस ट्रायल की सफलता की प्रभावी ढंग से भविष्यवाणी कर सकते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
नई दवाओं का विकास एक लंबी, महंगी और अनिश्चित यात्रा है। परीक्षण में प्रवेश करने वाले अधिकांश दवा उम्मीदवार कभी फार्मेसी की शेल्फ तक नहीं पहुँच पाते। क्योंकि इसमें दांव बहुत ऊंचे होते हैं, शोधकर्ता और कंपनियां लगातार ऐसे तरीके तलाशती रहती हैं जिनसे वे वर्षों और करोड़ों डॉलर खर्च करने से पहले यह अनुमान लगा सकें कि कौन से परीक्षण सफल होने की संभावना रखते हैं। दशकों से, ये भविष्यवाणियां दवा की आणविक संरचना, उस विशिष्ट बीमारी जिसके लिए वह लक्षित है, या अध्ययन चलाने वाली कंपनी के जटिल डेटा पर निर्भर रही हैं। अक्सर, यह जानकारी निजी डेटाबेस में बंद होती है या इसे एक्सेस करने के लिए महंगी सदस्यता की आवश्यकता होती है। यह एक ऐसी बाधा पैदा करता है जहाँ केवल अच्छी तरह से वित्तपोषित संगठन ही चिकित्सा अनुसंधान के भविष्य का पूर्वानुमान लगाने के लिए आवश्यक उपकरण बना सकते हैं। लेकिन क्या होगा यदि उत्तर पहले से ही सामने मौजूद हों, जो स्वयं अध्ययनों के सार्वजनिक विवरणों में लिखे हों?
स्वतंत्र शोधकर्ता माइकल डोने के एक हालिया अध्ययन ने यह पता लगाया कि क्या एक कंप्यूटर प्रोग्राम केवल ClinicalTrials.gov वेबसाइट पर उपलब्ध मुफ्त, सार्वजनिक पाठ (text) का उपयोग करके नैदानिक परीक्षणों (clinical trials) की सफलता की भविष्यवाणी करना सीख सकता है। यह वेबसाइट एक वैश्विक रजिस्ट्री के रूप में कार्य करती है जहाँ प्रत्येक नैदानिक परीक्षण को पंजीकृत किया जाना चाहिए, जिसमें अध्ययन का डिज़ाइन, शामिल रोगी और अनुसंधान के लक्ष्यों का विवरण होता है। डोने जानना चाहते थे कि क्या एक आधुनिक भाषा मॉडल—जो मानव भाषा को समझने के लिए प्रशिक्षित एक प्रकार का आर्टिफिशियल इंटेलिजेंस है—इन सार्वजनिक विवरणों को पढ़ सकता है और परीक्षणों को उनकी सफलता की संभावना के आधार पर रैंक कर सकता है। ऐसा करने के लिए, उन्होंने क्लिनिकल ट्रायल आउटकम डेटासेट द्वारा उत्पन्न परीक्षण परिणामों के एक विशाल डेटासेट का उपयोग किया, जो प्रत्येक परीक्षण की सफलता की संभावना निर्धारित करने के लिए समाचार रिपोर्टों और सार्वजनिक परिणामों से साक्ष्य संकलित करता है। लक्ष्य यह देखना था कि क्या एक AI इन स्वचालित संभावनाओं से सीख सकता है और फिर उस ज्ञान को नए, अनदेखे परीक्षणों, विशेष रूप से न्यूरोसाइंस (neuroscience) पर केंद्रित परीक्षणों पर लागू कर सकता है, बिना प्रशिक्षण के दौरान अंतिम परिणाम देखे।
शोधकर्ता ने तीन अलग-अलग कंप्यूटर मॉडल प्रशिक्षित किए, जो दवा परीक्षण के प्रत्येक चरण के लिए थे: प्रारंभिक सुरक्षा जांच, मध्यवर्ती परीक्षण, और बड़े पैमाने पर अंतिम परीक्षण। उन्होंने इन मॉडलों को 2019 से पहले पूरे किए गए हजारों परीक्षणों का सार्वजनिक पाठ दिया, जिसमें स्वचालित सफलता की संभावनाओं का उपयोग केवल सीखने के मार्गदर्शक के रूप में किया गया था। महत्वपूर्ण रूप से, मॉडलों को परीक्षण के परिणामों, तारीखों, या उन विशिष्ट पहचानकर्ताओं को देखने की अनुमति नहीं थी जो उत्तर को उजागर कर सकते थे। इसके बजाय, उन्हें अध्ययन के डिज़ाइन और उसमें शामिल लोगों के वर्णनात्मक विवरणों पर ही निर्भर रहना था। परिणामों की वास्तविकता सुनिश्चित करने के लिए और यह सुनिश्चित करने के लिए कि यह डेटा का कोई छल नहीं है, शोधकर्ता ने एक सख्त नियम बनाया: मॉडल केवल 2019 के बाद समाप्त हुए परीक्षणों पर परीक्षण किए जाएंगे, जो एक ऐसा समय काल है जिसे मॉडल ने पहले कभी नहीं देखा था। यह दृष्टिकोण, जिसे 'टेम्पोरल वैलिडेशन' (temporal validation) कहा जाता है, वास्तविक दुनिया में इस तरह के टूल के उपयोग की नकल करता है, जो अतीत को याद रखने के बजाय भविष्य की ओर देखता है।
परिणामों ने दिखाया कि कंप्यूटर मॉडल वास्तव में सार्वजनिक पाठ के भीतर सफलता के संकेत (signal) को खोज सकते हैं। प्राथमिक मॉडल, जो बायोबर्ट (BioBERT) नामक सिस्टम पर आधारित है और जो बायोमेडिकल साहित्य पर प्री-ट्रेन्ड है, ने सफलतापूर्वक परीक्षणों को रैंक किया। प्रारंभिक सुरक्षा चरण में, इसने 0.67 का AUC प्राप्त किया। मध्यवर्ती चरण में, यह स्कोर बढ़कर लगभग 0.71 हो गया, और अंतिम बड़े पैमाने के चरण में, यह लगभग 0.72 तक पहुँच गया। हालांकि ये संख्याएँ मामूली लग सकती हैं, लेकिन वे केवल सार्वजनिक जानकारी का उपयोग करके सफल और असफल परीक्षणों के बीच अंतर करने की एक महत्वपूर्ण क्षमता का प्रतिनिधित्व करती हैं। मॉडल ने रैंडम गेसिंग (random guessing) से बेहतर और परीक्षण के बाद के चरणों में पुराने, सरल सांख्यिकीय तरीकों से भी बेहतर प्रदर्शन किया। एक अन्य मॉडल, जिसे बायोमेडबर्ट (BiomedBERT) कहा जाता है, ने अंतिम चरण में और भी थोड़ा बेहतर प्रदर्शन किया, जो लगभग 0.75 का AUC तक पहुँचा।
यह खोज विशेष रूप से इसलिए उल्लेखनीय है कि इसे कितनी कुशलता से हासिल किया गया। जटिल AI मॉडलों को प्रशिक्षित करने और तुलना चलाने सहित पूरी प्रक्रिया में एक सिंगल ग्राफिक्स प्रोसेसिंग यूनिट (GPU) पर केवल 3.5 घंटे लगे, जिसकी लागत बिजली और क्लाउड कंप्यूटिंग शुल्क के रूप में एक डॉलर से कुछ अधिक थी। यह आर्टिफिशियल इंटेलिजेंस अनुसंधान से जुड़े विशाल सुपरकंप्यूटरों और महंगे डेटासेट्स के बिल्कुल विपरीत है। अध्ययन ने प्रदर्शित किया कि मामूली संसाधनों वाला एक शोधकर्ता केवल मुफ्त, सार्वजनिक डेटा का उपयोग करके इन परिणामों को दोहरा सकता है। मॉडल केवल पाठ विवरणों से सीखने में सक्षम थे, जिससे सिद्ध हुआ कि रजिस्ट्री प्रविष्टि में जिस तरह से अध्ययन का वर्णन किया जाता है, उसमें छिपे हुए पैटर्न होते हैं जो इसके अंतिम परिणाम के साथ सह-संबंध रखते हैं।
हालाँकि, अध्ययन ने महत्वपूर्ण सीमाओं को भी रेखांकित किया। जबकि मॉडल परीक्षणों को रैंक करने में अच्छे थे—यानी यह बताने में कि कौन से परीक्षण दूसरों की तुलना में सफल होने की अधिक संभावना रखते हैं—वे सफलता की सटीक संभावना की भविष्यवाणी करने में पूर्ण नहीं थे। प्रारंभिक चरणों में, मॉडल अत्यधिक आशावादी थे, जो वास्तव में होने वाली सफलता की तुलना में उच्च सफलता दर का अनुमान लगाते थे। यह सुझाव देता है कि जबकि पाठ वर्गीकरण के लिए एक उपयोगी संकेत प्रदान करता है, यह अभी भी मानवीय निर्णय या अधिक विस्तृत डेटा की आवश्यकता को पूरा नहीं कर सकता है। शोधकर्ताओं ने यह भी नोट किया कि समय के साथ पाठ विवरण बदल सकते हैं, और यदि किसी रजिस्ट्री प्रविष्टि को परीक्षण समाप्त होने के बाद अपडेट किया जाता है, तो यह गलती से मॉडल को उत्तर लीक कर सकता है। इससे बचने के लिए, अध्ययन ने मॉडलों के पढ़ने से पहले पाठ से किसी भी परिणाम के उल्लेख को हटाने के लिए सख्त नियमों का उपयोग किया।
अंततः, यह कार्य सुझाव देता है कि नैदानिक परीक्षणों का सार्वजनिक रिकॉर्ड पहले की तुलना में अधिक भविष्य कहनेवाला शक्ति (predictive power) रखता है। एक भाषा मॉडल को सिखाने के लिए स्वचालित लेबल का उपयोग करके, शोधकर्ता ने दिखाया कि केवल अपने सार्वजनिक विवरणों के आधार पर ड्रग परीक्षणों को रैंक करने वाला टूल बनाना संभव है। इस दृष्टिकोण के लिए निजी कॉर्पोरेट डेटा या महंगी मालिकाना डेटाबेस तक पहुंच की आवश्यकता नहीं है। यह एक पारदर्शी, पुनरुत्पादनीय आधार प्रदान करता है जिसे कोई भी शोधकर्ता परीक्षणों की स्क्रीनिंग करने या यह प्राथमिकता देने के लिए उपयोग कर सकता है कि किन अध्ययनों पर अधिक ध्यान दिया जाना चाहिए। भले ही मॉडल अभी दवा विकास पर अंतिम निर्णय लेने के लिए तैयार नहीं हैं, वे चिकित्सा खोज के अनिश्चित पथ पर नेविगेट करने के लिए सरल पाठ को एक मार्गदर्शक में बदलकर, पहले से उपलब्ध सूचना के विशाल भंडार को देखने का एक शक्तिशाली नया तरीका प्रदान करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।