Model Rankings in Drug–Target Affinity Prediction Vary Across Evaluation Regimes: A Controlled Multi-Seed Study of Model-Comparison Reliability

नई दवाओं की खोज की दौड़ में, वैज्ञानिक अक्सर एक कठिन कार्य का सामना करते हैं: एक विशिष्ट ताले के लिए सही चाबी खोजना। ये "चाबियाँ" छोटे अणु (मॉलिक्यूल्स) हैं, जो संभावित दवाएं हैं, और "ताले" मानव शरीर के भीतर मौजूद प्रोटीन हैं जो बीमारी को संचालित करते हैं। जब कोई दवा किसी प्रोटीन में अच्छी तरह फिट हो जाती है, तो वह बीमारी की प्रक्रिया को रोक सकती है या किसी टूटे हुए कार्य को ठीक कर सकती है। यह भविष्यवाणी करना कि एक दवा किसी प्रोटीन से कितनी मजबूती से बंधेगी, लाखों उम्मीदवारों की स्क्रीनिंग करने में एक महत्वपूर्ण कदम है, जिससे शोधकर्ता अपने संसाधनों को सबसे आशाजनक विकल्पों पर केंद्रित कर पाते हैं। वर्षों से, कंप्यूटर मॉडल इन भविष्यवाणियों को करने के लिए प्रशिक्षित किए जाते रहे हैं, जो ज्ञात ड्रग-प्रोटीन इंटरैक्शन के विशाल डेटाबेस से सीखते हैं। लक्ष्य हमेशा एक ऐसा मॉडल बनाना रहा है जो पहले कभी न देखी गई बॉन्डिंग की ताकत का सटीक अनुमान लगा सके, चाहे इसका अर्थ किसी ज्ञात प्रोटीन के विरुद्ध एक नई दवा के व्यवहार की भविष्यवाणी करना हो, या किसी नए प्रोटीन टारगेट के साथ एक ज्ञात दवा के इंटरैक्शन को समझना हो।

हालाँकि, हारबिन नॉर्मल यूनिवर्सिटी का एक नया अध्ययन सुझाव देता है कि "कौन सा मॉडल सबसे अच्छा है" इसका उत्तर पूरी तरह से इस बात पर निर्भर करता है कि पूछा गया प्रश्न क्या है। शोधकर्ताओं, हाओबो कुई और सिनुअन कुई ने यह परीक्षण करने का प्रयास किया कि क्या इन कंप्यूटर मॉडलों की रैंकिंग तब स्थिर रहती है जब खेल के नियम बदल जाते हैं। ड्रग डिस्कवरी की वास्तविक दुनिया में, एक मॉडल से ऐसी दवा के लिए इंटरैक्शन की भविष्यवाणी करने को कहा जा सकता है जिसे पहले कभी नहीं देखा गया है, या ऐसे प्रोटीन के लिए जिसे पहले कभी नहीं देखा गया है, या दोनों के मिश्रण के लिए। टीम ने पाया कि एक मॉडल जो एक परिदृश्य में जीतता है, वह दूसरे में हार सकता है, और मॉडलों की रैंकिंग का क्रम पूरी तरह से बदल सकता है, जो विशिष्ट परीक्षण स्थितियों पर निर्भर करता है। उनका काम, जिसमें सौ से अधिक सावधानीपूर्वक नियंत्रित प्रयोग शामिल थे, यह प्रकट करता है कि सभी स्थितियों के लिए कोई एक एकल "सर्वश्रेष्ठ" मॉडल नहीं है; इसके बजाय, सही चुनाव उस विशिष्ट सामान्यीकरण चुनौती (जनरलाइजेशन चैलेंज) पर निर्भर करता जिसका मॉडल को सामना करना पड़ेगा।

इस जांच के पैमाने को समझने के लिए, कल्पना कीजिए कि एक प्रयोगशाला में वैज्ञानिक पांच अलग-अलग प्रकार के इंजनों का परीक्षण कर रहे हैं। एक मानक परीक्षण में, वे सभी इंजनों को एक चिकके, परिचित ट्रैक पर चला सकते हैं। लेकिन वास्तविक दुनिया में, कुछ इंजनों को बर्फीली सड़कों पर संभालना पड़ता है, जबकि अन्य को ऊंचे पहाड़ी दर्रों से गुजरना पड़ता है। कुई और कुई ने यह देखने के लिए एक कठोर परीक्षण ढांचा बनाया कि क्या चिकके ट्रैक पर जीतने वाला इंजन बर्फ या पहाड़ों पर भी जीतता है। उन्होंने ड्रग-प्रोटीन इंटरैक्शन के दो विशाल, साफ-सुथरे डेटाबेस का उपयोग किया, जिनमें एक स्रोत से 118,000 से अधिक रिकॉर्ड और दूसरे से 30,000 से अधिक रिकॉर्ड थे। इस डेटा से, उन्होंने तीन अलग-अलग परीक्षण वातावरण बनाए। पहला एक "वॉर्म" (warm) सेटिंग थी, जहाँ मॉडल का परीक्षण उन दवाओं और प्रोटीनों पर किया गया था जिन्हें उसने प्रशिक्षण के दौरान पहले ही देख लिया था, जो अनिवार्य रूप से यह मापता था कि वह अपने सीखे हुए ज्ञान को कितनी अच्छी तरह याद रख सकता है और इंटरपोलेट कर सकता है। दूसरा एक "कोल्ड-ड्रग" (cold-drug) सेटिंग थी, जहाँ मॉडल को पूरी तरह से नए रासायनिक यौगिकों के लिए इंटरैक्शन की भविष्यवाणी करनी थी जिनका उसने पहले कभी सामना नहीं किया था। तीसरा एक "कोल्ड-टारगेट" (cold-target) सेटिंग थी, जहाँ मॉडल का सामना पूरी तरह से नए प्रोटीन अनुक्रमों से हुआ, जो एक नए खोजे गए रोग तंत्र के लिए दवा खोजने की चुनौती का अनुकरण करता था।

शोधकर्ताओं ने केवल मॉडलों को एक बार नहीं चलाया और परिणाम नहीं लिए। अपने निष्कर्षों को केवल यादृच्छिक संयोग (रैंडम चांस) न होने से सुनिश्चित करने के लिए, उन्होंने प्रत्येक प्रयोग को थोड़े अलग शुरुआती स्थितियों के साथ तीन बार चलाया, जिसे "मल्टीपल सीड्स" (multiple seeds) तकनीक के रूप में जाना जाता है। उन्होंने ड्रग और प्रोटीन जानकारी को संयोजित करने के तीन अलग-अलग तरीकों की तुलना की, और दो स्थापित बेसलाइन विधियों का उपयोग किया, यह सुनिश्चित करते हुए कि सभी मॉडलों के पास लगभग समान कंप्यूटिंग पावर हो। कुल मिलाकर, उन्होंने 126 अलग-अलग ट्रेनिंग रन आयोजित किए, जिसमें डेटा स्प्लिट्स और मूल्यांकन के नियम पूरे क्रम में समान रखे गए। महत्वपूर्ण रूप से, उन्होंने अंतिम परीक्षण परिणामों को तब तक सीलबंद रखा जब तक कि हर एक रन पूरा नहीं हो गया, जिससे किसी भी आकस्मिक पूर्वाग्रह (बायस) को रोका जा सके जहाँ मॉडल को टेस्ट डेटा के अनुरूप बदला जा सकता था। इस सख्त, ऑडिट योग्य दृष्टिकोण ने उन्हें हर परिणाम को उसके स्रोत तक ट्रेस करने की अनुमति दी, जिससे उनके तुलनात्मक अध्ययन की अखंडता सुनिश्चित हुई।

परिणाम चौंकाने वाले और विरोधाभासी थे। जब शोधकर्ताओं ने "वॉर्म" स्थितियों के तहत मॉडलों की रैंकिंग देखी, तो एक मॉडल ने लगातार दूसरों से बेहतर प्रदर्शन किया। हालाँकि, जब उन्होंने "कोल्ड-ड्रग" परिदृश्य में स्विच किया, तो रैंकिंग नाटकीय रूप से बदल गई। सबसे चरम मामले में, जिसमें बड़ा डेटासेट शामिल था, "कोल्ड-टारगेट" परिदृश्य के लिए मॉडलों का क्रम "कोल्ड-ड्रग" परिदृश्य के क्रम के बिल्कुल विपरीत था। एक मॉडल जो नए प्रोटीनों के साथ इंटरैक्शन की भविष्यवाणी करने के लिए स्पष्ट विजेता था, वह नए ड्रग्स के साथ इंटरैक्शन की भविष्यवाणी करने के लिए स्पष्ट हारने वाला बन गया। रैंकिंग की तुलना करने वाले एक सांख्यिकीय उपकरण द्वारा मापा गया यह पूर्ण उलटफेर दिखाता है कि एक मॉडल की सफलता एक पूर्ण गुण नहीं है बल्कि एक सापेक्ष गुण है जो संदर्भ के साथ बदल जाता है।

इसके अलावा, अध्ययन ने इस बात पर भी प्रकाश डाला कि एक ही परीक्षण परिदृश्य के भीतर भी, परिणाम हमेशा पूरी तरह से स्थिर नहीं थे। व्यक्तिगत रन के बजाय केवल औसत को देखते हुए, शोधकर्ताओं ने पाया कि मॉडलों का सटीक क्रम एक ट्रेनिंग रन से दूसरे रन में भिन्न हो सकता है। इसका अर्थ यह है कि एक विजेता घोषित करने के लिए एकल प्रयोग पर भरोसा करना जोखिम भरा है, क्योंकि परिणाम प्रशिक्षण प्रक्रिया के रैंडम नॉइज़ से प्रभावित हो सकते हैं। मल्टीपल सीड्स चलाकर, टीम यह देख सकी कि उनके मॉडल के प्रदर्शन की विश्वसनीयता वास्तव में कितनी थी। उन्होंने पाया कि हालांकि कुछ मॉडलों ने विशिष्ट क्षेत्रों में निरंतर लाभ दिखाया, जैसे कि "कोल्ड-ड्रग" सेटिंग में जहाँ कुछ फ्यूजन रणनीतियाँ दोनों डेटासेट में बेहतर प्रदर्शन करती थीं, कोई भी एकल मॉडल हर मीट्रिक और हर परिदृश्य में हावी नहीं हुआ।

शोधकर्ताओं ने यह भी पता लगाया कि उनके निष्कर्ष वास्तविक दुनिया के अनुप्रयोग में कैसे अनुवादित होते हैं, इसके लिए उन्होंने एक विशिष्ट, अनदेखे प्रोटीन टारगेट VEGFR2 को देखा, जो रक्त वाहिका वृद्धि में शामिल है और कैंसर उपचारों के लिए एक प्रमुख लक्ष्य है। अपने प्रयोगों के फ्रोजन प्रेडिक्शन्स का उपयोग करते हुए, उन्होंने सिम्युलेट किया कि विभिन्न मॉडल इस विशिष्ट लक्ष्य के लिए संभावित ड्रग उम्मीदवारों की रैंकिंग कैसे करेंगे। उन्होंने पाया कि मॉडलों ने शीर्ष उम्मीदवारों की अलग-अलग सूचियाँ बनाईं। एक मॉडल किसी विशिष्ट कंपाउंड को सबसे अच्छा विकल्प मान सकता है, जबकि दूसरा उसे बहुत नीचे रख सकता है। इसने प्रदर्शित किया कि मॉडल का चयन केवल एक शैक्षणिक अभ्यास नहीं है; यह सीधे तौर पर इस बात को प्रभावित करता है कि वैज्ञानिक लैब में किन ड्रग उम्मीदवारों का परीक्षण करेंगे। यदि कोई शोधकर्ता "वॉर्म" सेटिंग में अपने प्रदर्शन के आधार पर मॉडल चुनता है, तो वे एक नए टारगेट के लिए गलत कंपाउंड्स को प्राथमिकता दे सकते हैं।

अंततः, यह अध्ययन कम्प्यूटेशनल ड्रग डिस्कवरी के भविष्य के लिए एक महत्वपूर्ण मार्गदर्शक के रूप में कार्य करता है। यह एक सार्वभौमिक चैंपियन मॉडल के विचार के विरुद्ध तर्क देता है जिसे हर समस्या पर लागू किया जा सके। इसके बजाय, यह सुझाव देता है कि मॉडल तुलना की विश्वसनीयता मॉडल मूल्यांकन पद्धति को इच्छित उपयोग के साथ मिलाने पर निर्भर करती है। यदि लक्ष्य नए टारगेट के लिए दवाएं खोजना है, तो मॉडल का परीक्षण नए टारगेट पर किया जाना चाहिए। यदि लक्ष्य ज्ञात टारगेट के लिए नई दवाएं खोजना है, तो मॉडल का परीक्षण नई दवाओं पर किया जाना चाहिए। शोधकर्ता निष्कर्ष निकालते हैं कि मॉडल चयन को वास्तव में विश्वसनीय बनाने के लिए, इसे परिदृश्य-मैच (scenario-matched), मल्टी-सीड (multi-seed) और ऑडिट योग्य होना चाहिए। यह समझकर कि रैंकिंग विभिन्न मूल्यांकन व्यवस्थाओं के बीच बदलती है, वैज्ञानिक अधिक सूचित निर्णय ले सकते हैं, यह सुनिश्चित करते हुए कि वे जो उपकरण उपयोग कर रहे हैं वे ड्रग डिस्कवरी पाइपलाइन की विशिष्ट चुनौतियों के लिए उपयुक्त हैं।