Auditing an AI-Agent Computational Drug-Discovery Workflow Through an SMPD1 Case Study

नई दवाओं की आधुनिक खोज में, वैज्ञानिक अक्सर यह सिम्युलेट करने के लिए शक्तिशाली कंप्यूटरों पर भरोसा करते हैं कि कैसे सूक्ष्म अणु शरीर के प्रोटीन के साथ परस्पर क्रिया कर सकते हैं। यह क्षेत्र, जिसे कम्प्यूटेशनल ड्रग डिस्कवरी (computational drug discovery) कहा जाता है, एक हाई-स्पीड फिल्टर के रूप में कार्य करता है, जिससे शोधकर्ता प्रयोगशाला में रसायनों को मिलाने से पहले ही लाखों संभावित उम्मीदवारों का परीक्षण कर सकते हैं। इस प्रक्रिया में विभिन्न डिजिटल उपकरणों को एक श्रृंखला में जोड़ना शामिल है: ज्ञात जैविक लक्ष्यों की सूची देने वाले डेटाबेस, अणुओं के आपस में जुड़ने के तरीके का पूर्वानुमान लगाने वाले इंजन (जो उन्हें पहेली के टुकड़ों की तरह फिट होने जैसा देखते हैं), और सिमुलेशन प्रोग्राम जो इन संरचनाओं की समय के साथ गति को देखते हैं। हाल ही में, इसमें स्वचालन (automation) की एक नई परत जोड़ी गई है: आर्टिफिशियल इंटेलिजेंस एजेंट। ये ऐसे सॉफ्टवेयर प्रोग्राम हैं जिन्हें शोधकर्ताओं की तरह कार्य करने, निर्णय लेने, सिमुलेशन चलाने और इन उपकरणों को स्वयं जोड़कर रिपोर्ट लिखने के लिए डिज़ाइन किया गया है। इसका वादा इलाज का एक तेज़, अधिक कुशल मार्ग है, लेकिन जोखिम यह है कि ये स्वचालित प्रणालियाँ सूक्ष्म गलतियाँ कर सकती हैं—जैसे माप की इकाइयों को मिला देना, समान प्रोटीनों के बीच भ्रमित हो जाना, या डेटा की गलत व्याख्या करना—जो उनके अपने आंतरिक जाँचों से बच निकलती हैं और गलत निष्कर्षों की ओर ले जाती हैं।

वुहान यूनिवर्सिटी ऑफ टेक्नोलॉजी के यिमिंग ज़ुओ द्वारा किए गए एक हालिया अध्ययन ने इस नए स्वचालित दृष्टिकोण को एक कठोर परीक्षण के अधीन रखा है। शोधकर्ता ने केवल एक ड्रग-डिस्कवरी अभियान नहीं चलाया; उन्होंने एक ऐसी प्रणाली बनाई जहाँ एक आर्टिफिशियल इंटेलिजेंस एजेंट ने एक विशिष्ट मानव एंजाइम, जिसे SMPD1 कहा जाता है और जो संज्ञानात्मक हानि (cognitive impairment) से जुड़ा है, के लिए एक दवा उम्मीदवार खोजने का प्रयास किया, जबकि एक दूसरा, स्वतंत्र एजेंट एक सख्त ऑडिटर (लेखा परीक्षक) के रूप में कार्य करता था। लक्ष्य यह देखना था कि क्या स्वचालित वर्कफ़्लो विश्वसनीय विज्ञान उत्पन्न कर सकता है या क्या यह छिपी हुई त्रुटियों से भरी एक सुसंगत दिखने वाली रिपोर्ट तैयार करेगा। अध्ययन SMPD1 पर केंद्रित था क्योंकि यह तंत्रिका संबंधी रोगों (neurological diseases) में एक ज्ञात खिलाड़ी है, लेकिन शोधकर्ताओं ने प्रारंभिक निष्कर्षों को परीक्षण योग्य परिकल्पनाओं के रूप में माना, न कि सिद्ध तथ्यों के रूप में।

स्वचालित एजेंट ने साक्ष्य एकत्र करके SMPD1 को एक लक्ष्य के रूप में नामित करने से शुरुआत की। इसने आनुवंशिक डेटाबेस और वैज्ञानिक साहित्य से डेटा संकलित किया, और अंततः इसके 3D स्ट्रक्चर की उपलब्धता और इसे आंशिक रूप से बाधित करने से होने वाले कथित लाभ के आधार पर इस एंजाइम का चयन किया। एजेंट फिर अगले चरण पर गया: वर्चुअल स्क्रीनिंग। इसने 20,000 से अधिक अणुओं की लाइब्रेरी को कुछ हज़ार तक फ़िल्टर किया जो आशाजनक लग रहे थे, यह देखने के लिए कि वे एंजाइम के सक्रिय स्थल (active site) में कितनी अच्छी तरह फिट होते हैं, उन्हें डॉकिंग सिमुलेशन के माध्यम से चलाया, और शीर्ष उम्मीदवारों का चयन किया। इसके बाद, एजेंट ने लघु मॉलिक्यूलर डायनेमिक्स सिमुलेशन चलाए, जो अनिवार्य रूप से अणुओं के हिलने-डुलने और परस्पर क्रिया करने की 'फिल्में' हैं, ताकि यह देखा जा सके कि सर्वश्रेष्ठ उम्मीदवार लक्ष्य के साथ बंधे रहते हैं या नहीं। अंत में, एजेंट ने इन उम्मीदवारों की सुरक्षा और संश्लेषण क्षमता (synthesizability) की भविष्यवाणी की और उन्हें बनाने के लिए एक रासायनिक मार्ग प्रस्तावित किया। सतह पर, वर्कफ़्लो पूर्ण और सफल दिखाई दिया, जिसने एक ऐसी नैरेटिव (कथा) तैयार की जो एक नए उपचार के व्यवहार्य पथ का सुझाव देती थी।

हालाँकि, जब दूसरे एजेंट, यानी ऑडिटर ने कच्चे डेटा और पहले एजेंट द्वारा किए गए चरणों की जांच की, तो कहानी नाटकीय रूप से बदल गई। ऑडिट से पता चला कि शुरुआती विश्वास गलत था। सबसे महत्वपूर्ण त्रुटि पहचान की गलती थी: एजेंट ने SMPD1 को एक बहुत ही समान एंजाइम SMPD2 के साथ भ्रमित कर दिया था। एजेंट ने जिस डेटा का उपयोग इस दवा के प्रभाव की दिशा को सही ठहराने के लिए किया था, वह वास्तव में SMPD2 का था, न कि उस लक्ष्य का जिसका उसे अध्ययन करना था। इसके अलावा, ऑडिट में पाया गया कि एजेंट ने माप की इकाइयों को मिला दिया था, जिसमें नैनोमीटर की दूरियों को एंगस्ट्रॉम (angstroms) के रूप में लेबल किया गया था, और उसने एक धातु आयन (metal ion) के लिए भौतिक मापदंडों के एक अलग सेट का उपयोग किया था जो उसके दावों से भिन्न था। ये केवल मामूली टाइपिंग की गलतियाँ नहीं थीं; इन्होंने सिमुलेशन परिणामों की व्याख्या को मौलिक रूप से बदल दिया था।

इन त्रुटियों के परिणाम गंभीर थे। जब ऑडिटर ने सही इकाइयों और मापदंडों के साथ विश्लेषण को फिर से चलाया, तो सिमुलेशन ने दिखाया कि प्रस्तावित दवा उम्मीदवार मूल दावे के विपरीत सक्रिय स्थल में नहीं टिका रहा। वास्तव में, सुधारात्मक स्थितियों के तहत, उम्मीदवार उस बाइंडिंग (binding) के मानदंड को पूरा करने में विफल रहा जिसका एजेंट ने मूल रूप से उल्लेख किया था। इसके अतिरिक्त, ऑडिट ने मौजूदा वैज्ञानिक साहित्य का एक हिस्सा खोज निकाला जो इस बात पर सीधे विरोधाभास करता था कि इस एंजाइम को बाधित करना स्मृति (memory) के लिए फायदेमंद होगा या नहीं। एजेंट इस प्रति-साक्ष्य (counter-evidence) को पकड़ने में विफल रहा, जिससे एक ऐसा क्लिनिकल स्ट्रैटेजी सामने आया जिसे ऑडिट ने विवादास्पद और संभावित रूप से खतरनाक बताया।

अध्ययन ने नियंत्रण प्रयोगों के माध्यम से आर्टिफिशियल इंटेलिजेंस सिस्टम की विश्वसनीयता का भी परीक्षण किया। शोधकर्ताओं ने अठारह विशिष्ट त्रुटियाँ बनाईं, जैसे संख्याओं को बदलना या डेटा को गलत लेबल करना, और उन्हें वर्कफ़्लो में डाला ताकि यह देखा जा सके कि क्या सिस्टम उन्हें पकड़ पाता है। स्वचालित जाँचों ने इन अठारह में से पंद्रह त्रुटियों का पता लगाया, जो उन विशिष्ट गलतियों के लिए उच्च स्तर की संवेदनशीलता दर्शाती हैं जिन्हें खोजने के लिए उन्हें डिज़ाइन किया गया था। हालाँकि, शोधकर्ताओं ने नोट किया कि क्योंकि परीक्षण उसी प्रोजेक्ट के भीतर डिज़ाइन किए गए थे, इसलिए वे यह साबित नहीं कर सकते कि सिस्टम अन्य संदर्भों में हर प्रकार की त्रुटि को पकड़ लेगा। ऑडिट ने तीन अलग-अलग तरीकों के वर्कफ़्लो की तुलना भी की: एक अकेला काम करने वाला एजेंट, मिलकर काम करने वाली एजेंटों की एक टीम, और एक ऑडिटर के साथ एजेंटों की टीम। हालाँकि तीनों ने परिणाम दिए, लेकिन अध्ययन को वैज्ञानिक सटीकता के मामले में कोई स्पष्ट विजेता नहीं मिला, और ऑडिटेड टीम द्वारा लिया गया समय अधिक था, जो गति और सत्यापन के बीच के समझौते (trade-off) को उजागर करता है।

अंततः, इस अध्ययन ने कोई नई दवा या संज्ञानात्मक हानि के लिए मान्य उपचार का उत्पादन नहीं किया। इसके बजाय, इसने एक विस्तृत विफलता विश्लेषण (failure analysis) प्रस्तुत किया। अंतिम आउटपुट एक सुधारा गया, पारदर्शी रिकॉर्ड है कि क्या गलत हुआ और इसे कैसे ठीक किया गया। शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि आर्टिफिशियल इंटेलिजेंस एजेंट जटिल वैज्ञानिक कार्यों को जोड़ सकते हैं, लेकिन वे ऐसी त्रुटियों को फैलाने के प्रति संवेदनशील हैं जो उनकी अपनी स्वयं की समीक्षा से बच निकलती हैं। उनके द्वारा तैयार की गई "सुसंगत" रिपोर्ट पहचान, इकाइयों और तर्क में गंभीर खामियों को छिपा सकती है। अध्ययन सुझाव देता है कि विज्ञान को पुख्ता सुनिश्चित करने का एकमात्र तरीका इन स्वचालित नैरेटिव को ताज़ा, प्रतिकूल ऑडिट (adversarial audits) के अधीन करना है जो केवल सारांश को स्वीकार करने के बजाय कच्चे डेटा की जाँच करते हैं। इस अभियान का शेष परिणाम कोई औषधि नहीं, बल्कि मशीनों के काम की जाँच करने के लिए एक पुन: प्रयोज्य प्रोटोकॉल है, जो यह सिद्ध करता है कि खोज को स्वचालित करने की दौड़ में, सबसे महत्वपूर्ण उपकरण एक संदिग्ध, स्वतंत्र आँख ही बनी हुई है।