MolSanity: A Reliability Audit for Feature Attributions on Molecular Graph Neural Networks
MolSanity आणविक ग्राफ न्यूरल नेटवर्क फीचर एट्रिब्यूशन के लिए एक व्यापक विश्वसनीयता ऑडिट फ्रेमवर्क पेश करता है, जो यह प्रकट करता है कि मॉडल के प्रति निष्ठा (faithfulness) रासायनिक शुद्धता या ग्राउंड-ट्रुथ लोकलाइज़ेशन के साथ सहसंबंध नहीं रखती है, विशेष रूप से स्कैफोल्ड शिफ्ट के तहत, जिससे यह सिद्ध होता है कि स्पष्टीकरण की विश्वसनीयता का मूल्यांकन केवल निष्ठा मेट्रिक्स से अनुमान लगाने के बजाय मामला-दर-मामला आधार पर किया जाना चाहिए।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
ड्रग डिस्कवरी (दवा की खोज) की उच्च-जोखिम वाली दुनिया में, वैज्ञानिक अक्सर यह अनुमान लगाने के लिए कृत्रिम बुद्धिमत्ता (AI) पर भरोसा करते हैं कि एक नया रासायनिक यौगिक मानव शरीर में कैसे व्यवहार करेगा। ये प्रणालियाँ, जिन्हें ग्राफ न्यूरल नेटवर्क कहा जाता है, अणुओं को परमाणुओं के संग्रह के रूप में देखती हैं जो बंधों (bonds) द्वारा जुड़े होते हैं, ठीक वैसे ही जैसे शहरों और सड़कों का एक मानचित्र होता है। जब AI कोई भविष्यवाणी करता है, जैसे कि किसी यौगिक को संभावित रूप से विषाक्त (toxic) के रूप में चिह्नित करना, तो यह मानक प्रक्रिया है कि सिस्टम से उसके तर्क को समझाने के लिए कहा जाए। AI अणु पर विशिष्ट परमाणुओं को हाइलाइट करके जवाब देता है, जिससे एक हीट मैप (heat map) बनता है जो यह सुझाव देता है कि निर्णय के लिए रासायनिक संरचना के कौन से हिस्से सबसे महत्वपूर्ण थे। रसायनशास्त्री इन मानचित्रों पर अपने काम को निर्देशित करने के लिए भरोसा करते हैं, यह मानते हुए कि हाइलाइट किए गए परमाणु ही परिणाम के वास्तविक रासायनिक चालक (drivers) हैं।
हालाँकि, एक नया अध्ययन एक परेशान करने वाले अंतर को प्रकट करता है कि ये AI सिस्टम क्या कहते हैं कि उन्होंने क्या किया और वास्तव में उन्होंने क्या किया। यह शोध 'मोलसैनिटी' (MolSanity) नामक एक कठोर ऑडिट पेश करता है, जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि क्या ये स्पष्टीकरण विश्वसनीय हैं। मुख्य निष्कर्ष यह है कि एक स्पष्टीकरण AI के आंतरिक तर्क के साथ पूरी तरह से सुसंगत हो सकता है, फिर भी रसायन विज्ञान के बारे में पूरी तरह से गलत हो सकता है। दूसरे शब्दों में, सिस्टम अपनी स्वयं की विचार प्रक्रिया के बारे में ईमानदार हो सकता है, फिर भी वह प्रक्रिया अणु के बारे में गलतफहमी पर आधारित हो सकती है। यह अंतर महत्वपूर्ण है क्योंकि यदि एक वैज्ञानिक एक भ्रामक हीट मैप पर भरोसा करता है, तो वह एक आशाजनक दवा को त्याग सकता है या, इससे भी बदतर, एक खतरनाक दवा की ओर बढ़ सकता है, यह विश्वास करते हुए कि AI ने सही रासायनिक अपराधी की पहचान कर ली है जबकि उसने ऐसा नहीं किया है।
शोधकर्ताओं ने इस अंतर की जांच करने के लिए मौजूदा AI उपकरणों की एक विस्तृत श्रृंखला को घेरा और उन्हें आणविक डेटा के एक विशाल संग्रह के विरुद्ध परखा। उन्होंने स्पष्टीकरण उत्पन्न करने का कोई नया तरीका नहीं बनाया; इसके बजाय, उन्होंने वैज्ञानिक समुदाय द्वारा उपयोग किए जाने वाले मानक उपकरणों को लिया और उन्हें एक सख्त विश्वसनीयता ऑडिट के अधीन किया। इस ऑडिट ने डेटासेट, AI आर्किटेक्चर, स्पष्टीकरण पद्धति और डेटा स्प्लिट (data split) के हर संभावित संयोजन की जांच की। उन्होंने दो अलग-अलग चीजों को मापा: निष्ठा (faithfulness) और शुद्धता (correctness)। निष्ठा यह पूछती है कि क्या स्पष्टीकरण मॉडल की आंतरिक गणनाओं को सटीक रूप से दर्शाता है। यदि मॉडल कहता है "मैंने इस परमाणु को देखा," तो क्या स्पष्टीकरण उस परमाणु की ओर संकेत करता है? शुद्धता यह पूछती है कि क्या स्पष्टीकरण उस वास्तविक रासायनिक विशेषता की पहचान करता है जो गुण को निर्धारित करती है। यदि मॉडल विषाक्तता की भविष्यवाणी कर रहा है, तो क्या स्पष्टीकरण अणु के विषाक्त भाग की ओर संकेत करता है?
अध्ययन में पाया गया कि ये दो गुण आपस में जुड़े हुए नहीं हैं। एक पद्धति अत्यधिक निष्ठावान हो सकती है, जिसका अर्थ है कि वह मॉडल के व्यवहार का सटीक वर्णन करती है, और फिर भी पूरी तरह से गलत हो सकती है, जो गलत रासायनिक विशेषताओं की ओर संकेत करती है। वास्तव में, तीस अलग-अलग परीक्षणों में, एक रैंकिंग प्रणाली जिसने केवल निष्ठा के आधार पर सर्वश्रेष्ठ स्पष्टीकरण पद्धति को चुना, उसने छब्बीस बार गलत पद्धति चुनी। शोधकर्ताओं ने इसे दो स्थितियों के तहत परखा: जब AI का परीक्षण उन अणुओं पर किया गया जो उसके प्रशिक्षण के समान थे, और जब इसका परीक्षण पूरी तरह से नई रासायनिक संरचनाओं पर किया गया, जिसे 'स्कैफोल्ड शिफ्ट' (scaffold shift) कहा जाता है जो वास्तविक दुनिया की ड्रग डिस्कवरी की नकल करता है। यह विफलता केवल कठिन मामलों तक सीमित नहीं थी; यह परिचित मामलों में भी उतनी ही बार हुई। एक विशिष्ट मामले में, जो एक प्रसिद्ध डेटासेट से संबंधित था, सबसे निष्ठावान पद्धति ने उन परमाणुओं की ओर संकेत किया जो वास्तविक विषाक्त समूह के बिल्कुल विपरीत थे, जबकि वह पद्धति जो विषाक्त समूह की सही पहचान करती थी, उसे कम निष्ठावान माना गया।
जुड़ाव की यह कमी बताती है कि हर स्थिति के लिए कोई एक "सर्वश्रेष्ठ" स्पष्टीकरण पद्धति नहीं है। एक स्पष्टीकरण की विश्वसनीयता डेटासेट, AI मॉडल और स्पष्टीकरण उत्पन्न करने के लिए उपयोग की जाने वाली पद्धति के विशिष्ट संयोजन पर निर्भर करती है। शोधकर्ताओं ने पाया कि हालांकि विभिन्न प्रकार के अणुओं के बीच स्पष्टीकरण पद्धतियों की रैंकिंग अपेक्षाकृत स्थिर रही, लेकिन निष्ठा और शुद्धता के बीच का संबंध बहुत भिन्न था। कुछ डेटासेट पर, दोनों सकारात्मक रूप से जुड़े थे; अन्य पर, वे नकारात्मक रूप से जुड़े थे। यह विसंगति बताती है कि एक वैज्ञानिक केवल उस पद्धति को नहीं चुन सकता जो निष्ठा पर उच्चतम स्कोर करती है और उम्मीद नहीं कर सकता कि वह सही होगी। अध्ययन स्पष्ट रूप से इस विचार को खारिज करता है कि निष्ठा, शुद्धता का एक विश्वसनीय प्रतिनिधि (proxy) है, यह दिखाते हुए कि एक उच्च स्कोर दूसरे पर उच्च स्कोर की गारंटी नहीं देता है।
ऑडिट ने यह भी देखा कि जब AI आश्वस्त होता है बनाम जब वह गलत होता है, तो ये स्पष्टीकरण कैसे व्यवहार करते हैं। शोधकर्ताओं ने पाया कि जब AI एक आश्वस्त लेकिन गलत भविष्यवाणी करता है, तो स्पष्टीकरण अक्सर मॉडल के आंतरिक तर्क के प्रति अधिक निष्ठावान हो जाता है, भले ही वह रसायन विज्ञान के संबंध में कम सटीक हो जाता है। यह एक खतरनाक जाल बनाता है: AI गलत उत्तर के प्रति जितना अधिक आश्वस्त होगा, उसका स्पष्टीकरण उतना ही अधिक सम्मोहक लग सकता है, भले ही वह स्पष्टीकरण वैज्ञानिक को गुमराह कर रहा हो। इसके अलावा, अध्ययन ने दिखाया कि मूल AI आर्किटेक्चर का चुनाव इस बात को महत्वपूर्ण रूप से प्रभावित करता है कि एक स्पष्टीकरण वास्तविक रासायनिक विशेषताओं का पता लगाने में कितना सक्षम है, चाहे स्पष्टीकरण पद्धति कुछ भी हो। यह सुझाव देता है कि एक स्पष्टीकरण की विश्वसनीयता पूरे सिस्टम का एक गुण है, न कि केवल हीट मैप उत्पन्न करने के लिए उपयोग किए जाने वाले टूल का।
अंततः, यह कार्य रसायन विज्ञान में कृत्रिम बुद्धिमत्ता के क्षेत्र के लिए एक आवश्यक वास्तविकता की जाँच (reality check) के रूप में कार्य करता है। यह प्रदर्शित करता है कि ज्ञात रासायनिक सत्यों के विरुद्ध सत्यापन किए बिना AI स्पष्टीकरणों पर भरोसा करने की वर्तमान प्रथा जोखिम भरी है। शोधकर्ता इन प्रणालियों के ऑडिट के लिए एक ढांचा प्रदान करते हैं, लेकिन उनका प्राथमिक निष्कर्ष नकारात्मक है: कोई सार्वभौमिक नियम नहीं है जो यह गारंटी देता है कि एक निष्ठावान स्पष्टीकरण एक सही स्पष्टीकरण है। एक मेडिसिनल केमिस्ट (औषधीय रसायनशास्त्री) के लिए जो हीट मैप देख रहा है, अध्ययन का तात्पर्य है कि हाइलाइट किए गए परमाणु आवश्यक रूप से वे परमाणु नहीं हैं जो महत्वपूर्ण हैं। यह जानने का एकमात्र तरीका कि क्या एक स्पष्टीकरण भरोसेमंद है, उसे 'ग्राउंड ट्रुथ' (वास्तविक सत्य) के विरुद्ध परखना है, जो वास्तविक दुनिया की ड्रग डिस्कवरी में शायद ही कभी उपलब्ध होता है। जब तक वह अंतर नहीं भर जाता, सबसे विश्वसनीय दृष्टिकोण इन स्पष्टीकरणों को तथ्यों के रूप में स्वीकार करने के बजाय परीक्षण योग्य परिकल्पनाओं के रूप में मानना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।