🤖 machine learning

ISAAC: Auditing Causal Reasoning in Deep Models for Drug-Target Interaction

यह शोध पत्र ISAAC को प्रस्तुत करता है, जो एक पोस्ट-हॉक ऑडिटिंग फ्रेमवर्क है जो मैकेनिस्टिक (mechanistic) बनाम स्प्यूरियस (spurious) हस्तक्षेपों के प्रति डीप लर्निंग मॉडल्स की संवेदनशीलता को मापकर ड्रग-टारगेट इंटरेक्शन के लिए उनकी कारण संबंधी तर्क क्षमता (causal reasoning capabilities) का मूल्यांकन करता है, जिससे तर्क में महत्वपूर्ण संरचनात्मक विसंगतियों का खुलासा होता है जो समान भविष्य कहनेवाला प्रदर्शन (predictive performance) के बावजूद मानक सटीकता मेट्रिक्स द्वारा अनपेक्षित रहती हैं।

मूल लेखक: Barbara Tarantino, Sun Kim, Yijingxiu Lu, Paolo Giudici

प्रकाशित 2026-05-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Barbara Tarantino, Sun Kim, Yijingxiu Lu, Paolo Giudici

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशिष्ट व्यंजन बनाने के लिए एक शेफ को काम पर रख रहे हैं। आप उन्हें एक टेस्ट टेस्ट देते हैं, और वे हर बार परफेक्ट स्कोर प्राप्त करते हैं। आप मान लेते हैं कि वे एक जीनियस हैं जो वास्तव में रेसिपी, सामग्री और खाना पकाने के विज्ञान (केमिस्ट्री) को समझते हैं।

लेकिन क्या होगा अगर वे वास्तव में भोजन का स्वाद नहीं ले रहे हैं? क्या होगा अगर वे बस यह याद कर रहे हैं कि "जब भी प्लेट नीली होती है, तो खाना स्वादिष्ट होता है," भले ही प्लेट के रंग का स्वाद से कोई लेना-देना न हो? वे सही उत्तर प्राप्त कर रहे हैं (उच्च सटीकता), लेकिन गलत कारणों से (स्पूरियस कोरिलेशन/भ्रामक संबंध)।

यह वह समस्या है जिसे ISAAC पेपर संबोधित करता है, विशेष रूप से ड्रग डिस्कवरी (दवा की खोज) की दुनिया में।

समस्या: "स्मार्ट" लेकिन "अनजान" AI

चिकित्सा जैसे वैज्ञानिक क्षेत्रों में, हम यह अनुमान लगाने के लिए AI का उपयोग करते हैं कि क्या कोई दवा किसी विशिष्ट प्रोटीन से चिपकेगी (जैसे ताले में चाबी का फिट होना)। हम आमतौर पर इन AI मॉडल्स को उनकी सटीकता (Accuracy) से आंकते हैं: "क्या इसने सही उत्तर दिया?"

लेखकों का तर्क है कि उच्च सटीकता एक जाल है। एक AI एक अजीब पैटर्न को देखकर सही उत्तर दे सकता है (जैसे "हमारे डेटाबेस में मौजूद सभी सफल दवाओं के नाम में एक निश्चित अक्षर था") बजाय इसके कि वह वास्तविक जीव विज्ञान (ताले के आकार) को समझे। यदि आप ताले का आकार बदल देते हैं, तो वह "स्मार्ट" AI विफल हो सकता है, भले ही वह टेस्ट में परफेक्ट रहा हो।

समाधान: ISAAC (एक "हस्तक्षेप" जासूस)

लेखकों ने ISAAC नामक एक टूल बनाया है। ISAAC को केवल यह परखने के रूप में न देखें कि AI क्या जानता है, बल्कि यह परखने के रूप में देखें कि वह कैसे सोचता है।

केवल AI से "उत्तर क्या है?" पूछने के बजाय, ISAAC "क्या होगा अगर?" का खेल खेलता है।

सेटअप: कल्पना कीजिए कि AI एक प्रोटीन (ताले) को देख रहा है।
मैकेनिस्टिक इंटरवेंशन (असली टेस्ट): ISAAC ताले के एक छोटे, महत्वपूर्ण हिस्से को (वह हिस्सा जो वास्तव में चाबी को थामे रखता है) लेता है और उसमें सूक्ष्म बदलाव करता है।
- अपेक्षा: यदि AI वास्तव में जीव विज्ञान को समझता है, तो ताले के की-होल (चाबी के छेद) को बदलने पर AI कहेगा, "हे, यह अब फिट नहीं होगा!" भविष्यवाणी महत्वपूर्ण रूप से बदल जानी चाहिए।
स्पूरियस इंटरवेंशन (नकली टेस्ट): ISAAC ताले के एक रैंडम, महत्वहीन हिस्से को (जैसे बाहर लगा एक सजावटी पेंच) लेता है और उसे बदल देता है।
- अपेक्षा: यदि AI स्मार्ट है, तो उसे पेंच की परवाह नहीं होनी चाहिए। उसकी भविष्यवाणी वैसी ही रहनी चाहिए।

स्कोरकार्ड: रीजनिंग स्कोर (RS)

ISAAC यह तुलना करता है कि AI इन दो परिवर्तनों के प्रति कैसे प्रतिक्रिया देता है।

उच्च रीजनिंग स्कोर (High Reasoning Score): AI ने असली ताले के बदलाव पर कड़ी प्रतिक्रिया दी और नकली पेंच के बदलाव को अनदेखा कर दिया। निर्णय: यह AI वास्तव में जीव विज्ञान के बारे में तर्क (reasoning) कर रहा है।
निम्न रीजनिंग स्कोर (Low Reasoning Score): AI ने पेंच पर प्रतिक्रिया दी, या ताले पर प्रतिक्रिया नहीं दी, या दोनों पर समान रूप से प्रतिक्रिया दी। निर्णय: यह AI संभवतः सतही पैटर्न के आधार पर केवल अनुमान लगा रहा है।

प्रयोग: तीन शेफ, एक रेसिपी

शोधकर्ताओं ने तीन अलग-अलग AI मॉडल्स (DeepDTA, DeepConvDTI, और TAPB) का परीक्षण उसी ड्रग-टारगेट डेटा पर किया।

परिणाम: तीनों मॉडल्स ने लगभग एक जैसा "टेस्ट टेस्ट" स्कोर (सटीकता) प्राप्त किया। पारंपरिक मानकों के अनुसार, वे सभी समान रूप से अच्छे थे।
ट्विस्ट: जब ISAAC ने अपना "क्या होगा अगर?" खेल खेला, तो मॉडल्स ने पूरी तरह से अलग व्यवहार किया।
- एक मॉडल (TAPB) ने दिखाया कि वह वास्तव में प्रोटीन के सही हिस्सों पर ध्यान दे रहा था। इसका "रीजनिंग स्कोर" उच्च था।
- अन्य मॉडल्स नकली बदलावों से भ्रमित हो गए या असली बदलावों पर प्रतिक्रिया नहीं दी। उनके "रीजनिंग स्कोर" कम थे।

मुख्य निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि सटीकता पर्याप्त नहीं है। दो मॉडल्स रिपोर्ट कार्ड पर बिल्कुल समान दिख सकते हैं लेकिन उनके "दिमाग" पूरी तरह से अलग हो सकते हैं। एक वास्तविक वैज्ञानिक हो सकता है, और दूसरा केवल भाग्यशाली अनुमान लगाने वाला।

ISAAC हमें पर्दे के पीछे झांकने का एक तरीका देता है। यह केवल यह नहीं पूछता, "क्या आपने सही उत्तर दिया?" बल्कि यह पूछता है, "क्या आपने सही कारण से सही उत्तर दिया?"

ड्रग डिस्कवरी की दुनिया में, AI यह भविष्यवाणी क्यों करता है, यह जानना उतना ही महत्वपूर्ण है जितनी कि स्वयं भविष्यवाणी, क्योंकि यदि AI नकली पैटर्न पर निर्भर है, तो यह वैज्ञानिकों को वास्तविक जीवन में गलत रास्ते पर ले जा सकता है। ISAAC हमें उन नकली पैटर्न को पहचानने में मदद करता है इससे पहले कि वे समस्या पैदा करें।

तकनीकी सारांश: ISAAC – ड्रग-टारगेट इंटरेक्शन प्रेडिक्शन के लिए डीप मॉडल्स में कॉज़ल रीजनिंग का ऑडिटिंग

1. समस्या विवरण (Problem Statement)

डीप लर्निंग मॉडल्स वैज्ञानिक बेंचमार्क पर उच्च भविष्य कहनेवाला सटीकता (predictive accuracy) प्राप्त करते हैं, फिर भी यह प्रदर्शन आवश्यक रूप से यह संकेत नहीं देता कि मॉडल्स ने यांत्रिक रूप से आधारित तर्क (mechanistically grounded reasoning) सीखा है। इसके बजाय, मॉडल्स स्प्यूरियस कोरिलेशन (spurious correlations), डेटासेट-विशिष्ट आर्टिफैक्ट्स, या "शॉर्टकट" फीचर्स पर निर्भर हो सकते हैं जो इन-डिस्ट्रीब्यूशन में लक्ष्य के साथ सह-संबंधित होते हैं लेकिन जिनमें कॉज़ल वैधता (causal validity) का अभाव होता है। यह मुद्दा ड्रग-टारगेट इंटरेक्शन (DTI) जैसे वैज्ञानिक डोमेन में विशेष रूप से महत्वपूर्ण है, जहाँ वैध आउटपुट को सतही सांख्यिकीय पैटर्न के बजाय अंतर्निहित आणविक तंत्रों (जैसे स्थानीयकृत प्रोटीन-लिगैंड इंटरैक्शन) पर निर्भर होना चाहिए।

वर्तमान मूल्यांकन प्रतिमान (evaluation paradigms) अत्यधिक प्रेडिक्टिव एक्यूरेसी पर निर्भर करते हैं, जो एक ऑब्जर्वेशनल मेट्रिक है जो एक निश्चित डेटा वितरण पर लेबल्स के साथ समझौते का आकलन करता है। एक्यूरेसी अकेले कॉज़ल डिपेंडेंस और स्प्यूरियस एसोसिएशन के बीच अंतर नहीं कर सकती। जबकि मौजूदा व्याख्यात्मकता विधियाँ (जैसे सैलिएंसी मैप्स) सह-संबंधी स्पष्टीकरण प्रदान करती हैं, वे कॉज़ल वैधता की गारंटी नहीं देती हैं, और रोबस्टनेस-आधारित दृष्टिकोण अक्सर फ्रोजन, प्रशिक्षित मॉडल्स के रीजनिंग व्यवहार के ऑडिट करने के बजाय ट्रेनिंग ऑब्जेक्टिव्स पर ध्यान केंद्रित करते हैं। फलस्वरूप, यह परीक्षण करने के लिए एक मानक ढांचे की कमी है कि क्या भविष्यवाणियां संरचनात्मक रूप से सार्थक इनपुट घटकों द्वारा संचालित होती हैं।

2. कार्यप्रणाली: ISAAC फ्रेमवर्क (Methodology: The ISAAC Framework)

इस अंतर को दूर करने के लिए, लेखक ISAAC (Intervention-based Structural Auditing Approach for Causal Reasoning) पेश करते हैं। ISAAC एक पोस्ट-हॉक स्ट्रक्चरल ऑडिटिंग फ्रेमवर्क है जो नियंत्रित इनपुट-स्तरीय हस्तक्षेपों (interventions) का उपयोग करके एक प्रेडिक्टिव रिजीम के अधीन मॉडल के तर्क का मूल्यांकन करता है।

मुख्य अवधारणाएं:

इंटरवेंशनल बिहेवियर (Interventional Behavior): तर्क को इनपुट्स $x$ पर नियत ऑपरेटर $I$ लागू करके जांचा जाता है, जिससे इंटरवनीड इनपुट्स $x^I$ बनते हैं। मॉडल $f_\theta$ को एक फिक्स्ड सिस्टम के रूप में माना जाता है; वेरिएशंस केवल हस्तक्षेप के कारण प्रेरित होते हैं।
स्ट्रक्चर्ड इनपुट्स (Structured Inputs): इनपुट्स को पहचान योग्य घटकों (जैसे प्रोटीन सीक्वेंस में अमीनो एसिड अवशेष) में विभाजित किया जाता है।
मैच्ड इंटरवेंशन क्लासेस (Matched Intervention Classes): फ्रेमवर्क एक बाहरी रूप से निर्दिष्ट स्ट्रक्चरल प्रायर (जैसे ज्ञात बाइंडिंग पॉकेट्स) के आधार पर दो इंटरवेंशन क्लास को परिभाषित करता है:
- मैकेनिस्टिक इंटरवेंशन्स ( $I_{mech}$ ): उन घटकों पर लागू किए गए व्यवधान जो स्ट्रक्चरल प्रायर द्वारा प्रासंगिक पहचाने गए हैं ( $S \subseteq S_{prior}$ )।
- स्प्यूरियस इंटरवेंशन्स ( $I_{spur}$ ): प्रायर-डिफाइंड क्षेत्र के बाहर के घटकों पर लागू किए गए व्यवधान ( $S' \subseteq S_{comp}$ ), जिन्हें मैकेनिस्टिक सेट के कार्डिनैलिटी और ऑपरेटर के समान बनाया गया है।
इंटरवेंशनल रिस्पॉन्स डिफरेंस (Interventional Response Difference): इसे $\delta_\theta(x, I) = f_\theta(x^I) - f_\theta(x)$ के रूप में परिभाषित किया गया है, जो मॉडल आउटपुट में सापेक्ष परिवर्तन को कैप्चर करता है।

मेट्रिक्स (Metrics):
ISAAC तीन मेट्रिक्स के माध्यम से रीजनिंग कंसिस्टेंसी को मापता है:

रीजनिंग स्कोर (RS): एक प्रति-इनपुट माप जिसे $RS(x) = \frac{|m_{mech}(x)|}{|m_{mech}(x)| + |m_{spur}(x)|}$ के रूप में परिभाषित किया गया है, जहाँ $m$ साइन किए गए इंटरवेंशनल रिस्पॉन्स का मीडियन है। RS मैकेनिस्टिक रूप से संरेखित व्यवधानों के प्रति मिसअलाइन्ड (misaligned) व्यवधानों की तुलना में सापेक्ष प्राथमिकता को मापता है।
सेपरेशन कोएफिशिएंट ( $C_{sep}$ ): मैकेनिस्टिक और स्प्यूरियस रिस्पॉन्स के डिस्ट्रीब्यूशन के बीच ज्यामितीय अलगाव को मापता है, जिसे मैकेनिस्टिक प्रभावों की आंतरिक परिवर्तनशीलता द्वारा सामान्यीकृत किया जाता है।
ओवरलैप रेट (Overlap Rate): स्प्यूरियस रिस्पॉन्स का वह हिस्सा जो मैकेनिस्टिक रिस्पॉन्स के इंटरक्वार्टाइल रेंज के भीतर आता है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

फ्रेमवर्क को डेविस बेंचमार्क (काइनेज इनहिबिटर इंटरैक्शन) का उपयोग करते हुए ड्रग-टारगेट इंटरेक्शन (DTI) के संदर्भ में स्थापित किया गया था।

मॉडल्स: ऑडिट किए गए तीन सीक्वेंस-आधारित आर्किटेक्चर: DeepDTA, DeepConvDTI, और TAPB (Target-Aware Prediction Benchmark)।
इंटरवेंशन डिज़ाइन: हस्तक्षेप विशेष रूप से प्रोटीन टारगेट सीक्वेंस ( $t$ $t$ ) पर लागू किए गए जबकि ड्रग ( $d$ $d$ ) को स्थिर रखा गया।
- स्ट्रक्चरल प्रायर: बाइंडिंग-पॉकेट एनोटेशन के लिए KLIFS से प्राप्त किया गया ताकि मैकेनिस्टिक रूप से प्रासंगिक अवशेषों की पहचान की जा सके।
- इंटरवेंशन्स: इसमें मास्किंग और फिजिकोकेमिकली कंस्ट्रेंड सब्स्टीट्यूशन शामिल थे। मैकेनिस्टिक स्कोप को KLIFS पॉकेट्स से सैंपल किया गया; स्प्यूरियस स्कोप को नॉन-पॉकेट अवशेषों से मैच की गई कार्डिनैलिटी के साथ सैंपल किया गया।
प्रोटोकॉल: मॉडल्स को मानक प्रक्रियाओं का उपयोग करके प्रशिक्षित और मान्य किया गया। यह सत्यापित करने के लिए कि सभी मॉडल्स एक तुलनीय रिजीम में काम कर रहे हैं, प्रेडिक्टिव परफॉरमेंस (AUROC) को सत्यापित किया गया। ऑडिटिंग को बिना रिट्रेनिंग के, टेस्ट डेटा के एक स्ट्रक्चरली वैलिड सबसेट (208 टारगेट्स) पर पोस्ट-हॉक किया गया।

4. मुख्य परिणाम (Key Results)

प्रयोगों ने प्रेडिक्टिव एक्यूरेसी और रीजनिंग बिहेवियर के बीच एक महत्वपूर्ण अलगाव (dissociation) का खुलासा किया:

प्रेडिक्टिव परफॉरमेंस: तीनों मॉडल्स ने ऑडिटिंग सबसेट पर लगभग अविभेद्य AUROC स्कोर प्राप्त किए (0.876 से 0.907 की सीमा में), जो पुष्टि करता है कि वे एक तुलनीय प्रेडिक्टिव रिजीम में काम कर रहे थे।
रीजनिंग स्कोर (RS): समान एक्यूरेसी के बावजूद, मॉडल्स ने अपने रीजनिंग स्कोर में पर्याप्त और पुनरुत्पादनीय (reproducible) अंतर दिखाया:
- TAPB: उच्चतम RS (0.521) और उच्च सेपरेशन कोएफिशिएंट (0.458) प्राप्त किया, जो मैकेनिस्टिक और स्प्यूरियस रिस्पॉन्स के बीच सुसंगत अलगाव को दर्शाता है।
- DeepDTA: मध्यम RS (0.441) दिखाया लेकिन लो सेपरेशन।
- DeepConvDTI: सबसे कम RS (0.414) और लगभग शून्य सेपरेशन (0.061) प्रदर्शित किया, जो मैकेनिस्टिक व्यवधानों के प्रति कमजोर संवेदनशीलता और संरेखित संरचनाओं के लिए सुसंगत प्राथमिकता की कमी को दर्शाता है।
एक्यूरेसी पर निष्कर्ष: ~3% का AUROC अंतर, रीजनिंग स्कोर के अंतर की मात्रा (जो 0.414 से 0.521 तक फैला हुआ था) के साथ सह-संबंधित नहीं था। यह दर्शाता है कि एक्यूरेसी-आधारित मूल्यांकन मॉडल रिस्पॉन्स के संरचनात्मक संगठन में अंतर का पता लगाने में विफल रहता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि केवल प्रेडिक्टिव एक्यूरेसी वैज्ञानिक मशीन लर्निंग में मॉडल रीजनिंग को चरित्रित करने के लिए अपर्याप्त है। इसके प्राथमिक योगदान हैं:

ISAAC फ्रेमवर्क: एक सिद्धांत आधारित, इंटरवेंशन-आधारित ऑडिटिंग प्रोटोकॉल जो प्रेडिक्टिव एक्यूरेसी से स्वतंत्र रूप से प्रायर-रिलेटिव स्ट्रक्चरल सेंसिटिविटी का आकलन करता है।
व्यवहार संबंधी अंतर (Behavioral Distinction): उन व्यवस्थित अंतरों को प्रकट करने की क्षमता (जैसे स्थानीयकृत बाइंडिंग साइट्स बनाम ग्लोबल सीक्वेंस स्टैटिस्टिक्स पर निर्भरता) जो मानक एक्यूरेसी-आधारित मूल्यांकन के तहत अदृश्य रहते हैं।
मॉडल-एग्नोस्टिक ऑडिटिंग: यह विधि फ्रोजन मॉडल्स पर पोस्ट-हॉक काम करती है, जिसमें रिट्रेनिंग, इंटरनल मॉडल एक्सेस, या इंटरवेंशन-लेवल सुपरविजन की आवश्यकता नहीं होती है, जिससे यह स्ट्रक्चर्ड इनपुट्स वाले विभिन्न आर्किटेक्चर और डोमेन के लिए लागू होती है।

लेखक इस बात पर जोर देते हैं कि उनके निष्कर्ष "प्रेडिक्टिव सफलता" और "रीजनिंग के संगठन" के बीच अंतर को उजागर करते हैं। मैकेनिस्टिक रूप से संरेखित बनाम मिसअलाइन्ड व्यवधानों के प्रति प्रतिक्रियाओं की तुलना करके, ISAAC उन मॉडल्स के बीच अंतर करने का आधार प्रदान करता है जो पारंपरिक बेंचमार्क के तहत अविभेद्य हैं, जो वैज्ञानिक अनुप्रयोगों के लिए एक अधिक पारदर्शी मूल्यांकन प्रदान करता है जहाँ यांत्रिक वैधता महत्वपूर्ण है।

स्वीकृत सीमाएँ (Limitations Acknowledged):

स्ट्रक्चरल प्रायर (KLIFS) सभी एफिनिटी-डिटरमिनिंग अवशेषों को कैप्चर नहीं कर सकता है; अतः मेट्रिक्स प्रायर-रिलेटिव संवेदनशीलता को दर्शाते हैं न कि पूर्ण कॉज़ल वैधता को।
स्प्यूरियस कंट्रोल्स कार्डिनैलिटी में तो मैच किए गए हैं लेकिन स्थानिक निरंतरता (spatial contiguity) में नहीं, जो एक ज्यामितीय विषमता (geometric asymmetry) पेश करता है।
वर्तमान अध्ययन केवल टारगेट-साइड इंटरवेंशन और एक सिंगल डेटासेट और तीन विशिष्ट आर्किटेक्चर तक सीमित है।