Data Source Heterogeneity, Not Algorithm Choice, Drives Performance Gaps in QSAR for Mutagenicity

द ग्रेट केमिकल डिटेक्टिव गेम (The Great Chemical Detective Game)

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: "क्या यह नया रसायन सुरक्षित है, या यह एक मुसीबत है जो हमारे डीएनए को नुकसान पहुँचा सकता है?" विज्ञान की दुनिया में, यह एक बहुत बड़ा काम है। जो कंपनियाँ दवाइयाँ या औद्योगिक रसायन (जैसे पेंट और प्लास्टिक) बनाती हैं, उन्हें अपने उत्पादों को बेचने से पहले यह जानना आवश्यक होता है कि वे विषाक्त (toxic) हैं या नहीं। पारंपरिक रूप से, उन्हें इन रसायनों का परीक्षण जानवरों पर करना पड़ता था, जो धीमा, महंगा और नैतिक रूप से कठिन होता है। इसमें मदद करने के लिए, वैज्ञानिकों ने "वर्चुअल डिटेक्टिव्स" बनाए जिन्हें QSAR मॉडल्स कहा जाता है। इन्हें ऐसे सुपर-स्मार्ट कंप्यूटर प्रोग्राम के रूप में समझें जो एक अणु (molecule) के आकार और संरचना को देखते हैं और पिछले हजारों प्रयोगों से सीखे गए पैटर्न के आधार पर अनुमान लगाते हैं, "यह एक जहर जैसा दिखता है!" या "यह सुरक्षित दिखता है!"

इस सबसे प्रसिद्ध परीक्षण को एम्स टेस्ट (Ames test) कहा जाता है, जो यह जाँचता है कि क्या कोई रसायन बैक्टीरिया में उत्परिवर्तन (mutations) का कारण बनता है। यदि एक कंप्यूटर मॉडल एम्स टेस्ट के परिणामों की सटीक भविष्यवाणी कर सकता है, तो यह लाखों जानवरों की जान बचा सकता है और नई दवाओं के निर्माण की गति को बढ़ा सकता है। लेकिन यहाँ एक पेंच है: अलग-अलग वैज्ञानिकों ने इन वर्चुअल डिटेक्टिव्स को अलग-अलग उपकरणों, अलग-अलग डेटा और परीक्षण के अलग-अलग तरीकों का उपयोग करके बनाया है। कुछ दावा करते हैं कि उनके मॉडल 90% सटीक हैं, जबकि अन्य कहते हैं कि 60%। यह दो मौसम ऐप्स के बीच के अंतर जैसा है जो आपको पूरी तरह से अलग पूर्वानुमान देते हैं। बड़ा सवाल यह है कि: परिणाम इतने अलग क्यों हैं? क्या इसलिए कि एक जासूस दूसरे से अधिक स्मार्ट है, या डेटा में ही कोई चाल है?

पेपर की बड़ी खोज: यह जासूस नहीं, डेटा है

इस अध्ययन में, क्यूंगसुंग यूनिवर्सिटी (Kyungsung University) के शोधकर्ताओं की एक टीम ने डिटेक्टिव्स के साथ जासूसी करने का फैसला किया। उन्होंने यह पता लगाने के लिए एक विशाल प्रयोग किया कि इन टॉक्सिकोलॉजी मॉडल्स के प्रदर्शन को वास्तव में क्या संचालित करता है। उन्होंने केवल एक मॉडल नहीं देखा; उन्होंने इन वर्चुअल डिटेक्टिव्स के 225 अलग-अलग संस्करण बनाए। उन्होंने सात अलग-अलग "दिमाग" एल्गोरिदम (मॉडल के पीछे का तर्क), रसायनों का वर्णन करने के पांच अलग-अलग तरीके (जैसे अणु की फोटो लेना बनाम उसके घटकों की सूची बनाना), और डेटा को साफ करने के तीन अलग-अलग तरीकों को आपस में मिलाया।

उन्होंने इन सभी संयोजनों का परीक्षण तीन अलग-अलग प्रकार के जेनेटिक टॉक्सिसिटी डेटा पर किया: प्रसिद्ध एम्स टेस्ट (बैक्टीरिया), पेट्री डिश में गुणसूत्र क्षति (chromosome damage) के लिए एक परीक्षण, और जीवित जानवरों के भीतर क्षति के लिए एक परीक्षण।

चौंकाने वाला परिणाम: एल्गोरिदम ज्यादा मायने नहीं रखता
शोधकर्ताओं ने पाया कि यह काफी आश्चर्यजनक था। जब उन्होंने डेटा स्रोत को समान रखा और केवल "दिमाग" (एल्गोरिदम) को बदला, तो मॉडल्स का प्रदर्शन लगभग एक जैसा रहा। चाहे उन्होंने रैंडम फॉरेस्ट (Random Forest), XGBoost, या एक साधारण न्यूरल नेटवर्क का उपयोग किया हो, सटीकता में अंतर बहुत कम था—जैसे एक ही ट्रैक पर एक थोड़े तेज़ और एक थोड़े धीमे धावक के बीच का अंतर। यह पेपर इस विचार को स्पष्ट रूप से खारिज करता है कि "सर्वश्रेष्ठ" एल्गोरिदम चुनना बेहतर भविष्यवाणियों की जादुई कुंजी है। वास्तव में, सर्वश्रेष्ठ और सबसे खराब एल्गोरिदम के बीच प्रदर्शन का अंतर इतना कम था (उनके मुख्य स्कोर में केवल 0.063 की सीमा) कि यह शायद ही मायने रखता था।

असली अपराधी: डेटा का "स्रोत" (Source)
तो, यदि दिमाग समस्या नहीं है, तो क्या है? पेपर उंगली डेटा सोर्स हेटेरोजेनिटी (Data Source Heterogeneity) पर उठाता है। यह एक फैंसी तरीका है यह कहने का: "डेटा कहाँ से आया था?"

शोधकर्ताओं ने पाया कि एम्स डेटासेट दो बहुत अलग समूहों के रसायनों का मिश्रण है:

1. ड्रग-लाइक केमिकल्स (दवा जैसे रसायन): ये फार्मास्युटिकल लाइब्रेरी से आते हैं। ये अत्यधिक सक्रिय होते हैं और इनमें विषाक्तता की दर बहुत अधिक होती है (लगभग 58.3% म्यूटजेनिसिटी के लिए पॉजिटिव हैं)।
2. इंडस्ट्रियल केमिकल्स (औद्योगिक रसायन): ये सॉल्वैंट्स और प्लास्टिक जैसी चीजों के लिए नियामक रजिस्ट्रियों से आते हैं। ये ज्यादातर सुरक्षित होते हैं, जिनमें विषाक्तता की दर बहुत कम होती है (केवल 3.0% पॉजिटिव हैं)।

इन दोनों समूहों के बीच विषाक्तता दरों का अंतर बहुत बड़ा है—ड्रग समूह में यह 19.5 गुना अधिक है!

जब शोधकर्ताओं ने इन दोनों समूहों को मिलाकर अपने मॉडल्स का परीक्षण किया, तो मॉडल्स भ्रमित हो गए। उन्होंने सीखा कि अगर रसायन किसी ड्रग लाइब्रेरी जैसा दिखता है तो "Toxic!" का अनुमान लगाएं और अगर वह किसी इंडस्ट्रियल लिस्ट जैसा दिखता है तो "Safe!" का अनुमान लगाएं। वे वास्तव में रासायनिक संरचना के बारे में नहीं सीख रहे थे; वे केवल डेटा के स्रोत का अनुमान लगाना सीख रहे थे।

"सोर्स गैप" (Source Gap) बहुत बड़ा है
इसे साबित करने के लिए, शोधकर्ताओं ने "लीव-डोमेन-आउट" (Leave-Domain-Out) नामक एक स्ट्रेस टेस्ट किया। उन्होंने केवल ड्रग रसायनों पर एक मॉडल को प्रशिक्षित किया और केवल इंडस्ट्रियल रसायनों पर उसका परीक्षण किया (और इसके विपरीत)। मॉडल्स के लिए परिणाम विनाशकारी रहे।

• जब उन्होंने एक मानक परीक्षण (रैंडम स्प्लिट) से बदलकर एक परीक्षण किया जो रसायनों को उनके संरचनात्मक "परिवार" (स्कैफोल्ड स्प्लिट) द्वारा अलग करता था, तो सटीकता थोड़ी कम हो गई ( 0.670 से 0.624 तक)।
• लेकिन जब उन्होंने एक डेटा स्रोत से दूसरे में स्विच किया (ड्रग से इंडस्ट्रियल), तो सटीकता नाटकीय रूप से गिर गई, जो 0.390 कम हो गई।

यह "सोर्स गैप" डेटा को विभाजित करने के तरीके से उत्पन्न होने वाले गैप से आठ गुना बड़ा था। पेपर का तर्क है कि प्रदर्शन में भिन्नता का सबसे बड़ा कारण यह नहीं है कि एक एल्गोरिदम दूसरे से बेहतर है; बल्कि यह है कि डेटा स्रोत इतने अलग हैं कि मॉडल्स सामान्यीकरण (generalize) नहीं कर पाते।

"सरल" स्पष्टीकरणों के बारे में क्या?
शोधकर्ताओं ने यह भी जांचा कि क्या समस्या केवल "प्रायर शिफ्ट" (prior shift) नामक एक सरल गणितीय मुद्दा थी—मूल रूप से, मॉडल का भ्रमित होना क्योंकि एक समूह में दूसरे समूह की तुलना में बहुत अधिक जहरीले रसायन हैं। उन्होंने इस अंतर को ध्यान में रखने के लिए मॉडल के निर्णय थ्रेशोल्ड (वह रेखा जो "सुरक्षित" और "विषाक्त" के बीच खींची जाती है) को ठीक करने की कोशिश की।

• निष्कर्ष: थ्रेशोल्ड को ठीक करने से थोड़ा सुधार हुआ, लेकिन इसने समस्या को हल नहीं किया। विषाक्तता दरों के अंतर के लिए समायोजन करने के बाद भी, सोर्स बदलने पर मॉडल्स का प्रदर्शन खराब ही रहा। एक बहुत बड़ा "रेसिड्यूअल गैप" (residual gap) था जिसे सरल गणित से नहीं समझाया जा सकता था। यह सुझाव देता है कि मॉडल्स इसलिए विफल हो रहे हैं क्योंकि रासायनिक संरचनाएं स्वयं मौलिक रूप से भिन्न हैं, न कि केवल संख्याओं के कारण।

"नाइव" क्लासिफायर ट्रिक (The "Naive" Classifier Trick)
यहाँ खोज का सबसे चंचल हिस्सा है। शोधकर्ताओं ने एक "डम्ब" (dumb) क्लासिफायर बनाया जिसने रासायनिक संरचना को बिल्कुल नहीं देखा। इसने केवल लेबल देखा: "यदि यह एक ड्रग कंपनी से है, तो 'Toxic' का अनुमान लगाओ। यदि यह एक इंडस्ट्रियल कंपनी से है, तो 'Safe' का अनुमान लगाओ।"

• परिणाम: इस डम्ब क्लासिफायर ने 0.608 का सटीकता स्कोर प्राप्त किया।
• तुलना: यह उन जटिल, हाई-टेक मॉडल्स के लगभग बराबर है जिन्हें मिश्रित डेटा पर प्रशिक्षित किया गया था! यह साबित करता है कि मॉडल्स मुख्य रूप से केवल डेटा के स्रोत को याद कर रहे थे, न कि वास्तविक विज्ञान को सीख रहे थे।

अन्य एंडपॉइंट्स: इन विवो मिस्ट्री (The In Vivo Mystery)
अध्ययन ने जीवित जानवरों (in vivo micronucleus) पर किए गए परीक्षणों को भी देखा। यहाँ, मॉडल्स रसायकों को रैंक करने में (जैसे, "केमिकल A, केमिकल B की तुलना में अधिक विषाक्त है") आश्चर्यजनक रूप से अच्छे थे, जिसमें रैंकिंग स्कोर 0.860 था। हालाँकि, वे एक साधारण "हाँ/नहीं" निर्णय लेने में बहुत खराब थे। उनकी सटीकता के कॉन्फिडेंस इंटरवल शून्य को पार कर गए, जिसका अर्थ है कि वे भरोसेमंद तरीके से यह नहीं कह सकते थे कि "यह सुरक्षित है" या "यह विषाक्त है"। पेपर का सुझाव है कि ये मॉडल्स पहले किन रसायकों का परीक्षण करना है इसे प्राथमिकता देने के लिए उपयोगी हो सकते हैं, लेकिन वे अंतिम सुरक्षा निर्णयों के लिए जानवरों के परीक्षण को बदलने के लिए अभी तैयार नहीं हैं।

निष्कर्ष (The Takeaway)
पेपर निष्कर्ष निकालता है कि यदि हम चाहते हैं कि हम इन कंप्यूटर मॉडल्स पर नियामक सुरक्षा (जैसे, यह देखना कि नया ड्रग या केमिकल पर्यावरण के लिए सुरक्षित है या नहीं) के लिए भरोसा करें, तो हमें केवल मिश्रित, आसान डेटा पर उनके प्रदर्शन को नहीं देखना चाहिए। हमें उन्हें "हार्ड" डेटा पर टेस्ट करना होगा जहाँ स्रोत बदल जाता है। लेखक एक नया मानक प्रस्तावित करते हैं: एक "सोर्स-अवेयर इवैल्यूएशन कैस्केड" (source-aware evaluation cascade)। इसका मतलब है कि हमें यह जांचना होगा कि क्या एक मॉडल विभिन्न मूल के रसायनों को संभाल सकता है, न कि केवल यह कि क्या वह एक विशिष्ट डेटासेट को याद कर सकता है।

संक्षेप में, पेपर हमें बताता है: डिटेक्टिव के दिमाग को दोष न दें; केस फाइल की गड़बड़ी को दोष दें। यदि डेटा दो पूरी तरह से अलग दुनियाओं का मिश्रण है, तो सबसे स्मार्ट AI भी एक ड्रग और एक डिटर्जेंट के बीच अंतर करने के लिए संघर्ष करेगा। बेहतर सुरक्षा उपकरण बनाने के लिए, हमें इस बात के प्रति ईमानदार होने की आवश्यकता है कि हमारा डेटा कहाँ से आता है और हमें अपने मॉडल्स का परीक्षण केवल पॉलिश किए हुए, आसान संस्करण पर नहीं, बल्कि वास्तविक, जटिल दुनिया पर करना चाहिए।