Critical Assessment of ML models for ADMET Prediction in TDC leaderboards
यह अध्ययन थैरेप्यूटिक्स डेटा कॉमन्स (TDC) ADMET लीडरबोर्डों का आलोचनात्मक मूल्यांकन करता है और यह प्रकट करता है कि अधिकांश शीर्ष-रैंक वाले मॉडल पुनरुत्पादनीयता (irreproducibility), डेटा लीकेज, या टेस्ट-सेट ओवरफिटिंग से ग्रस्त हैं, जिनमें से केवल तीन विधियाँ ही कठोर सत्यापन में उत्तीर्ण हुई हैं, जिससे छिपे हुए टेस्ट सेट और मानकीकृत सबमिशन वातावरण सहित सख्त बेंचमार्किंग मानकों की तत्काल आवश्यकता पर बल मिलता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, उच्च-दांव वाला ड्रग डिस्कवरी (दवा की खोज) का ओलंपिक हो रहा है।
इस ओलंपिक में, दुनिया भर के वैज्ञानिक अपने सबसे बेहतरीन कंप्यूटर प्रोग्राम (AI मॉडल) लेकर एक स्टेडियम में आते हैं जिसे TDC (थेराप्यूटिक्स डेटा कॉमन्स) कहा जाता है। लक्ष्य यह अनुमान लगाना है कि नई दवाएं मानव शरीर में कैसे व्यवहार करेंगी—क्या वे अवशोषित होंगी? क्या वे जहरीली होंगी? क्या वे काम करेंगी?
TDC एक विशाल स्कोरबोर्ड ("लीडरबोर्ड") प्रदान करता है जहाँ शीर्ष प्रदर्शन करने वाले AI मॉडल स्वर्ण, रजत और कांस्य पदक प्राप्त करते हैं। हर कोई यह मान लेता है कि ये विजेता सबसे स्मार्ट, सबसे विश्वसनीय उपकरण हैं जो जीवन बचाने के काम आएंगे।
लेकिन इहोर कोलीएव (Ihor Koleiev) और उनकी टीम (Receptor.AI से) ने "अल्टीमेट गेम इंस्पेक्टर्स" (खेल निरीक्षकों) की तरह कार्य करने का निर्णय लिया। उन्होंने केवल स्कोर नहीं देखा; उन्होंने पर्दे के पीछे जाकर यह जांचा कि क्या खेल वास्तव में निष्पक्ष रूप से खेला जा रहा था। उन्होंने पाया कि हालांकि स्कोरबोर्ड प्रभावशाली दिखता है, लेकिन वास्तविकता थोड़ी अस्त-व्यस्त है।
यहाँ उनके द्वारा की गई खोजों का विवरण सरल कहानियों में दिया गया है:
1. "भूतिया" एथलीट (पुनरुत्पादकता संबंधी मुद्दे / Reproducibility Issues)
कल्पना कीजिए कि एक धावक फिनिश लाइन को सबसे पहले पार करता है, लेकिन जब आप उसके जूते देखने या उसकी दौड़ की रणनीति सुनने के लिए कहते हैं, तो वह कहता है, "ओह, मैं अपने जूते खो बैठा," या "मेरी रणनीति गुप्त है, और साथ ही, मेरे जूते केवल मंगलवार को काम करते हैं।"
शोधकर्ताओं ने लीडरबोर्ड के शीर्ष 10 मॉडलों के कोड को चलाने की कोशिश की।
- समस्या: कई "विजेताओं" के लिए, कोड टूटा हुआ, गायब या इंस्टॉल करने में असंभव था। यह एक ऐसी फिल्म देखने जैसा था जहाँ प्रोजेक्टर खराब हो।
- परिणाम: केवल 3 शीर्ष मॉडल को वास्तव में चलाया और सत्यापित किया जा सका। बाकी "भूत" थे—वे कागज पर मौजूद थे, लेकिन आप वास्तव में उनका उपयोग नहीं कर सकते थे।
2. "चीटिंग" करने वाले एथलीट (डेटा लीकेज / Data Leakage)
कल्पना कीजिए कि एक गणित की परीक्षा में शिक्षक गलती से कक्षा में परीक्षा शुरू होने से पहले ही उत्तर कुंजी मेज पर छोड़ देता है। यदि कोई छात्र उत्तरों को रट लेता है, तो उसे पूर्ण अंक मिलते हैं, लेकिन वह वास्तव में बुद्धिमान नहीं है; उसने बस नकल की है।
शोधकर्ताओं ने पाया कि कई शीर्ष मॉडलों ने बिल्कुल ऐसा ही किया था।
- समस्या: मॉडलों को ऐसे डेटा पर प्रशिक्षित किया गया था जिसमें गुप्त रूप से "परीक्षा के प्रश्न" (टेस्ट सेट) शामिल थे।
- MiniMol: इस मॉडल को अणुओं (molecules) के एक विशाल पुस्तकालय पर प्रशिक्षित किया गया था। इसके रचनाकारों ने कहा, "हमने परीक्षण के अणुओं को हटा दिया है!" लेकिन शोधकर्ताओं ने पाया कि अणुओं को लिखने के सूक्ष्म अंतरों के कारण (जैसे किसी नाम को मध्य नाम के साथ या बिना मध्य नाम के लिखना), मॉडल ने प्रशिक्षण के दौरान अभी भी परीक्षण के उत्तरों को "देख" लिया था।
- GradientBoost और XGBoost: इन मॉडलों ने गलती से अपने डेटा को गलत तरीके से विभाजित किया। उन्होंने अभ्यास परीक्षा के लिए पढ़ाई करने में "टेस्ट" के उत्तरों का उपयोग किया।
- परिणाम: इन मॉडलों ने बढ़े हुए स्कोर प्राप्त किए। वे प्रतिभाशाली दिख रहे थे, लेकिन वे केवल परीक्षा रट रहे थे। जब शोधकर्ताओं ने चीटिंग को ठीक किया, तो ये मॉडल पहले स्थान से गिरकर तीसरे या आठवें स्थान पर आ गए।
3. "परफेक्ट स्कोर" का जाल (ओवरफिटिंग / Overfitting)
कल्पना कीजिए कि एक छात्र केवल पिछले साल के टेस्ट के विशिष्ट प्रश्नों के लिए अध्ययन करता है। वह उस टेस्ट में 100% अंक प्राप्त करता है। लेकिन यदि आप उसे नए प्रश्नों के साथ एक नया टेस्ट देते हैं, तो वह बुरी तरह विफल हो जाता है।
शोधकर्ताओं ने अपने स्वयं के "ईमानदार" AI मॉडल बनाए और फिर एक "चीटिंग" संस्करण बनाया जिसे अध्ययन के दौरान टेस्ट के उत्तरों पर झाँकने की अनुमति थी।
- प्रयोग: उन्होंने "चीटिंग" मॉडल को विशेष रूप से TDC टेस्ट सेट के लिए खुद को ट्यून करने दिया।
- परिणाम: चीटिंग मॉडल वाला मॉडल लीडरबोर्ड पर तेजी से ऊपर चढ़ा, और लगभग आधे श्रेणियों में बीच के पायदान से उछलकर शीर्ष 3 में आ गया।
- सबक: यह साबित करता है कि लीडरबोर्ड नाजुक है। यदि आप अपने मॉडल को विशेष रूप से उस विशिष्ट "टेस्ट सेट" के अनुकूल थोड़ा सा भी बदल देते हैं (भले ही वह गलती से हो), तो आप स्वर्ण पदक का दिखावा कर सकते हैं।
4. कुछ ईमानदार विजेता
इस पूरे शोर-शराबे के बीच, केवल तीन मॉडल (CaliciBoost, MapLight, और MapLight+GNN) ने हर जांच को पास किया।
- उनके पास काम करने वाला कोड था।
- उन्होंने चीटिंग नहीं की।
- पुन: परीक्षण के दौरान उनके स्कोर स्थिर रहे।
- निष्कर्ष: वर्तमान में हम केवल इन्हीं पर भरोसा कर सकते। अन्य मॉडल भी अच्छे हो सकते हैं, लेकिन हम अभी तक इसे साबित नहीं कर सकते।
5. गायब नियम पुस्तिका (वर्जनिंग / Versioning)
अंत में, शोधकर्ताओं ने स्टेडियम में ही एक खामी की ओर इशारा किया। TDC समय के साथ अपने डेटासेट (प्रश्नों) को बदलता है लेकिन यह नहीं बताता कि बदलाव कब या क्या हुआ।
- उपमा: यह एक कुकिंग प्रतियोगिता की तरह है जहाँ सामग्री बदलती रहती है, लेकिन जज इसकी घोषणा नहीं करते। एक शेफ आज "टमाटर" के साथ जीत सकता है, लेकिन कल जज उन्हें "आलू" से बदल देंगे, और शेफ की रेसिपी विफल हो जाएगी।
- परिणाम: क्योंकि डेटा को एक विशिष्ट "वर्जन नंबर" के साथ लॉक नहीं किया गया है, इसलिए यह जानना कठिन है कि कोई मॉडल वास्तव में अच्छा है या वह केवल डेटा के एक विशिष्ट, अस्थायी संस्करण के साथ मेल खा गया।
बड़ी तस्वीर: हमें क्या करना चाहिए?
लेख का निष्कर्ष है कि हालांकि TDC लीडरबोर्ड एक अच्छी शुरुआत है, हमें शीर्ष रैंकों पर आँख मूंदकर भरोसा नहीं करना चाहिए।
इसे ठीक करने के लिए, लेखक सुझाव देते हैं:
- टेस्ट के उत्तर छिपाएँ: टेस्ट सेट को अंत तक सार्वजनिक न होने दें (एक वास्तविक परीक्षा की तरह)।
- नियमों को लॉक करें: डेटासेट के लिए सख्त "वर्जन नंबर" का उपयोग करें ताकि सभी को बिल्कुल उन्हीं प्रश्नों पर परखा जाए।
- पूरी कार जमा करें: केवल एक स्कोर जमा करने के बजाय, शोधकर्ताओं को अपना पूरा "कार" (कोड + वातावरण) जमा करना चाहिए ताकि जज खुद उसे चलाकर देख सकें कि क्या यह वास्तव में काम करता है।
संक्षेप में: वर्तमान लीडरबोर्ड एक ऐसी दौड़ की तरह है जहाँ कुछ धावक ट्रैक को रट चुके हैं, कुछ ने अपने जूते खो दिए हैं, और फिनिश लाइन लगातार खिसक रही है। हमें विजेताओं को ताज पहनाने से पहले ट्रैक को साफ करने और जूतों की जाँच करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।