Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction
यह बेंचमार्क अध्ययन इस धारणा को चुनौती देता है कि बड़े फाउंडेशन मॉडल ड्रग डिस्कवरी में सार्वभौमिक रूप से छोटे विकल्पों से बेहतर प्रदर्शन करते हैं, यह प्रदर्शित करते हुए कि कॉम्पैक्ट, विशिष्ट मॉडल विविध डेटासेट्स में आणविक गुणों और गतिविधियों के लिए अक्सर श्रेष्ठ या तुलनीय भविष्य कहनेवाला सटीकता प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशिष्ट दरवाजे (एक नई दवा) को खोलने के लिए सही चाबी खोजने की कोशिश कर रहे हैं। लंबे समय तक, वैज्ञानिकों का मानना था कि एक बड़ा, अधिक जटिल और अधिक महंगा "मास्टर की" (एक विशाल आर्टिफिशियल इंटेलिजेंस मॉडल) स्वाभाविक रूप से एक साधारण, पुराने जमाने की चाबी की तुलना में सही ताला खोजने में बेहतर होगा।
यह शोध पत्र एक विशाल, कठोर परीक्षण की तरह है यह देखने के लिए कि क्या यह विश्वास सच है। शोधकर्ताओं ने यह देखने के लिए चार अलग-अलग प्रकार के "चाबी बनाने वालों" के बीच एक दौड़ आयोजित की कि कौन अणुओं (संभावित दवाओं) के शरीर में व्यवहार को बेहतर ढंग से अनुमानित कर सकता है।
यहाँ इस दौड़ का विवरण सरल भाषा में दिया गया है:
चार धावक
- "पुराने स्कूल" के मैकेनिक (छोटे ML मॉडल्स): ये अनुभवी मैकेनिकों की तरह हैं जो कार का आकलन करने के लिए एक सरल, विश्वसनीय चेकलिस्ट (फिंगरप्रिंट्स और डिस्क्रिप्टर्स) का उपयोग करते हैं। वे फैंसी नहीं हैं, लेकिन वे स्थानीय पैटर्न को पहचानने में माहिर हैं।
- "आर्किटेक्ट्स" (ग्राफ न्यूरल नेटवर्क): ये मॉडल अणु को कनेक्शनों के एक 3D मानचित्र के रूप में देखते हैं (परमाणु शहरों के रूप में, बॉन्ड सड़कों के रूप में)। वे अणु की आकृति और संरचना को समझने में स्मार्ट हैं।
- "सुपर-रीडर्स" (लार्ज प्रीट्रेनड मॉडल्स): ये वे "बड़े मॉडल" हैं जिनके बारे में हर कोई उत्साहित है। उन्होंने दौड़ शुरू होने से पहले ही लाखों रसायन विज्ञान की किताबें (SMILES स्ट्रिंग्स) पढ़ ली हैं। वे विशाल हैं, जटिल हैं, और आम तौर पर बहुत बुद्धिमान हैं।
- "कंसल्टेंट्स" (LLM-SAR): ये विशेषज्ञ सलाहकारों की तरह हैं जो सीधे परिणाम का अनुमान नहीं लगाते, बल्कि जो कुछ वे प्रशिक्षण डेटा में देखते हैं उसके आधार पर नियम लिखते हैं (जैसे, "यदि अणु में नाइट्रो समूह है, तो यह विषाक्त होने की संभावना है")। वे केवल गणित के बजाय तर्क और समझ का उपयोग करने की कोशिश करते हैं।
रेस ट्रैक
शोधकर्ताओं ने उन्हें केवल एक आसान कार्य पर नहीं परखा। उन्होंने उन्हें 22 अलग-अलग चुनौतियों से गुजारा, जिसमें यह अनुमान लगाना शामिल था कि क्या कोई दवा पानी में घुलेगी या यह देखना कि क्या वह तपेदिक (टीबी) के बैक्टीरिया या मलेरिया परजीवियों को मार देती है।
महत्वपूर्ण बात यह है कि उन्होंने परीक्षण को निष्पक्ष और कठिन बनाया। मॉडल्स को उन समान अणुओं को याद करके "चीटिंग" करने देने के बजाय जिन्हें उन्होंने पहले देखा था, उन्होंने टेस्ट अणुओं को रासायनिक रूप से अलग रखा। यह एक मैकेनिक को उस कार पर परीक्षण करने जैसा है जिसे उसने कल ही ठीक किया था, बजाय इसके कि वह उसी कार पर परीक्षण करे जिसे वह जानता है।
परिणाम: क्या बड़े मॉडल जीतते हैं?
संक्षिप्त उत्तर: नहीं, हमेशा नहीं।
- "पुराने स्कूल" के मैकेनिक सबसे अधिक दौड़ जीते। 22 मुख्य चुनौतियों में से 10 में, सरल, छोटे मॉडल सबसे अच्छे थे। वे विशेष रूप से उन कार्यों में बेहतर थे जहाँ डेटा अव्यवस्थित था या पैटर्न बहुत स्थानीय थे।
- "आर्किटेक्ट्स" दूसरे स्थान पर आए। उन्होंने 9 दौड़ जीतीं। वे बहुत मजबूत हैं जब अणु का 3D आकार सबसे महत्वपूर्ण होता है।
- "सुपर-रीडर्स" (लार्ज मॉडल्स) केवल 3 दौड़ जीते। सबसे बड़े और सबसे महंगे होने के बावजूद, वे हावी नहीं हुए। कई मामलों में, वे छोटे मॉडल्स के समान प्रदर्शन करते थे, लेकिन शायद ही कभी उनसे बेहतर।
- "कंसल्टेंट्स" भविष्यवाणी की दौड़ नहीं जीत सके। वे अंतिम स्कोर का अनुमान लगाने में अन्य मॉडल्स को नहीं हरा सके। हालांकि, वे यह समझाने में उत्कृष्ट थे कि कोई अणु क्यों काम कर सकता है या विफल हो सकता है, जो एक अच्छे विजेता के बजाय एक बेहतरीन शिक्षक की तरह काम करते हैं।
बड़ा सबक: यह "फिट" के बारे में है, आकार के बारे में नहीं
शोध पत्र निष्कर्ष निकालता है कि बड़ा होना अपने आप में बेहतर नहीं है।
औजारों के एक बॉक्स के बारे में सोचें:
- यदि आपको एक तस्वीर टांगनी है, तो एक विशाल हथौड़ा (एक विशाल AI मॉडल) बहुत ज्यादा है और शायद दीवार को तोड़ दे। एक छोटा हथौड़ा (एक सरल मॉडल) एकदम सही है।
- यदि आपको एक घर बनाना है, तो आपको औजारों का एक बड़ा सेट चाहिए, लेकिन आपको अभी भी विशिष्ट काम के लिए सही उपकरण की आवश्यकता है।
शोधकर्ताओं ने पाया कि "विजेता" पूरी तरह से विशिष्ट कार्य (बायोलॉजिकल एंडपॉइंट), उपलब्ध डेटा के प्रकार और परीक्षण कैसे सेट किया गया था, इस पर निर्भर करता है। कभी-कभी एक सरल चेकलिस्ट सबसे अच्छा काम करती है; कभी-कभी एक जटिल 3D मानचित्र की आवश्यकता होती है।
"कंसल्टेंट्स" (LLMs) के बारे में क्या?
हालांकि "कंसल्टेंट्स" भविष्यवाणी की दौड़ नहीं जीते, लेकिन शोध पत्र कहता है कि वे अभी भी बहुत मूल्यवान हैं। वे इसमें उत्कृष्ट हैं:
- "क्यों" को समझाना: वे वैज्ञानिकों को बता सकते हैं, "यह अणु खतरनाक लग रहा है क्योंकि इसमें यह विशिष्ट रासायनिक समूह है।"
- विचार उत्पन्न करना: वे वैज्ञानिकों को नए परिकल्पनाएं (hypotheses) बनाने में मदद कर सकते हैं कि कोई दवा कैसे काम कर सकती है।
निचोड़
यह शोध पत्र तर्क देता है कि हमें केवल बड़े और बड़े AI मॉडल बनाने में पैसा नहीं लगाना चाहिए और यह उम्मीद नहीं करनी चाहिए कि वे दवा की खोज को स्वचालित रूप से हल कर देंगे। इसके बजाय, हमें कार्य के अनुसार उपकरण का मिलान करने के बारे में स्मार्ट होना चाहिए। कभी-कभी, एक छोटा, विशिष्ट और अच्छी तरह से डिज़ाइन किया गया मॉडल वास्तव में चैंपियन होता है, जबकि विशाल मॉडल केवल नंबरों को प्रोसेस करने के बजाय मनुष्यों को सोचने और तर्क करने में मदद करने के लिए बेहतर होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।