Self-Supervised Pretraining of Molecular Graph Encoders with LeJEPA
यह शोध पत्र प्रदर्शित करता है कि जबकि LeJEPA-आधारित स्व-पर्यवेक्षित प्रीट्रेनिंग उच्च गुणवत्ता वाले आणविक प्रतिनिधित्व उत्पन्न करती है जो फ्रोजन प्रोबिंग में रैंडम इनिशियलाइजेशन से काफी बेहतर प्रदर्शन करती है और पारंपरिक फिंगरप्रिंट्स का पूरक बनती है, इसके लाभ मानक फाइनट्यूनिंग के माध्यम से डाउनस्ट्रीम प्रदर्शन लाभों में मजबूती से अनुवादित नहीं होते हैं, जो यह सुझाव देता है कि इन प्रीट्रेन्ड एम्बेडिंग्स का लाभ उठाने के लिए फीचर-लेवल कॉम्बिनेशन ही इष्टतम रणनीति है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अणु जीवन और चिकित्सा के मौलिक निर्माण खंड हैं, लेकिन एक कंप्यूटर के लिए, एक दवा परमाणुओं से जुड़े बंधों का एक जटिल मानचित्र मात्र है। दशकों से, वैज्ञानिकों ने आर्टिफिशियल इंटेलिजेंस को इन मानचित्रों को पढ़ना सिखाने की कोशिश की है, इस उम्मीद में कि वे भविष्यवाणी कर सकेंगे कि कौन सी नई रासायनिक संरचनाएं प्रभावी दवाएं बनेंगी। चुनौती यह है कि जबकि लाखों करोड़ों संभावित दवा-समान अणु मौजूद हैं, हमारे पास इस बारे में डेटा बहुत कम और महंगा है कि वास्तव में कौन से काम करते हैं। इसे हल करने के लिए, शोधकर्ताओं ने उस रणनीति की ओर रुख किया जो इंसानों के सीखने के तरीके से ली गई है: प्रीट्रेनिंग (पूर्व-प्रशिक्षण)। जिस तरह एक बच्चा विशिष्ट विषयों का अध्ययन करने से पहले दुनिया के बारेंे सामान्य अवधारणाओं को सीखता है, उसी तरह एक कंप्यूटर मॉडल को बिना लेबल वाली रासायनिक संरचनाओं के एक विशाल पुस्तकालय पर प्रशिक्षित किया जा सकता है ताकि वह रसायन विज्ञान के बुनियादी नियमों को सीख सके, इस उम्मीद के साथ कि यह सामान्य ज्ञान बाद में विशिष्ट समस्याओं को हल करने में मदद करेगा, जैसे कि एक नया एंटीबायोटिक खोजना।
शोधकर्ताओं की एक टीम ने इन मॉडलों को सिखाने के एक नए, सुव्यवस्थित तरीके का परीक्षण करने के लिए हाथ आजमाया, जिसमें LeJEPA नामक विधि का उपयोग किया गया। हर छोटे विवरण को फिर से बनाने या हजारों अन्य उदाहरणों के विरुद्ध तुलना करने के बजाय, यह विधि कंप्यूटर से एक आंशिक दृश्य के आधार पर पूरी तस्वीर का अनुमान लगाने के लिए कहती है। कल्पना कीजिए कि आप एक मॉडल को एक अणु का एक टुकड़ा दिखाते हैं और उससे पूरी संरचना के गुणों का अनुमान लगाने के लिए कहते हैं। मॉडल को सरल पैटर्न पर निर्भर होने से रोकने के लिए, शोधकर्ताओं ने एक गणितीय नियम जोड़ा जो कंप्यूटर की अणुओं की आंतरिक समझ को विविध और सुव्यवसंगत बनाने के लिए मजबूर करता है, न कि एक ही बेकार उत्तर में सिमटने के लिए। उन्होंने इस दृष्टिकोण का परीक्षण दो प्रमुख चुनौतियों पर किया: HIV दवा गतिविधि की भविष्यवाणी करने के लिए एक मानक बेंचमार्क और एंटीबायोटिक्स खोजने के लिए एक विशिष्ट डेटासेट, जहाँ परीक्षण किए गए यौगिकों का एक बहुत छोटा हिस्सा ही वास्तव में प्रभावी होता है।
परिणामों ने इस बात में एक आश्चर्यजनक मोड़ का खुलासा किया कि ये मॉडल कैसे सीखते हैं। जब शोधकर्ताओं ने प्रीट्रेनिंग के बाद कंप्यूटर के मस्तिष्क को फ्रीज (स्थिर) कर दिया और बिना किसी और शिक्षण के केवल अणुओं को वर्गीकृत करने के लिए कहा, तो प्रीट्रेनित मॉडल शून्य से शुरू होने वाले मॉडल की तुलना में काफी बेहतर था। HIV बेंचमार्क पर, प्रीट्रेनित मॉडल ने 0.788 का स्कोर प्राप्त किया, जो अनप्रशिक्षित संस्करण के 0.665 के स्कोर से एक बड़ी छलांग थी। इसने सिद्ध किया कि इस विधि ने रासायनिक संरचनाओं का एक समृद्ध, उपयोगी प्रतिनिधित्व सफलतापूर्वक सीखा है। हालांकि, जब शोधकर्ताओं ने इस ज्ञान का उपयोग मॉडल के प्रदर्शन को सुधारने के लिए फाइन-ट्यूनिंग (सूक्ष्म-समायोजन) के माध्यम से करने की कोशिश की, तो लाभ काफी हद तक गायब हो गया। एंटीबायोटिक डेटासेट पर, प्रीट्रेनित मॉडल अनप्रशिक्षित मॉडल को लगातार नहीं हरा सका, और HIV बेंचमार्क पर, सुधार पूरी तरह से समाप्त हो गया जब मॉडल को अपने वेट्स (भार) को समायोजित करने की अनुमति दी गई। एकमात्र समय जब प्रीट्रेनित मॉडल ने एक विशिष्ट, कठिन परीक्षण पर स्पष्ट, विश्वसनीय लाभ दिखाया, जब रासायनिक संरचनाएं प्रशिक्षण डेटा के लिए पूरी तरह से नई थीं, और तब भी, सुधार नाजुक था और डेटा के विभाजन पर बहुत अधिक निर्भर था।
शोधकर्ताओं ने पाया कि इस प्रीट्रेनिंग का वास्तविक मूल्य मौजूदा उपकरणों को बदलने में नहीं, बल्कि उनके पूरक बनने में था। उन्होंने पाया कि कंप्यूटर की सीखी हुई आणविक समझ तब सबसे प्रभावी थी जब इसे 'फिंगरप्रिंट' नामक एक पारंपरिक, हस्तनिर्मित रासायनिक विवरण के साथ जोड़ा गया। जब उन्होंने प्रीट्रेनित मॉडल के ज्ञान के सबसे उपयोगी हिस्से को इस मानक फिंगरप्रिंट के साथ जोड़ा, तो संयुक्त प्रणाली अकेले दोनों में से किसी भी भाग की तुलना में बेहतर प्रदर्शन करने लगी। इस हाइब्रिड दृष्टिकोण ने HIV बेंचमार्क पर सफलता दर को बढ़ाकर 0.830 कर दिया, जो एक महत्वपूर्ण सुधार था जिसे न तो फिंगरप्रिंट और न ही प्रीट्रेनित मॉडल अकेले प्राप्त कर सका। अध्ययन बताता है कि हालांकि यह नई प्रीट्रेनिंग विधि रसायन विज्ञान की गहरी, अधिक मजबूत समझ तो सीखती है जो रासायनिक संरचना में बदलाव के बावजूद बनी रहती है, लेकिन यह मानक तरीके से उपयोग किए जाने पर बेहतर प्रदर्शन में स्वतः परिवर्तित नहीं होती है। इसके बजाय, इसकी सबसे बड़ी शक्ति एक ऐसी संरचनात्मक अंतर्दष्टि जोड़ने में है जो स्थापित तरीकों के साथ जुड़ने पर सबसे अच्छा काम करती है, जो दवा की खोज के लिए अधिक विश्वसनीय उपकरण बनाने का एक नया तरीका प्रदान करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।