Autoregressive latent diffusion for 3D molecule generation
यह शोधपत्र KRONOS को प्रस्तुत करता है, जो एक लेटेंट ऑटोरेग्रेसिव डिफ्यूजन फ्रेमवर्क है जो एक ही आर्किटेक्चर के भीतर अनकंडीशनल और फ्रैगमेंट-कंडीशन्ड 3D मॉलिक्यूल जनरेशन को एकीकृत करता है, जो ऑटोरेग्रेसिव विधियों के बीच अत्याधुनिक प्रदर्शन प्राप्त करते हुए डिफ्यूजन मॉडल्स के साथ प्रतिस्पर्धी बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मास्टर LEGO आर्किटेक्ट हैं जो शून्य से एक नया, जटिल अणु (molecule) बनाने की कोशिश कर रहे हैं। लंबे समय तक, इसे करने का सबसे अच्छा तरीका एक डिफ्यूजन मॉडल (diffusion model) की तरह था: कल्पना कीजिए कि आप तैरते हुए LEGO ईंटों के एक विशाल, अराजक बादल से शुरुआत कर रहे हैं और फिर धीरे-धीरे, जादुई रूप से, मेज को हिला रहे हैं जब तक कि ईंटें एक आदर्श आकार में आपस में न जुड़ जाएं। यह तरीका अविश्वसनीय रूप से अच्छा काम करता है, लेकिन इसमें एक पेंच है: आपको मशीन को शुरू करने से पहले ठीक-ठीक बताना होगा कि आप कितनी ईंटें चाहते हैं। यदि आपका अनुमान गलत निकला, तो पूरी संरचना बिखर जाएगी।
फिर ऑटोरिग्रेसिव मॉडल (autoregressive models) आए, जो एक बार में एक ईंट करके मीनार बनाने की तरह हैं। आप एक रखते हैं, फिर अगली, फिर अगली। यह बहुत अच्छा है क्योंकि आपको पहले से यह जानने की ज़रूरत नहीं है कि अंतिम आकार क्या होगा, और आप एक विशिष्ट "सीड" (seed) टुकड़े (जैसे कि एक ज्ञात ड्रग स्कैफोल्ड) से शुरू करके उसके चारों ओर एक नया ढांचा भी बना सकते हैं। हालाँकि, ये ईंट-दर-ईंट बनाने वाले मॉडल अक्सर "क्लाउड-शेकिंग" डिफ्यूजन मॉडलों जैसी उच्च गुणवत्ता से मेल खाने में संघर्ष करते थे, और कभी-कभी एक विशिष्ट सीड के चारों ओर निर्माण करने में भ्रमित हो जाते थे।
यहाँ KRONOS आता है, एक नया फ्रेमवर्क जिसे इंपीरियल कॉलेज लंदन के शोधकर्ताओं द्वारा पेश किया गया है। KRONOS को कच्चे, बिखरे हुए ईंटों के साथ काम करने वाले बिल्डर के रूप में नहीं, बल्कि संकुचित, जादुई ब्लूप्रिंट (compressed, magical blueprints) के साथ काम करने वाले एक आर्किटेक्ट के रूप में समझें।
जादुई ब्लूप्रिंट (Latent Space)
प्रत्येक परमाणु के सटीक 3D निर्देशांक (coordinates) और रासायनिक प्रकार को सीधे बताने की कोशिश करने के बजाय (जो कि ईंट रखते समय उसके रंग और बनावट का वर्णन करने जैसा है), KRONOS पहले अणु को एक "लेटेंट स्पेस" (latent space) में बदल देता है। कल्पना कीजिए कि यह एक गुप्त, संकुचित भाषा है जहाँ पूरे अणु को एक एकल, सुचारू, निरंतर टोकन (token) द्वारा दर्शाया जाता है। यह एक जटिल 3D मूर्तिकला को एक सुंदर कोड की एक पंक्ति में बदलने जैसा है जिसमें सारा आकार और रासायनिक जानकारी समाहित है।
KRONOS इन संकुचित टोकनों की एक-एक करके भविष्यवाणी करके अणु बनाता है, ठीक वैसे ही जैसे एक वाक्य को शब्द दर शब्द पढ़ा जाता है। लेकिन यहाँ ट्विस्ट यह है कि अगले टोकन की भविष्यवाणी करने के लिए, यह एक डिफ्यूजन प्रक्रिया (diffusion process) का उपयोग करता है। यह एक आर्किटेक्ट की तरह है जो वर्तमान ब्लूप्रिंट को देखता है, अगले हिस्से के थोड़े "नॉइजी" या धुंधले संस्करण की कल्पना करता है, और फिर यह पता लगाने के लिए उसे "डिनोइज" (denoise) करता है कि वह वास्तव में क्या होना चाहिए। यह दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को जोड़ता है: चरण-दर-चरण निर्माण की लचीलापन और डिफ्यूजन की उच्च-गुणवत्ता वाली "हिलाने" की शक्ति।
"फिल-इन-द-मिडल" (Fill-in-the-Middle) ट्रिक
KRONOS की एक सबसे शानदार विशेषता यह है कि यह "आंशिक" अणुओं को कैसे संभालता है। कल्पना कीजिए कि आपके पास एक पहेली है, और आप लापता हिस्सों को भरना चाहते हैं, लेकिन लापता हिस्से हमेशा अंत में नहीं होते; कभी-कभी वे बीच में होते हैं, या आप किसी विशिष्ट हिस्से के चारों ओर निर्माण करना चाहते हैं।
शोधकर्ताओं ने "फिल-इन-द-मिडल" (FIM) से प्रेरित रणनीति का उपयोग किया। प्रशिक्षण के दौरान, उन्होंने केवल मॉडल को बाएँ से दाएँ पढ़ना ही नहीं सिखाया। उन्होंने मॉडल को एक अणु को देखना, उसे यादृच्छिक टुकड़ों (fragments) में काटना, कुछ टुकड़ों को छिपाना और खाली जगहों को भरने के लिए कहना सिखाया। कभी-कभी मॉडल को पूरी चीज़ शून्य से बनानी पड़ती है (unconditional), और कभी-कभी उसे एक विशिष्ट टुकड़े को पूरा करना होता है (fragment-conditioned)।
यह लेख सुझाव देता है कि ऐसा करके, KRONOS ने बिना दो अलग दिमागों के दोनों कार्यों में महारत हासिल की। यह एक शेफ को प्रशिक्षित करने जैसा है जिसे एक पूर्ण भोजन शून्य से बनाना भी आता है और किसी दूसरे द्वारा शुरू किए गए व्यंजन को पूरा करना भी आता है, और वह भी एक ही रसोई में, बिना भ्रमित हुए।
परिणाम: यह कितना अच्छा है?
टीम ने KRONOS का परीक्षण दो प्रमुख डेटासेट्स पर किया: QM9 (97,609 छोटे अणुओं का संग्रह) और GEOM-Drugs (1.1 मिलियन से अधिक ड्रग-लाइक कॉन्फ़ॉर्मर्स का विशाल संग्रह)।
- QM9 पर: KRONOS ने 97.3% की 3D वैधता (3D Validity) और 99.07% का 3D एटमस्टेबल (AtomStable) स्कोर प्राप्त किया। इसका मतलब है कि इसके द्वारा बनाया गया लगभग हर अणु रासायनिक रूप से सही और स्थिर था। परीक्षण किए गए सभी "ईंट-दर-ईंट" (ऑटोरिग्रेसिव) तरीकों में, KRONOS शीर्ष पर रहा। यह JODO जैसे भारी-भरकम "क्लाउड-शेकिंग" (डिफ्यूजन) मॉडलों के भी प्रतिस्पर्धी था, जिसने 96.3% वैधता प्राप्त की थी।
- GEOM-Drugs पर: यह कठिन परीक्षण है। KRONOS ने 94.7% की 3D वैधता और 86.45% का एटमस्टेबल स्कोर प्राप्त किया, जिसने अन्य ऑटोरिग्रेसिव मॉडलों को पछाड़ दिया और डिफ्यूजन विधियों के साथ प्रतिस्पर्धी बना रहा।
- भौतिक वास्तविकता की जाँच: शोधकर्ताओं ने केवल यह नहीं देखा कि अणु सही दिखते हैं या नहीं; उन्होंने यह देखने के लिए कि क्या वे भौतिक रूप से स्थिर हैं, GFN2-xTB नामक क्वांटम-केमिकल सिमुलेशन चलाया। QM9 पर, उत्पन्न अणुओं का मीडियन RMSD (Root Mean Square Distance) अनुकूलित, आदर्श संरचनाओं की तुलना में केवल 0.074 Å (एंगस्ट्रॉम) था। यह सुझाव देता है कि KRONOS जो अणु बनाता है, वे पहले से ही अपने प्राकृतिक, स्थिर आकारों के बहुत करीब हैं।
KRONOS क्या नहीं है
यह ध्यान रखना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है। लेखक स्पष्ट रूप से कहते हैं कि KRONOS कुछ अन्य उन्नत आर्किटेक्चर (जैसे कि NEAT) की तरह पूरी तरह से "परम्यूटेशन-इनवेरिएंट" (permutation-invariant) मॉडल नहीं है। इसका मतलब है कि जिस क्रम में यह टुकड़ों को देखता है, उससे थोड़ा फर्क पड़ता है, जबकि एक वास्तव में परम्यूटेशन-इनवेरिएंट मॉडल क्रम की परवाह नहीं करेगा। हालाँकि, पेपर का तर्क है कि "फिल-इन-द-मिडल" प्रशिक्षण ने इस अतिरिक्त जटिलता की आवश्यकता के बिना मॉडल को मजबूत बनाने के लिए पर्याप्त काम किया।
साथ ही, KRONOS की गुणवत्ता इसके "जादुई ब्लूप्रिंट" (इसके द्वारा उपयोग किए जाने वाले प्री-ट्रेन्ड ऑटोएनकोडर) की गुणवत्ता द्वारा सीमित (bounded) है। यदि ब्लूप्रिंट परफेक्ट नहीं है, तो KRONOS एक परफेक्ट अणु नहीं बना सकता। लेखक सुझाव देते हैं कि यदि भविष्य में कोई बेहतर ब्लूप्रिंट का आविष्कार करता है, तो KRONOS स्वतः ही बेहतर हो जाएगा।
निष्कर्ष
KRONOS सुझाव देता है कि आपको एक अणु को एक बार में एक टुकड़े के रूप में बनाने (लचीला, परिवर्तनशील लंबाई) और एक शक्तिशाली डिफ्यूजन प्रक्रिया (उच्च गुणवत्ता) के बीच चयन करने की आवश्यकता नहीं है। एक संकुचित "लेटेंट" स्पेस में काम करके और एक चतुर "फिल-इन-द-मिडल" प्रशिक्षण ट्रिक का उपयोग करके, यह दोनों काम करने में सक्षम है। यह ऐसे अणु बनाता है जो रासायनिक रूप से वैध, ज्यामितीय रूप से सटीक हैं, और जिन्हें विशिष्ट शुरुआती बिंदुओं के चारों ओर बनाया जा सकता है, और यह सब किसी भी आकार के अणुओं के लिए द्वार खुला रखते हुए किया जाता है। यह ड्रग डिस्कवरी के लिए एक आशाजनक नया उपकरण है, जो दिखाता है कि कभी-कभी, भविष्य बनाने का सबसे अच्छा तरीका बीच से सीखना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।