TEDlm: domain-centric protein language models with optional structural pre-training
यह शोध पत्र TEDlm को प्रस्तुत करता है, जो संरचनात्मक रूप से परिभाषित डोमेन खंडों पर प्रीट्रेन किया गया एक डोमेन-केंद्रित प्रोटीन भाषा मॉडल है, जो रिमोट-होमोलॉजी डिटेक्शन और मॉलिक्यूलर फंक्शन प्रेडिक्शन में बड़े फुल-सीक्वेंस मॉडल्स से बेहतर प्रदर्शन करता है, यह प्रदर्शित करते हुए कि डोमेन-इंट्रिन्सिक संकेतों पर ध्यान केंद्रित करने से संक्षिप्त, संरचनात्मक रूप से सूचित रिप्रजेंटेशन्स प्राप्त होते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
प्रोटीन की कल्पना विशाल, जटिल लेगो (Lego) किलों के रूप में करें। लंबे समय तक, वैज्ञानिकों ने जब इन किलों को समझने के लिए उनके निर्देश मैनुअल (अमीनो एसिड अनुक्रमों) को पढ़ने की कोशिश की, तो वे एक साथ पूरे 'किताब' को देख रहे थे। समस्या यह थी कि ये किताबें अव्यवस्थित थीं। इनमें किले के निर्देशों के साथ-साथ, पुल, बगीचे और किनारों पर लिखे गए रैंडम स्केच (लिंकर्स और डिसऑर्डर वाले क्षेत्र) के निर्देश भी शामिल थे जो सब कुछ थामे रखते हैं। जब आप पूरे बिखरे हुए किताब को पढ़कर एक विशिष्ट मीनार का आकार सीखने की कोशिश करते हैं, तो सिग्नल शोर (noise) में दब जाता है।
यहाँ TEDlm आता है, जो एआई (AI) जासूसों की एक नई टीम है जिन्होंने पूरी किताब पढ़ने के बजाय केवल व्यक्तिगत, पूरी तरह से बने हुए लेगो टावरों (जिन्हें "डोमेन" कहा जाता है) को पढ़ना तय किया।
मुख्य विचार: छोटी किताबें, बड़े दिमाग
शोधकर्ताओं ने, डेविड टी. जोन्स और टीजुन वे के नेतृत्व में, एक नए प्रकार का एआई बनाया जिसे TEDlm कहा जाता है। पूर्ण-लंबाई वाले प्रोटीन अनुक्रमों पर प्रशिक्षण देने के बजाय, उन्होंने इसे "द एनसाइक्लोपीडिया ऑफ डोमेन्स" (TED) नामक एक विशाल लाइब्रेरी से लाखों साफ, अलग किए गए "डोमेन" खंड खिलाए।
इसे इस तरह समझें: यदि आप एक आदर्श चॉकलेट केक बनाना सीखना चाहते हैं, तो आप ऐसी कुकबुक नहीं पढ़ेंगे जिसमें सूप, कार मैनुअल और आटे के इतिहास की रेसिपी भी शामिल हो। आप केवल केक वाले अध्यायों को ही पढ़ेंगे। TEDlm ने भी यही किया। इसने पूरे प्रोटीन के "शोर" (जैसे सूप की रेसिपी) से विचलित हुए बिना, प्रोटीन डोमेन की "केक रेसिपी" (विशिष्ट आकार और फोल्ड) सीखी।
परिणाम: छोटा ही शक्तिशाली है
यहाँ एक आश्चर्यजनक मोड़ है: आकार ही सब कुछ नहीं है।
आमतौर पर, एआई की दुनिया में, बड़ा बेहतर होता है। 3 बिलियन न्यूरॉन्स वाला एक विशाल मस्तिष्क (जैसे प्रसिद्ध ESM2 3B मॉडल) उम्मीद करता है कि वह 650 मिलियन न्यूरॉन्स वाले छोटे मस्तिष्क को कुचल देगा। लेकिन इस दौड़ में, छोटा, डोमेन-केंद्रित मस्तिष्क जीत गया।
- TEDlm 650M मॉडल (छोटा, केंद्रित मॉडल) ने CATH S40 नामक एक कठिन परीक्षण पर 0.28 का AUROC1 स्कोर किया, जो यह मापता है कि एक मॉडल प्रोटीनों के बीच दूर के रिश्तेदारों को कितनी अच्छी तरह पहचान सकता है।
- विशाल ESM2 3B मॉडल ने केवल 0.22 स्कोर किया।
पेपर सुझाव देता है कि अधिक साफ डेटा पर प्रशिक्षण देकर, छोटे मॉडल ने बड़े मॉडल की तुलना में प्रोटीन के "फोल्ड" को बहुत बेहतर तरीके से सीखा, जो पूरे प्रोटीन के शोर से विचलित था। यह ऐसा ही है जैसे एक छोटा जासूस, जो केवल महत्वपूर्ण सुरागों पर ध्यान केंद्रित करता है, उस विशाल जासूस से अधिक तेज़ी से रहस्य सुलझा लेता है जिसने केस फाइल के हर एक पन्ने को पढ़ने की कोशिश की थी।
सुपरपावर: अदृश्य संरचना को देखना
टीम ने एक सुपर-चार्ज्ड संस्करण भी बनाया जिसे TEDlm3D कहा जाता है। इस मॉडल ने न केवल लेगो के निर्देशों को पढ़ा; बल्कि इसे एक गुप्त 'चीट शीट' भी दी गई कि ईंटों को 3 आयात्मक (3D) स्थान में एक-दूसरे को कैसे छूना चाहिए (विशेष रूप से, "अल्फा कार्बन्स", या संरचना के मुख्य ईंटों के बीच की दूरी)।
यह अतिरिक्त प्रशिक्षण एक गेम-चेंजर साबित हुआ।
- TEDlm3D ने 0.50 का AUROC1 प्राप्त किया।
- यह Foldseek के बेहद करीब है, जो वास्तविक 3D संरचनाओं का उपयोग करके मिलान खोजने वाला एक टूल है, जिसने 0.53 स्कोर किया।
सबसे अद्भुत बात यह है कि TEDlm3D को काम करने के लिए केवल टेक्स्ट (अनुक्रम) की आवश्यकता होती है। इसे परीक्षण के समय 3D संरचना की आवश्यकता नहीं होती। इसने प्रशिक्षण के दौरान 3D नियमों को सीख लिया और अब यह अक्षरों को पढ़कर ही आकार को "देख" सकता है। पेपर दिखाता है कि यह संरचनात्मक सिग्नल केवल एक अलग "आउटपुट हेड" (जैसे मस्तिष्क से जुड़ा कैलकुलेटर) में संग्रहीत नहीं है; यह मस्तिष्क की अपनी सोचने की प्रक्रिया में बुना हुआ है।
अन्य कार्यों के बारे में क्या?
शोधकर्ताओं ने इन मॉडलों का अन्य कार्यों पर भी परीक्षण किया, जैसे यह अनुमान लगाना कि एक प्रोटीन क्या करता है (इसका आणविक कार्य) या यह धातुओं के साथ कितनी अच्छी तरह जुड़ता है।
- आणविक कार्य (Molecular Function): डोमेन-केंद्रित मॉडल (TEDlm) इसमें बहुत अच्छे थे, और उन्होंने बड़े ESM2 मॉडलों को पीछे छोड़ दिया। यह समझ में आता है क्योंकि प्रोटीन का मुख्य काम आमतौर पर एक एकल लेगो टावर (डोमेन) द्वारा किया जाता है।
- जैविक प्रक्रिया और स्थान (Biological Process & Location): यहाँ, बड़े ESM2 मॉडलों ने अपना स्थान बनाए रखा। क्यों? क्योंकि यह जानना कि एक प्रोटीन कोशिका में कहाँ रहता है या वह पूरे जीव की मदद कैसे करता है, इसके लिए अक्सर पूरे किले को देखने की आवश्यकता होती है, न कि केवल एक टावर को। डोमेन-ओनली मॉडल्स बड़े चित्र के संदर्भ (context) को समझने में चूक गए।
"मिडल लेयर" का आश्चर्य
सबसे दिलचस्प खोजों में से एक यह थी कि एआई अपने ज्ञान को कहाँ संग्रहीत करता है। कई एआई मॉडलों में, अंतिम परत (final layer) सबसे "स्मार्ट" होती है। लेकिन यहाँ, पेपर ने पाया कि TEDlm मॉडलों की मध्यवर्ती परतें (middle layers) वास्तव में संरचनात्मक संबंधों को पहचानने में सबसे अच्छी थीं। अंतिम परतें शायद केवल अनुक्रम के अगले अक्षर की भविष्यवाणी करने पर बहुत अधिक केंद्रित हो गईं, जिससे वे बड़े संरचनात्मक चित्र को भूल गईं। यह एक ऐसे छात्र की तरह है जो, परीक्षा के लिए अध्ययन करने के बाद, अध्याय के अंतिम वाक्य को याद करने में इतना खो जाता है कि वह मुख्य कहानी को ही भूल जाता है।
पेपर किन बातों को खारिज करता है?
लेखक सावधानीपूर्वक बताते हैं कि उन्होंने क्या नहीं किया। उन्होंने इन मॉडलों को प्रशिक्षित करने के लिए मल्टीपल सीक्वेंस एलाइनमेंट (विकासवादी पारिवारिक वृक्षों को देखना) का उपयोग नहीं किया; वे पूरी तरह से अनुक्रम और उनके द्वारा दिए गए संरचनात्मक डेटा पर निर्भर रहे। वे यह भी नोट करते हैं कि हालांकि उनके मॉडल संरचनात्मक रिश्तेदारों को खोजने में महान हैं, लेकिन वे उन चीजों की भविष्यवाणी करने में पूर्ण नहीं हैं जो पूरे प्रोटीन के संदर्भ पर निर्भर करती हैं, जैसे थर्मल स्टेबिलिटी (गर्मी के प्रति प्रतिरोध), क्योंकि गर्मी प्रतिरोध अक्सर इस बात से आता है कि विभिन्न टावर एक-दूसरे के साथ कैसे परस्पर क्रिया करते हैं, न कि केवल टावरों के माध्यम प्रकार से।
निचोड़
यह पेपर सुझाव देता है कि प्रोटीन को समझने के लिए हमें आवश्यक रूप से बड़े, अधिक महंगे एआई मस्तिष्क बनाने की आवश्यकता नहीं है। इसके बजाय, हमें बस उन्हें अधिक साफ, केंद्रित डेटा खिलाने की आवश्यकता हो सकती है। प्रोटीन को एक समय में एक "डोमेन" के रूप में देखना सिखाकर, शोधकर्ताओं ने कॉम्पैक्ट, स्मार्ट मॉडल बनाए जो वास्तविक 3D ब्लूप्रिंट की आवश्यकता वाले टूल के लगभग समान रूप से प्रोटीन के आकार और कार्यों की भविष्यवाणी कर सकते हैं। यह एक याद दिलाता है कि कभी-कभी, पूरी तस्वीर देखने के लिए, आपको विवरणों पर ज़ूम करना पड़ता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।