Unlocking Multimodal Protein Language Models at Inference Time
यह शोध पत्र एक तीन-चरणीय ढांचे को स्थापित करता है जो अनुभवजन्य रूप से यह प्रदर्शित करता है कि मल्टीमॉडल प्रोटीन लैंग्वेज मॉडल्स के लिए इन्फरेंस-टाइम सैंपलिंग रणनीतियों को अनुकूलित करना—विशेष रूप से टास्क-स्पेसिफिक क्लासिफायर-फ्री गाइडेंस और रिवॉर्ड-गाइडेड बीम सर्च के माध्यम से—मॉडल को पुन: प्रशिक्षित किए बिना कई कार्यों में प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है, और साथ ही बेस मॉडल व्यवहारों पर पूर्व सहमति को चुनौती देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
प्रोटीन वे आणविक मशीनें हैं जो जीवन को चलाती हैं, जो प्रत्येक कोशिका के भीतर आवश्यक कार्य करने के लिए जटिल त्रि-आयामी आकृतियों में मुड़ती हैं। इन मशीनों के निर्माण के निर्देश बीस अलग-अलग अमीनो एसिड की एक सरल श्रृंखला में लिखे होते हैं, लेकिन उस रैखिक कोड और अंतिम, कार्यात्मक आकार के बीच का संबंध जीव विज्ञान की सबसे गहन पहेलियों में से एक है। दशकों तक, वैज्ञानिक यह अनुमान लगाने के लिए कि अमीनो एसिड की एक श्रृंखला कैसे मुड़ेगी या पूरी तरह से नए प्रोटीन को शून्य से डिजाइन करने के लिए जटिल कंप्यूटर मॉडलों पर निर्भर रहे हैं। हाल ही में, कृत्रिम बुद्धिमत्ता (AI) मॉडलों की एक नई पीढ़ी उभरी है जो अक्षरों के अनुक्रम और 3D संरचना दोनों को एक एकल, एकीकृत भाषा के रूप में मानती है। ये मॉडल नए प्रोटीन बना सकते हैं, लेकिन अब तक, शोधकर्ताओं ने मुख्य रूप से उन्हें प्रशिक्षित करने के तरीके पर ध्यान केंद्रित किया है, यह मानते हुए कि अंतिम पीढ़ी के चरण के दौरान कंप्यूटर अपने स्वयं के उत्तरों को कैसे "पढ़ता" है, यह एक तय मामला था।
हांगकांग के शोधकर्ताओं की एक टीम ने पाया है कि यह धारणा गलत है। उन्होंने पाया कि इन शक्तिशाली मॉडलों से एक अंतिम प्रोटीन डिजाइन निकालने की विधि उतनी ही महत्वपूर्ण है जितनी कि प्रशिक्षण स्वयं। विभिन्न तरीकों का व्यवस्थित रूप से परीक्षण करके, जिनसे कंप्यूटर की निर्णय लेने की प्रक्रिया को निर्देशित किया जा सके, टीम ने दिखाया कि वे मॉडल के अंतर्निहित कोड को बदले बिना उत्पादित प्रोटीन की गुणवत्ता में नाटकीय रूप से सुधार कर सकते हैं। उनका कार्य प्रकट करता है कि इन मॉडलों द्वारा उपयोग की जाने वाली डिफ़ॉल्ट सेटिंग्स अक्सर उप-इष्टतम (suboptimal) परिणामों की ओर ले जाती हैं, लेकिन संभावनाओं की खोज करने और एक विशिष्ट पथ के प्रति प्रतिबद्ध होने के बीच के संतुलन को समायोजित करके, वे एक एकल कार्य के लिए डिज़ाइन किए गए विशिष्ट उपकरणों की बराबरी करने वाले या उससे भी बेहतर प्रदर्शन को अनलॉक कर सकते हैं।
शोधकर्ताओं ने पहले यह जांचना शुरू किया कि ये मॉडल वर्तमान में कैसे कार्य करते हैं। कल्पना करें कि एक मॉडल प्रोटीन बनाने की प्रक्रिया को धीरे-धीरे एक खाली कैनवास को भरने के रूप में देख रहा है, जहाँ वह पूरी तरह से 'मास्क्ड' (छिपी हुई) छवि के साथ शुरू करता है और धीरे-धीरे अमीनो एसिड और उनकी स्थितियों को प्रकट करता है। टीम ने चार मौलिक कार्यों में तीन अलग-अलग मॉडलों का परीक्षण किया: पूरी तरह से नए प्रोटीन बनाना, विशिष्ट कार्यात्मक भागों के चारों ओर फिट होने वाले प्रोटीन डिजाइन करना, अनुक्रम से प्रोटीन के आकार की भविष्यवाणी करना, और एक दिए गए आकार में मुड़ने वाले अनुक्रम को डिजाइन करना। उन्होंने पहले बुनियादी "वैनिला" सेटिंग्स को देखा, जो वे मानक, आउट-ऑफ-द-बॉक्स निर्देश हैं जिनका उपयोग मॉडल इन निर्णयों को लेने के लिए करते हैं। उन्होंने पाया कि डिफ़ॉल्ट सेटिंग्स अक्सर हाथ में मौजूद विशिष्ट कार्य के साथ ठीक से मेल नहीं खाती थीं। उदाहरण के लिए, जब एक पूरी तरह से नया प्रोटीन डिजाइन करने के लिए कहा गया, तो मॉडल को एक स्थिर संरचना खोजने के लिए उच्च स्तर की यादृच्छिकता (randomness) के साथ संभावनाओं की एक विस्तृत श्रृंखला तलाशने की आवश्यकता थी। हालांकि, जब किसी ज्ञात प्रोटीन के आकार की भविष्यवाणी करने के लिए कहा गया, तो मॉडल को बहुत अधिक सटीक और नियत (deterministic) होने की आवश्यकता थी, जो ज्ञात बाधाओं के करीब रहे।
इन बुनियादी सेटिंग्स के हजारों विविधताओं को चलाकर, टीम ने प्रत्येक कार्य के लिए इष्टतम "नुस्खा" की पहचान की। उन्होंने पाया कि केवल एक कठोर, चरण-दर-चरण दृष्टिकोण से बदलकर एक अधिक लचीले, समवर्ती (simultaneous) दृष्टिकोण को अपनाने से मॉडल कहीं अधिक व्यवहार्य प्रोटीन उत्पन्न करने में सक्षम हुए। एक विशिष्ट मामले में, जिसमें नए प्रोटीन का निर्माण शामिल था, एक मॉडल जिसे उसके डिफ़ॉल्ट सेटिंग्स के तहत कमजोर माना जाता था, ने अचानक तीन गुना अधिक कार्यात्मक डिजाइन तैयार किए जब सैंपलिंग रणनीति को समायोजित किया गया। इस निष्कर्ष ने इस प्रचलित विचार को चुनौती दी कि कुछ मॉडल स्वाभाविक रूप से निम्न श्रेणी के होते हैं, यह सुझाव देते हुए कि वे केवल गलत उपकरणों के साथ उपयोग किए जा रहे थे।
शोधकर्ताओं ने फिर नियंत्रण के दूसरे स्तर पर कदम रखा, एक ऐसी तकनीक पेश की जो बेहतर परिणामों की ओर मॉडल को मोड़ने के लिए एक हल्के धक्के (nudge) की तरह कार्य करती है। प्रोटीन डिजाइन के संदर्भ में, इसका अर्थ है एक विशिष्ट लक्ष्य के साथ प्रोटीन के मॉडल के अनुमान की तुलना बिना उस लक्ष्य के किए गए अनुमान से करना, और फिर परिणाम को वांछित परिणाम के करीब धकेलने के लिए अंतर को बढ़ाना। यह विधि, जिसे 'क्लासिफायर-फ्री गाइडेंस' (classifier-free guidance) के रूप में जाना जाता है, एक शक्तिशाली लीवर साबित हुई। नए प्रोटीन को शून्य से डिजाइन करने के कार्य के लिए, इस मार्गदर्शन ने मॉडल को दोहराव वाले, अप्राकृतिक पैटर्न से बचने में मदद की और काफी अधिक स्थिर और विविध संरचनाएं बनाईं। सुधार इतना स्पष्ट था कि एक मॉडल जिसे पहले बेसलाइन परफॉर्मर माना जाता था, अचानक अपने प्रतिस्पर्धियों से बेहतर प्रदर्शन करने लगा, हालांकि वह अनुकूलन के बिना विशिष्ट प्रणालियों से पीछे ही रहा।
अंत में, टीम ने एक तीसरी रणनीति का पता लगाया जो केवल अगले कदम के बजाय व्यापक परिदृश्य (big picture) को देखती है। एक समाधान के लिए एकल पथ का पालन करने के बजाय, उन्होंने कंप्यूटर को एक साथ प्रोटीन के कई अलग-अलग संस्करण उत्पन्न करने का निर्देश दिया, जैसे कि मानचित्र पर कई संभावित मार्गों को खुला रखना। नियमित अंतराल पर, सिस्टम मूल्यांकन करेगा कि कौन से पथ संरचना की समग्र गुणवत्ता के आधार पर सबसे अधिक आशाजनक दिखते हैं और फिर कमजोर विकल्पों को हटा देगा, केवल सर्वश्रेष्ठ उम्मीदवारों के साथ आगे बढ़ेगा। यह "बीम सर्च" (beam search) दृष्टिकोण मॉडलों को उन स्थानीय जाल (local traps) से बचने की अनुमति देता है जहाँ वे एक औसत दर्जे के समाधान पर टिक सकते थे। सबसे सक्षम मॉडल पर लागू होने पर, इस रणनीति ने प्रदर्शन को नई ऊंचाइयों पर पहुँचा दिया, जिससे पिछले बेहतर माने जाने वाले विशिष्ट प्रणालियों से भी अधिक सफलता दर और डिजाइन गुणवत्ता प्राप्त हुई, और यह सब बिना किसी अतिरिक्त प्रशिक्षण या बाहरी डेटा के हुआ।
अध्ययन यह निष्कर्ष निकालता है कि पीढ़ी के क्षण में इन मॉडलों का उपयोग कैसे किया जाता है, यह एक छिपा हुआ चर (variable) है जिसे काफी हद तक अनदेखा किया गया है। शोधकर्ताओं ने प्रदर्शित किया कि संभावनाओं की खोज और ज्ञात अच्छे समाधानों के दोहन के बीच संतुलन को सावधानीपूर्वक ट्यून करके, वे पूरे क्षेत्र में इन मॉडलों के प्रदर्शन को लगातार बढ़ा सकते हैं। यह कार्य सुझाव देता है कि वर्तमान प्रोटीन भाषा मॉडलों की क्षमता को कम करके आंका गया है, इसलिए नहीं कि मॉडल स्वयं दोषपूर्ण हैं, बल्कि इसलिए कि उनके उत्तरों को अनलॉक करने के तरीकों को अनुकूलित नहीं किया गया था। इन निष्कर्षों (inference strategies) को परिष्कृत करके, वैज्ञानिक अब उन उपकरणों का बहुत अधिक लाभ उठा सकते हैं जो उनके पास पहले से मौजूद हैं, जिससे बिना किसी नए मॉडल को शून्य से बनाए बिना, नई दवाओं और जैविक सामग्रियों की खोज में तेजी आ सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।