Task- and dataset-specific information in protein language models
यह अध्ययन प्रकट करता है कि प्रोटीन लैंग्वेज मॉडल डाउनस्ट्रीम कार्यों के लिए सबसे अधिक सूचनात्मक एम्बेडिंग अक्सर अंतिम परत के बजाय मध्यवर्ती परतों में पाई जाती हैं, और इष्टतम परत इस बात पर निर्भर करती है कि कार्य में व्यक्तिगत अवशेष (residues), संपूर्ण प्रोटीन, या कृत्रिम अनुक्रम शामिल हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, जादुई पुस्तकालय है जहाँ हर किताब एक जीवित मशीन, यानी एक प्रोटीन बनाने की रेसिपी (नुस्खा) है। वर्षों से, वैज्ञानिक कंप्यूटर को इन प्रोटीन रेसिपी को पढ़ने और यह समझने के लिए सिखाने की कोशिश कर रहे हैं कि ये मशीनें क्या करती हैं। ऐसा करने के लिए, उन्होंने "प्रोटीन लैंग्वेज मॉडल्स" (PLMs) बनाए। इन मॉडल्स को ऐसे समझें जैसे कि वे बहुत बुद्धिमान छात्र हैं जिन्होंने अरबों प्रोटीन रेसिपी पढ़ ली हैं। वे केवल शब्दों को रटते नहीं हैं; वे उस भाषा के छिपे हुए व्याकरण और शैली को भी समझते हैं। एक बार अध्ययन करने के बाद, ये छात्र एक प्रोटीन की रेसिपी को एक गुप्त कोड (एक "एम्बेडिंग") में बदल सकते हैं जिसका उपयोग अन्य कंप्यूटर चीजों का पूर्वानुमान लगाने के लिए कर सकते हैं, जैसे: क्या यह प्रोटीन चमकेगा? क्या यह किसी वायरस से चिपकेगा? क्या यह पानी में घुल जाएगा?
लंबे समय तक, सभी ने यह मान लिया था कि इन छात्र मॉडल्स का सबसे "बुद्धिमान" हिस्सा उनके मस्तिष्क के बिल्कुल अंत में—अंतिम परत (final layer) में होता है। यह ऐसा ही था जैसे यह मानना कि पूरी किताब पढ़ने के बाद, आपके द्वारा पढ़ी गई आखिरी पंक्ति ही सबसे महत्वपूर्ण अर्थ रखती है। लेकिन क्या होगा अगर सबसे उपयोगी सुराग वास्तव में किताब के बीच में, या यहाँ तक कि पहले कुछ पन्नों में छिपे हों? यह शोध पत्र एक सरल लेकिन पेचीदा सवाल पूछता है: इन विशाल AI मस्तिष्क के भीतर वास्तविक जादू कहाँ होता है? क्या हमें सबसे अच्छे उत्तर प्राप्त करने के लिए वास्तव में अंतिम परत को देखने की आवश्यकता है, या हम बीच की परतों को अनदेखा करके कुछ महत्वपूर्ण खो रहे हैं?
इन शोधकर्ताओं ने एक जासूस की भूमिका निभाने का निर्णय लिया। उन्होंने 13 अलग-अलग प्रोटीन-सीखने वाले मॉडल्स को लिया और उन्हें 15 अलग-अलग कार्यों पर परखा, जो प्रोटीन की स्थिरता का पूर्वानुमान लगाने से लेकर यह पता लगाने तक विस्तृत थे कि वे कोशिका के भीतर कहाँ रहते हैं। उन्होंने केवल अंतिम उत्तर को नहीं देखा; उन्होंने मॉडल्स के सोचने की प्रक्रिया के हर चरण में, पहली परत से लेकर अंतिम परत तक, उनके भीतर झाँका।
यहाँ उन्हें क्या पता चला, और यह जानकर आपको आश्चर्य होगा कि "अंतिम परत ही सर्वश्रेष्ठ है" वाला पुराना नियम ज्यादातर गलत है।
मध्य भाग अक्सर सबसे सटीक होता है
जब वैज्ञानिकों ने इन मॉडल्स का परीक्षण पूरे प्रोटीन से जुड़े कार्यों पर किया (जैसे यह अनुमान लगाना कि प्रोटीन घुलनशील है या नहीं, या वह कोशिका में कहाँ रहता है), तो उन्होंने पाया कि अंतिम परत शायद ही कभी विजेता होती थी। इसके बजाय, "सर्वश्रेष्ठ" परत आमतौर पर बीच में कहीं होती थी—अक्सर मॉडल की गहराई के 10वें से 90वें पर्सेंटाइल के बीच। यह ऐसा है जैसे छात्र किताब पढ़ता है, बीच के अध्यायों में मुख्य कथानक को समझता है, और फिर अंतिम पन्ने तक पहुँचते-पहुँचते भ्रमित या अत्यधिक विश्लेषण करने लगता है। वास्तव में, कई कार्यों के लिए, प्रदर्शन सबसे गहरी परतों में गिर गया।
यह इस पर निर्भर करता है कि आप क्या पूछ रहे हैं
शोध पत्र में पाया गया कि "सर्वश्रेष्ठ" परत हर काम के लिए एक जैसी नहीं होती। यह इस बात पर बहुत अधिक निर्भर करता है कि आप किस प्रकार के डेटा का उपयोग कर रहे हैं:
- "म्यूटेंट" (उत्परिवर्तित) डेटासेट: जब डेटा "डीप म्यूटेशनल स्कैनिंग" (जहाँ वैज्ञानिक एक विशिष्ट प्रोटीन लेते हैं और उसके हजारों थोड़े अलग संस्करण बनाते हैं) से आया, तो मॉडल्स ने उथली, शुरुआती परतों का उपयोग करके सबसे अच्छा काम किया। ऐसा लगता है कि शुरुआती परतें छोटी, स्थानीय बारीकियों को पकड़ने में माहिर हैं, जैसे कि कैसे एक शब्द का एक अक्षर बदलने से उसका अर्थ बदल जाता है।
- "विविध" (Diverse) डेटासेट: जब डेटा कई अलग-अलग, असंबंधित प्रोटीनों के एक विशाल मिश्रण से आया (जैसे हजारों अलग-अलग किताबों का एक पुस्तकालय), तो मॉडल्स ने गहरी परतों का उपयोग करके सबसे अच्छा काम किया। यहाँ, मॉडल को बड़े, सामान्य नियमों को समझने की आवश्यकता होती है जो कई अलग-अलग प्रोटीनों पर लागू होते हैं, जिसे समझने के लिए अधिक "सोचने" और गहरी परतों की आवश्यकता होती है।
"कृत्रिम" समस्या
एक और आश्चर्यजनक खोज "कृत्रिम" प्रोटीनों के बारे में थी। शोधकर्ताओं ने उन प्रोटीनों का परीक्षण किया जिन्हें प्रकृति के बजाय कंप्यूटर द्वारा डिज़ाइन किया गया था। मॉडल्स उनके साथ काफी संघर्ष करते हैं। भले ही कृत्रिम प्रोटीन कार्यात्मक (functional) हों, मॉडल्स उनके गुणों का सटीक पूर्वानुमान नहीं लगा सके। यह सुझाव देता है कि ये AI मॉडल्स प्रकृति के विकास की "भाषा" को समझने में सक्षम हैं, लेकिन उन्होंने अभी तक कंप्यूटर-डिज़ाइन किए गए प्रोटीनों की "भाषा" को पूरी तरह से नहीं समझा है। वे पुराने लहजे में कुशल हैं लेकिन नए शब्दों (slang) पर लड़खड़ा जाते हैं।
आखिरी परत हमेशा राजा क्यों नहीं होती
यह पत्र बताता है कि ऐसा इसलिए होता है क्योंकि इन मॉडल्स को कैसे प्रशिक्षित किया जाता है। उन्हें पहले एक वाक्य में गायब शब्दों का अनुमान लगाने के लिए प्रशिक्षित किया जाता है (एक कार्य जो छोटे, स्थानीय विवरणों पर केंद्रित है)। जब आप उन्हें एक बड़े स्तर के कार्य (जैसे पूरे प्रोटीन की स्थिरता का अनुमान लगाना) के लिए पूछते हैं, तो अंतिम परत अभी भी उस छोटे-शब्दों के अनुमान लगाने वाले काम को करने की कोशिश कर रही होती है, जो बाधा उत्पन्न करता है। हालाँकि, यदि आप मॉडल को विशेष रूप से एक बड़े कार्य के लिए "फाइन-ट्यून" (fine-tune) करते हैं, तो परतें बेहतर तरीके से काम करने लगती हैं, जिससे अंतिम परत फिर से सबसे उपयोगी बन जाती है। लेकिन मानक, प्री-ट्रेंड अवस्था में, मध्य परतें अक्सर सबसे मूल्यवान जानकारी रखती हैं।
निष्कर्ष (The Takeaway)
यह अध्ययन सुझाव देता है कि वैज्ञानिकों को अपने काम के लिए प्रोटीन AI मॉडल की अंतिम परत को आँख मूंदकर नहीं चुनना चाहिए। इसके बजाय, उन्हें अपने कार्य से मेल खाने वाली विशिष्ट परत को खोजने के लिए मॉडल के "मस्तिष्क" में गहराई से देखना चाहिए। यदि वे सूक्ष्म उत्परिवर्तन (mutations) देख रहे हैं, तो उन्हें शुरुआती परतों को देखना चाहिए। यदि वे विविध मिश्रण वाले प्रोटीनों को देख रहे हैं, तो उन्हें गहराई में देखना चाहिए। और यदि वे कंप्यूटर-डिज़ाइन किए गए प्रोटीनों के साथ काम कर रहे हैं, तो उन्हें अतिरिक्त सावधान रहना चाहिए, क्योंकि मॉडल्स उन्हें प्रकृति की रचनाओं की तरह अच्छी तरह से नहीं समझ सकते हैं।
संक्षेप में, यह शोध पत्र प्रकट करता है कि ये AI मॉडल्स जटिल, स्तरित विचारक हैं, और उनका सबसे "बुद्धिमान" हिस्सा इस बात पर बदल जाता है कि आप उनसे क्या प्रश्न पूछ रहे हैं। किताब का आखिरी पन्ना हमेशा सबसे महत्वपूर्ण नहीं होता; कभी-कभी, सबसे अच्छा उत्तर ठीक बीच में होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।