Off-Manifold Collapse in Guided Protein Language Models
यह शोध पत्र "ऑफ-मैनिफोल्ड कोलैप्स" (off-manifold collapse) की पहचान करता है, जो गाइडेड प्रोटीन लैंग्वेज मॉडल्स में एक विफलता मोड है जहाँ तीव्र मार्गदर्शन कम-जटिलता वाले, अनफोल्डेबल (un-foldable) अनुक्रमों को उत्पन्न करता है जो प्रॉपर्टी ओरैकल्स को भ्रमित कर देते हैं, और एक प्रशिक्षण-मुक्त "महालानोबिस फ़िल्टरिंग" (Mahalanobis filtering) पोस्ट-प्रोसेसिंग चरण का प्रस्ताव करता है ताकि प्राकृतिक सक्रियण सांख्यिकी (natural activation statistics) के लिए फ़िल्टर करके इन अमान्य उम्मीदवारों का पता लगाया जा सके और उन्हें हटाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
प्रोटीन वे आणविक मशीनें हैं जो हर जीवित चीज़ का निर्माण और संचालन करती हैं। वे अमीनो एसिड नामक निर्माण खंडों की लंबी श्रृंखलाएं हैं, और इन ब्लॉकों का विशिष्ट क्रम ही यह निर्धारित करता है कि वह श्रृंखला एक त्रि-आयामी आकार में कैसे मुड़ती है। वही आकार प्रोटीन को कार्य करने में सक्षम बनाता है, चाहे वह भोजन पचाना हो, संक्रमण से लड़ना हो, या कोई संकेत प्रसारित करना हो। दशकों से, वैज्ञानिक शून्य से नए प्रोटीन डिजाइन करने का प्रयास कर रहे हैं, लेकिन संभावित अनुक्रमों का स्थान इतना विशाल है कि एक उपयोगी अनुक्रम खोजना सुई को घास के ढेर में खोजने जैसा है। हाल के वर्षों में, आर्टिफिशियल इंटेलिजेंस ने आगे बढ़ने का एक नया तरीका प्रदान किया है। लाखों प्राकृतिक प्रोटीनों पर प्रशिक्षित बड़े कंप्यूटर मॉडल, इन श्रृंखलाओं के व्यवहार के छिपे हुए नियमों को सीख चुके हैं। ये मॉडल अब नए प्रोटीन अनुक्रम उत्पन्न कर सकते हैं जो प्राकृतिक प्रोटीनों की तरह दिखते और कार्य करते हैं, जो दवाओं और औद्योगिक एंजाइमों के निर्माण के लिए एक शक्तिशाली उपकरण के रूप में काम करते हैं।
हालाँकि, एक नया अध्ययन यह प्रकट करता है कि वैज्ञानिक वर्तमान में विशिष्ट नए गुणों, जैसे कि उच्च घुलनशीलता या बेहतर ताप प्रतिरोध प्राप्त करने के लिए इन AI मॉडलों को कैसे बदलने (ट्वीक करने) का प्रयास करते हैं, इसमें एक गंभीर खामी है। शोधकर्ताओं ने पाया कि जब वे किसी वांछित गुण को प्राप्त करने के लिए AI को बहुत अधिक धकेलते हैं, तो मॉडल वास्तविक प्रोटीन बनाना बंद कर देता है। इसके बजाय, यह एक ऐसी स्थिति में ढह जाता है जहाँ उत्पन्न अनुक्रम मॉडल के अपने आंतरिक तर्क के लिए यादृच्छिक शोर (रैंडम नॉइज़) की तरह दिखते हैं, भले ही एक अलग स्कोरिंग सिस्टम उन्हें सफल बताता रहे। टीम ने इस विफलता को पहचानने का एक सरल और तेज़ तरीका खोजा है, जिससे वे AI के काम पूरा करने के बाद खराब डिजाइनों को फ़िल्टर कर सकते हैं, बिना मॉडल को फिर से प्रशिक्षित किए या यह बदले बिना कि वह अनुक्रमों को कैसे उत्पन्न करता है।
समस्या तब उत्पन्न होती है जब शोधकर्ता इन भाषा मॉडलों (लैंग्वेज मॉडल्स) को एक विशिष्ट लक्ष्य की ओर निर्देशित करने का प्रयास करते हैं। कल्पना कीजिए कि एक मॉडल ने प्रत्येक ज्ञात प्रोटीन अनुक्रम को पढ़ा है और उन सूक्ष्म पैटर्न को समझता है जो उन्हें स्थिर बनाते हैं। वैज्ञानिक इसकी आंतरिक गणनाओं में एक विशिष्ट दिशा जोड़कर इस मॉडल को उत्पादन प्रक्रिया के दौरान प्रेरित कर सकते हैं, प्रभावी रूप से इसे कह सकते हैं, "इस प्रोटीन को अधिक घुलनशील बनाओ।" यह तकनीक, जिसे 'एक्टिवेशन स्टीयरिंग' कहा जाता है, लोकप्रिय है क्योंकि इसके लिए पूरे मॉडल को फिर से प्रशिक्षित करने की जटिल और महंगी प्रक्रिया की आवश्यकता नहीं होती है। लेकिन इसकी एक छिपी हुई लागत है। जब स्टीयरिंग बल बहुत मजबूत होता है, तो मॉडल प्राकृतिक पैटर्न पर अपनी पकड़ खो देता है। यह ऐसे अनुक्रम उत्पन्न करने लगता है जो सांख्यिकीय रूप से अमीनो एसिड की एक यादृच्छिक स्ट्रिंग से अलग नहीं होते।
शोधकर्ताओं ने घुलनशीलता पर परीक्षण करते समय इस विफलता को स्पष्ट रूप से देखा। हल्के मार्गदर्शन के तहत, AI ने ऐसे प्रोटीन बनाए जो अच्छी तरह से मुड़े (फोल्ड हुए) और जिनमें बेहतर घुलनशीलता थी। लेकिन जैसे ही उन्होंने स्टीयरिंग की शक्ति बढ़ाई, उत्पन्न प्रोटीनों की गुणवत्ता तेजी से गिर गई। मॉडल ने लगभग पूरी तरह से एक ही अमीनो एसिड, ग्लाइसिन से बनी लंबी श्रृंखलाएं उत्सर्जित करना शुरू कर दिया। ये श्रृंखलाएं इतनी सरल और दोहराव वाली थीं कि वे एक कार्यात्मक आकार में नहीं मुड़ सकती थीं। फिर भी, कंप्यूटर प्रोग्राम जिसने घुलनशीलता को मापा, ने इन टूटे हुए श्रृंखलाओं को एक आदर्श स्कोर दिया। मॉडल को यह सोचने के लिए मूर्ख बनाया गया था कि एक यादृच्छिक, ढह गया अनुक्रम एक सफलता है क्योंकि स्कोरिंग सिस्टम एक विशिष्ट संकेत की तलाश कर रहा था जिसकी नकल उस यादृच्छिक शोर ने कर दी थी। AI "मैनिफोल्ड" से हट गया था, जो एक ऐसा शब्द है जिसका उपयोग वैज्ञानिक उस घुमावदार सतह के लिए करते हैं जहाँ सभी प्राकृतिक, कार्यात्मक प्रोटीन रहते हैं, और सांख्यिकीय यादृच्छिकता के क्षेत्र में गिर गया।
यह समझने के लिए कि यह क्यों हुआ, टीम ने इन अनुक्रमों को उत्पन्न करते समय मॉडल के अपने "मस्तिष्क" के भीतर देखा। उन्होंने मॉडल द्वारा प्रत्येक अमीनो एसिड के लिए बनाए गए गणितीय निरूपणों (रिप्रेजेंटेशन) का परीक्षण किया। एक स्वस्थ उत्पादन में, ये निरूपण मूल्यों की एक विशिष्ट सीमा के भीतर रहते हैं जो मॉडल ने प्राकृतिक प्रोटीनों से सीखा है। जब स्टीयरिंग बहुत आक्रामक हो गई, तो ये मान सिकुड़ गए और औसत की ओर ढह गए, जिससे वे अनूठे अंतर खो गए जो एक वास्तविक प्रोटीन को परिभाषित करते हैं। शोधकर्ताओं ने पाया कि यह पतन एक विश्वसनीय चेतावनी संकेत था। प्रोटीन अनुक्रम के पूरी तरह से बनने से पहले ही, मॉडल की आंतरिक स्थिति विफलता के संकेत दिखाने लगी थी, जो कि उस स्थिति के समान हो गई थी जो तब होती यदि वह केवल यादृच्छिक अक्षरों का अनुमान लगा रहा होता।
टीम द्वारा प्रस्तावित समाधान आश्चर्यजनक रूप से सरल है और इसके लिए किसी नए प्रशिक्षण की आवश्यकता नहीं है। उन्होंने एक फ़िल्टर विकसित किया है जो AI द्वारा उत्पन्न किसी भी प्रोटीन पर अंतिम जांच के रूप में कार्य करता है। मॉडल द्वारा अनुक्रम बनाने के बाद, यह फ़िल्टर एक एकल स्कोर की गणना करता है कि प्राकृतिक प्रोटीनों की तुलना में उस अनुक्रम के आंतरिक निरूपण कितने विशिष्ट हैं। यदि स्कोर बहुत कम है, जो यह दर्शाता है कि अनुक्रम यादृच्छिकता में ढह गया है, तो फ़िल्टर उसे हटा देता है। यदि स्कोर पर्याप्त रूप से उच्च है, तो अनुक्रम को रखा जाता है। यह प्रक्रिया अविश्वसनीय रूप से तेज़ है, जिसमें प्रति प्रोटीन केवल एक सेकंड का अंश लगता है, और यह कंप्यूटर की बहुत कम मेमोरी का उपयोग करती है। यह इस बात को नहीं बदलता कि AI प्रोटीनों को कैसे उत्पन्न करता है; यह केवल उन अच्छे प्रोटीनों को चुनता है जो AI द्वारा बनाए गए बुरे ढेर में से आते हैं।
जब शोधकर्ताओं ने अपने प्रयोगों में इस फ़िल्टर को लागू किया, तो परिणाम चौंकाने वाले थे। समान स्तर के स्टीयरिंग बल के लिए, फ़िल्टर किए गए प्रोटीनों के सेट में अनफ़िल्टर्ड सेट की तुलना में बहुत उच्च संरचनात्मक गुणवत्ता थी। प्रोटीन स्थिर आकारों में मुड़ने के लिए अधिक संभावित थे, और उन्होंने अभी भी उन बेहतर गुणों को बनाए रखा जिन्हें शोधकर्ता खोज रहे थे। यह फ़िल्टर विभिन्न प्रकार के मार्गदर्शन के लिए भी उतना ही प्रभावी था, जिसमें वे तरीके शामिल हैं जो मॉडल को धकेलने के लिए ग्रेडिएंट्स का उपयोग करते हैं, जिससे यह सिद्ध होता है कि समस्या केवल एक तकनीक तक सीमित नहीं थी। टीम ने दिखाया कि केवल उन अनुक्रमों को अस्वीकार करके जो प्राकृतिक पथ से भटक गए थे, वे उन उच्च-गुणवत्ता वाले डिजाइनों को पुनः प्राप्त कर सकते थे जिन्हें AI ने अनजाने में सांख्यिकीय शोर के ढेर के नीचे दबा दिया था।
यह खोज बताती है कि वैज्ञानिकों को AI के साथ प्रोटीन डिजाइन के प्रति अपना दृष्टिकोण कैसे बदलना चाहिए। यह सुझाव देती है कि सफलता का सबसे स्पष्ट संकेत—एक गुण भविष्यवक्ता (प्रॉपर्टी प्रेडिक्टर) से उच्च स्कोर—पर्याप्त नहीं है। एक अनुक्रम कंप्यूटर परीक्षण पर उत्तम स्कोर कर सकता है जबकि वह संरचनात्मक रूप से बेकार हो। शोधकर्ताओं ने प्रदर्शित किया कि मॉडल की अपनी आंतरिक स्थिति इस बारे में सच्चाई रखती है कि कोई डिज़ाइन असली है या नकली। उस आंतरिक स्थिति को सुनकर, वे संकेत को शोर से अलग कर सकते हैं। यह कार्य प्रोटीन डिजाइन की समस्या को पूरी तरह से हल करने का दावा नहीं करता है, न ही यह वास्तविक दुनिया के प्रयोगशाला परीक्षण की आवश्यकता को प्रतिस्थापित करता है। इसके बजाय, यह एक व्यावहारिक, कम लागत वाला उपकरण प्रदान करता है ताकि यह सुनिश्चित किया जा सके कि AI द्वारा उत्पन्न डिजिटल डिज़ाइन वास्तव में प्रयोगशाला में परीक्षण करने योग्य हैं, जिससे शोधकर्ताओं को उन अनुक्रमों पर समय बर्बाद करने से बचाया जा सके जो केवल गणितीय भ्रम के अलावा कुछ नहीं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।