ProtBLIP2-SST: Protein Function Prediction via BLIP2 with Sequence, Structure, and Text

कल्पना कीजिए कि आपके पास एक प्रोटीन है, जो मूल रूप से अमीनो एसिड की एक लंबी श्रृंखला से बनी एक छोटी, जटिल मशीन है। लंबे समय तक, इन मशीनों के काम को समझने की कोशिश करने वाले वैज्ञानिक "लेबल का अनुमान लगाने" का खेल खेल रहे थे। वे स्ट्रिंग (श्रृंखला) को देखते थे और एक कठोर चेकलिस्ट पर बॉक्स टिक करने की कोशिश करते थे, जैसे "क्या यह DNA से जुड़ता है? हाँ/नहीं।" यह एक पूरी फिल्म का वर्णन करने के लिए केवल "एक्शन," "कॉमेडी," या "ड्रामा" को चेक करने जैसा है। आप कहानी, पात्रों और अहसास को खो देते हैं।

अन्य शोधकर्ताओं ने इन प्रोटीनों के बारे में मुक्त रूप से कहानियाँ लिखने के लिए बड़े AI चैटबॉट्स (लार्ज लैंग्वेज मॉडल्स) का उपयोग करने की कोशिश की। लेकिन एक समस्या थी: ये AI मॉडल केवल अमीनो एसिड स्ट्रिंग को देख रहे थे। वे उस रेसिपी को पढ़ रहे थे लेकिन उस केक के 3D आकार को अनदेखा कर रहे थे जो वह बनाता है। चूंकि एक प्रोटीन का कार्य अक्सर इस बात पर निर्भर करता है कि वह एक विशिष्ट 3D आकार में कैसे मुड़ता (fold) है, इसलिए संरचना को अनदेखा करना एक कार के इंजन को केवल उसके पुर्जों की सूची पढ़कर समझने जैसा था, बिना यह देखे कि वे आपस में कैसे फिट होते हैं।

बड़ा विचार: ProtBLIP2-SST
इस पेपर के लेखकों ने इसे ठीक करने के लिए ProtBLIP2-SST नामक एक नया सिस्टम बनाया। इसे एक सुपर-स्मार्ट अनुवादक के रूप में सोचें जो न केवल सामग्री (सीक्वेंस) को पढ़ता है बल्कि एक ब्लूप्रिंट (3D संरचना) को भी पकड़कर रखता है जबकि वह कहानी लिख रहा होता है।

उन्होंने इसे चरण-दर-चरण इस प्रकार बनाया:

1. "स्ट्रक्चर-अवेयर" (संरचना-जागरूक) डिक्शनरी
सबसे पहले, उन्हें अपने AI में अमीनो एसिड स्ट्रिंग और 3D आकार दोनों को फीड करने का एक तरीका चाहिए था। उन्होंने SaProt नामक एक टूल का उपयोग किया। कल्पना कीजिए कि SaProt एक ऐसा शब्दकोश है जिसमें न केवल अमीनो एसिड (जैसे "A" या "B") के लिए शब्द हैं, बल्कि 3D आकार (जैसे "मुड़ा हुआ" या "टेढ़ा") के लिए विशेष टोकन भी हैं। यह सीक्वेंस और स्ट्रक्चर को एक ही, सुपर-विस्तृत विवरण में मिला देता है।

2. "अनुवादक" (Q-Former)
इसके बाद, उन्हें इस नए, जटिल प्रोटीन भाषा को समझने के लिए AI को सिखाने की आवश्यकता थी। उन्होंने एक "अनुवादक" मॉड्यूल का उपयोग किया जिसे Q-Former कहा जाता है (जो BLIP-2 नामक मॉडल से लिया गया है)।

• सेटअप: उन्होंने प्रोटीन एनकोडर (SaProt) और टेक्स्ट एनकोडर (BiomedBERT) को फ्रीज कर दिया ताकि वे जो पहले से जानते हैं उसे भूल न जाएं।
• प्रशिक्षण: उन्होंने Q-Former को एक सेतु (ब्रिज) के रूप में कार्य करने के लिए प्रशिक्षित किया। इसने सीखने के लिए तीन अलग-अलग तरीकों का उपयोग किया:
  • कॉन्ट्रास्टिव लर्निंग (तुलनात्मक शिक्षण): "हे, यह प्रोटीन और यह टेक्स्ट विवरण एक साथ जाते हैं; वह दूसरा नहीं जाता।"
  • मैचिंग (मिलान): "क्या यह विशिष्ट प्रोटीन वही है जिसका इस पैराग्राफ में वर्णन किया गया है? हाँ या नहीं?"
  • कैप्शनिंग (शीर्षक लेखन): "यहाँ एक प्रोटीन है; इसके बारे में एक छोटी कहानी लिखें।"
• परिणाम: Q-Former ने सबसे महत्वपूर्ण "प्रोटीन फीचर्स" को उनकी सीक्वेंस और स्ट्रक्चर से निकालने और उन्हें ऐसे फॉर्मेट में बदलने का तरीका सीखा जिसे बड़ा AI समझ सके।

3. "कहानीकार" (Galactica)
अंत में, उन्होंने इस अनुवादक को Galactica-1.3B नामक एक वैज्ञानिक AI से जोड़ा। उन्होंने पूरे विशाल मस्तिष्क को फिर से प्रशिक्षित नहीं किया (क्योंकि यह बहुत महंगा होगा); इसके बजाय, उन्होंने एक हल्का 'एडॉप्टर' जिसे LoRA कहा जाता है, का उपयोग करके इसे प्रोटीन फीचर्स को सुनने के लिए सिखाया। अब, जब आप इसे एक प्रोटीन देते हैं, तो यह केवल एक चेकलिस्ट नहीं थोंपता। यह एक समृद्ध, मुक्त-टेक्स्ट विवरण लिखता है जो बताता है कि प्रोटीन क्या करता है, कोशिका में कहाँ रहता है, और यह किस परिवार से संबंधित है।

उन्होंने क्या पाया (साक्ष्य)
टीम ने 441,000 प्रोटीन-टेक्स्ट पेयर्स के एक विशाल डेटासेट पर इसका परीक्षण किया, जो Swiss-Prot से लिए गए थे और AlphaFold Database से प्राप्त 3D संरचनाओं के साथ जोड़े गए थे।

• स्कोर: उनके नए मॉडल, ProtBLIP2-SST ने लगभग हर टेस्ट में पिछले सर्वश्रेष्ठ मॉडलों (जैसे ProtT3) को पछाड़ दिया।
  • रिट्रीवल (सही टेक्स्ट खोजने) के लिए, उनके 650M वर्जन वाले मॉडल ने औसतन 90.83 का स्कोर प्राप्त किया, जो सीक्वेंस-ओनली मॉडल्स से बेहतर था।
  • विवरण लिखने (कैप्शनिंग) के लिए, इसने सीक्वेंस-ओनली वर्जन की तुलना में BLEU-4 (58.53) और ROUGE-L (68.23) जैसे मेट्रिक्स पर उच्च स्कोर किया।
• "अहा!" क्षण: उन्होंने यह देखने के लिए गहराई से जांच की कि यह बेहतर क्यों काम कर रहा था। उन्होंने पाया कि 3D संरचना जोड़ने से प्रोटीन के कार्य (FUNCTION) (जैसे "यह एंजाइम चीनी को तोड़ता है") को समझाने में सबसे अधिक मदद मिली। यह समझ में आता है क्योंकि कार्य अक्सर 3D आकार पर निर्भर करता है।
• सीमा: हालाँकि, 3D संरचना ने समानता (SIMILARITY) लेबल (जैसे "यह परिवार X जैसा दिखता है") के साथ ज्यादा मदद नहीं की। पेपर सुझाव देता है कि ऐसा इसलिए है क्योंकि समानता मुख्य रूप से अक्षरों के क्रम (sequence) के बारे में है, न कि आकार के बारे में।

उन्होंने क्या खारिज किया
पेपर स्पष्ट रूप से कुछ चीजों के विरुद्ध तर्क देता है:

• केवल सीक्वेंस पर्याप्त नहीं है: उन्होंने दिखाया कि केवल अमीनो एसिड स्ट्रिंग (बिना 3D संरचना के) को देखने वाले मॉडल लगातार कम स्कोर करते हैं।
• अलग-अलग एनकोडर अव्यवस्थित हैं: उन्होंने उन मॉडल्स के विरुद्ध तर्क दिया जो सीक्वेंस और स्ट्रक्चर को अलग-अलग एनकोड करते हैं और फिर उन्हें बाद में जोड़ने की कोशिश करते हैं। उनका तरीका उन्हें शुरुआत से ही मिला देता है, जो बेहतर काम करता है।
• कच्चा डेटा सीधे डालना काम नहीं करता: उन्होंने बिना Q-Former अनुवादक के सीधे अमीनो एसिड स्ट्रिंग को AI को खिलाने की कोशिश की, और यह बुरी तरह विफल रहा (कुछ परीक्षणों में 0.00 सटीक मिलान)। "अनुवाद" का चरण अत्यंत महत्वपूर्ण है।

वे कितने आश्वस्त हैं?
लेखक अपने नंबरों को लेकर काफी आश्वस्त हैं क्योंकि उन्होंने 9,239 प्रोटीनों के एक 'होल्ड-आउट' सेट पर परीक्षण किया जिन्हें उन्होंने पहले नहीं देखा था। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने मापा।

• उन्होंने पाया कि उनके मॉडल ने 35M स्केल पर सीक्वेंस-ओनली मॉडल की तुलना में 24 अधिक सटीक मिलान जीते, और 650M स्केल पर 22 अधिक।
• वे सुझाव देते हैं कि 3D संरचना से होने वाला लाभ "टास्क-डिपेंडेंट" (कार्य-निर्भर) है, जिसका अर्थ है कि यह कुछ कार्यों (कार्य/function) के लिए बहुत मददगार है लेकिन अन्य (समानता/similarity) के लिए नहीं।

निष्कर्ष
ProtBLIP2-SST यह सुझाव देता है कि यदि आप चाहते हैं कि कोई AI वास्तव में एक प्रोटीन की कहानी को समझे, तो आप उसे केवल रेसिपी नहीं दे सकते; आपको उसे 3D आकार भी दिखाना होगा। सीक्वेंस, स्ट्रक्चर और एक स्मार्ट अनुवादक को जोड़कर, उन्होंने प्रोटीन कार्यों के लचीले, मानव-पठनीय विवरण उत्पन्न करने वाली एक प्रणाली बनाई है, जो कठोर चेकलिस्ट से हटकर खुले अंत वाले कहानी कहने (storytelling) की ओर बढ़ती है।