🧬 biology

PROTOCOL: Late Interaction Retrieval for Protein Homolog Search

यह शोध पत्र ProtoCol को प्रस्तुत करता है, जो एक प्रोटीन होमोलॉजी खोज मॉडल है जो अनुक्रम समानता के "ट्वाइलाइट ज़ोन" (twilight zone) के भीतर रिमोट होमोलॉग्स की पहचान करने में मौजूदा अलाइनमेंट-आधारित और पूल्ड रिप्रेजेंटेशन विधियों से बेहतर प्रदर्शन करने के लिए अवशेष-स्तर (residue-level) के एम्बेडिंग्स पर ColBERT-शैली के लेट इंटरैक्शन का लाभ उठाता है।

मूल लेखक: Gabrielle Cohn, Rohan Gumaste, Minh Hoang, Vihan Lakshman

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gabrielle Cohn, Rohan Gumaste, Minh Hoang, Vihan Lakshman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पारिवारिक मिलन समारोह में अपने एक खोए हुए दूर के रिश्तेदार (कजिन) को खोजने की कोशिश कर रहे हैं। जीव विज्ञान की दुनिया में, ये "रिश्तेदार" प्रोटीन हैं जो एक ही पूर्वज से उत्पन्न हुए हैं। कभी-कभी, वे सतह पर इतने अलग दिखते हैं कि उनके बीच का संबंध पहचानना कठिन हो जाता है। वैज्ञानिक इस स्थिति को प्रोटीन खोज का "ट्वाइलाइट ज़ोन" (twilight zone) कहते हैं।

दशकों तक, इन रिश्तेदारों को खोजने का मानक तरीका उनके पूरे अनुक्रम (sequence) को एक साथ रखना था (जैसे दो लंबे वाक्यों की शब्द-दर-शब्द तुलना करना) और यह देखना था कि कितने शब्द मेल खाते हैं। लेकिन यदि समय के साथ वाक्य बहुत अधिक बदल गए हों, तो यह विधि उस संबंध को पकड़ने में विफल रहती है।

हाल ही में, वैज्ञानिकों ने प्रोटीन को समझने के लिए AI मॉडल (जिन्हें प्रोटीन लैंग्वेज मॉडल कहा जाता है) का उपयोग करना शुरू किया। ये AI मॉडल सुपर-स्मार्ट पाठकों की तरह हैं जो प्रोटीन के हर अमीनो एसिड (जो प्रोटीन के निर्माण खंड हैं) के "संदर्भ" (context) को समझते हैं। हालाँकि, अधिकांश AI मॉडलों में एक दोष था: जब वे दो प्रोटीनों की तुलना करने की कोशिश करते थे, तो वे पूरे प्रोटीन को एक एकल सारांश संख्या (single summary number) में सिकोड़ देते थे (जैसे कि एक सिंगल आईडी कार्ड)।

"सिंगल आईडी कार्ड" की समस्या
कल्पना कीजिए कि आप किसी व्यक्ति की पहचान केवल दूर से ली गई उसके पूरे शरीर की एक धुंधली फोटो देखकर करने की कोशिश कर रहे हैं। आप उसके हाथ पर बना कोई विशिष्ट, अनूठा टैटू या उसके घुटने पर लगा कोई निशान मिस कर सकते हैं। प्रोटीनों में, ये "टैटू" छोटे, अत्यधिक संरक्षित पैटर्न (motifs) होते हैं जो यह साबित करने के लिए महत्वपूर्ण होते हैं कि दो प्रोटीन आपस में संबंधित हैं, भले ही प्रोटीन का बाकी हिस्सा अलग दिखता हो। पूरे प्रोटीन को एक संख्या में सिकोड़कर, पुराने AI तरीके इन महत्वपूर्ण स्थानीय विवरणों को धुंधला कर देते थे।

समाधान: PROTOCOL
लेखकों ने PROTOCOL नामक एक नई प्रणाली पेश की है। प्रोटीन को एक "सिंगल आईडी कार्ड" में सिकोड़ने के बजाय, PROTOCOL एक प्रोटीन को व्यक्तिगत "रेसिड्यू" एम्बेडिंग्स (residue embeddings) के संग्रह के रूप में देखता है। इसे ऐसे समझें कि यह केवल एक धुंधली ग्रुप फोटो दिखाने के बजाय, प्रोटीन के हर एक अमीनो एसिड की हाई-रिज़ॉल्यूशन फोटो रखता है।

वे "लेट इंटरैक्शन" (Late Interaction) नामक तकनीक का उपयोग करते हैं (जो सर्च इंजन द्वारा दस्तावेज़ खोजने के तरीके से ली गई है)। यह इस प्रकार काम करता है:

क्वेरी (Query): आप अपने "खोज" वाले प्रोटीन को लेते हैं और उसके व्यक्तिगत हिस्सों को देखते हैं।
डेटाबेस (Database): आप "उम्मीदवार" (candidate) प्रोटीनों को देखते हैं, जिन्हें भी व्यक्तिगत हिस्सों में तोड़ा गया है।
मैच (Match): पूरे प्रोटीन की एक साथ तुलना करने के बजाय, सिस्टम पूछता है: "क्या मेरे खोज प्रोटीन का कोई भी एक हिस्सा, इस उम्मीदवार प्रोटीन के किसी भी एक हिस्से से बहुत अच्छी तरह मेल खाता है?"
स्कोर (Score): यह सबसे अच्छे मैचों को जोड़ता है। यदि कुछ छोटे, महत्वपूर्ण हिस्से भी पूरी तरह से मेल खा जाते हैं, तो सिस्टम उच्च स्कोर देता है, भले ही बाकी प्रोटीन अलग दिख रहे हों।

उपमा: जासूस बनाम बाउंसर

पुराने तरीके (बाउंसर): बाउंसर पूरी भीड़ को देखता है और निर्णय लेता है, "तुम वीआईपी (VIP) जैसे नहीं दिखते, इसलिए तुम अंदर नहीं आ सकते।" वे वीआईपी को मिस कर देते हैं क्योंकि वे बहुत व्यापक स्तर पर पूरी तस्वीर देख रहे होते हैं।
PROTOCOL (जासूस): जासूस भीड़ के बीच घूमता है और विशिष्ट विवरणों की जांच करता है। "रुको, इस आदमी के पास वही दुर्लभ घड़ी है जो वीआईपी के पास है। और इस महिला के जूते के फीते भी अनोखे हैं।" भले ही उनके बाकी कपड़े अलग हों, जासूस संबंध ढूंढ लेता है क्योंकि वह पूरे पहनावे के बजाय विशिष्ट विवरणों (residues) को देख रहा है।

उन्होंने क्या पाया
शोधकर्ताओं ने PROTOCOl का परीक्षण दो विशाल प्रोटीन डेटाबेस (SCOPe और Pfam) पर किया। उन्होंने इसकी तुलना निम्नलिखित से की:

पुराने स्कूल के अलाइनमेंट टूल्स (जैसे BLAST)।
"सिंगल आईडी कार्ड" वाले AI तरीके।
रैंडम गेसिंग (अंदाजा लगाने वाले) तरीके।

परिणाम:

PROTOCOL जीत गया। इसने अन्य सभी तरीकों की तुलना में अधिक दूर के रिश्तेदारों को खोजा, विशेष रूप से तब जब प्रोटीन एक-दूसरे से बहुत भिन्न थे।
इसने संरचना सीखी: जब वैज्ञानिकों ने यह देखने के लिए विज़ुअलाइज़ किया कि PROTOCOL प्रोटीनों को कैसे मैच करता है, तो उन्होंने देखा कि यह स्वाभाविक रूप से प्रोटीन के उन हिस्सों को समूहबद्ध करता है जो विशिष्ट आकार (जैसे हेलिक्स या शीट्स) बनाते हैं, भले ही AI को स्पष्ट रूप से 3D आकृतियों के बारे में नहीं सिखाया गया था। इसने यह समझ लिया कि "ये विशिष्ट अमीनो एसिड एक साथ हैं" केवल अनुक्रम डेटा को देखकर।
फाइन-ट्यूनिंग ने मदद की: मॉडल का एक संस्करण जिसे इन संबंधों को खोजने के लिए "प्रशिक्षित" (trained) किया गया था, उसने "फ्रोजन" (अनप्रशिक्षित) संस्करण की तुलना में बेहतर प्रदर्शन किया, जिससे यह सिद्ध हुआ कि सिस्टम ने सबसे महत्वपूर्ण जैविक संकेतों पर अपना ध्यान केंद्रित करना सीख लिया है।

सारांश में
PROTOCOL यह सिद्ध करता है कि दूर के प्रोटीन रिश्तेदारों को खोजने के लिए, आपको केवल "बड़ी तस्वीर" नहीं देखनी चाहिए। आपको विवरणों को स्पष्ट रखना होगा और प्रोटीनों की टुकड़ों-में-टुकड़े तुलना करनी होगी। ऐसा करके, यह सफलतापूर्वक उस "ट्वाइलाइट ज़ोन" में सफलतापूर्वक नेविगेट करता है जहाँ अन्य तरीके विफल हो जाते हैं, और उन कनेक्शनों को खोज निकालता है जो पहले छिपे हुए थे।

तकनीकी सारांश: प्रोटीन होमोलॉग खोज के लिए PROTOCOL

समस्या विवरण

प्रोटीन होमोलॉजी (समरूपता) खोज, फंक्शन एनोटेशन, संरचना भविष्यवाणी और विकासवादी विश्लेषण के लिए मौलिक है। हालांकि, "रिमोट होमोलॉग्स" (दूर के समरूपों) के बीच संबंधों का पता लगाना एक महत्वपूर्ण चुनौती बनी हुई है। अनुक्रम समानता के "ट्वाइलाइट ज़ोन" (twilight zone) में, वैश्विक संरेखण विधियाँ (जैसे BLAST, HMMER) अक्सर संवेदनशीलता खो देती हैं क्योंकि प्रत्यक्ष अनुक्रम-स्तर की समानता कमजोर होती है, भले ही संरक्षित मोटिफ (motifs), डोमेन या संरचनात्मक बाधाएं साझा पूर्वज का संकेत देती हों।

जबकि प्रोटीन लैंग्वेज मॉडल्स (PLMs) संदर्भ-जागरूक अवशेष एम्बेडिंग (residue embeddings) प्रदान करते हैं जो संरचनात्मक और विकासवादी संकेतों को एनकोड करते हैं, मानक रिट्रीवल पाइपलाइन आमतौर पर इन एम्बेडिंग्स को एक एकल प्रोटीन-स्तरीय वेक्टर में पूल करती हैं। यह दृष्टिकोण, हालांकि कुशल है, स्थानीय साक्ष्य को कम करने का जोखिम उठाता है—जैसे कि विशिष्ट संरक्षित अवशेष या छोटे संरचनात्मक मोटिफ—जो रिमोट होमोलॉजी की पहचान के लिए निर्णायक हो सकते हैं। यह कार्य जिस केंद्रीय प्रश्न को संबोधित करता है वह यह है कि क्या प्रोटीन को अवशेष एम्बेडिंग्स के सेट के रूप में प्रस्तुत करना और लेट इंटरेक्शन (late interaction) के माध्यम से उनकी तुलना करना, पूल्ड वेक्टर रिप्रजेंटेशन की तुलना में होमोलॉग रिट्रीवल प्रदर्शन में सुधार करता है।

कार्यप्रणाली (Methodology)

लेखक PROTOCOL ("proteins" के साथ "ColBERT") पेश करते हैं, जो प्रोटीन अनुक्रमों के लिए अनुकूलित एक लेट-इंटरेक्शन रिट्रीवल मॉडल है (Khattab & Zaharia, 2020 के ColBERT प्रतिमान से प्रेरित)।

आर्किटेक्चर और एनकोडिंग

एनकोडर: PROTOCOL एक प्रोटीन अनुक्रम $x = (x_1, \dots, x_T)$ के लिए कॉन्टेक्स्टुअल अवशेष एम्बेडिंग ( $h_t$ ) उत्पन्न करने के लिए ESM-2 35M बैकबोन का उपयोग करता है।
प्रोजेक्शन: एक लीनियर प्रोजेक्शन $W$ के बाद L2 नॉर्मलाइजेशन इन एम्बेडिंग्स को एक निम्न-आयामी स्थान ( $D=128$ ) में बदल देता है।
प्रशिक्षण रणनीति: एक मामूली ट्रेन करने योग्य फुटप्रिंट बनाए रखने के लिए, एम्बेडिंग लेयर और निचले ट्रांसफार्मर ब्लॉक्स को फ्रीज कर दिया जाता है। केवल अंतिम तीन ट्रांसफार्मर लेयर्स, पोस्ट-स्टैक लेयरनॉर्म (LayerNorm), और प्रोजेक्शन मैट्रिक्स $W$ को फाइन-ट्यून किया जाता है।
रिप्रजेंटेशन: प्रत्येक प्रोटीन को एक एकल पूल्ड वेक्टर के बजाय, L2-नॉर्मलाइज्ड अवशेष एम्बेडिंग्स $E = \{e_1, \dots, e_T\}$ के एक परिवर्तनीय-लंबाई वाले सेट के रूप में दर्शाया जाता है।

स्कोरिंग मैकेनिज्म (MaxSim)

PROTOCOL स्कोरिंग के लिए MaxSim ऑपरेटर का उपयोग करता है। दो प्रोटीन वेक्टर्स के बीच ग्लोबल कोसाइन सिमिलरिटी की गणना करने के बजाय, यह अवशेष स्तर पर समानता की गणना करता है:
$\text{MaxSim}(E_q, E_d) = \sum_{i=1}^{T_q} \max_{j \in [T_d]} \langle e^q_i, e^d_j \rangle$
यह प्रत्येक क्वेरी प्रोटीन के प्रत्येक अवशेष को कैंडिडेट प्रोटीन के किसी भी अवशेष के साथ अपने सबसे मजबूत मिलान में योगदान देने की अनुमति देता है। यह फाइन-ग्रेन्ड मैचिंग क्षमताओं को सुरक्षित रखता है जबकि यह भी सुनिश्चित करता है कि कैंडिडेट रिप्रजेंटेशन को स्वतंत्र रूप से प्रीकंप्यूट और इंडेक्स किया जा सके।

प्रशिक्षण उद्देश्य (Training Objective)

मॉडल को एक सिमेट्रिक InfoNCE कंट्रास्टिव ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है। ट्रेनिंग पेयर्स में एक एंकर प्रोटीन और एक पॉजिटिव प्रोटीन शामिल होता है जिसे एक ही विकासवादी समूह (SCOPe के लिए superfamily या Pfam के लिए clan) से लिया गया है। लॉस फंक्शन होमोलॉग्स के बीच की दूरी को कम करता है और इन-बैच नॉन-होमोलॉग्स के बीच की दूरी को अधिकतम करता है, जिससे एम्बेडिंग स्पेस को इस तरह आकार दिया जाता है कि वह वास्तविक होमोलॉग्स के लिए उच्च लेट-इंटरेक्शन स्कोर को पुरस्कृत करे।

मुख्य योगदान

प्रोटीनों के लिए लेट इंटरेक्शन का अनुकूलन: यह पेपर सफलतापूर्वक ColBERT रिट्रीवल प्रतिमान को प्रोटीन अनुक्रमों पर अनुकूलित करता है, जहाँ टेक्स्ट टोकन को अमीनो एसिड अवशेषों से और डॉक्यूमेंट्स को कैंडिडेट प्रोटीनों से बदल दिया जाता है।
अवशेष-स्तर का संरक्षण: पिछले PLM-आधारित रिट्रीवल मेथड्स के विपरीत, जो एम्बेडिंग्स को पूल करते हैं, PROTOCOL स्कोरिंग लेयर के दौरान टोकन-स्तर (अवशेष-स्तर) की संरचना को बनाए रखता है, जिसका अनुमान है कि यह स्थानीय विकासवादी साक्ष्य को सुरक्षित रखता है।
व्यापक बेसलाइन तुलना: अध्ययन विशिष्ट कारकों को अलग करता है जो रिट्रीवल प्रदर्शन में योगदान देते हैं, जिनमें अनुक्रम संरचना (MinHash), संरेखण संवेदनशीलता (MMseqs2), PLM स्केल (ESM-2 650M), कंट्रास्टिव फाइन-ट्यूनिंग, और पूल्ड वेक्टर्स बनाम विशिष्ट लेट इंटरेक्शन का योगदान शामिल है।

प्रयोगात्मक परिणाम

लेखकों ने दो बेंचमार्क पर PROTOCOL का मूल्यांकन किया: SCOPe superfamily और Pfam clan रिट्रीवल। उपयोग किया गया मूल्यांकन मेट्रिक capped recall@k (cR@k) था, जो रिकॉल को टॉप- $k$ में संभव प्रासंगिक प्रोटीनों की अधिकतम संख्या द्वारा सामान्यीकृत करता है।

प्रदर्शन की मुख्य बातें

बेसलाइन्स पर श्रेष्ठता: SCOPe और Pfam दोनों बेंचमार्क पर, प्रशिक्षित PROTOCOL मॉडल सभी बेसलाइन्स से बेहतर रहा, जिसमें अनुक्रम-संरचना विधियाँ (MinHash), संरेखण-आधारित उपकरण (MMseqs2), और पूल्ड PLM दृष्टिकोण (ESM-2 650M mean-pooled) शामिल हैं।
लेट इंटरेक्शन का प्रभाव: सबसे महत्वपूर्ण तुलना Uni-vector ESM-2 35M के विरुद्ध थी, जिसने समान बैकबोन और कंट्रास्टिव ट्रेनिंग का उपयोग किया था, लेकिन अवशेषों को एक एकल वेक्टर में पूल कर दिया था। PROTOCOL ने इस एब्लेशन (ablation) से लगातार बेहतर प्रदर्शन किया (उदाहरण के लिए, SCOPe पर cR@1 पर +6.87 अंक और cR@10 पर +21.07), जो यह दर्शाता है कि लाभ केवल फाइन-ट्यूनिंग के कारण नहीं बल्कि अवशेष-स्तर के स्कोरिंग मैकेनिज्म के कारण है।
डीप रिट्रीवल लाभ: गहरे रिट्रीवल कटऑफ (cR@10, cR@100) पर प्रदर्शन का अंतर बढ़ गया, जो यह सुझाव देता है कि कई रिमोट होमोलॉग्स की पहचान करने के लिए एक एकल ग्लोबल रिप्रजेंटेशन से परे साक्ष्य की आवश्यकता होती है।
संरचनात्मक सहसंबंध: अवशेष-स्तर के सिमिलरिटी मैट्रिसेस के विश्लेषण ने एक ब्लॉक-डायगोनल संरचना प्रकट की जो सेकेंडरी स्ट्रक्चर बाउंड्रीज़ (जैसे $\beta$ -स्ट्रैंड्स बनाम कॉइल्स) के साथ मेल खाती है। यह इंगित करता है कि सीखे गए एम्बेडिंग्स स्पष्ट रूप से संरचनात्मक संगठन को एनकोड करते हैं, जिससे समानता जैविक रूप से सार्थक डोमेन के साथ संरेखित होती है।

महत्व और दावे

यह पेपर दावा करता है कि लेट इंटरेक्शन रिमोट होमोलॉजी सर्च के लिए एक प्रभावी रिट्रीवल लेयर है। परिणाम इस परिकल्पना का समर्थन करते हैं कि प्रोटीनों को अवशेष एम्बेडिंग्स के सेट के रूप में प्रस्तुत करना और उनकी तुलना MaxSim के माध्यम से करना, उस "ट्वाइलाइट ज़ोन" में रिट्रीवल संवेदनशीलता में सुधार करता है जहाँ शास्त्रीय विधियाँ विफल हो जाती हैं।

लेखक इस बात पर जोर देते हैं कि सुधार केवल एक बड़े मॉडल या कंट्रास्टिव फाइन-ट्यूनिंग का परिणाम नहीं है, बल्कि विशेष रूप से स्थानीय अवशेष-स्तर के साक्ष्य को संरक्षित करने और तुलना करने के कारण है। इसके अलावा, प्रशिक्षित मॉडल का फ्रीज़्ड वेरिएंट पर पर्याप्त प्रदर्शन लाभ यह सुझाव देता है कि कमजोर होमोलॉजी सुपरविजन सेकेंडरी स्ट्रक्चर की मॉडल की समझ को तेज करता है, जिससे एम्बेडिंग्स को शुद्ध रूप से अनुक्रमिक लाइनों के बजाय संरचनात्मक रूप से सार्थक लाइनों के साथ व्यवस्थित किया जाता है।

कार्य इस निष्कर्ष के साथ समाप्त होता है कि हालांकि PROTOCOL इस दृष्टिकोण की प्रभावकारिता को प्रदर्शित करता है, लेकिन ऑर्डर-ऑफ-मैग्निट्यूड बड़े प्रोटीन डेटाबेस पर इस पद्धति को कुशलतापूर्वक स्केल करने के तरीके की जांच करने के लिए भविष्य के कार्य की आवश्यकता है।