तकनीकी सारांश: प्रोटीन डिज़ाइन के लिए जैविक रूप से निर्देशित खोज के साथ स्व-सुधार अनुकरण (Self-Improvement Imitation)

समस्या का निरूपण

प्रोटीन इंजीनियरिंग को एक अनुक्रमिक निर्णय लेने वाली अनुकूलन समस्या (sequential decision-making optimization problem) के रूप में तैयार किया गया है, जिसका लक्ष्य एक सख्त मूल्यांकन बजट के तहत एक "फिटनेस" फ़ंक्शन (जैसे, थर्मोस्टेबिलिटी, बाइंडिंग एफिनिटी) को अधिकतम करना है। मुख्य चुनौती अनुक्रम स्थान ($20^L$) का विशाल संय combination आकार और एपिस्टेसिस (epistasis) की व्यापकता है, जो एक ऊबड़-खाबड़, विरल (sparse) और गैर-उत्तल (non-convex) फिटनेस परिदृश्य बनाता है। मौजूदा दृष्टिकोण तीन निरंतर सीमाओं का सामना करते हैं:

1. वैल्यू-आधारित अनुकूलन में अस्थिरता: वैल्यू फ़ंक्शंस पर निर्भर सुदृढीकरण शिक्षण (Reinforcement Learning - RL) विधियाँ हाइपरपैरामीटर्स के प्रति संवेदनशील होती हैं और शोर वाले सरोगेट रिवॉर्ड्स पर प्रशिक्षित होने पर त्रुटि प्रसार (error propagation) के प्रति संवेदनशील होती हैं।
2. स्थिति-अज्ञेय परिवर्तन (Position-Agnostic Mutations): कई विधियाँ अवशेष संरक्षण (residue conservation) की परवाह किए बिना उत्परिवर्तन प्रस्तावित करती हैं, जिससे कार्यात्मक रूप से महत्वपूर्ण साइटों के बाधित होने का जोखिम रहता है।
3. अकुशल अन्वेषण (Inefficient Exploration): सख्त ऑरेकल बजट के तहत, विधियाँ उच्च-मूल्य वाले क्षेत्रों को प्राथमिकता देने या अनावश्यक मूल्यांकनों से बचने में विफल रहती हैं।

लक्ष्य एक सीमित संख्या में ऑरेकल क्वेरीज़ ($N$ राउंड, प्रति राउंड $K$ क्वेरीज़) के भीतर एक शुरुआती अनुक्रम से उच्च फिटनेस वाले अनुक्रमों को डिज़ाइन करना है, जिसमें चयन को निर्देशित करने के लिए एक प्रॉक्सी मॉडल का उपयोग किया जाता है और अंतिम मूल्यांकन के लिए महंगे ऑरेकल को सुरक्षित रखा जाता है।

कार्यप्रणाली: SILO

लेखक SILO (Self-Improvement Imitation with Biologically Guided Search) पेश करते हैं, जो एक सक्रिय-शिक्षण (active-learning) ढांचा है जो संरचित नमूनाकरण (structured sampling), जैविक रूप से सूचित चयन और प्रक्षेपवक्र-स्तर के अनुकरण शिक्षण (trajectory-level imitation learning) को एकीकृत करता है। यह प्रक्रिया एक पुनरावृत्ति लूप में संचालित होती है:

1. पदानुक्रमित संपादन नीति और MDP निरूपण

SILO उम्मीदवार पीढ़ी को एडिट प्रक्षेपवक्रों (edit trajectories) पर एक मार्कोव निर्णय प्रक्रिया (MDP) के रूप में प्रस्तुत करता है। पूर्ण अनुक्रमों को एक साथ उत्पन्न करने के बजाय, एक ट्रांसफार्मर-आधारित नीति $\pi_\theta$ प्रत्येक उत्परिवर्तन को दो पदानुक्रमित चरणों में विभाजित करती है:

• लेवल-0: संशोधन के लिए एक स्थिति $i \in \{1, \dots, L\}$ का चयन करना।
• लेवल-1: चुने गए स्थान पर आधारित एक प्रतिस्थापन अमीनो एसिड $a \in \mathcal{V}$ का चयन करना।
  नीति को विकासवादी पूर्वग्रहों (evolutionary priors) को एनकोड करने वाले फ्रोजन ESM Cambrian एम्बेडिंग्स पर, दो पॉलिसी हेड्स के साथ एक हल्के वजन वाले ट्रांसफार्मर एनकोडर का उपयोग करके प्रशिक्षित किया जाता है।

2. संरचित नमूनाकरण (Incremental SBS)

विविध उम्मीदवार प्रक्षेपवक्रों को उत्पन्न करने के लिए, SILO इन्क्रीमेंटल स्टोकेस्टिक बीम सर्च (SBS) का उपयोग करता है। मानक बीम सर्च के विपरीत, SBS गम्बेल नॉइज़ (Gumbel noise) के साथ लॉग-संभाव्यता को विक्षोभ (perturb) करके बिना प्रतिस्थापन के प्रक्षेपवक्रों का नमूना लेता है। एक प्रक्षेपवक्र के नमूना लेने के बाद, उसका संभाव्यता द्रव्यमान हटा दिया जाता है, और वितरण को पुन: सामान्यीकृत (renormalized) किया जाता है। यह सुनिश्चित करता है कि उत्परिवर्तन बजट ($d_{max}$) के भीतर विविध एक्शन प्रक्षेपवक्रों का अन्वेषण किया जाए।

3. जैविक रूप से सूचित चयन

ऑरेकल मूल्यांकन से पहले, उम्मीदवारों को एक प्रॉक्सी एन्सेम्बल $f_\phi$ और एक विशिष्ट उद्देश्य फ़ंक्शन $S(x)$ का उपयोग करके स्कोर किया जाता है:
$$S(x) = \text{UCB}_{\text{proxy}}(x) + \text{UCB}_{\text{AFS}}(x)$$

• $\text{UCB}_{\text{proxy}}(x)$: प्रॉक्सी के माध्य भविष्यवाणी और अनिश्चितता पर आधारित एक अपर बाउंड कॉन्फिडेंस (Upper Confidence Bound), जो अन्वेषण और शोषण (exploration and exploitation) को संतुलित करता है।
• $\text{UCB}_{\text{AFS}}(x)$: एक एलेनिन-स्कैन फिटनेस स्कोर (Alanine-Scan Fitness Score)। यह शब्द उम्मीदवार के एक एलेनिन-प्रतिस्थापित वेरिएंट (जहाँ उत्परिवर्तित स्थितियों को एलेनिन से बदल दिया जाता है) का मूल्यांकन करता है। यदि एलेनिन वेरिएंट उच्च फिटनेस की भविष्यवाणी करता है, तो यह सुझाव देता है कि उत्परिवर्तित स्थितियाँ कार्यात्मक रूप से प्रासंगिक हैं और तटस्थ परिवर्तनों के प्रति सहनशील हैं। यह एक रैंकिंग सिग्नल के रूप में कार्य करता है जो उन उम्मीदवारों के भार को कम करता है जिनके प्रोटीन कार्य को बाधित करने की संभावना होती है।

4. प्रक्षेपवक्र-स्तर का स्व-सुधार अनुकरण (SIL)

वैल्यू फ़ंक्शंस को अनुकूलित करने वाली RL विधियों के विपरीत, SILO स्व-सुधार अनुकरण शिक्षण (Self-Improvement Imitation Learning) का उपयोग करता है।

• डेटा संग्रह: SBS नमूनाकरण से शीर्ष $K$ उम्मीदवारों का ऑरेकल द्वारा मूल्यांकन किया जाता है।
• अनुकरण लक्ष्य: शीर्ष $P$ ऑरेकल-लेबल वाले अनुक्रमों (BESTFOUND) और उनके संबंधित एक्शन प्रक्षेपवस्यों का चयन किया जाता है।
• प्रशिक्षण: नीति $\pi_\theta$ को BESTFOUND प्रक्षेपवस्यों से प्राप्त इतिहास-अगले एक्शन जोड़ों $(h(t), a(t))$ पर क्रॉस-एन्ट्रॉपी न्यूनीकरण के माध्यम से अपडेट किया जाता है। यह नीति को शोर वाले वैल्यू अनुमानों पर निर्भर रहने के बजाय सीधे शीर्ष प्रदर्शन करने वालों के कार्यों से सीखने की अनुमति देता है।

मुख्य योगदान

1. संरचित नमूनाकरण और जैविक रूप से सूचित चयन: विविध प्रक्षेपवक्य पीढ़ी के लिए इन्क्रीमेंटल SBS और चयन के लिए एलेनिन-स्कैन फिटनेस स्कोर (AFS) का संयोजन प्रदर्शन के अधिकांश लाभों को संचालित करता है। AFS शब्द विशेष रूप से संरक्षित अवशेषों को बाधित करने के जोखिम को कम करता है।
2. ऑरेकल-बजट सेटिंग्स में SIL का अनुकूलन: पेपर SIL प्रतिमान (जो सस्ते मूल्यांकनों के साथ रूटिंग और आणविक डिजाइन में उपयोग किया गया था) को प्रोटीन डिजाइन के संदर्भ में अनुकूलित करता है। शोर वाले प्रॉक्सी के तहत ऑरेकल-लेबल वाले प्रक्षेपवस्यों पर प्रशिक्षण देकर, SILO वैल्यू-फ़ंक्शन अनुमान के साथ जुड़ी अस्थिरता से बचता है।
3. अनुभवजन्य मजबूती (Empirical Robustness): ढांचा आठ प्रोटीन फिटनेस परिदृश्यों में निरंतर प्रदर्शन प्रदर्शित करता है, जो कम डेटा वाले शासन और शोर वाले प्रॉक्सी स्थितियों में भी प्रतिस्पर्धी बना रहता है जहाँ अन्य बेसलाइन खराब प्रदर्शन करती हैं।

प्रयोगात्मक परिणाम

लेखकों ने आठ बेंचमार्क डेटासेट (AAV, AMIE, E4B, GFP, LGK, Pab1, TEM, UBE2I) पर पांच मजबूत बेसलाइनों (PEX, AdaLead, GFN-AL-$\delta$CS, MLDE, ProSpero) के विरुद्ध SILO का मूल्यांकन किया।

• प्रदर्शन: SILO ने सभी 8 परिदृश्यों में उच्चतम अधिकतम फिटनेस (maximum fitness) और शीर्ष-100 माध्य फिटनेस (top-100 mean fitness) प्राप्त की। इसने अक्सर शुरुआती सक्रिय-शिक्षण दौरों में उच्च-फिटनेस वाले अनुक्रमों की खोज की, जो ऑरेकल बजट के अधिक कुशल उपयोग को दर्शाता है।
• कम-डेटा शासन: कम प्रारंभिक लेबल किए गए डेटा (10%, 20%, 50% of $D_0$) के साथ स्ट्रेस टेस्ट में, SILO स्थिर और प्रतिस्पर्धी रहा, जबकि GFN-AL-$\delta$CS जैसी विधियों में उल्लेखनीय गिरावट देखी गई।
• शोर वाला प्रॉक्सी: प्रॉक्सी मॉडल में जोड़े गए सिंथेटिक गौसियन शोर (SNR स्तर -25, -15, -5) के तहत, SILO ने उच्च प्रदर्शन बनाए रखा, जबकि ProSpero और PEX जैसे बेसलाइन काफी गिर गए।
• एब्लेशन अध्ययन (Ablation Studies):
  • संरचित नमूनाकरण को हटाने (मानक बीम सर्च के साथ बदलने) से प्रदर्शन कम हो गया।
  • AFS शब्द को हटाने से प्रदर्शन कम हुआ, जो जैविक रूप से निर्देशित चयन के मूल्य की पुष्टि करता है।
  • एक "फ्रोजन पॉलिसी" संस्करण (कोई इमिटेशन अपडेट नहीं) प्रतिस्पर्धी बना रहा, जो यह सुझाव देता है कि नमूनाकरण और चयन अधिकांश लाभों के लिए जिम्मेदार हैं, लेकिन पुनरावृत्ति अनुकरण ने अतिरिक्त सुधार प्रदान किया, विशेष रूप से AAV और Pab1 पर।

महत्व और दावे

पेपर दावा करता है कि SILO प्रोटीन अनुक्रम अनुकूलन के लिए एक प्रभावी दिशा का प्रतिनिधित्व करता है, जो सीखने, नमूनाकरण और जैविक रूप से निर्देशित चयन को सफलतापूर्वक एकीकृत करता है।

• स्थिरता: वैल्यू-फ़ंक्शन अनुमान को दरकिनार करके और ऑरेकल-लेबल प्रक्षेपवस्यों के क्रॉस-एन्ट्रॉपी अनुकरण पर भरोसा करके, SILO शोर वाले सरोगेट रिवॉर्ड्स के साथ RL के लिए एक अधिक स्थिर विकल्प प्रदान करता है।
• दक्षता: विधि बेसलाइनों की तुलना में उच्च-फिटनेस वाले उम्मीदवारों की पहचान तेजी से करती है, जो इसे उन परिदृश्यों के लिए उपयुक्त बनाती है जहाँ प्रयोगात्मक मूल्यांकन महंगा है।
• जैविक प्रासंगिकता: एलेनिन-स्कैन फिटनेस स्कोर का समावेश यह सुनिश्चित करता है कि खोज जैविक सिद्धांतों द्वारा निर्देशित है, जिससे गैर-कार्यात्मक वेरिएंट उत्पन्न होने की संभावना कम हो जाती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि SILO इन सिलिको बेंचमार्क में उत्कृष्ट है, भविष्य के कार्य को बड़े उत्परिवर्तन बजट के तहत विधि के मूल्यांकन और ऑरेकल एवं जैविक वास्तविकता के बीच संभावित डोमेन शिफ्ट को संबोधित करने के लिए वेट-लैब सेटिंग्स में इसके प्रदर्शन को मान्य करने पर ध्यान केंद्रित करना चाहिए।