ProtNHF: Neural Hamiltonian Flows for Controllable Protein Sequence Generation

यहाँ शोध पत्र "ProtNHF: Neural Hamiltonian Flows for Controllable Protein Sequence Generation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

नियंत्रित प्रोटीन अनुक्रम उत्पादन (Controllable protein sequence generation) कम्प्यूटेशनल प्रोटीन डिज़ाइन में एक महत्वपूर्ण चुनौती है। जबकि मौजूदा जनरेटिव मॉडल (डिफ्यूजन, ऑटोरेग्रेसिव, फ्लो-आधारित) विविध और संरचनात्मक रूप से प्रशंसनीय प्रोटीन उत्पन्न कर सकते हैं, वे वैश्विक अनुक्रम गुणों (जैसे अमीनो एसिड संरचना, शुद्ध आवेश, घुलनशीलता) पर मात्रात्मक, निरंतर नियंत्रण (quantitative, continuous control) करने में संघर्ष करते हैं, बिना किसी महत्वपूर्ण कम्प्यूटेशनल ओवरहेड के।

वर्तमान विधियाँ आमतौर पर निम्नलिखित पर निर्भर करती हैं:

• पुनः प्रशिक्षण/फाइन-ट्यूनिंग (Retraining/Fine-tuning): प्रत्येक नए लक्षित गुण के लिए मॉडल को संशोधित करना।
• वास्तुकला परिवर्तन (Architectural Changes): विशिष्ट कंडीशनिंग टैग या सहायक भविष्यवक्ताओं (predictors) को जोड़ना।
• क्लासिफायर गाइडेंस (Classifier Guidance): अनुमान (inference) के दौरान बाहरी भविष्यवक्ताओं का उपयोग करना, जो अस्थिर हो सकता है या जिसके लिए पुनः प्रशिक्षण की आवश्यकता हो सकती है।

ये दृष्टिकोण लचीलेपन की कमी रखते हैं और कम्प्यूटेशनल रूप से महंगे हैं। एक ऐसे फ्रेमवर्क की आवश्यकता है जो अनुमान-समय प्रोग्रामेबिलिटी (inference-time programmability) की अनुमति दे, जहाँ वांछित गुणों को स्पष्ट रूप से ऊर्जा परिदृश्य (energy landscape) को आकार देकर लागू किया जा सके, जैसा कि शास्त्रीय आणविक मॉडलिंग में होता है, बिना मूल मॉडल को पुनः प्रशिक्षित किए।

2. कार्यप्रणाली: ProtNHF (Methodology: ProtNHF)

लेखक Neural Hamiltonian Flows (NHF) पर आधारित एक जनरेटिव मॉडल, ProtNHF प्रस्तुत करते हैं। मुख्य नवाचार प्रोटीन अनुक्रम पीढ़ी को एक निरंतर फेज स्पेस (continuous phase space) में एक गतिशील प्रणाली (dynamical system) के रूप में मानना है, जिससे विश्लेषणात्मक बायस पोटेंशियल (analytical bias potentials) के माध्यम से नियंत्रण संभव होता है।

A. अनुक्रम स्थान का निरंतर विश्राम (Continuous Relaxation of Sequence Space)

चूंकि NHF निरंतर चरों (continuous variables) पर कार्य करते हैं लेकिन प्रोटीन अनुक्रम असतत (discrete) होते हैं (20 अमीनो एसिड), लेखक एक argmax flow तकनीक का उपयोग करते हैं ताकि असतत अनुक्रमों ($x$) और निरंतर एम्बेडिंग्स ($q$) के बीच एक बायजेक्टिव मैपिंग (bijective mapping) बनाई जा सके:

1. एन्कोडिंग (Encoding): एक असतत वन-हॉट वेक्टर $x$ को एक न्यूरल नेटवर्क का उपयोग करके निरंतर स्थान $q$ में मैप किया जाता है ताकि गाऊसी शोर (Gaussian noise) $u$ उत्पन्न किया जा सके, जिसके बाद एक थ्रेशोल्डिंग तंत्र का उपयोग किया जाता है।
2. प्रतिवर्तीता (Reversibility): मैपिंग सटीक रूप से प्रतिवर्ती है ($x = \text{argmax}(q)$), जो मॉडल को निरंतर वेक्टर्स को सैंपल करने और उन्हें नियत रूप से वैध अमीनो एसिड अनुक्रमों में बदलने की अनुमति देता है।

B. हैमिल्टोनियन डायनेमिक्स आर्किटेक्चर (Hamiltonian Dynamics Architecture)

मॉडल एक लेटेंट गाऊसी वितरण ($\pi_0$) से लक्षित प्रोटीन अनुक्रम वितरण ($\pi_T$) तक एक सिम्प्लेक्टिक ट्रांसपोर्ट मैप (symplectic transport map) सीखता है।

• हैमिल्टोनियन परिभाषा (Hamiltonian Definition): $H(q, p) = V_\theta(q) + K(p)$, जहाँ $V_\theta$ संभावित ऊर्जा (सीखी गई) है और $K(p)$ गतिज ऊर्जा (निश्चित) है।
• संभावित ऊर्जा (Potential Energy - $V_\theta$): इसे एक हल्के वजन वाले Transformer आर्किटेक्चर (ESM-2 से प्रेरित, ~8M पैरामीटर्स) द्वारा पैरामीटराइज किया गया है, जो अनुक्रम लंबाई को कुशलतापूर्वक संभालने के लिए Performer अटेंशन (लीनियर अटेंशन) का उपयोग करता है। ट्रांसफार्मर प्रोटीन के लिए एक "ऊर्जा" स्केलर आउटपुट देता है।
• डायनेमिक्स (Dynamics): सिस्टम Leapfrog integration (4 स्टेप्स, $\Delta t = 0.05$) का उपयोग करके विकसित होता है।
  • प्रशिक्षण (Training): लक्ष्य डेटा से लेटेंट स्पेस की ओर फॉरवर्ड चलता है।
  • सैंपलिंग (Sampling): लेटेंट गाऊसी शोर से अनुक्रम उत्पन्न करने के लिए बैकवर्ड चलता है।

C. अनुमान-समय नियंत्रण (Inference-Time Controllability - Energy Shaping)

नियंत्रण के लिए मुख्य तंत्र है हैमिल्टोनियन की योज्य प्रकृति (additive nature of the Hamiltonian)। सैंपलिंग (रिवर्स) प्रक्रिया के दौरान, प्रशिक्षित वेट्स को संशोधित किए बिना, सीखे गए हैमिल्टोनियन में एक बाहरी बायस पोटेंशियल $U(q)$ जोड़ा जाता है:
$$H_b(q, p) = H(q, p) + k \cdot U(q)$$
जहाँ $k$ एक स्केलर बायस स्ट्रेंथ है। लेखक तीन प्रकार के विश्लेषणात्मक बायस पोटेंशियल लागू करते हैं:

1. कूलम्ब बायस (Coulomb Bias): $U(q) = \sum \frac{1}{\sqrt{\|q_i - r\| + \epsilon}}$। इसका उपयोग विशिष्ट अवशेष एम्बेडिंग्स (residue embeddings) को दूर धकेलने या आकर्षित करने के लिए किया जाता है (जैसे, लाइसिन सामग्री को कम करना)।
2. गाऊसी बायस (Gaussian Bias): $U(q) = \sum \exp(-\frac{\|q_i - r\|^2}{2\sigma})$। इसका उपयोग विशिष्ट अवशेषों को बढ़ने या घटने के लिए किया जाता है।
3. हारमोनिक बायस (Harmonic Bias):
   • पोजीशनल (Positional): एक विशिष्ट स्थिति पर एक विशिष्ट अवशेष को मजबूर करता है (जैसे, N-टर्मिनल मेथियोनीन)।
   • ग्लोबल (Global): वैश्विक गुणों (जैसे, शुद्ध आवेश) को लागू करने के लिए, जहाँ $U(q) = \frac{1}{2}[F(q) - F^*]^2$ परिभाषित किया जाता है, जहाँ $F(q)$ एम्बेडिंग्स का एक डिफरिएबल फंक्शन है (जैसे, सॉफ्टमैक्स प्रोबेबिलिटीज के माध्यम से शुद्ध आवेश की गणना करना)।

3. प्रमुख योगदान (Key Contributions)

1. प्रोटीन के लिए NHFs का प्रथम अनुप्रयोग: यह प्रदर्शित करता है कि न्यूरल हैमिल्टोनियन फ्लो प्रभावी रूप से जटिल प्रोटीन वितरण को मॉडल कर सकते हैं।
2. पुनः प्रशिक्षण-मुक्त नियंत्रण (Retraining-Free Control): एक ऐसा ढांचा स्थापित करता है जहाँ वैश्विक अनुक्रम गुणों (संरचना, आवेश, स्थिति) को अनुमान के समय केवल विश्लेषणात्मक बायस टर्म्स को समायोजित करके नियंत्रित किया जा सकता है।
3. भौतिक रूप से व्याख्या योग्य कंडीशनिंग (Physically Interpretable Conditioning): नियंत्रित पीढ़ी को एक शास्त्रीय आणविक मॉडलिंग प्रतिमान में डालता है, जहाँ "एनर्जी शेपिंग" आउटपुट वितरण को निर्देशित करती है, जिससे फ्लो की सिम्प्लेक्टिक संरचना और प्रतिवर्तीता बनी रहती है।
4. डिफरेंशियल ग्लोबल प्रॉपर्टीज (Differentiable Global Properties): निरंतर एम्बेडिंग्स से वैश्विक गुणों (जैसे शुद्ध आवेश) के डिफरिएबल अनुमानों को सीधे कंप्यूट करने की विधि पेश करता है, जिससे हैमिल्टोनियन फ्लो के भीतर ग्रेडिएंट-आधारित नियंत्रण सक्षम होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल को ~90,000 UniProtKB अनुक्रमों (लंबाई 10–128) पर प्रशिक्षित किया गया था।

अनकंडीशनल जनरेशन (Unconditional Generation)

• गुणवत्ता (Quality): छोटे अनुक्रमों (लंबाई 20) के लिए, मॉडल प्रतिस्पर्धी ESM-2 प्यूडो-परप्लेक्सिटी (pppl) और उच्च AlphaFold2 pLDDT स्कोर (90–100) प्राप्त करता है, जो उच्च संरचनात्मक विश्वास को दर्शाता है।
• लंबाई स्केलिंग (Length Scaling): जैसे-जैसे अनुक्रम की लंबाई बढ़ती है (50 तक), ESM-2 pppl घटता है (शोर के स्तर के करीब पहुँच जाता है), लेकिन संरचनात्मक विश्वास (pLDDT) उच्च बना रहता है (75–80)। यह सुझाव देता है कि मॉडल अनुक्रम संभावना कम होने पर भी संरचनात्मक सुसंगतता को कैप्चर करता है।
• विविधता (Diversity): उत्पन्न अनुक्रम लंबी लंबाई पर कम लो-कॉम्प्लेक्सिटी रीजन (LCR) सामग्री दिखाते हैं, जिससे अन्य जनरेटिव मॉडल्स में देखे जाने वाले "मोड कोलैप्स" से बचा जा सकता है।

कंडीशनल जनरेशन (Conditional Generation)

• अवशेष संरचना (Residue Composition):
  • कूलम्ब बायस: बायस स्ट्रेंथ $k$ बढ़ने के साथ लाइसिन सामग्री को सफलतापूर्वक और निरंतर कम किया गया, जिसका ESM-2 pppl पर न्यूनतम प्रभाव पड़ा।
  • गाऊसी बायस: इसने स्पेक्ट्रली एस्पार्टिक एसिड सामग्री को सफलतापूर्वक बढ़ाया।
• पोजीशनल कंट्रोल (Positional Control): एन-टर्मिनल मेथियोनीन (हारमोनिक बायस) को लागू करने से अनबायस्ड केस की तुलना में ESM-2 pppl में सुधार हुआ और सेकेंडरी स्ट्रक्चर विविधता बढ़ी।
• ग्लोबल प्रॉपर्टी कंट्रोल (Global Property Control):
  • शुद्ध आवेश (Net Charge): डिफरिएबल नेट चार्ज फंक्शन पर हारमोनिक बायस लागू करके, मॉडल ने उच्च सटीकता के साथ लक्षित शुद्ध आवेश (जैसे, 0 या -1) वाले अनुक्रम उत्पन्न किए।
  • संरचनात्मक अखंडता (Structural Integrity): कंडीशंड अनुक्रमों ने समान लंबाई के अनकंडीशंड अनुक्रमों की तुलना में AlphaFold pLDDT स्कोर को बनाए रखा या थोड़ा बेहतर किया, जो यह सिद्ध करता है कि बायसिंग से संरचनात्मक तर्क (structural plausibility) से समझौता नहीं होता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

ProtNHF नियंत्रित प्रोटीन डिज़ाइन में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है। हैमिल्टनियन डायनेमिक्स की योज्य ऊर्जा संरचना (additive energy structure) का लाभ उठाकर, यह बेस प्रोटीन वितरण के सीखने और बाधाओं (constraints) को लागू करने के बीच के अंतर को समाप्त करता है।

• दक्षता (Efficiency): नए डिज़ाइन लक्ष्यों के लिए पुनः प्रशिक्षण या आर्किटेक्चरल संशोधनों की आवश्यकता को समाप्त करता है।
• व्याख्यात्मकता (Interpretability): यह जनरेशन को निर्देशित करने के लिए पारदर्शी, भौतिक रूप से प्रेरित ऊर्जा पदों (Coulomb, Harmonic) का उपयोग करता है, जिससे नियंत्रण तंत्र सहज बनता है।
• भविष्य का प्रभाव (Future Impact): यह दृष्टिकोण जनरेटिव AI को शास्त्रीय आणविक गतिशीलता (molecular dynamics) के साथ जोड़ता है, जो जटिल भौतिकी-प्रेरित बाधाओं (इलेक्ट्रोस्टैटिक्स, संरचनात्मक पूर्व-निर्धारण) को सीधे जनरेटिव प्रक्रिया में शामिल करने के मार्ग खोलता है। यह सटीक संरचनात्मक और भौतिक-रासायनिक विशिष्टताओं के साथ कृत्रिम प्रोटीन और कार्यात्मक बायोमॉलिक्यूल्स को डिजाइन करने के लिए एक लचीला आधार प्रदान करता है।