🤖 machine learning

Robust Inference-Time Steering of Protein Diffusion Models via Embedding Optimization

यह शोध पत्र EmbedOpt को प्रस्तुत करता है, जो प्रोटीन डिफ्यूजन मॉडल के लिए एक इन्फरेंस-टाइम स्टीयरिंग फ्रेमवर्क है जो कंडीशनल एम्बेडिंग्स को अनुकूलित करता है ताकि स्ट्रक्चरल प्रायर्स को एक्सपेरिमेंटल कंस्ट्रेंट्स के साथ संरेखित किया जा सके, जिससे पारंपरिक कोऑर्डिनेट-आधारित पोस्टीरियर सैंपलिंग विधियों की तुलना में क्रायो-ईएम मैप फिटिंग जैसे कार्यों में बेहतर मजबूती और प्रदर्शन प्राप्त होता है।

मूल लेखक: Minhuan Li, Jiequn Han, Pilar Cossio, Luhuan Wu

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minhuan Li, Jiequn Han, Pilar Cossio, Luhuan Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "Robust Inference-Time Steering of Protein Diffusion Models via Embedding Optimization" (EmbedOpt) का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी तस्वीर: एक धुंधले पहाड़ की यात्रा

कल्पना कीजिए कि आप एक विशाल, धुंधले पहाड़ी क्षेत्र में एक विशिष्ट कैंपिंग साइट (सही प्रोटीन आकार) खोजने की कोशिश कर रहे हैं। आपके पास एक बहुत ही समझदार गाइड (एक AI मॉडल) है जो इलाके को अच्छी तरह जानता है। आमतौर पर, वह गाइड आपको सबसे लोकप्रिय, धूप वाले कैंपिंग स्थलों (सामान्य प्रोटीन आकारों) तक बहुत सटीकता से पहुँचा सकता है।

हालाँकि, कभी-कभी आपको एक अजीब, पथरीले, कम ट्रैफ़िक वाले क्षेत्र (प्रायोगिक डेटा द्वारा आवश्यक एक विशिष्ट आकार) में कैंपिंग साइट ढूँढनी होती है जिसे गाइड ने पहले कभी नहीं देखा है।

समस्या यह है: आप गाइड को बिना रास्ता भटके या दुर्घटनाग्रस्त हुए उस अजीब जगह तक कैसे पहुँचाएँ?

पुराना तरीका: हाइकर को धकेलना (DPS)

वर्तमान मानक विधि (जिसे DPS कहा जाता है) इस प्रकार काम करती है:
आप गाइड को कहते हैं, "ठीक है, हम इस स्थान पर हैं, लेकिन हमें वहाँ जाना है।" गाइड फिर लक्ष्य की ओर जाने के लिए हाइकर (प्रोटीन संरचना) पर एक ज़ोरदार बल लगाकर उसे शारीरिक रूप से धकेलने की कोशिश करता है।

चुनौती: यदि लक्ष्य लोकप्रिय कैंपिंग स्थलों से बहुत दूर है, तो आपको बहुत ज़ोर से धकेलना होगा।
परिणाम: यदि आप बहुत ज़ोर से धकेलते हैं, तो हाइकर लड़खड़ा जाता है, गिर जाता है या पहाड़ से पूरी तरह बाहर फेंक दिया जाता है। रास्ता अस्थिर हो जाता है, और आपको इस बात का बहुत ध्यान रखना पड़ता है कि कितना ज़ोर से धकेलना है (हाइपरपैरामीटर्स को ट्यून करना)। यदि आप बहुत कम धकेलते हैं, तो आप वहाँ नहीं पहुँच पाते; यदि बहुत अधिक धकेलते हैं, तो आप हाइकर को तोड़ देते हैं।

नया तरीका: मानचित्र को फिर से लिखना (EmbedOpt)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे EmbedOpt कहा जाता है। हाइकर को धकेलने के बजाय, वे गाइड के आंतरिक मानचित्र (internal map) को बदलते हैं।

इन AI मॉडल्स में, "गाइड" निर्देशों के एक विशेष सेट (जिसे एम्बेडिंग कहा जाता है) पर निर्भर करता है जो विकासवादी इतिहास और प्रोटीन आमतौरв कैसे फोल्ड होते हैं, इसे दर्शाता है।

नवाचार: EmbedOpt हाइकर को नहीं धकेलता। इसके बजाय, यह यात्रा के दौरान ही गाइड के निर्देशों में सूक्ष्म बदलाव करता है। यह कहता है, "हे गाइड, इस विशिष्ट यात्रा के लिए, चलो कल्पना करते हैं कि इलाका थोड़ा अलग है ताकि वह अजीब कैंपिंग साइट तुम्हारे लिए एक सामान्य, धूप वाली जगह की तरह दिखे।"
परिणाम: गाइड स्वाभाविक रूप से हाइकर को लक्ष्य की ओर ले जाता है क्योंकि, गाइड के नए समायोजित दिमाग में, वही तार्किक रास्ता है।

यह बेहतर क्यों है (उपमाएँ)

1. "स्मूथ ड्राइव" बनाम "बंपी राइड"

DPS (पुराना तरीका): एक ऐसी कार चलाने की कल्पना करें जहाँ आपको एक संकीर्ण, घुमावदार सड़क पर बने रहने के लिए लगातार स्टीयरिंग व्हील को ज़ोर से खींचना पड़ता है। एक गलत चाल, और आप दुर्घटनाग्रस्त हो जाते हैं। यह इस बात के प्रति संवेदनशील है कि आप कितनी ज़ोर से मुड़ते हैं (लर्निंग रेट)।
EmbedOpt (नया तरीका): एक ऐसी GPS की कल्पना करें जो वास्तविक समय में आपका रास्ता दोबारा कैलकुलेट करती है। सड़क से लड़ने के बजाय, GPS एक ऐसा रास्ता खोजता है जहाँ सड़क स्वाभाविक रूप से आपके गंतव्य की ओर मुड़ती है। ड्राइव स्मूथ, मोनोटोनिक (एकसमान) है, और आपको ट्रैक पर रहने के लिए रेस कार ड्राइवर होने की ज़रूरत नहीं है। यह काम करता है भले ही आप स्टीयरिंग व्हील को थोड़ा ज़्यादा या कम घुमाएँ।

2. "मास्टर शेफ" की उपमा

DPS: आपके पास एक शेफ है जो बेहतरीन पिज्जा बनाता है। आप उससे एक विशिष्ट, अजीब टॉपिंग वाला पिज्जा मांगते हैं (प्रायोगिक डेटा)। शेफ टॉपिंग्स को आटे पर ज़ोर से मारकर चिपकाने की कोशिश करता है। आटा फट सकता है, या टॉपिंग्स फिसल सकती हैं।
EmbedOpt: आप शेफ से कहते हैं, "इस ऑर्डर के लिए, कल्पना करें कि आटा थोड़े अलग आटे से बना है जो इन टॉपिंग्स को बेहतर तरीके से थामे रखता है।" शेफ टॉपिंग्स डालने से पहले आटे को एडजस्ट करता है, जिससे बिना कुछ तोड़े एक परफेक्ट पिज्जा तैयार होता है।

शोधकर्ताओं ने वास्तव में क्या पाया

शोधकर्ताओं ने तीन प्रकार के प्रोटीन पहेलियों पर इस नई विधि का परीक्षण किया:

स्पार्स डिस्टेंस कंस्ट्रेंट्स (Sparse Distance Constraints): जैसे यह बताया गया हो, "आपका बायां हाथ और दायां पैर के बीच की दूरी ठीक इतनी होनी चाहिए।"
सिंथेटिक क्रायो-ईएम मैप्स (Synthetic Cryo-EM Maps): एक धुंधली, कंप्यूटर-जनित 3D इमेज में 3D मॉडल को फिट करना।
असली क्रायो-ईएम मैप्स (Real Cryo-EM Maps): वास्तविक सूक्ष्मदर्शी (microscopes) से ली गई शोर भरी (noisy) छवियों में मॉडल्स को फिट करना।

परिणाम:

स्थिरता (Stability): EmbedOpt लगातार अच्छा काम करता है, भले ही "धक्का" (लर्निंग रेट) को 100 गुना बदल दिया जाए। पुराना तरीका (DPS) आसानी से टूट जाता है यदि धक्का बहुत तेज़ हो।
गति (Speed): EmbedOpt कुछ परीक्षणों में कम चरणों में समाधान तक पहुँच जाता है (4 गुना कम)।
गुणवत्ता (Quality): वास्तविक दुनिया के प्रयोगों पर, EmbedOpt ने मौजूदा सर्वोत्तम तरीकों के समान (या उनसे बेहतर) डेटा फिट करने वाले आकार बनाए, लेकिन बहुत बेहतर भौतिक ज्यामिति (कम टूटे हुए बॉन्ड या असंभव कोण) के साथ।
"लोकल ऑप्टिमा" का जाल (The "Local Optima" Trap): कभी-कभी, पुराना तरीका एक "लोकल वैली" (एक अच्छा दिखने वाला स्थान जो सबसे अच्छा नहीं है) में फंस जाता है। EmbedOpt इन जालों के चारों ओर घूमने और वास्तविक गंतव्य तक पहुँचने में बेहतर है।

सीमाएँ (जो पेपर कहता है)

लेखक ईमानदार हैं कि यह विधि कहाँ काम नहीं करती है:

"अंधा" गाइड: यदि गाइड का मानचित्र (प्री-ट्रेन्ड मॉडल) यह बिल्कुल नहीं जानता कि लक्षित आकार कैसा दिखता है (जैसे, यदि विकासवादी डेटा गायब है), तो न तो पुराना और न ही नया तरीका उस जगह को खोज पाएगा। आप एक ऐसे गाइड को ऐसी जगह नहीं ले जा सकते जिसके बारे में उसने कभी सुना भी न हो।
बहुत अधिक बल: यदि आप नए तरीके पर बहुत अधिक ज़ोर लगाते हैं (चरम लर्निंग रेट), तो यह अभी भी प्रोटीन के आकार को तोड़ सकता है, हालांकि इसे तोड़ने के लिए पुराने तरीके की तुलना में बहुत अधिक बल की आवश्यकता होती है।

सारांश

EmbedOpt प्रोटीन के आकार का अनुमान लगाने के लिए AI का उपयोग करने का एक स्मार्ट तरीका है। परिणाम को शारीरिक रूप से धकेल कर AI की प्राकृतिक प्रवृत्तियों के विरुद्ध लड़ने के बजाय, यह AI के आंतरिक निर्देशों को धीरे से फिर से लिखता है ताकि वांछित परिणाम "स्वाभाविक" लगे। यह प्रक्रिया को तेज़, अधिक स्थिर और क्रैश होने की संभावना कम बनाता है, खासकर जब दुर्लभ या कठिन प्रोटीन आकारों को खोजने की कोशिश की जा रही हो।

तकनीकी सारांश: प्रोटीन डिफ्यूजन मॉडल का सुदृढ़ इन्फरेंस-टाइम स्टीयरिंग (Embedding Optimization के माध्यम से)

समस्या विवरण
संरचनात्मक बायोफिजिक्स (structural biophysics) में एक केंद्रीय चुनौती ऐसी जैव-आणविक विन्यासों (biomolecular conformations) को उत्पन्न करना है जो भौतिक यथार्थता और प्रयोगात्मक मापों, दोनों को संतुष्ट करते हों। जबकि अनुक्रम-से-संरचना (sequence-to-structure) डिफ्यूजन मॉडल (जैसे, AlphaFold 3, Protenix) शक्तिशाली डेटा-संचालित प्रायर्स (priors) प्रदान करते हैं, संरचना-निर्धारण के व्युत्क्रम समस्याओं (inverse problems) को हल करने के लिए अक्सर उन अवस्थाओं को पुनः प्राप्त करने की आवश्यकता होती है जो प्रायर्स के निम्न-घनत्व वाले क्षेत्रों में स्थित होती हैं। वर्तमान दृष्टिकोण, जैसे कि डिफ्यूजन पोस्टीरियर सैंपलिंग (DPS), प्रयोगात्मक संभावनाओं (experimental likelihoods) के ग्रेडिएंट्स का उपयोग करके परमाणु निर्देशांकों (atomic coordinates) को विचलित करके जनरेशन को निर्देशित करते हैं। हालाँकि, जब लक्ष्य (target) प्रायर्स के उच्च-संभाव्यता वाले मोड (high-probability modes) से बहुत दूर होता है, तो DPS को लाइकलीहुड के आक्रामक अपवेटिंग (upweighting) की आवश्यकता होती है। इससे एक खराब-अनुकूलित (ill-conditioned) सैंपलिंग परिदृश्य बनता है, जिससे अस्थिरता, हाइपरपैरामीटर के प्रति संवेदनशीलता, और स्थानीय इष्टतम (local optima) से बाहर निकलने में विफलता होती है, विशेष रूप से क्रायो-इलेक्ट्रॉन माइक्रोस्कोपी (cryo-EM) मैप फिटिंग जैसे कार्यों में।

कार्यप्रणाली: EmbedOpt
लेखक EmbedOpt प्रस्तावित करते हैं, जो एक इन्फरेंस-टाइम स्टीयरिंग फ्रेमवर्क है जो कोऑर्डिनेट-आधारित विधियों के पूरक के रूप में एक लंबवत अनुकूलन अक्ष (orthogonal optimization axis) पेश करता है। एक निश्चित प्रायर के तहत शोर युक्त परमाणु निर्देशांकों $x_t$ को विचलित करने के बजाय, EmbedOpt सीधे मॉडल के कंडीशनल एम्बेडिंग $c$ को अनुकूलित करता है।

तंत्र (Mechanism): AlphaFold 3-शैली के आर्किटेक्चर में, कंडीशनल एम्बेडिंग मल्टीपल सीक्वेंस एलाइनमेंट्स (MSAs) से प्राप्त समृद्ध सह-विकासवादी संकेतों (coevolutionary signals) को एनकोड करती है। EmbedOpt इस व्युत्क्रम समस्या को एक रिवॉर्ड मैक्सिमाइजेशन कार्य के रूप में मानता है, जहाँ रिवॉर्ड $R(x_0)$ प्रयोगात्मक लाइकलीहुड के अनुरूप है।
एल्गोरिदम: प्रत्येक डिफ्यूजन स्टेप $t$ पर, EmbedOpt कंडीशनल एम्बेडिंग $c_t$ पर एक सिंगल ग्रेडिएंट एसेंट स्टेप करता है ताकि नॉइज़ी प्रेडिक्शन $\hat{x}_\theta(x_t, c_t, \sigma_t)$ पर मूल्यांकित सरोगेट रिवॉर्ड को मैक्सिमाइज किया जा सके। इसके बाद अपडेटेड एम्बेडिंग $c_{t-1}$ का उपयोग डिफ्यूजन ट्राजेक्टरी को आगे बढ़ाने के लिए किया जाता है।
सैद्धांतिक आधार: लेखक एक सैद्धांतिक विश्लेषण प्रदान करते हैं जो यह स्थापित करता है कि छोटे-स्टेप अपडेट्स और उपयुक्त रेगुलैरिटी कंडीशंस के तहत, EmbedOpt एक लोकल ट्रस्ट-रीजन विधि के रूप में कार्य करता है। यह सरोगेट रिवॉर्ड के मोनोटोनिक सुधार (monotonic improvement) को सुनिश्चित करता है, जिससे उन ज्यामितीय संवेदनशीलताओं से बचा जा सकता है जो कोऑर्डिनेट-आधारित अपडेट्स को प्रभावित करती हैं।
DPS से तुलना: जबकि DPS लाइकलीहुड ग्रेडिएंट्स को सीधे कोऑर्डिनेट स्पेस ( $x_t$ ) पर लागू करता है, जो नॉइज़ के प्रति डिनोइज़र की संवेदनशीलता से जुड़ा होता है, EmbedOpt एम्बेडिंग स्पेस में एक प्रीकंडीशनर लागू करता है। यह सुनिश्चित करता है कि कोऑर्डिनेट अपडेट की दिशा रिवॉर्ड ग्रेडिएंट के स्पैन (span) के भीतर रहे, जबकि इसे एम्बेडिंग-स्पेस ज्योमेट्री द्वारा मॉड्युलेट किया जाता है, जिसके परिणामस्वरूप सुचारू अनुकूलन गतिकी (optimization dynamics) प्राप्त होती है।

प्रमुख योगदान

नया एल्गोरिथमिक अक्ष: EmbedOpt प्रोटीन डिफ्यूजन मॉडल को निर्देशित करने के लिए एक प्राथमिक तंत्र के रूप में कंडीशनल सीक्वेंस एम्बेडिंग को अनुकूलित करने का प्रस्ताव देता है, जो प्रमुख कोऑर्डिनेट-स्पेस दृष्टिकोण का पूरक है।
सैद्धांतिक विश्लेषण: पेपर एक ट्रस्ट-रीजन कैरेक्टराइजेशन स्थापित करता है जो छोटे-स्टेप अपडेट्स के तहत EmbedOpt के लिए मोनोटोनिक ऑप्टिमाइजेशन व्यवहार को सिद्ध करता है।
सुदृढ़ता और दक्षता: EmbedOpt दो ऑर्डर्स (0.01 से 1.0) के लर्निंग रेट रेंज में स्थिर प्रदर्शन प्रदर्शित करता है, जो हाइपरपैरामीटर सुदृढ़ता में DPS से काफी बेहतर है। यह कम डिफ्यूजन स्टेप्स (जैसे, डिस्टेंस कंस्ट्रेंट्स के लिए 4 $\times$ कमी) के साथ तुलनीय या बेहतर परिणाम भी प्राप्त करता है।
वास्तविक दुनिया का सत्यापन: विधि को वास्तविक, शोर युक्त प्रयोगात्मक क्रायो-EM डेटा पर मान्य किया गया है, जो प्रकाशित CryoBoltz बेसलाइन की तुलना में प्रतिस्पर्धी या बेहतर प्रदर्शन दिखाता है और बेहतर स्टीरियोकेमिकल ज्योमेट्री बनाए रखता है।

प्रयोगात्मक परिणाम
लेखकों ने तीन बेंचमार्क पर DPS और CryoBolz बेसलाइन के विरुद्ध EmbedOpt का मूल्यांकन किया:

स्पार्स डिस्टेंस कंस्ट्रेंट्स (Sparse Distance Constraints): 24 मल्टी-डोमेन प्रोटीन्स पर, EmbedOpt ने पीक परफॉर्मेंस में DPS के बराबर प्रदर्शन किया, लेकिन 4 $\times$ कम डिफ्यूजन स्टेप्स के साथ वैध ज्योमेट्री और उच्च कंस्ट्रेंट सेटिस्फैक्शन रेट बनाए रखा। इसने एक सुचारू, मोनोटोनिक रिवॉर्ड ट्रेस दिखाया, जबकि DPS में उच्च-फ्रीक्वेंसी अस्थिरता देखी गई।
सिंथेटिक क्रायो-EM मैप फिटिंग: 77 सिस्टम्स पर, EmbedOpt ने उन "हार्ड" टारगेट्स पर DPS को पछाड़ दिया जहाँ प्रायर और प्रयोगात्मक मैप आपस में संरेखित (misaligned) नहीं थे। EmbedOpt ने उन ग्लोबल डोमेन पुनर्गठनों (rearrangements) को सफलतापूर्वक हल किया जिनके कारण DPS स्थानीय इष्टतम (local optima) में फंस गया था।
वास्तविक प्रयोगात्मक क्रायो-EM फिटिंग: CryoBolz बेंचमार्क के 6 टारगेट्स पर, EmbedOpt (Protenix प्रायर का उपयोग करते हुए) ने 6 में से 5 सिस्टम्स में डेटा फिटिंग (CC mask), फिजिकल प्लासिबिलिटी (MolProbity स्कोर), और रेफरेंस एग्रीमेंट (RMSD) के मामले में प्रकाशित CryoBolz बेसलाइन (Boltz-1 का उपयोग करते हुए) से बेहतर प्रदर्शन किया। विशेष रूप से, जबकि CryोBolz ने उच्च मैप कोरिलेशन प्राप्त किया, इसने अक्सर ऐसी संरचनाएं उत्पन्न कीं जिनकी ज्योमेट्री खराब हो गई थी जिसे एनर्जी रिलैक्सेशन पूरी तरह से ठीक नहीं कर सका; EmbedOpt ने स्वाभाविक रूप से उच्च-गुणवत्ता वाली स्टीरियोकेमिस्ट्री बनाए रखी।

महत्व और सीमाएं
पेपर दावा करता है कि EmbedOpt प्रोटीन इनवर्स प्रॉब्लम्स के लिए कोऑर्डिनेट-आधारित स्टीयरिंग का एक सुदृढ़, कुशल और सैद्धांतिक रूप से आधारित विकल्प प्रदान करता है। कोऑर्डिनेट-स्पेस के माध्यम से पोस्टीरियर सैंपलिंग को मजबूर करने के बजाय एम्बेडिंग ऑप्टिमाइजेशन के माध्यम से प्रायर डिस्ट्रीब्यूशन को बदलकर, यह विधि अधिक स्थिरता प्राप्त करती है और इसमें हाइपरपैरामीटर ट्यूनिंग की कम आवश्यकता होती है।

लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं:

मैनिफोल्ड कवरेज (Manifold Coverage): EmbedOpt प्री-ट्रेन्ड मॉडल के स्ट्रक्चरल मैनिफोल्ड द्वारा सीमित है। यदि लक्ष्य विन्यास (conformation) प्रशिक्षण डेटा में अच्छी तरह से प्रतिनिधित्व नहीं किया गया है (जैसे, सीमित विकासवादी जानकारी या आउट-ऑफ-डिस्ट्रीब्यूशन टारगेट्स के कारण), तो न तो EmbedOpt और न ही DPS इसे पुनः प्राप्त कर सकता है।
मैनिफोल्ड डेविएशन (Manifold Deviation): अत्यंत आक्रामक लर्निंग रेट पर, EmbedOpt स्ट्रक्चरल मैनिफोल्ड से विचलित हो सकता है, हालांकि यह सीमा DPS की तुलना में काफी अधिक है।
लोकल ऑप्टिमा (Local Optima): जबकि EmbedOpt आमतौर पर उन कोऑर्डिनेट-स्पेस लोकल ऑप्टिमा से बचता है जहाँ DPS विफल हो जाता है, यह एम्बेडिंग-स्पेस लोकल ऑप्टिमा में फंस सकता है। लेखक सुझाव देते हैं कि EmbedOpt के स्थिर ग्लोबल सर्च और DPS के स्टोकेस्टिक लोकल एक्सप्लोरेशन को मिलाने वाले हाइब्रिड स्कीम्स एक आशाजनक भविष्य की दिशा हो सकते हैं।

कोड यहाँ उपलब्ध है: https://github.com/rs-station/embedopt.