🤖 machine learning

MotifRole-Diff: Risk-Optimal Role-Aware Corruption for Masked Molecular Graph Diffusion

MotifRole-Diff एक जोखिम-इष्टतम, भूमिका-जागरूक भ्रष्टाचार रणनीति (corruption strategy) पेश करता है जो टोकन डिनोइजिंग कठिनाई और संरचनात्मक प्रभाव के आधार पर मास्किंग दरों को गतिशील रूप से आवंटित करती है, जो यूनिफॉर्म शेड्यूल्स की तुलना में जनरेशन वैधता और वितरण समानता में महत्वपूर्ण सुधार करता है।

मूल लेखक: Tasfia Nuzhat Ornee, Elias Hossain, Ivan Garibay, Niloofar Yousef

प्रकाशित 2026-07-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tasfia Nuzhat Ornee, Elias Hossain, Ivan Garibay, Niloofar Yousef

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को जटिल चित्र बनाना सिखाने की कोशिश कर रहे हैं, लेकिन उसे एक खाली कैनवास देने के बजाय, आप उसे निर्देशों की एक लंबी, उलझी हुई सूची थमा देते हैं। यह आणविक ग्राफ जनरेशन (molecular graph generation) की दुनिया है, जहाँ वैज्ञानिक नई दवाएं और सामग्रियां डिजाइन करने के लिए कृत्रिम बुद्धिमत्ता (AI) का उपयोग करते हैं। इसे करने के लिए, वे अक्सर अणुओं को टेक्स्ट की स्ट्रिंग्स (एक गुप्त कोड की तरह) में बदल देते हैं और एक प्रकार के AI का उपयोग करते हैं जिसे डिफ्यूजन मॉडल (diffusion model) कहा जाता है। एक डिफ्यूजन मॉडल को "टेलीफोन" के खेल के उल्टे संस्करण की तरह समझें: AI निर्देश सूची के पूरी तरह से बिखरे हुए, शोर वाले (noisy) संस्करण से शुरू करता है और धीरे-धीरे इसे तब तक साफ करता है, चरण-दर-चरण, जब तक कि एक सटीक, वैध अणु उभर कर सामने नहीं आ जाता।

tricky हिस्सा यह है कि AI इस गंदगी को साफ करना कैसे सीखता है। इस खेल के मानक संस्करण में, AI निर्देश सूची के हर एक अक्षर के साथ बिल्कुल एक जैसा व्यवहार करता है। वह यह मान लेता है कि एक सामान्य शब्द में टाइपिंग की गलती को ठीक करना उतना ही कठिन और महत्वपूर्ण है जितना कि एक दुर्लभ, महत्वपूर्ण कमांड को ठीक करना जो पूरे चित्र को थामे रखता है। लेकिन क्या होगा अगर कुछ अक्षर वास्तव में दूसरों की तुलना में बहुत अधिक महत्वपूर्ण हों? क्या होगा अगर एक विशिष्ट अक्षर को बिगाड़ने से पूरा चित्र खराब हो जाए, जबकि दूसरे अक्षर को बिगाड़ने से बहुत कम फर्क पड़े? यह शोध पत्र पूछता है: क्या होगा यदि हमने सभी अक्षरों के साथ एक जैसा व्यवहार करना बंद कर दिया और इसके बजाय AI को इस बात के लिए एक स्मार्ट रणनीति दी कि उसे किन हिस्सों पर ध्यान केंद्रित करना चाहिए?

शोध पत्र का बड़ा विचार: एक स्मार्ट कार्य योजना

सेंट्रल फ्लोरिडा विश्वविद्यालय के इन शोधकर्ताओं ने एक नई विधि पेश की है जिसे MotifRole-Diff कहा जाता है। उन्होंने पाया कि जब अणुओं को टेक्स्ट में बदला जाता है, तो उन अक्षरों द्वारा निभाई जाने वाली विभिन्न "भूमिकाएं" समान नहीं होती हैं। कुछ अक्षर दो लेगो (Lego) संरचनाओं को जोड़ने वाले गोंद (जिसे इंटरफेस/interface टोकन कहा जाता है) की तरह होते हैं, जबकि अन्य एक एकल संरचना के भीतर की ईंटों (जिसे इंटेरियर/interior टोकन कहा जाता है) की तरह होते हैं, और कुछ केवल विराम चिह्न (जिसे सिंटैक्स/syntax टोकन कहा जाता है) होते हैं।

गहन प्रयोगों के माध्यम से, उन्होंने पाया कि AI को "गोंद" वाले अक्षरों को ठीक करने में सबसे अधिक संघर्ष करना पड़ता है। यदि AI उन "गोंद" वाले अक्षरों को गलत कर देता है, तो अणु बिखर जाता और अमान्य हो जाता है। हालांकि, मानक AI उन "ईंटों" की तरह ही "गोंद" वाले अक्षरों के साथ भी व्यवहार करता है जो आसान होते हैं। लेखक तर्क देते हैं कि यह AI की दिमागी शक्ति की बर्बादी है।

समाधान: रिस्क-ऑप्टिमल मास्किंग (Risk-Optimal Masking)
डेटा को बेतरतीब ढंग से समान रूप से बिखेरने के बजाय, MotifRole-Diff एक "जोखिम-इष्टतम" (risk-optimal) रणनीति का उपयोग करता है। कल्पना करें कि आप एक शिक्षक हैं जो एक टेस्ट को ग्रेड दे रहे हैं। यदि आप जानते हैं कि प्रश्न 1 अत्यंत कठिन और पास होने के लिए महत्वपूर्ण है, लेकिन प्रश्न 2 आसान है, तो आप छात्र को प्रश्न 1 का अभ्यास कराने में अधिक समय बिता सकते हैं। MotifRole-Diff भी वही करता है:

यह कठिनाई को मापता है: यह पता लगाता है कि कौन से अक्षर अनुमान लगाने में AI के लिए सबसे कठिन हैं।
यह खतरे को मापता है: यह गणना करता है कि यदि AI उस विशिष्ट अक्षर को गलत कर देता है तो कितना बुरा होगा।
यह शेड्यूल को एडजस्ट करता है: यह तय करता है कि कठिन, खतरनाक अक्षरों को "सुरक्षित" करने के लिए उन्हें कम बार मास्क किया जाए (ताकि AI उन्हें अधिक स्पष्ट रूप से देख सके) और आसान, सुरक्षित अक्षरों को अधिक बार "करप्ट" किया जाए (ताकि AI को उन पर अधिक अभ्यास मिल सके)।

महत्वपूर्ण रूप से, यह केवल एक तुक्का नहीं है। लेखकों ने गणितीय रूप से सिद्ध किया है कि यदि आपके पास "अभ्यास का समय" (अक्षरों को बिखेरने का एक निश्चित बजट) निश्चित है, तो आप सबसे महत्वपूर्ण हिस्सों की ओर उस समय को स्थानांतरित करके सर्वोत्तम परिणाम प्राप्त करते हैं। वे इसे रिस्क-ऑप्टिमल एलोकेशन (risk-optimal allocation) कहते हैं।

उन्होंने क्या पाया

जब उन्होंने इस नई रणनीति का विभिन्न प्रकार के अणुओं (विशेष रूप से QM9 और MOSES डेटासेट पर) के विरुद्ध परीक्षण किया, तो परिणाम स्पष्ट और सुसंगत थे:

बेहतर वैधता (Better Validity): AI ने ऐसे अधिक अणु उत्पन्न किए जो वास्तव में अर्थपूर्ण थे। QM9 डेटासेट पर, वैधता स्कोर 0.905 से बढ़कर 0.944 हो गया। MOSES डेटासेट पर, यह 0.920 से बढ़कर 0.938 हो गया। इसका मतलब है कि कम टूटे हुए, असंभव अणु बनाए गए।
बेहतर गुणवत्ता (Better Quality): अणु वास्तविक, दवा जैसे रसायनों के अधिक करीब थे। एक मीट्रिक जिसे FCD कहा जाता है (जो मापता है कि नए अणु वास्तविक अणुओं के कितने करीब हैं) में उल्लेखनीय सुधार हुआ, जो QM9 पर 1.701 से घटकर 1.609 और MOSES पर 2.125 से घटकर 1.850 हो गया। (याद रखें, इस स्कोर के लिए, कम होना बेहतर है)।
बेहतर पुनर्निर्माण (Better Reconstruction): जब उन्होंने AI के प्रदर्शन का बारीकी से निरीक्षण किया, तो उन्होंने देखा कि "इंटरफेस" अक्षर (कठिन गोंद) बहुत अधिक सटीकता के साथ पुनर्गठित किए गए थे। AI केवल हर चीज़ में बेहतर नहीं हुआ; वह विशेष रूप से उन हिस्सों में बेहतर हुआ जो सबसे अधिक मायने रखते थे।

यह क्यों मायने रखता है

इस खोज का सबसे रोमांचक हिस्सा यह है कि AI को बड़ा, तेज़ या अधिक समय के लिए प्रशिक्षित करने की आवश्यकता नहीं पड़ी। शोधकर्ताओं ने बाकी सब कुछ बिल्कुल समान रखा—कंप्यूटर पावर, प्रशिक्षण समय और मॉडल का आकार। उन्होंने केवल प्रशिक्षण के दौरान डेटा को कैसे बिखेरा, इसमें बदलाव किया।

उन्होंने दिखाया कि केवल यह स्वीकार करके कि अणु के कुछ हिस्से अधिक नाजुक और महत्वपूर्ण हैं, और प्रशिक्षण खेल को उसके अनुसार समायोजित करके, वे काफी बेहतर परिणाम प्राप्त कर सकते हैं। यह ऐसा है जैसे यह महसूस करना कि एक बेहतर घर बनाने के लिए, आपको ईंटें बिछाने और नींव डालने का अभ्यास करने में समान समय खर्च नहीं करना चाहिए; आपको अपना ऊर्जा वहां केंद्रित करना चाहिए जहां संरचना के ढहने की सबसे अधिक संभावना है।

संक्षेप में, MotifRole-Diff सुझाव देता है कि बेहतर अणु डिजाइन करने के लिए, AI को अणु के सभी हिस्सों को समान मानना बंद करना होगा और अणु के विभिन्न हिस्सों द्वारा निभाई जाने वाली अद्वितीय, महत्वपूर्ण भूमिकाओं का सम्मान करना शुरू करना होगा। यह AI को सिखाने का एक स्मार्ट तरीका है, जिससे बिना किसी अतिरिक्त कंप्यूटिंग पावर के बेहतर वैधता और उपयोगी रासायनिक डिजाइन प्राप्त होते हैं।

तकनीकी सारांश: MotifRole-Diff

समस्या विवरण

आणविक ग्राफ जनरेशन (molecular graph generation) के लिए मास्क किए गए डिस्क्रीट डिफ्यूजन मॉडल आमतौर पर ग्राफ को टोकन अनुक्रमों (token sequences) में सीरियलाइज़ करते हैं और सभी टोकनों पर एक समान भ्रष्टाचार अनुसूची (uniform corruption schedule) (मास्किंग दर) लागू करते हैं। यह दृष्टिकोण स्पष्ट रूप से यह मान लेता है कि सभी सीरियलाइज़ किए गए टोकन पुनर्गठन (reconstruction) के लिए समान रूप से कठिन हैं और डिकोड किए गए आणविक ग्राफ की वैधता के लिए समान रूप से महत्वपूर्ण हैं।

लेखक तर्क देते हैं कि यह धारणा त्रुटिपूर्ण है क्योंकि इसमें भूमिका विषमता (role heterogeneity) मौजूद है। सीरियलाइज़ किए गए आणविक ग्राफों में संरचनात्मक रूप से भिन्न टोकन भूमिकाएँ होती हैं (जैसे, बाउंड्री मार्कर्स, सिंटैक्स टोकन, मोटिफ-इंटीरियर परमाणु, और इंटरफ़ेस टोकन जो उप-संरचनाओं को जोड़ते हैं)। इन भूमिकाओं में त्रुटियों के परिणाम भिन्न होते हैं: कुछ को न्यूनतम प्रभाव के साथ आसानी से पुनर्गठित किया जा सकता है, जबकि अन्य (विशेष रूप से इंटरफ़ेस टोकन) कठिन होते हैं और ग्राफ की कनेक्टिविटी और वैधता को असंगत रूप से बाधित करते हैं। मौजूदा विधियाँ इन अंतरों को ध्यान में रखने में विफल रहती हैं, और सभी टोकनों के साथ एक ही शोर अनुसूची (noise schedule) का उपयोग करती हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र MotifRole-Diff पेश करता है, एक ढांचा जो समान भ्रष्टाचार के स्थान पर एक भूमिका-जागरूक, जोखिम-इष्टतम भ्रष्टाचार अनुसूची (role-aware, risk-optimal corruption schedule) को प्रतिस्थापित करता है। यह कार्यप्रणाली चार मुख्य घटकों से बनी है:

1. मोटिफ-जागरूक सीरियलाइजेशन (mSENT)

लेखक लॉसलेस (lossless) SENT प्रतिनिधित्व को mSENT तक विस्तारित करते हैं, जो एक मोटिफ-जागरूक टोकेनाइज़र है। यह टोकेनाइज़र:

परमाणुओं को मोटिफ ब्लॉक्स में आवंटित करता है।
प्रत्येक टोकन को चार संरचनात्मक भूमिकाओं में से एक के रूप में टैग करता है: स्पेशल (नियंत्रण), सिंटैक्स (व्याकरण/डिलिमिटर्स), इंटीरियर (मोटिफ के भीतर परमाणु/बॉन्ड), और इंटरफ़ेस (क्रॉस-मोटिफ अटैचमेंट)।
मूल लॉसलेस डिकोडर और व्याकरण को सुरक्षित रखता है, जिससे यह सुनिश्चित होता है कि कोई भी व्याकरण-वैध अनुक्रम मूल ग्राफ में वापस डिकोड किया जा सकता है।

2. भूमिका विषमता का निदान (Diagnostic of Role Heterogeneity)

एक हल्के प्रोब डिनोइज़र (probe denoiser) का उपयोग करके, जिसे समान मास्किंग के साथ प्रशिक्षित किया गया था, लेखकों ने प्रत्येक भूमिका के लिए दो प्रमुख मेट्रिक्स को मापा:

पुनर्गठन कठिनाई ( $D_r$ ): इसे नेगेटिव लॉग-लाइक्लीहुड (NLL) और टॉप-1 एरर के माध्यम से मापा गया।
ग्राफ-स्तरीय प्रभाव ( $I_r$ ): ग्राफ की वैधता या डिस्कनेक्टेड होने की संभावना निर्धारित करने के लिए सिंगल-टोकन परटर्बेशन प्रयोगों के माध्यम से मापा गया।
निष्कर्ष: इंटरफ़ेस टोकन को पुनर्गठित करना काफी कठिन है और ग्राफ की वैधता पर इनका प्रभाव सबसे अधिक है, जबकि सिंटैक्स और स्पेशल टोकन आसान और कम महत्वपूर्ण हैं।

3. जोखिम-इष्टतम अनुसूची सूत्रीकरण (Risk-Optimal Schedule Formulation)

लेखक अनुसूची चयन को एक बाधा-युक्त अनुकूलन समस्या (constrained optimization problem) के रूप में तैयार करते हैं: एक निश्चित कुल मास्किंग बजट ( $\bar{\rho}$ ) के अधीन अपेक्षित ग्राफ-स्तरीय पुनर्गठन त्रुटि को कम करना।

उद्देश्य: $E[\Delta_{graph}] \approx \sum_r \pi_r I_r \epsilon_r \rho_r$ को कम करना, जहाँ $\pi_r$ भूमिका आवृत्ति है, $I_r$ प्रभाव है, $\epsilon_r$ अवशिष्ट त्रुटि (residual error) है, और $\rho_r$ औसत भ्रष्टाचार एक्सपोजर है।
समाधान: इष्टतम आवंटन एक "वॉटर-फिलिंग" नियम (Theorem 1) का पालन करता है। उच्च क्रिटिकैलिटी ( $c_r = I_r \epsilon_r$ ) वाली भूमिकाओं को कम एक्सपोजर (सुरक्षा) प्राप्त होता है, जबकि कम क्रिटिकैलिटी वाली भूमिकाओं को उच्च एक्सपोजर मिलता है।
कार्यान्वयन: भ्रष्टाचार दर को एब्जॉर्बिंग प्रोसेस में भूमिका-विशिष्ट घातांकों $\gamma_r$ $γ_{r}$ द्वारा पैरामीटराइज़ किया जाता है: $\alpha^{(r)}_t = 1 - \exp(-\gamma_r \Lambda(t))$ $α_{t}^{(r)} = 1 - exp (- γ_{r} Λ (t))$ ।
- $\gamma_r < 1$ : भूमिका को सुरक्षित करता है (कम मास्क करता है)।
- $\gamma_r > 1$ : भूमिका को अधिक भ्रष्ट करता है।
- $\gamma_r = 1$ : यूनिफॉर्म MDLM को पुनः प्राप्त करता है।
लॉस रीवेटिंग (Loss Reweighting): संरक्षित भूमिकाओं के कम प्रशिक्षण को रोकने के लिए, प्रति-टोकन लॉस को एक्सपोजर प्रोबेबिलिटी के व्युत्क्रम (inverse) द्वारा पुन: भारित किया जाता है।

4. भूमिका-जागरूक नमूनाकरण (Role-Aware Sampling)

जनरेशन के दौरान, मॉडल टोकेनाइज़र के प्रायर $P(r|v)$ और डिनोइज़र के आउटपुट का उपयोग करके मास्क किए गए टोकनों के लिए एक सॉफ्ट रोल डिस्ट्रीब्यूशन का अनुमान लगाता है। यह मॉडल को पूर्व-निर्धारित भूमिका-विशिष्ट दरों ( $\gamma_r$ ) को गतिशील रूप से लागू करने की अनुमति देता है, जिससे यह सुनिश्चित होता है कि जनरेशन के समय स्पष्ट भूमिका लेबल की आवश्यकता के बिना प्रशिक्षण और अनुमान के बीच अनुसूची सुसंगत रहे।

प्रमुख योगदान

भूमिका विषमता का लक्षण वर्णन: यह शोध पत्र प्रदर्शित करता है कि सीरियलाइज्ड टोकन भूमिकाएं पुनर्गठन की कठिनाई और संरचनात्मक परिणाम में व्यवस्थित रूप से भिन्न होती हैं, जो ग्राफ-टू-सीक्वेंस डिफ्यूजन में यूनिफॉर्म महत्व की धारणा को अमान्य करती हैं।
सिद्धांतिक भ्रष्टाचार शेड्यूलिंग: यह एक बाधा-युक्त संरचनात्मक-जोखिम न्यूनीकरण समस्या के रूप में भ्रष्टाचार को तैयार करता है, जिससे एक जोखिम-इष्टतम आवंटन नियम प्राप्त होता है जो मानक MDLM (जिसे यूनिफॉर्म क्रिटिकैलिटी के विशेष मामले के रूप में दिखाया गया है) का सामान्यीकरण करता है।
मोटिफ-जागरूक सीरियलाइजेशन (mSENT): एक नया टोकेनाइज़र जो लॉसलेस डिकोडिंग गारंटी बनाए रखते हुए और मोटिफ लोकैलिटी में सुधार करते हुए संरचनात्मक भूमिकाओं को उजागर करता है।
अनुभवजन्य सत्यापन: नियंत्रित प्रयोग जो दिखाते हैं कि व्युत्पन्न अनुसूची मॉडल क्षमता, प्रशिक्षण बजट या कंप्यूट को बढ़ाए बिना यूनिफॉर्म मास्किंग की तुलना में बेहतर प्रदर्शन करती है।

परिणाम

मैच्ड आर्किटेक्चर, प्रशिक्षण बजट और सैंपलिंग कंप्यूट के तहत, MotifRole-Diff यूनिफॉर्म MDLM की तुलना में निम्नलिखित सुधार प्राप्त करता है:

वैलिडिटी (Validity):
- QM9: 0.905 से सुधरकर 0.944 हुआ।
- MOSES: 0.920 से सुधरकर 0.938 हुआ।
- GuacaMol: 0.787 से सुधरकर 0.841 हुआ।
डिस्ट्रिब्यूशनल फिडेलिटी (FCD):
- QM9: 1.701 से घटकर 1.609 हुआ।
- MOSES: 2.125 से घटकर 1.850 हुआ।
भूमिका-वार पुनर्गठन: मॉडल विशेष रूप से उच्च-क्रिटिकैलिटी भूमिकाओं (जैसे, QM9 पर इंटरफ़ेस टोकन) के लिए बेहतर पुनर्गठन सटीकता (कम NLL और टॉप-1 एरर) दिखाता है।
मोटिफ लोकैलिटी: mSENT सीरियलाइजेशन ने प्लेन SENT की तुलना में सभी आठ मोटिफ-लोकैलिटी मेट्रिक्स में सुधार किया, जिससे मोटिफ-सुसंगत उप-संरचनाएं टोकन स्ट्रीम में निरंतर (contiguous) बनी रहीं।
दक्षता: यह विधि कोई कम्प्यूटेशनल ओवरहेड नहीं जोड़ती है (समान पैरामीटर काउंट, कोई अतिरिक्त फॉरवर्ड पास नहीं) और यूनिफॉर्म MDLM के वॉल-क्लॉक टाइम से मेल खाती है।

महत्व और दावे

शोध पत्र का दावा है कि सीरियलाइज्ड मॉलिक्यूलर ग्राफ डिफ्यूजन के लिए संरचनात्मक रूप से सूचित भ्रष्टाचार, यूनिफॉर्म अनुसूचियों की तुलना में एक अधिक प्रभावी मास्किंग रणनीति है।

सैद्धांतिक महत्व: यह कार्य एक सैद्धांतिक गारंटी प्रदान करता है कि जब टोकन भूमिकाओं में विषम क्रिटिकैलिटी होती है, तो यूनिफॉर्म मास्किंग उप-इष्टतम (suboptimal) होती है। यह सिद्ध करता है कि मापे गए संरचनात्मक जोखिम के आधार पर एक निश्चित शोर बजट को पुनर्वितरित करने से मॉडल किया गया भूमिका-भारित अवशिष्ट जोखिम कम हो जाता है।
व्यावहारिक महत्व: वैधता और डिस्ट्रिब्यूशनल फिडेलिटी में सुधार मॉडल क्षमता या प्रशिक्षण समय को बढ़ाकर नहीं, बल्कि भ्रष्टाचार प्रक्रिया को पुन: पैरामीटराइज़ करके किया गया है ताकि यह आणविक ग्राफों की संरचनात्मक वास्तविकता के अनुरूप हो सके।
विनम्रता (Modesty): लेखक स्पष्ट रूप से कहते हैं कि सैद्धांतिक गारंटी मॉडल किए गए जोखिम उद्देश्य पर लागू होती है। डाउनस्ट्रीम जनरेशन लाभ (वैलिडिटी, FCD) अनुभवजन्य अवलोकन हैं। वे यह भी नोट करते हैं कि सिंगल-टोकन प्रभाव अनुमान मल्टी-टोकन नाजुकता को कम करके दिखा सकता है और यह विधि सभी मेट्रिक्स में पूर्ण-प्रशिक्षण ग्राफ-नेटिव बेसलाइन को पार नहीं करती है (उदाहरण के लिए, FCD अभी भी कुछ नेटिव ग्राफ डिफ्यूजन विधियों से पीछे है)।

संक्षेप में, MotifRole-Diff यह प्रदर्शित करता है कि मौजूदा लॉसलेस सीरियलाइजेशन फ्रेमवर्क के भीतर आणविक जनरेशन को अधिक प्रभावी बनाने के लिए टोकन भूमिकाओं की संरचनात्मक विषमता को पहचानना और उस पर कार्य करना अत्यंत महत्वपूर्ण है।