🤖 machine learning

Sample Efficient Generative Optimization for Molecular Design

यह शोध पत्र सैंपल एफिशिएंट जनरेटिव ऑप्टिमाइज़ेशन (SEGO) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो आणविक डिजाइन के लिए आवश्यक महंगे ऑरेकल इवैल्यूएशन की संख्या को महत्वपूर्ण रूप से कम करने के लिए बेयसियन ऑप्टिमाइज़ेशन को एडेप्टिव जनरेटिव मॉडल्स के साथ एकीकृत करता है, जिससे मौजूदा विधियों की तुलना में दस गुना तक कम नमूनों के साथ व्यावहारिक बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Sarina Kopf, Cristina Nevado, Philippe Schwaller

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sarina Kopf, Cristina Nevado, Philippe Schwaller

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप "केमिकल स्पेस" नामक एक विशाल, कोहरे से भरे द्वीपसमूह में एक खजाना खोजने वाले शिकारी हैं। आपका लक्ष्य क्या है? एक विशिष्ट, जादुई द्वीप (एक अणु) खोजना जो किसी बीमारी को ठीक करता है या एक नए इंजन को शक्ति देता है। समस्या यह है कि द्वीप अनंत हैं, और यह जांचने के लिए कि क्या कोई द्वीप सही है, आपको एक महंगे, धीमी गति से चलने वाले जहाज (एक प्रयोग या उच्च-सटीकता वाले सिमुलेशन) को वहां जाने के लिए भेजना पड़ता है। आपके पास केवल कुछ ही यात्राओं के लिए ईंधन है।

अधिकांश खजाना शिकारी दो रणनीतियों का उपयोग करते हैं, और दोनों में खामियां हैं। कुछ जेनरेटिव मॉडल्स (Generative Models) का उपयोग करते हैं, जो जादुई दिशा-सूचक यंत्रों की तरह हैं जो यादृच्छिक (random) द्वीप निकालते हैं। वे अन्वेषण करने में अच्छे हैं, लेकिन वे अपनी गलतियों से जल्दी नहीं सीखते। अन्य बेयसियन ऑप्टिमाइज़ेशन (Bayesian Optimization) का उपयोग करते हैं, जो एक अत्यंत बुद्धिमान मानचित्रकार की तरह है। मानचित्रकार आपके द्वारा पहले देखे गए कुछ द्वीपों के आधार पर एक नक्शा बनाता है और अनुमान लगाता है कि खजाना कहाँ हो सकता है। लेकिन यह मानचित्रकार बहुत चयनात्मक है: इसे काम करने के लिए द्वीपों की एक पूर्व-निर्धारित सूची की आवश्यकता होती, अन्यथा यह भ्रमित हो जाता है यदि द्वीप उन द्वीपों से बहुत अलग दिखते हैं जिन्हें यह जानता है।

यहाँ SEGO (सैंपल एफिशिएंट जेनरेटिव ऑप्टिमाइज़ेशन) आता है, जो एक हाइब्रिड रणनीति है जो एक स्मार्ट स्काउट टीम के रूप में कार्य करती है।

स्काउट टीम की रणनीति

SEGO दोनों दुनियाओं के सर्वश्रेष्ठ गुणों को एक लूप में जोड़ता है जो अविश्वसनीय रूप से तेजी से सीखता है। यह यहाँ चरण-दर-चरण बताया गया है:

मैपमेकर (द सरोगेट): सबसे पहले, एक संभाव्यता-आधारित (probabilistic) मानचित्रकार आपके द्वारा पहले देखे गए कुछ द्वीपों को देखता है। यह केवल अनुमान नहीं लगाता; यह एक "परिकल्पना" बनाता है कि कोहरे में खजाना कहाँ छिपा है।
स्काउट (द जेनरेटिव मॉडल): किसी पूर्व-निर्मित सूची की प्रतीक्षा करने के बजाय, SEGO एक जेनरेटिव मॉडल (एक "स्काउट") को उस विशिष्ट कोहरे वाले क्षेत्र में भेजता है। स्काउट को मानचित्रकार की परिकल्पना द्वारा निर्देशित किया जाता है ताकि वह ताज़ा उम्मीदवारों का एक नया बैच तैयार कर सके ठीक वहीं जहाँ खजाना होने की संभावना अधिक है।
चयन (The Selection): इस नए बैच में से, एक चयन उपकरण सबसे आशाजनक एकल द्वीप को चुनने के लिए चुनता है।
फीडबैक लूप: आप अपने जहाज को उस द्वीप पर भेजते हैं। परिणाम (एक "ओरेकल कॉल") का उपयोग दो चीजों के लिए किया जाता है:
- यह मानचित्रकार के नक्शे को और अधिक सटीक बनाता है, जिससे अगला अनुमान और भी बेहतर हो जाता है।
- यह स्काउट को "एंकर" (anchor) करता है, जिससे उसे वास्तविक, उच्च-पुरस्कार वाले क्षेत्रों पर टिके रहने की शिक्षा मिलती है, न कि भटकने की।

यह गेम-चेंजर क्यों है

पेपर दिखाता है कि यह तरीका अविश्वसनीय रूप से सैंपल एफिशिएंट (sample efficient) है, जिसका अर्थ है कि यह अन्य सभी तरीकों की तुलना में बहुत कम जहाज यात्राओं के साथ खजाना खोज लेता है।

PMO बेंचमार्क: एक मानक परीक्षण जिसे प्रैक्टिकल मॉलिक्यूलर ऑप्टिमाइज़ेशन (PMO) बेंचमार्क कहा जाता है, उस पर SEGO ने अन्य तरीकों की तुलना में केवल दसवें हिस्से के जहाज चक्करों (ओरेकल कॉल्स) का उपयोग करके सर्वोत्तम उम्मीदवारों को खोज निकाला। जहाँ दूसरों को 1,000 चक्करों की आवश्यकता हो सकती है, SEGO ने केवल 100 में शीर्ष-स्तरीय परिणाम खोज लिए।
डॉकिंग टास्क: प्रोटीन पॉकेट में अणुओं को फिट करने के कार्य (डॉकिंग) से संबंधित एक जटिल कार्य पर, SEGO ने मौजूदा दृष्टिकोणों की तुलना में लगभग आधे चक्करों में 10 हिट्स खोज लिए।

SEGO क्या नहीं करता है

यह जानना महत्वपूर्ण है कि यह विधि क्या नहीं करती है, पेपर के निष्कर्षों के आधार पर:

यह रैंडम सूचियों के साथ काम नहीं करता: यदि आप मानचित्रकार को 500 अणुओं की एक रैंडम सूची देते हैं (एक मानक बेयसियन ऑप्टिमाइज़ेशन की तरह), तो यह हिट्स खोजने में विफल रहता है क्योंकि सूची में सही उम्मीदवार नहीं होते। मानचित्रकार को उम्मीदवारों को जेनरेट करने के लिए स्काउट की आवश्यकता होती।
यह एक "शुद्ध" कंपास के साथ काम नहीं करता: यदि आप केवल जेनरेटिव स्काउट को बिना मानचित्रकार के मार्गदर्शन के घूमने देते हैं (एक शुद्ध सुदृढीकरण लर्निंग/Reinforcement Learning दृष्टिकोण), तो यह सख्त ईंधन सीमाओं के तहत हिट्स खोजने में विफल रहता है। मानचित्र के बिना स्काउट खो जाता है।
यह अनंत विविधता की गारंटी नहीं देता: पेपर एक दुष्प्रभाव का उल्लेख करता है जिसे "आइसोमर कोलैप्स" (isomer collapse) कहा जाता है। क्योंकि टीम सर्वोत्तम खजाना खोजने में इतनी अच्छी है, वे कभी-कभी एक ही खजाने के विभिन्न संस्करण (वही फॉर्मूला लेकिन अलग आकार वाले अणु) खोजते रहते हैं। इसे ठीक करने के लिए, टीम को एक विशेष फ़िल्टर जोड़ना पड़ा जो उन्हें थोड़े अलग फॉर्मूले खोजने के लिए मजबूर करता है, जिससे गुणवत्ता की खोज और विविधता की आवश्यकता के बीच संतुलन बना रहे।

हम कितने आश्वस्त हैं?

लेखक इन परिणामों को लेकर बहुत आश्वत हैं क्योंकि इन्हें स्थापित बेंचमार्क पर मापा गया है।

सिमुलेटेड परिणाम: प्रदर्शन के आंकड़े (जैसे आधे बजट में 10 हिट्स खोजना) रासायनिक कार्यों के कंप्यूटर सिमुलेशन पर इन विधियों को चलाने से प्राप्त हुए हैं। पेपर स्पष्ट रूप से बताता है कि ये परिणाम PMO बेंचमार्क और एक मल्टीपैरामीटर डॉकिंग टास्क से हैं।
वास्तविक दुनिया की क्षमता: पेपर सुझाव देता है कि क्योंकि SEGO इतना कुशल है, इसलिए अंततः इसका उपयोग प्रत्यक्ष प्रयोगात्मक फीडबैक (वास्तविक द्वीपों पर वास्तविक जहाज भेजना) के लिए किया जा सकता है, न कि केवल सस्ते, निम्न-गुणवत्ता वाले कंप्यूटर अनुमानों पर निर्भर रहने के लिए। हालाँकि, पेपर इसे एक भविष्य की संभावना के रूप में प्रस्तुत करता है जो दक्षता लाभों द्वारा सक्षम है, न कि एक पूर्ण वास्तविक दुनिया के क्लिनिकल ट्रायल के रूप में।

संक्षेप में, SEGO एक चतुर लूप है जहाँ एक मानचित्रकार एक स्काउट को सही जगह पर निर्देशित करता है, और स्काउट की खोजें मानचित्र को और भी बेहतर बनाती हैं। यह एक धीमे, महंगे खजाने की खोज को एक तेज़, सटीक मिशन में बदल देता है, जो बहुत कम ईंधन के साथ सर्वोत्तम अणु खोजता है।

तकनीकी सारांश: आणविक डिजाइन के लिए नमूना कुशल जनरेटिव अनुकूलन (Sample Efficient Generative Optimization)

समस्या विवरण
ड्रग डिस्कवरी, सामग्री डिजाइन और कैटलिसिस में आणविक अनुकूलन के लिए सख्त मूल्यांकन बजट के तहत विशाल रासायनिक स्थानों (chemical spaces) को नेविगेट करने की आवश्यकता होती है। उच्च-सटीकता वाले ओरेकल (जैसे, प्रयोगात्मक संश्लेषण और परीक्षण) महंगे और समय लेने वाले होते हैं, जिससे एक अनुकूलन पद्धति की "नमूना दक्षता" (sample efficiency)—अर्थात, मजबूत उम्मीदवारों को खोजने के लिए आवश्यक मूल्यांकन की संख्या—उसकी व्यावहारिक उपयोगिता का प्राथमिक निर्धारक बन जाती है। वर्तमान पद्धतियां एक ट्रेड-ऑफ का सामना करती हैं: डीप जनरेटिव मॉडल (जैसे, RL-आधारित SMILES जेनरेटर) को अभिसरण (converge) करने के लिए सैकड़ों से हजारों ओरेकल कॉल्स की आवश्यकता होती है, जबकि बायेसियन ऑप्टिमाइज़ेशन (BO) उच्च नमूना दक्षता प्रदान करता है लेकिन निश्चित लाइब्रेरी या आणविक प्रतिनिधित्व के चयन के प्रति संवेदनशील होता है। मौजूदा हाइब्रिड दृष्टिकोण खुले अंत वाले आणविक स्थान में जनरेटिव सर्च की लचीलापन और BO की डेटा दक्षता के बीच संतुलन बनाने में संघर्ष करते हैं, विशेष रूप से उन परिदृश्यों में जहाँ लक्षित वितरण अज्ञात है और प्रत्यक्ष प्रयोगात्मक फीडबैक ही एकमात्र व्यवहार्य ओरेकल है।

कार्यप्रणाली: SEGO फ्रेमवर्क
लेखक सैंपल एफिशिएंट जनरेटिव ऑप्टिमाइज़ेशन (SEGO) का प्रस्ताव करते हैं, जो एक टैंडम फ्रेमवर्क है जो खुले अंत वाले आणविक स्थान में नमूना-कुशल खोज करने के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) और बायेसियन ऑप्टिमाइज़ेशन (BO) को एकीकृत करता है। SEGO तीन मुख्य घटकों वाले एक पुनरावृत्ति लूप के माध्यम से कार्य करता है:

जनरेटिव इंजन (Saturn): एक ऑटोरिग्र्रेसिव SMILES जेनरेटर जो Mamba आर्किटेक्चर पर आधारित है और RL के माध्यम से प्रशिक्षित है। यह "ऑगमेंटेड मेमोरी" (Augmented Memory) का उपयोग करता है, जो शीर्ष-पुरस्कृत SMILES स्ट्रिंग्स का एक रिप्ले बफर बनाए रखता है, जिसे सामान्यीकरण (generalization) में सुधार करने और मोड कोलैप्स (mode collapse) को रोकने के लिए रैंडमाइज (SMIS-ऑगमेंटेशन के माध्यम से) किया जाता है।
बायेसियन ऑप्टिमाइज़ेशन इंजन (GOLLuM): एक सरोगेट मॉडल जो एक डीप कर्नेल गॉसियन प्रोसेस (GP) पर आधारित है, जो सीधे LLMs से प्राप्त SMILES एम्बेडिंग पर कार्य करता है। यह हैंड-क्राफ्टेड डिस्क्रिप्टर्स के बिना ऑन-द-फ्लाई फीचरइजेशन की अनुमति देता है।
SEGO लूप:
- एंकर्ड इनर लूप (Anchored Inner Loop): प्रत्येक इटरेशन में, एक "सरोगेट-गाइडेड" इनर एजेंट ( $\pi_{Inner}$ ) को एक "ट्रू-ओरेकल" एंकरड एजेंट ( $\pi_{Agent}$ ) से स्थापित किया जाता है। इनर एजेंट को GP पोस्टीरियर मीन (सरोगेट की परिकल्पना कि हिट्स कहाँ स्थित हैं) के विरुद्ध प्रशिक्षित किया जाता है ताकि आशाजनक क्षेत्रों में उम्मीदवारों की एक लक्षित लाइब्रेरी बनाई जा सके।
- चयन (Selection): लाइब्रेरी को डीप-कर्नेल GP का उपयोग करके फीचर किया जाता है, और एक एक्विजिशन फंक्शन (Expected Improvement) सबसे आशाजनक उम्मीदवार का चयन करता है।
- फीडबैक और अपडेट: चयनित उम्मीदवार का मूल्यांकन 'ट्रू ओरेकल' द्वारा किया जाता है। परिणाम का उपयोग निम्नलिखित के लिए किया जाता है:
  - GP सरोगेट को अपडेट करने के लिए (परिकल्पना को परिष्कृत करना)।
  - वास्तविक रिवॉर्ड के साथ एंकरड एजेंट ( $\pi_{Agent}$ ) को RL के माध्यम से अपडेट करने के लिए।
  - ऑगमेंटेड ऑप्टिमाइज़ेशन (Augmented Optimization) करना: चयनित अणु को $N$ रैंडमाइज्ड SMILES वेरिएंट्स में ऑगमेंट किया जाता है, और GP को सभी रिप्रेजेंटेशन पर एक साथ प्रशिक्षित किया जाता है। यह SMILES की नॉन-इन्जेक्टिव प्रकृति का लाभ उठाता है ताकि लेटेंट स्पेस को संरेखित किया जा सके, जिससे कम डेटा वाले परिदृश्यों में प्रेडिक्टिव सटीकता में सुधार होता है।

प्रमुख योगदान

सरोगेट-गाइडेड जनरेशन: मानक BO के विपरीत, जो निश्चित लाइब्रेरी से चयन करता है, SEGO एक जनरेटिव मॉडल को विशेष रूप से उन क्षेत्रों में उम्मीदवार प्रस्तावित करने के लिए निर्देशित करता है जहाँ सरोगेट की परिकल्पना है कि उच्च रिवॉर्ड मौजूद हैं।
एंकरिंग मैकेनिज्म (Anchoring Mechanism): फ्रेमवर्क एक ऐसे एजेंट को बनाए रखता है जो ट्रू ओरेकल फीडबैक पर प्रशिक्षित है ताकि स्थिरता सुनिश्चित हो सके, जबकि एक अस्थायी इनर एजेंट का उपयोग सरोगेट के लैंडस्स्केप को एक्सप्लोर करने के लिए किया जाता है। यह एजेंट को अनप्रोडक्टिव क्षेत्रों में जाने से रोकता है यदि सरोगेट शुरू में अनिश्चित हो।
SMILES-ऑगमेंटेड सरोगेट अपडेट्स: एक ही अणु के कई ऑगमेंटेड रिप्रेजेंटेशन पर GP को प्रशिक्षित करके, SEGO लेटेंट स्पेस के संरेखण और कम ओरेकल कॉल्स के साथ सरोगेट मॉडल की सटीकता में सुधार करता है।
आइसोमर कोलैप्स मिटिगेशन (Isomer Collapse Mitigation): लेखक एक संशोधित एक्सपेक्टेड इम्प्रूवमेंट एक्विजिशन फंक्शन पेश करते हैं जो इंकमबेंट थ्रेशोल्ड को बढ़ाता है, जिससे केवल वर्तमान सर्वश्रेष्ठ हिट के संवैधानिक आइसोमर्स के बजाय नए आणविक फॉर्मूला की खोज को प्रोत्साहन मिलता है।

परिणाम

एब्लेशन स्टडीज (Ablation Studies): एंकरड इनिशियलाइजेशन रणनीति एक प्रायर से री-इनिशियलाइज करने या इटरेशन के दौरान एक निरंतर एजेंट बनाए रखने की तुलना में काफी बेहतर प्रदर्शन करती है, जो आशाजनक रासायनिक क्षेत्रों में एक आवश्यक "वार्म स्टार्ट" प्रदान करती है। ऑगमेंटेड ऑप्टिमाइज़ेशन (5x से 20x) को विविधता में सांख्यिकीय रूप से महत्वपूर्ण नुकसान के बिना यील्ड (yield) में सुधार करने और ओरेकल बोझ को कम करने के लिए प्रभावी पाया गया।
कंपोनेंट तुलना: एक मल्टी-प्रॉपर्टी ऑप्टिमाइज़ेशन टास्क में, एक सख्त 100-कॉल बजट के साथ, स्टैंडअलोन जनरेटिव इंजन (Saturn) और स्टैंडअलोन BO इंजन (GOLLूM) हिट्स खोजने में विफल रहे या खराब प्रदर्शन किया। SEGO ने 63 अद्वितीय हिट्स सफलतापूर्वक पहचाने, जो हाइब्रिड दृष्टिकोण की आवश्यकता को प्रदर्शित करते हैं।
PMO बेंचमार्क: PMO बेंचमार्क पर, SEGO ने अन्य पद्धतियों (जो आमतौर पर 1,000 कॉल्स का उपयोग करती हैं) द्वारा खपत किए गए 10% ओरेकल बजट (100 कॉल्स) का उपयोग करके स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया। इसने प्रतिस्पर्धी टॉप-1 और टॉप-10 स्कोर प्राप्त किए।
मल्टीपैरामीटर डॉकिंग: एक विशिष्ट डॉकिंग टास्क पर, SEFO ने मौजूदा स्टेट-ऑफ-द-आर्ट दृष्टिकोणों द्वारा आवश्यक ओरेकल कॉल्स के लगभग आधे में दस हिट्स तक पहुँच प्राप्त की।

महत्व और दावे
पेपर का दावा है कि SEGO आणविक अनुकूलन को प्रत्यक्ष प्रयोगात्मक फीडबैक द्वारा संचालित अभियानों के करीब ले जाता है। ओरेकल कॉल्स की आवश्यक संख्या को नाटकीय रूप से कम करके, यह विधि उच्च-सटीकता वाले सिमुलेशन या वास्तविक दुनिया के प्रयोगों को ऑप्टिमाइज़ेशन ओरेकल के रूप में उपयोग करना संभव बनाती है, बजाय इसके कि सस्ते, कम-सटीकता वाले इन-सिलिको प्रॉक्सी पर निर्भर रहा जाए जो "हैकिंग" के प्रति संवेदनशील होते हैं। लेखक SEGO को उन सीमाओं को दूर करने वाले समाधान के रूप में प्रस्तुत करते हैं जो फिक्स्ड लाइब्रेरी और शुद्ध जनरेटिव मेथड्स की डेटा अक्षमता से उत्पन्न होती हैं, जिससे न्यूनतम प्रयोगात्मक लागत के साथ खुले अंत वाले रासायनिक स्थानों में उच्च-गुणवत्ता वाले उम्मीदवारों की खोज को सक्षम बनाया जा सके।

स्काउट टीम की रणनीति

यह गेम-चेंजर क्यों है

SEGO क्या नहीं करता है

हम कितने आश्वस्त हैं?

इसी तरह के और पेपर