🤖 machine learning

Sequential Design of Genetic Circuits Under Uncertainty With Reinforcement Learning

यह शोधपत्र एक अनुक्रमिक सुदृढीकरण शिक्षण (सीक्वेंशियल रिइन्फोर्समेंट लर्निंग) ढांचे को प्रस्तुत करता है जो एक एमोर्टाइज्ड (amortized), पूर्व-प्रशिक्षित नीति का उपयोग करके आनुवंशिक सर्किट डिजाइनों को आंतरिक स्टोकेस्टिसिटी और प्रयोगात्मक परिवर्तनशीलता दोनों के तहत अनुकूलित करता है ताकि पारंपरिक पुनरावृत्ति अनुमान विधियों की कम्प्यूटेशनल देरी के बिना तत्काल, अवलोकन-आधारित अनुकूलन सक्षम किया जा सके।

मूल लेखक: Michal Kobiela, Diego A. Oyarzún, Michael U. Gutmann

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michal Kobiela, Diego A. Oyarzún, Michael U. Gutmann

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: अंधेरे में जैविक मशीनों को डिज़ाइन करना

कल्पना कीजिए कि आप एक बेहतरीन केक बनाने की कोशिश कर रहे हैं। आपके पास एक रेसिपी (कंप्यूटर मॉडल) है जो आपको बताती है कि कितना आटा, चीनी और गर्मी का उपयोग करना है। हालाँकि, यहाँ दो बड़ी समस्याएँ हैं:

"रसोई" हर जगह अलग होती है (एपिस्टेमिक अनसर्टेन्टी/ज्ञान संबंधी अनिश्चितता): आप ठीक से नहीं जानते कि आपका विशिष्ट ओवन कैसे काम करता है। हो सकता है कि आपका ओवन रेसिपी के अनुसार 10 डिग्री अधिक गर्म चलता हो, या शायद आपकी बोरी का आटा थोड़ा अलग हो। एक केक जो एक रसोई में पूरी तरह से काम करता है, वह दूसरी रसोई में जल सकता है।
केक चंचल होता है (एलियटोरिक अनसर्टेन्टी/संयोगिक अनिश्चितता): भले ही आप बिल्कुल उन्हीं सामग्रियों और ओवन सेटिंग्स का उपयोग करें, फिर भी हवा में मामूली बदलाव या मिश्रण की प्रक्रिया के कारण केक हर बार थोड़ा अलग हो सकता है। यह जीव विज्ञान का प्राकृतिक "शोर" (noise) है।

सिंथेटिक बायोलॉजी की दुनिया में, वैज्ञानिक जेनेटिक सर्किट (जैसे बैक्टीरिया के अंदर छोटी जैविक मशीनें) डिजाइन करना चाहते हैं ताकि वे दवाइयाँ बना सकें या अंधेरे में चमक सकें। लेकिन ऊपर दी गई दो समस्याओं के कारण, एक डिज़ाइन जो सिमुलेशन (simulation) में काम करता है, वह अक्सर वास्तविक लैब में विफल हो जाता है।

पुराना तरीका: धीमा और महंगा चक्र

परंपरागत रूप से, जब वैज्ञानिक इसे ठीक करने की कोशिश करते थे, तो वे हर एक प्रयोग के बाद एक धीमे, तीन-चरणीय चक्र का उपयोग करते थे:

एक प्रयोग करें।
रुकें और सोचें: "परिणाम के आधार पर, मेरे ओवन की छिपी हुई सेटिंग्स क्या हैं?" (इसे इन्फरेंस/अनुमान कहा जाता है)।
पुनर्गणना करें: "अब जब मुझे ओवन की सेटिंग्स पता चल गई हैं, तो नई सबसे अच्छी रेसिपी क्या है?" (यह ऑप्टिमाइज़ेशन/अनुकूलन है)।

यह पेपर तर्क देता है कि यह बहुत धीमा है। यह एक केक बनाने, फिर रुककर टुकड़ों का विश्लेषण करने के लिए एक गणितज्ञ को काम पर रखने, रेसिपी की पुनर्गणना करने और फिर से केक बनाने जैसा है। जब तक आप अगला केक बनाते हैं, तब तक आपने बहुत सारा समय और पैसा बर्बाद कर दिया होता है।

नया तरीका: "स्मार्ट शेफ" (रीइन्फोर्समेंट लर्निंग)

लेखक रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करके एक नया तरीका प्रस्तावित करते हैं। इसे एक "स्मार्ट शेफ" (एक कंप्यूटर प्रोग्राम) को लैब में कदम रखने से पहले प्रशिक्षित करने के रूप में सोचें।

उन्होंने स्मार्ट शेफ को कैसे प्रशिक्षित किया:
एक बार में एक केक बनाने के बजाय, उन्होंने हजारों रसोइयों (kitchens) का सिमुलेशन किया। उन्होंने शेफ को बताया: "कल्पना करो कि तुम किचन A में ओवन X के साथ हो, फिर किचन B में ओवन Y के साथ, फिर किचन C में ओवन Z के साथ।" उन्होंने शेफ को इन काल्पनिक परिदृश्यों में हजारों रेसिपी आज़माने दी।

इस व्यापक प्रशिक्षण के माध्यम से, शेफ ने एक पॉलिसी (नीति) (अंतर्ज्ञानों का एक सेट) सीखी। शेफ ने सीखा: "यदि पहला केक बहुत सूखा निकला है, तो अगली बार अधिक तरल डालने का प्रयास करें। यदि यह बहुत मीठा है, तो चीनी कम करें।"

"अमोर्टाइजेशन" (Amortization) का जादू:
यही मुख्य नवाचार है। भारी काम (हजारों सिमुलेशन) प्रशिक्षण के दौरान शुरुआत में ही हो जाता है। एक बार जब शेफ प्रशिक्षित हो जाता है, तो उसे अब गणित करने के लिए रुकने की आवश्यकता नहीं होती है।

पुराना तरीका: प्रयोग $\rightarrow$ रुकें $\rightarrow$ गणित करें $\rightarrow$ प्रयोग।
नया तरीका: प्रयोग $\rightarrow$ शेफ तुरंत कहता है "चीनी और डालें" $\rightarrow$ अगला प्रयोग।

शेफ पिछले प्रयोग के परिणाम को देख सकता है और तुरंत जान सकता है कि आगे क्या करना है, बिना स्पष्ट रूप से छिपी हुई ओवन सेटिंग्स को जाने।

तीन परीक्षण (केस स्टडीज)

लेखकों ने इस "स्मार्ट शेफ" का तीन अलग-अलग जैविक चुनौतियों पर परीक्षण किया:

ओवरवर्क्ड फैक्ट्री (जीन एक्सप्रेशन):
- लक्ष्य: बैक्टीरिया से एक विशिष्ट प्रोटीन का अधिक से अधिक उत्पादन करवाना।
- चुनौती: यदि आप बैक्टीरिया को प्रोटीन उत्पादन के लिए बहुत अधिक मजबूर करते हैं, तो वह थक जाता है और काम करना बंद कर देता है (जैसे अत्यधिक काम के कारण फैक्ट्री वर्कर का बेहोश हो जाना)।
- परिणाम: स्मार्ट शेफ ने "स्वीट स्पॉट" (सही संतुलन) खोजना सीख लिया। उसने एक अनुमान से शुरुआत की, देखा कि बैक्टीरिया ने कैसी प्रतिक्रिया दी, और फिर उत्पादन को अधिकतम करने के लिए बिना होस्ट को मारे "धक्के" (push) को जल्दी से समायोजित किया। इसने यह काम पारंपरिक तरीकों की तुलना में तेजी से और बेहतर तरीके से किया।
संतुलित आहार (ग्रोथ कंस्ट्रेंट्स):
- लक्ष्य: प्रोटीन का उत्पादन करना, लेकिन केवल तभी जब बैक्टीरिया स्वस्थ रहे और बढ़ता रहे।
- चुनौती: कुछ सेटिंग्स बहुत अधिक प्रोटीन बनाती हैं लेकिन बैक्टीरिया के विकास को रोक देती हैं। शेफ को एक पतली रस्सी पर संतुलन बनाना था।
- परिणाम: शेफ ने बैक्टीरिया को जीवित रखने और बढ़ने के लिए पर्याप्त रूप से प्रोटीन उत्पादन को कम करना सीख लिया, और अलग-अलग "स्ट्रेन" (प्रजातियों) के अनुकूल ढल गया जिनके स्वास्थ्य की सीमाएं अलग थीं।
लयबद्ध नर्तक (जेनेटिक ऑसिलेटर):
- लक्ष्य: एक जेनेटिक सर्किट बनाना जो एक विशिष्ट लय में धड़कता या "बीट" करता है (जैसे एक घड़ी)।
- चुनौती: सिस्टम में रैंडम शोर और अज्ञात सेटिंग्स के कारण लय (rhythm) की भविष्यवाणी करना कठिन है।
- परिणाम: शेफ ने सर्किट को चरण-दर-चरण ट्यून करना सीख लिया। भले ही पहला अनुमान ताल से बाहर हो, शेफ ने वांछित लय से मेल खाने के लिए पहले कुछ "बीट्स" से मिले फीडबैक का उपयोग करके टाइमिंग को समायोजित किया।

यह क्यों मायने रखता है

यह पेपर दिखाता है कि एक कंप्यूटर एजेंट को "करते हुए सीखने" (learning while doing) में विशेषज्ञ बनाने के मामले में, हम लैब में आवश्यक धीमी और महंगी गणितीय चरणों को छोड़ सकते हैं।

गति: निर्णय अवलोकन के बाद तुरंत लिए जाते हैं।
मजबूती (Robustness): सिस्टम "अनजान अज्ञात" (अलग-अलग लैब) और "रैंडम शोर" (आणविक अराजकता) दोनों को संभालता है।
दक्षता: यह कम प्रयोगों के साथ बेहतर डिज़ाइन प्राप्त करता है।

महत्वपूर्ण नोट: लेखक इस बात पर जोर देते हैं कि ये सभी परीक्षण सिमुलेटेड डेटा (जीव विज्ञान के कंप्यूटर मॉडल) का उपयोग करके किए गए थे, अभी तक वास्तविक लैब प्रयोग नहीं। उन्होंने सिद्ध किया कि अवधारणा डिजिटल दुनिया में काम करती है, जो भविष्य के वास्तविक उपयोग का मार्ग प्रशस्त करती है। उन्होंने यह भी नोट किया कि यदि कंप्यूटर मॉडल वास्तविकता की तुलना में बहुत गलत है, तो "स्मार्ट शेफ" भ्रमित हो सकता है, जो भविष्य के लिए एक चुनौती है।

तकनीकी सारांश: अनिश्चितता के तहत सुदृढीकरण शिक्षण (Reinforcement Learning) के साथ जेनेटिक सर्किट का क्रमिक डिज़ाइन

समस्या विवरण
मजबूत जैविक प्रणालियों का डिज़ाइन मौलिक रूप से दो अलग-अलग प्रकार की अनिश्चितताओं से बाधित है: एलियटोरिक अनिश्चितता (aleatoric uncertainty), जो बायोमॉलिकुलर प्रतिक्रियाओं की अंतर्निहित स्टोकेस्टिसिटी और मापन शोर (measurement noise) से उत्पन्न होती है, और एपिस्टेमिक अनिश्चितता (epistemic uncertainty), जो सिस्टम मापदंडों (parameters) के अपूर्ण ज्ञान और विभिन्न प्रायोगिक स्थितियों (जैसे, प्रयोगशाला-विशिष्ट गतिज दरें) में परिवर्तनशीलता से उत्पन्न होती है। पारंपरिक कम्प्यूटेशनल डिज़ाइन रणनीतियाँ अक्सर प्रयोग, निष्कर्ष (inference), और अनुकूलन (optimization) के पुनरावृत्त चक्रों पर निर्भर करती हैं। हालांकि वैचारिक रूप से यह सही है, लेकिन ये बेयसियन दृष्टिकोण हर प्रायोगिक दौर के बाद कम्प्यूटेशनल रूप से महंगे पैरामीटर इन्फरेंस और पुन: अनुकूलन की मांग करते हैं। यह प्रयोगों के बीच महत्वपूर्ण देरी पैदा करता है और तैनाती (deployment) के दौरान इन्फरेंस एल्गोरिदम के सूक्ष्म ट्यूनिंग की आवश्यकता होती है, जिससे समय-संवेदनशील या संसाधन-सीमित जैविक इंजीनियरिंग में इनकी व्यावहारिक उपयोगिता सीमित हो जाती है।

कार्यप्रणाली
लेखक एक क्रमिक ढांचे (sequential framework) का प्रस्ताव करते हैं जो प्रायोगिक डिज़ाइन समस्या को एक पार्शली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDP) के रूप में पुनर्परिभाषित करता है। इस सूत्रीकरण में:

लेटेंट स्टेट (Latent State): अज्ञात सिस्टम पैरामीटर्स ( $\theta$ ) लेटेंट स्टेट का निर्माण करते हैं, जो विभिन्न प्रयोगशाला सेटिंग्स में भिन्न होते हैं लेकिन एक एकल प्रायोगिक एपिसोड के भीतर स्थिर रहते हैं।
एक्शन (Actions): नियंत्रणीय डिज़ाइन पैरामीटर्स (जैसे, प्रमोटर स्ट्रेंथ, इंड्यूसर सांद्रता) एक एजेंट द्वारा चुने जाते हैं।
अवलोकन (Observations): एजेंट प्रायोगिक आउटपुट (जैसे, जीन अभिव्यक्ति प्रक्षेपवक्र/trajectories) प्राप्त करता है, जो चुने गए एक्शन और लेटेंट पैरामीटर्स के आधार पर एक सिम्युलेटर द्वारा उत्पन्न किए जाते हैं।
पॉलिसी (Policy): प्रत्येक अवलोकन के बाद स्पष्ट इन्फरेंस करने के बजाय, लेखक एक पॉलिसी-आधारित सुदृढीकरण शिक्षण (RL) दृष्टिकोण का उपयोग करते हैं। एक न्यूरल नेटवर्क पॉलिसी ( $\pi_\psi$ ) पूरे एक्शन और ऑब्जर्वेशन के इतिहास ( $h_t$ ) को सीधे अगले एक्शन ( $a_t$ ) में मैप करने के लिए प्रशिक्षित की जाती है।

मुख्य नवाचार एक अमॉर्टाइज्ड (amortized) दृष्टिकोण है। पॉलिसी को एक पूर्व वितरण (prior distribution) से लिए गए संभावित अनिश्चित मापदंडों के एक सेट पर 'अप-फ्रंट' प्रशिक्षित किया जाता है। प्रशिक्षण के दौरान पॉलिसी को $\theta$ के कई वास्तविक रूपों के संपर्क में लाकर, यह प्रायोगिक इतिहास से इष्टतम कार्यों (optimal actions) तक एक सीधा मैपिंग सीखने में सक्षम होती है। यह पॉलिसी को बिना किसी स्पष्ट इन्फरेंस चरण के, अज्ञात स्थितियों के अनुकूल होने और छिपे हुए सिस्टम मापदंडों को अप्रत्यक्ष रूप से इन्फर करने की अनुमति देता है।

प्रशिक्षण प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करता है ताकि एक सीमित प्रायोगिक क्षितिज ( $T$ ) पर अपेक्षित संचयी पुरस्कार (expected cumulative reward) को अधिकतम किया जा सके। रिवॉर्ड फंक्शन डिज़ाइन ऑब्जेक्टिव (जैसे, प्रोटीन यील्ड को अधिकतम करना या लक्षित दोलन आवृत्ति/oscillation frequency से मेल खाना) पर आधारित होता है और इसे केवल अवलोकनों (या प्रशिक्षण के दौरान केवल लेटेंट पैरामीटर्स) से ही कंप्यूट किया जाता है (यह सुनिश्चित करने के लिए कि तैनाती के दौरान कोई सूचना रिसाव न हो)।

प्रमुख योगदान

अमॉर्टाइज्ड क्रमिक डिज़ाइन: यह शोध पत्र कम्प्यूटेशनल प्रयास को प्रायोगिक प्रक्रिया से अलग करने वाली एक विधि पेश करता है। एक बार प्रशिक्षित होने के बाद, पॉलिसी किसी अवलोकन को प्राप्त होते ही तुरंत अगला प्रयोग सुझा सकती है, जिससे पारंपरिक बेयसियन विधियों की पुनरावृत्त इन्फरेंस-अनुकूलन बाधा दूर हो जाती है।
दोहरी अनिश्चितता का प्रबंधन: यह ढांचा एलियटोरिक अनिश्चितता (मार्कोव जंप प्रक्रियाओं या ऑब्जर्वेशनल नॉइज़ के माध्यम से मॉडल की गई) और एपिस्टेमिक अनिश्चितता (लेटेंट पैरामीटर वितरण के माध्यम से मॉडल की गई) दोनों को एक साथ संबोधित करता है।
हिस्ट्री-आधारित अनुकूलन: उन विधियों के विपरीत जो केवल हालिया अवलोकन पर निर्भर करती हैं, यह पॉलिसी क्रियाओं और अवलोकनों के पूर्ण इतिहास पर आधारित होती है, जिससे यह निर्णय लेने के शुरुआती डेटा-दुर्लभ चरणों में भी सिम्युलेटर में एनकोडेड पूर्व यांत्रिक ज्ञान (mechanistic knowledge) का लाभ उठाने में सक्षम होती है।
सतत एक्शन स्पेस (Continuous Action Spaces): यह दृष्टिकोण निरंतर डिज़ाइन स्पेस पर कार्य करता है, जिससे जैविक मापदंडों पर सूक्ष्म नियंत्रण संभव होता है, जैसा कि सिंथेटिक बायोलॉजी में पिछले RL अनुप्रयोगों में नहीं देखा गया था जो डिस्क्रीट एक्शन स्पेस तक सीमित थे।

परिणाम
इस ढांचे का मूल्यांकन सिम्युलेटेड डेटा का उपयोग करके दो सिंथेटिक बायोलॉजी कार्यों पर किया गया:

हेटरोलॉगस जीन एक्सप्रेशन को अधिकतम करना: पॉलिसी को होस्ट रिसोर्स लिमिटेशन को ध्यान में रखते हुए प्रोटीन यील्ड को अधिकतम करने के लिए इंडक्शन स्तरों को ट्यून करने का कार्य दिया गया। मॉडल ने दिखाया कि पॉलिसी अज्ञात होस्ट पैरामीटर्स के अनुकूल इंडक्शन स्तरों को समायोजित कर सकती है, और 5-स्टेप क्षितिज के भीतर कम रिग्रेट (इष्टतम यील्ड के करीब होना) प्रदर्शित किया। इसने बेयसियन ऑप्टिमाइज़ेशन बेसलाइन को पीछे छोड़ दिया, विशेष रूप से बेहतर प्रारंभिक निर्णय लेने के लिए पूर्व यांत्रिक ज्ञान का लाभ उठाने के मामले में।
जेनेटिक ऑसिलेटर (रिप्रेसिलेटर) डिज़ाइन: पॉलिसी को आंतरिक शोर और पैरामेट्रिक अनिश्चितता के तहत एक विशिष्ट दोलन आवृत्ति प्राप्त करने के लिए रिप्रेसिलेटर सर्किट को डिज़ाइन करने के लिए लागू किया गया। परिणामों ने दिखाया कि पॉलिसी एक विशिष्ट लक्ष्य आवृत्ति और नियमित दोलन व्यवहार की ओर बढ़ने के लिए अनुक्रमिक रूप से अपने डिज़ाइन को परिष्कृत कर सकती है, भले ही शुरुआत व्यापक पैरामीटर प्रायर (priors) के साथ हुई हो।

दोनों मामलों में, पॉलिसी ने बिना किसी स्पष्ट पैरामीटर इन्फरेंस के, अज्ञात पर्यावरणीय विविधताओं के अनुकूल सफलतापूर्वक कार्य किया।

महत्व और दावे
लेखक दावा करते हैं कि यह दृष्टिकोण पारंपरिक क्रमिक डिज़ाइन विधियों के लिए एक व्यावहारिक और कुशल विकल्प प्रदान करता है। कम्प्यूटेशनल भार को ऑफलाइन प्रशिक्षण चरण में स्थानांतरित करके, यह विधि प्रयोगशाला सेटिंग्स में वास्तविक समय निर्णय लेने (real-time decision-making) को सक्षम बनाती है। यह विशेष रूप से प्रारंभिक चरण के प्रयोगों के लिए मूल्यवान है जहाँ डेटा विरल (sparse) होता है और पूर्व जैविक ज्ञान (जो सिम्युलेटर में एनकोडेड है) खोज को निर्देशित करने के लिए महत्वपूर्ण होता है।

लेखक वर्तमान दायरे के संबंध में विनम्र हैं, यह नोट करते हुए कि सभी मूल्यांकन सिंथेटिक डेटा पर किए गए थे। वे "अमॉर्टाइजेशन गैप" (जहाँ पॉलिसी हर संभव पैरामीटर कॉन्फ़िगरेशन के लिए पूरी तरह से इष्टतम नहीं हो सकती है) और वास्तविक दुनिया के जैविक प्रणालियों में मॉडल मिसमैच (जहाँ सिम्युलेटर की सटीकता सीमित हो सकती है) सहित संभावित सीमाओं को स्वीकार करते हैं। वे सुझाव देते हैं कि भविष्य के कार्य अर्ध-अमॉर्टाइज्ड (semi-amortized) रणनीतियों (पोस्टीरियर जानकारी के साथ पॉलिसी को अपडेट करना) और वास्तविक प्रायोगिक प्रणालियों में सत्यापन की खोज करेंगे। यह शोध पत्र स्वयं को सभी अनुकूलन विधियों के प्रतिस्थापन के रूप में नहीं, बल्कि कम-डेटा, उच्च-अनिश्चितता वाले परिदृश्यों के लिए एक विशेष उपकरण के रूप में प्रस्तुत करता है जहाँ तीव्र, अनुकूलन योग्य निर्णय लेने की आवश्यकता होती है।

बड़ी समस्या: अंधेरे में जैविक मशीनों को डिज़ाइन करना

पुराना तरीका: धीमा और महंगा चक्र

नया तरीका: "स्मार्ट शेफ" (रीइन्फोर्समेंट लर्निंग)

तीन परीक्षण (केस स्टडीज)

यह क्यों मायने रखता है

इसी तरह के और पेपर