Closed-Loop Generative Selection: Convergence, Memory, and Noisy Oracles
यह शोध पत्र एक विस्तारित अवस्था स्थान (enlarged state space) पर एक मार्कोव संरचना को पुनर्स्थापित करके ड्रग डिस्कवरी में क्लोज्ड-लूप जेनेरेटिव सिलेक्शन के लिए एक कठोर अभिसरण सिद्धांत (convergence theory) और रनटाइम सीमाएं स्थापित करता है, जो यह प्रकट करता है कि जबकि निरंतर शिक्षण के तहत गहरा मॉडल मेमोरी फायदेमंद होता है, अत्यधिक मेमोरी अभिसरण में बाधा डाल सकती है, और मूल्यांकन लागत को कम करने के लिए शोर वाले ओरेकल (noisy oracles) हेतु मजबूत रणनीतियां प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक खजाना खोजने वाले हैं जो एक विशाल पर्वत के भीतर छिपे एक अकेले, पूर्ण हीरे को खोजने की कोशिश कर रहे हैं, जिसमें रेत के उतने ही कण हैं जितने आकाश में तारे हैं। आप हर एक कण को नहीं देख सकते; क्योंकि ऐसा करने में अनंत काल लग जाएगा। इसके बजाय, आपके पास एक जादुगत, सीखने वाला रोबोट है। आप रोबोट को अब तक मिले सबसे अच्छे हीरे दिखाते हैं, और वह अनुमान लगाना सीख जाता है कि अगला अच्छा हीरा कहाँ हो सकता है। वह नए पत्थरों का एक मुट्ठी भर ढेर खोद निकालता है, आप उनकी जाँच करते हैं, सबसे अच्छे पत्थरों को अपने पास रखते हैं, और अगले दौर के लिए रोबोट को दिखाते हैं। यह ठीक वैसा ही है जैसे आधुनिक वैज्ञानिक नई दवाओं की खोज करते हैं: वे नए रासायनिक ढांचों (chemical structures) का प्रस्ताव देने के लिए कंप्यूटर मॉडल का उपयोग करते हैं, उनका परीक्षण करते हैं, और फिर अगली बार मॉडल को बेहतर बनने के लिए सिखाते हैं। इस प्रक्रिया को "क्लोज्ड-लूप जेनेरेटिव सिलेक्शन" (closed-loop generative selection) कहा जाता है।
लेकिन यहाँ एक पेचीदा बात है: रोबोट चलते-चलते सीख रहा है। यदि आप उसे उस हर पत्थर का पूरा इतिहास दिखाते हैं जिसे उसने कभी खोदा था, तो वह पुराने, खराब डेटा से भ्रमित हो सकता है। यदि आप उसे केवल पिछले कुछ ही हाथ भर पत्थर दिखाते हैं, तो वह भूल सकता है कि कल क्या काम आया था। और पत्थरों का परीक्षण करने वाली मशीन (ओरेकल/oracle) भी पूर्ण नहीं है; कभी-कभी वह गलतियाँ कर सकती है या उसमें शोर (noise) हो सकता है, जैसे कि एक डगमगाता हुआ तराजू। वैज्ञानिक वर्षों से इस रोबक पद्धति का उपयोग कर रहे हैं, लेकिन अब तक, किसी के पास यह साबित करने के लिए कोई ठोस गणितीय मानचित्र नहीं था कि यह खजाना कितनी तेज़ी से खोज लेगा, या रोबोट को वास्तव में कितनी मेमोरी (स्मृति) का उपयोग करना चाहिए।
यह शोध पत्र उस मानचित्र का निर्माण करता है। लेखकों ने, कोन्स्टेंटिन फाकलडी (Kostantin Fackeldey) और क्रिस्टोफ श्यूट (Christof Schütte) ने, एक कठोर सिद्धांत बनाया है जो यह समझाता है कि यह "सीखने वाला रोबोट" खोज कैसे करता है। उन्होंने सिद्ध किया कि यदि रोबोट अपनी बेहतरीन खोजों को सुरक्षित रखता है (एक नियम जिसे "एलीटिज्म" कहा जाता है), तो वह लगभग निश्चित रूप से अंततः उस पूर्ण अणु (molecule) को खोज लेगा। उन्होंने एक आश्चर्यजनक रहस्य भी खोजा कि रोबोट की मेमोरी के बारे में: अधिक मेमोरी होना हमेशा बेहतर नहीं होता है। वास्तव में, यदि रोबोट बहुत अधिक पुराना, शोर वाला डेटा याद रखता है, तो यह वास्तव में उसे धीमा कर सकता है और उसे अटक सकता है। उन्होंने दिखाया कि एक "स्वीट स्पॉट" (sweet spot) है कि रोबोट को कितना इतिहास याद रखना चाहिए, और यह स्थान इस बात पर निर्भर करता है कि परीक्षण करने वाली मशीन कितनी शोर वाली (noisy) है।
इस पत्र ने खोज की लागत पर भी ध्यान दिया। ड्रग डिस्कवरी (दवा खोज) में, एक अणु का परीक्षण करना महंगा और धीमा होता है। लेखकों ने सिद्ध किया कि पैसा खर्च करने का सबसे कुशल तरीका एक समय में केवल एक उम्मीदवार का परीक्षण करना है, न कि बड़े बैचों में। यदि आप दस का एक बैच टेस्ट करते हैं, और पहला ही विजेता निकलता है, तो आपने नौ परीक्षण बेकार कर दिए। वे इसे "इवैल्यूएशन-मिनिमल" (evaluation-minimal) रणनीति कहते हैं।
रोबोट की मेमोरी की दुविधा
जेनेरेटिव मॉडल को एक परीक्षा देने वाले छात्र के रूप में सोचें। हर बार जब छात्र एक प्रश्न सही करता है, तो उसे अपना वह उत्तर अपने "एलीट पूल" में रखने का मौका मिलता है। अगले परीक्षण से पहले, छात्र अपने पिछले उत्तरों का अध्ययन करता है ताकि अगले प्रश्न का अनुमान लगाया जा सके। शोध पत्र पूछता है: छात्र को कितने पिछले उत्तरों का अध्ययन करना चाहिए?
लेखकों ने पाया कि यदि छात्र वह सब कुछ पढ़ता है जो उसने कभी सीखा है (फुल मेमोरी), तो वह पुराने, अप्रासंगिक सूचनाओं से दब सकता है। यदि वह केवल पिछला प्रश्न पढ़ता है (सिंगल-स्टेप मेमोरी), तो वह महत्वपूर्ण पैटर्न को मिस कर सकता है। पत्र सिद्ध करता है कि आदर्श परिस्थितियों में, अधिक पढ़ना नुकसान नहीं पहुँचाता है। हालाँकि, वास्तविक दुनिया में, जहाँ "शिक्षक" (फिटनेस ओरेकल) कभी-कभी गलतियाँ करता है, बहुत अधिक पुराना डेटा पढ़ना वास्तव में एक जाल हो सकता है।
कल्पना कीजिए कि आप स्कूल जाने के सबसे अच्छे रास्ते को सीखने की कोशिश कर रहे हैं। यदि आप हर उस दिन को याद रखते हैं जब आपने पैदल यात्रा की थी, जिसमें वे दिन भी शामिल हैं जब बारिश हुई थी और आपने गलत रास्ता लिया था, तो आपकी याददाश्त में अव्यवस्था आ सकती है। शोध पत्र दिखाता है कि एक विशिष्ट संख्या है कि आपको कितने पिछले दिनों को याद रखना चाहिए। यदि आप बहुत कम दिन याद रखते हैं, तो आप वही गलतियाँ करते हैं; यदि आप बहुत अधिक दिन याद रखते हैं, तो आप बारिश वाले दिनों के कारण भ्रमित हो जाते हैं। लेखक इसे "बायस-वेरिएंस ट्रेड-ऑफ" (bias-variance trade-off) कहते हैं। उनके सिमुलेशन में, उन्होंने पाया कि एक शोर वाले वातावरण के लिए, लगभग 5 पिछले दिनों को याद रखना एकदम सही था, जबकि सब कुछ (फुल मेमोरी) याद रखने से उनकी खोज में केवल 40 के बजाय लगभग 200 राउंड लग गए।
पत्थरों की जाँच की लागत
शोध पत्र की सबसे व्यावहारिक खोजों में से एक यह है कि बजट कैसे खर्च किया जाए। ड्रग डिस्कवरी में, यह देखना कि एक अणु काम करता है या नहीं, सबसे महंगा हिस्सा है। आपके पास 100 अणुओं को चेक करने का बजट हो सकता है। क्या आप उन्हें एक साथ एक बड़े बैच में चेक करेंगे, या एक-एक करके?
पत्र सिद्ध करता है कि उन्हें एक-एक करके चेक करना ही विजेता है। यहाँ कारण दिया गया है: कल्पना कीजिए कि आपके पास 10 पत्थरों का एक बैच है। आप उन सभी को चेक करते हैं। यदि सबसे पहला पत्थर ही हीरा है, तो भी आपको बाकी 9 पत्थरों को चेक करने के लिए भुगतान करना होगा, भले ही आप पहले ही इनाम पा चुके हों। यह बर्बाद किया गया पैसा है। लेखक दिखाते हैं कि "इवैल्यूएशन-ऑप्टिमल कॉर्नर" (evaluation-optimal corner) वह है जहाँ आप एक समय में केवल एक उम्मीदवार का परीक्षण करते हैं। इस तरह, जैसे ही आपको विजेता मिल जाता है, आप रुक जाते हैं।
शोर वाली मशीनों से निपटना
वास्तविक दुनिया के परीक्षण अस्त-व्यस्त होते हैं। कभी-कभी एक मशीन कहती है कि एक पत्थर हीरा है जबकि वह सिर्फ कांच है, या इसके विपरीत। पत्र इस समस्या को दो प्रकार के शोर में विभाजित करता है: "लाइट-टेल्ड" शोर (जैसे एक हल्की डगमगाहट) और "हेवी-टेल्ड" शोर (जैसे एक अचानक, भारी त्रुटि का उछाल)।
लाइट-टेल्ड शोर के लिए, समाधान सरल है: एक ही पत्थर को कुछ बार चेक करें और परिणामों का औसत लें। आप जितना अधिक चेक करेंगे, आप उतने ही अधिक आश्वस्त हो सकेंगे। लेकिन हेवी-टेल्ड शोर के लिए, जहाँ एक एकल खराब माप औसत को खराब कर सकता है, औसत लेना एक बुरा विचार है। लेखक एक "रोबस्ट" (robust) विधि का सुझाव देते हैं, जैसे कि मध्य मान (median) लेना या एक विशेष "साइन टेस्ट" (sign test) का उपयोग करना जो केवल यह गिनता है कि परिणाम कितनी बार अच्छा रहा। उन्होंने सिद्ध किया कि जंगली, अप्रत्याशित शोर के साथ भी, आप सही अणु पा सकते हैं यदि आप इन रोबस्ट काउंटिंग विधियों का उपयोग करते हैं, हालांकि इसमें आपको कुछ अधिक चेक करने की लागत चुकानी पड़ सकती है।
निष्कर्ष
यह शोध पत्र ड्रग डिस्कवरी के भविष्य के लिए एक मार्गदर्शिका है। यह वैज्ञानिकों को बताता है कि उनका "लर्निंग रोबोट" लगभग निश्चित रूप से इलाज खोज लेगा, लेकिन केवल तभी जब वे इसे सही ढंग से ट्यून करें। यह उन्हें चेतावनी देता है कि बहुत अधिक पुराना डेटा इकट्ठा करना उन्हें धीमा कर सकता है, एक समय में एक चीज़ की जाँच करना पैसा बचाता है, और जब परीक्षण मशीनें पागल हो जाती हैं, तो उन्हें ट्रैक पर रहने के लिए विशेष काउंटिंग ट्रिक्स का उपयोग करने की आवश्यकता होती है। लेखकों ने केवल यह अनुमान नहीं लगाया है; उन्होंने इन विचारों के चारों ओर एक गणितीय किला बनाया है, यह सिद्ध करते हुए कि सही सेटिंग्स के साथ, नई दवाओं की खोज पहले से कहीं अधिक तेज़, सस्ती और विश्वसनीय हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।