🤖 machine learning

Uncertainty-aware reinforcement learning for chemical language models

यह शोध पत्र दो अनिश्चितता-जागरूक सुदृढीकरण शिक्षण (अनसर्टेन्टी-अवेयर रीइन्फोर्समेंट लर्निंग) ढांचों का प्रस्ताव और मूल्यांकन करता है जो रासायनिक भाषा मॉडलों के लिए अविश्वसनीय रासायनिक स्थान की खोज के जोखिमों को कम करते हैं, या तो अनिश्चितता को एक अनुकूलन उद्देश्य के रूप में मानकर या नीति अपडेट को नियंत्रित करके, जो अंततः काफी उच्च वास्तविक हिट दर के साथ अधिक सुदृढ़ आणविक डिजाइन प्राप्त करता है।

मूल लेखक: Borja Medina, Jon Paul Janet

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Borja Medina, Jon Paul Janet

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक खजाना खोजने वाले (treasure hunter) हैं, जो एक विशाल, अनछुए गुफा तंत्र में सबसे मूल्यवान रत्न खोजने की कोशिश कर रहे हैं। यह गुफा "केमिकल स्पेस" (chemical space) का प्रतिनिधित्व करती है—संभावनों के ट्रिलियनों वाला एक ब्रह्मांड। आपका लक्ष्य नए अणुओं (molecules) को डिजाइन करना है जो जीवन रक्षक दवाएं बन सकें।

आपकी मदद के लिए, आपके पास एक केमिकल लैंग्वेज मॉडल (CLM) है। इस मॉडल को एक अत्यधिक कुशल, लेकिन थोड़े अति-आत्मविश्वासी मार्गदर्शक (guide) के रूप में समझें, जिसने एक छोटे, अच्छी तरह से खोजे गए हिस्से (ट्रेनिंग डेटा) के मानचित्र को याद कर लिया है। जब आप उस मार्गदर्शक से किसी नए रत्न के स्थान का सुझाव मांगते हैं, तो वह उस रत्न के कितने मूल्यवान होने का अनुमान लगाने के लिए अपने ज्ञान का उपयोग करता है।

समस्या: अति-आत्मविश्वासी मार्गदर्शक

पेपर इस बात की ओर इशारा करता है कि हम आमतौर पर इन मार्गदर्शकों का उपयोग करने में एक बड़ी खामी करते हैं। अतीत में, हमने मार्गदर्शक के अनुमानों को पूर्ण सत्य मान लिया। यदि मार्गदर्शक कहता, "इस जगह पर 10 लाख डॉलर का हीरा है!", तो हमने बिना सोचे-समझे विश्वास कर लिया।

हालाँकि, मार्गदर्शक केवल अपने मूल मानचित्र के पास के क्षेत्रों के बारेारे में ही आश्वस्त है। यदि आप उससे अज्ञात, अंधेरे कोनों के बारे में पूछते हैं, तो वह अभी भी उसी आत्मविश्वास के साथ चिल्ला सकता है, "हीरा!", भले ही वह केवल अनुमान लगा रहा हो। वास्तव में, वे अनुमान अस्थिर और अविश्वसनीय हैं।

जब हम उसे इन "उच्च-स्कोर लेकिन उच्च-अनिश्चितता" वाले क्षेत्रों में अंधाधुंध ले जाने देते हैं, तो हम नकली खजानों पर अपना समय बर्बाद करते हैं। अनुकूलन प्रक्रिया (optimization process) अस्थिर हो जाती है, और हम ऐसे अणु उत्पन्न करते हैं जो कागज पर तो बहुत अच्छे दिखते हैं लेकिन वास्तव में वास्तविक दुनिया में काम नहीं करते हैं।

समाधान: मार्गदर्शक को "मुझे यकीन नहीं है" कहना सिखाना

लेखक इस बात का एक नया तरीका प्रस्तावित करते हैं कि सुदृढीकरण लर्निंग (Reinforcement Learning - RL) का उपयोग कैसे किया जाए, जो वास्तव में एक प्रशिक्षण विधि है जहाँ मार्गदर्शक प्रयास और त्रुटि (trial and error) से सीखता है। वे मार्गदर्शक को अपनी अनिश्चितता (uncertainty)—यानी अपनी आंतरिक "अंतरात्मा की आवाज" के प्रति ध्यान देने के लिए प्रशिक्षित करना चाहते हैं कि वह क्या बोल रहा है।

उन्होंने मार्गदर्शक के अति-आत्मविश्वास को ठीक करने के लिए दो रचनात्मक रणनीतियों का परीक्षण किया:

रणनीति 1: "ईमानदारी बोनस" (स्कोर मॉड्यूलेशन - Score Modulation)

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आपको रत्न खोजने के लिए अंक मिलते हैं।

पुराना तरीका: आपको केवल रत्न के मूल्य के लिए अंक मिलते हैं।
नया तरीका (स्कोर मॉड्यूलेशन): आपको रत्न के मूल्य में से एक दंड (penalty) घटाकर अंक मिलते हैं यदि मार्गदर्शक उस रत्न के बारे में अनिश्चित है।
उपमा: यह मार्गदर्शक को यह बताने जैसा है कि, "यदि तुम 100% आश्वस्त हो कि यह हीरा है, तो मैं तुम्हें एक बड़ा बोनस दूँगा। लेकिन यदि तुम केवल अनुमान लगा रहे हो, तो मैं तुम्हारे स्कोर में कटौती कर दूँगा।" यह मार्गदर्शक को अंधेरे, अज्ञात कोनों में जाने के बजाय उन सुसज्जित, परिचित रास्तों पर टिके रहने के लिए प्रोत्साहित करता है जहाँ वह सुनिश्चित हो सके कि उसके निष्कर्ष सही हैं।

रणनीति 2: "वॉल्यूम नॉब" (लॉस मॉड्यूलेशन - Loss Modulation)

यह दृष्टिकोण अधिक सूक्ष्म है। कल्पना कीजिए कि मार्गदर्शक आपको सुझावों की एक सूची दे रहा है, और आप वह व्यक्ति हैं जो उनसे सीख रहे हैं।

पुराना तरीका: आप हर सुझाव को समान तीव्रता के साथ सुनते हैं, चाहे मार्गदर्शक आश्वस्त हो या केवल अनुमान लगा रहा हो।
नया तरीका (लॉस मॉड्यूलेशन): आप मार्गदर्शक के आश्वस्त सुझावों की आवाज़ बढ़ाते हैं और उनके अस्थिर सुझावों की आवाज़ कम कर देते हैं (या उन्हें म्यूट कर देते हैं)।
उपमा: यदि मार्गदर्शक कहता है, "मुझे 90% यकीन है कि यह एक हीरा है," तो आप ध्यान से सुनते हैं और उससे सीखते हैं। यदि वह कहता है, "मुझे लगता है कि यह एक हीरा हो सकता है, लेकिन मुझे वास्तव में यकीन नहीं है," तो आप उसकी बात पर बहुत कम ध्यान देते हैं। यह मार्गदर्शक के बेतुके अनुमानों को आपके प्रशिक्षण को खराब करने से रोकता है।

परिणाम: बेहतर खजाना खोज

शोधकर्ताओं ने इन विचारों का तीन अलग-अलग परिदृश्यों में परीक्षण किया:

एक सिम्युलेटेड गुफा: एक कंप्यूटर-जनित दुनिया जहाँ वे जानते थे कि मार्गदर्शक अपने मानचित्र से कितना दूर है और उसे कितना अनुमान लगाना चाहिए।
वास्तविक ड्रग डेटा (ChemProp): छोटे बनाम बड़े डेटासेट पर प्रशिक्षित वास्तविक दुनिया के मॉडलों का उपयोग करना।
एक सांख्यिकीय सुरक्षा जाल (Conformal Prediction): एक ऐसी विधि का उपयोग करना जो भविष्यवाणियों को "अनिश्चित" के रूप में चिह्नित करती है यदि वे ज्ञात पैटर्न में फिट नहीं बैठती हैं।

क्या हुआ?

सुधार के बिना: मार्गदर्शक अक्सर ऐसे "रत्न" खोज लेता था जो शानदार दिखते थे लेकिन वास्तव में केवल भ्रम (false hits) थे। वह उन क्षेत्रों में फंस जाता था जहाँ वह बेतुके अनुमान लगा रहा था।
सुधार के साथ (विशेष रूप से वॉल्यूम नॉब रणनीति): मार्गदर्शक ने अंधेरे कोनों में समय बर्बाद करना बंद कर दिया। उसने उन क्षेत्रों पर ध्यान केंद्रित किया जहाँ वह आश्वस्त था।
- वास्तविक, वैध हिट्स (असली रत्न) की संख्या में 50% की वृद्धि हुई (0.5 से 0.75 तक)।
- कुल वास्तविक हिट्स की संख्या लगभग दोगुनी हो गई।
- महत्वपूर्ण रूप से, उन्होंने उच्च-मूल्य वाले अणुओं को खोजने की क्षमता नहीं खोई; उन्होंने बस नकली रत्नों को खोजना बंद कर दिया।

मुख्य निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि हमें केवल अपने AI मार्गदर्शकों से "सबसे अच्छा अणु क्या है?" नहीं पूछना चाहिए। हमें यह भी पूछना चाहिए, "आप कितने आश्वस्त हैं?"

अनिश्चितता को एक उपकरण के रूप में उपयोग करके, न कि उसे अनदेखा करके, हम रासायनिक स्थान (chemical space) की AI खोज को बहुत अधिक मजबूत बना सकते हैं। यह एक खजाना खोजने वाले को एक ऐसे कंपास देने जैसा है जो न केवल सोने की ओर इशारा करता है बल्कि उसे यह भी चेतावनी देता है कि वह मानचित्र के किनारे से बाहर जा रहा है। परिणाम स्वरूप, नई दवाओं की खोज करने का एक तेज़, सुरक्षित और अधिक विश्वसनीय तरीका प्राप्त होता है।

तकनीकी सारांश: रासायनिक भाषा मॉडल के लिए अनिश्चितता-जागरूक सुदृढीकरण शिक्षण (Uncertainty-aware Reinforcement Learning)

समस्या विवरण

डी नोवो (de novo) आणविक डिजाइन के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एक शक्तिशाली प्रतिमान के रूप में उभरा है, जो रासायनिक भाषा मॉडल (Chemical Language Models - CLMs) को रासायनिक स्थान (chemical space) तलाशने और विशिष्ट गुणों को अनुकूलित करने में सक्षम बनाता है। हालाँकि, मौजूदा RL ढांचे आमतौर पर स्कोरिंग फंक्शन को नियत (deterministic) ओरेकल (oracles) के रूप में मानते हैं, जो भविष्यवाणियों में अंतर्निहित अनिश्चितता की अनदेखी करते हैं। ये स्कोरिंग फंक्शन सीमित और संभावित रूप से पक्षपाती डेटासेट पर प्रशिक्षित भविष्य कहने वाले मॉडलों पर निर्भर करते हैं, जो एलीटोरिक (aleatoric - डेटा शोर) और एपिस्टेमिक (epistemic - मॉडल पैरामीटर/कवरेज) दोनों प्रकार की अनिश्चितता पेश करते हैं।

जब RL एजेंट केवल पॉइंट एस्टीमेट्स (point estimates) पर अनुकूलन करते हैं, तो वे रासायनिक स्थान के उन क्षेत्रों की खोज कर सकते हैं जो प्रशिक्षण वितरण (training distribution) से बहुत दूर हैं जहाँ भविष्यवाणियाँ अत्यधिक अनिश्चित होती हैं। यह ऐसे अणुओं के निर्माण की ओर ले जाता है जिनका स्कोर तो उच्च होता है लेकिन वे प्रशिक्षण डेटा द्वारा पर्याप्त समर्थित नहीं होते हैं, जिससे अनुकूलन प्रक्रिया अस्थिर हो सकती है और भविष्यवाणियाँ उनके वास्तविक मूल्यों से बहुत दूर हो सकती हैं। हालांकि अनिश्चितता परिमाणीकरण (uncertainty quantification) QSAR मॉडलिंग में अच्छी तरह से अध्ययन किया गया है, लेकिन RL-आधारित आणविक पीढ़ी के संदर्भ में इसे सीमित ध्यान मिला है।

कार्यप्रणाली (Methodology)

लेखक REINVENT4 ढांचे के भीतर RL लूप में भविष्य कहने वाली अनिश्चितता को शामिल करने के लिए दो पूरक रणनीतियों का प्रस्ताव और मूल्यांकन करते हैं। यह ढांचा अणुओं के नमूने लेने के लिए एक रिकरेंट न्यूरल नेटवर्क (RNN) का उपयोग करता है, जिसके बाद उन्हें एक मल्टी-पैरामीटर ऑप्टिमाइजेशन (MPO) स्कोरिंग फंक्शन द्वारा मूल्यांकित किया जाता है।

1. संभाव्य स्कोरिंग फंक्शन (Probabilistic Scoring Functions)

अनिश्चितता रणनीतियों को पेश करने से पहले, लेखक मानक REINVENT कार्यान्वयन में एक गणितीय विसंगति को संबोधित करते हैं। जब स्कोरिंग फंक्शन एक पूर्ण भविष्य कहने वाला वितरण (जैसे, मीन-वेरिएंस एस्टीमेशन के माध्यम से) प्रदान करते हैं, तो अपेक्षित मान (expected value) पर केवल गैर-रेखीय रूपांतरण लागू करना ( $f(E[X])$ ), वितरण को पहले रूपांतरित करने ( $E[f(X)]$ ) की तुलना में गणितीय रूप से असंगत है। लेखक एक संभाव्य स्कोरिंग दृष्टिकोण लागू करते हैं जहाँ MPO को एक यादृच्छिक चर (random variable) के रूप में माना जाता है, जिसे वेरिएंस को सही ढंग से प्रसारित करने के लिए मोंटे कार्लो सैंपलिंग (Monte Carlo sampling) के माध्यम से अनुमानित किया जाता है।

2. अनिश्चितता एकीकरण रणनीतियाँ (Uncertainty Integration Strategies)

यह पेपर अनिश्चितता का उपयोग करने के दो अलग-अलग तरीकों को प्रस्तुत करता है:

स्कोर मॉड्यूलेशन (Score Modulation - SM): अनिश्चितता को एक स्पष्ट अतिरिक्त अनुकूलन उद्देश्य के रूप में माना जाता है। भविष्य कहने वाली अनिश्चितता को गतिविधि और भौतिक-रासायनिक गुणों के साथ सीधे MPO स्कोरिंग फंक्शन में शामिल किया जाता है। यह नीति (policy) को एक्सप्लोइटेशन (उच्च स्कोर) और विश्वसनीयता (कम अनिश्चितता) के बीच संतुलन बनाने के लिए प्रोत्साहित करता है।
लॉस मॉड्यूलेशन (Loss Modulation - LM): अनिश्चितता को स्कोर में नहीं जोड़ा जाता है, बल्कि इसका उपयोग नीति अपडेट के परिमाण को नियंत्रित करने के लिए किया जाता है। प्रत्येक अणु का ग्रेडिएंट अपडेट में योगदान उसकी अनिश्चितता के व्युत्क्रमानुपाती (inversely proportional) भार द्वारा निर्धारित होता है। उच्च अनिश्चितता वाले अणुओं का नीति पर प्रभाव कम हो जाता है, जिससे अविश्वसनीय लर्निंग सिग्नल का प्रभाव कम हो जाता है।

3. प्रयोगात्मक सेटअप (Experimental Setups)

रणनीतियों का मूल्यांकन तीन सेटिंग्स में किया गया:

नियंत्रित मॉडल सिस्टम (Controlled Model System - MS): एक सिंथेटिक वातावरण जहाँ भविष्यवाणी त्रुटि को गाऊसी शोर (Gaussian noise) के रूप में मॉडल किया गया है जिसका वेरिएंस प्रशिक्षण डेटा से दूरी के समानुपाती है (एक एप्लिकेबिलिटी डोमेन का अनुकरण करता है)। यहाँ 'ग्राउंड ट्रुथ' ज्ञात है, जिससे सटीक त्रुटि मापन संभव है।
ChemProp मॉडल: मीन-वेरिएंस एस्टीमेशन (MVE) के साथ प्रशिक्षित ChemProp मॉडलों का उपयोग करके वास्तविक-डेटा परिदृश्य। एक "प्रेडिक्टर" मॉडल (एक छोटे उपसमूह पर प्रशिक्षित) स्कोरिंग फंक्शन के रूप में कार्य करता है, जबकि एक "ओरेकल" मॉडल (पूर्ण डेटासेट पर प्रशिक्षित) ग्राउंड-ट्रुथ प्रॉक्सी के रूप में कार्य करता है।
कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction - CP): एक रैंडम फॉरेस्ट क्लासिफायर जो मोंड्रियन इंडक्टिव कॉन्फॉर्मल प्रेडिक्टर (Mondrian Inductive Conformal Predictor) से लिपटा हुआ है, का उपयोग करने वाला सेटअप। यहाँ अनिश्चितता को बिना किसी बाहरी ग्राउंड-ट्रुथ ओरेकल के, प्रेडिक्शन सेट्स और p-वैल्यू के माध्यम से मापा जाता है।

मुख्य परिणाम

मॉडल सिस्टम के परिणाम

नियंत्रित सेटिंग में, मानक "नॉइजी कंपोनेंट" बेसलाइन ने स्कोरिंग अस्थिरता के कारण लो-अनिश्चितता क्षेत्रों की ओर एक प्रकार का अंतर्निहित स्व-नियमन (self-regularization) प्रदर्शित किया, हालांकि यह धीमा था और प्रारंभिक स्थितियों पर निर्भर था।

SM और LM प्रदर्शन: दोनों स्पष्ट रणनीतियों ने बेसलाइन की तुलना में लो-अनिश्चितता क्षेत्रों की ओर बढ़ने की प्रक्रिया को तेज किया।
हिट क्वालिटी (Hit Quality): LM रणनीति ने सर्वश्रेष्ठ प्रदर्शन किया, जिसने बेसलाइन की तुलना में कुल हिट्स के मुकाबले 'ट्रू हिट्स' के अनुपात को काफी बढ़ा दिया।
संयुक्त दृष्टिकोण (SM&LM): हालांकि इस दृष्टिकोण ने लो-अनिश्चितता क्षेत्रों की ओर सबसे तेजी से बदलाव किया, लेकिन इसने कुल संचित हिट-स्कैफोल्ड्स (hit-scaffolds) में महत्वपूर्ण कमी दिखाई, जो यह सुझाव देता है कि अत्यधिक सुधार (over-correction) ने विविधता और अन्वेषण (exploration) से समझौता किया।

वास्तविक-डेटा परिणाम (ChemProp)

ChemProp परिदृश्य में, बेसलाइन (केवल प्रेडिक्टर) ने सक्रियता में मजबूत वृद्धि दिखाई लेकिन ओरेकल स्कोर से काफी विचलन भी दिखाया, जो यह दर्शाता है कि मॉडल उच्च-अनिश्चितता वाले क्षेत्रों का फायदा उठा रहा था जहाँ प्रेडिक्टर गतिविधि को बढ़ा-चढ़ाकर बता रहा था।

विश्वसनीयता: अनिश्चितता-निर्देशित रणनीतियों (विशेष रूप से LM) ने प्रेडिक्टर और ओरेकल स्कोर के बीच एक छोटा और अधिक स्थिर अंतर बनाए रखा।
ट्रू हिट्स (True Hits): LM रणनीति ने उच्चतम संख्या में 'ट्रू हिट्स' और 'ट्रू-टू-टोटल हिट रेशियो' में सबसे बड़ा सुधार (0.5 से 0.75 तक वृद्धि) उत्पन्न किया, जो बेसलाइन की तुलना में लगभग दोगुने ट्रू हिट्स बनाता है।
अनिश्चितता: सभी निर्देशित रणनीतियों ने उत्पन्न अणुओं की भविष्य कहने वाली अनिश्चितता को सफलतापूर्वक कम किया।

वास्तविक-डेटा परिणाम (Conformal Prediction)

बिना किसी ग्राउंड-ट्रुथ ओरेकल के, "ट्रू हिट्स" को उन यौगिकों के रूप में परिभाषित किया गया जिन्हें कॉन्फॉर्मल प्रेडिक्टर द्वारा एक अद्वितीय क्लास लेबल (सक्रिय) सौंपा गया था।

अस्पष्टता में कमी (Ambiguity Reduction): बेसलाइन ऑप्टिमाइजेशन ने अस्पष्ट भविष्यवाणियों (जो सक्रिय और निष्क्रिय दोनों वर्गों को सौंपी गई थीं) का एक बड़ा अनुपात उत्पन्न किया। अनिश्चितता-निर्देशित रणनीतियों ने इस अस्पष्टता को काफी कम कर दिया।
हिट कॉन्फिडेंस (Hit Confidence): जबकि सभी रणनीतियों में कुल हिट्स समान थे, अनिश्चितता-निर्देशित दृष्टिकोणों ने उच्च प्रतिशत में आत्मविश्वासी, अद्वितीय-वर्ग भविष्यवाणियां प्रदान कीं।

महत्व और दावे

यह पेपर दावा करता है कि RL-संचालित आणविक पीढ़ी में भविष्य कहने वाली अनिश्चितता को शामिल करने से विविध प्रयोगात्मक सेटिंग्स में सुसंगत और सार्थक सुधार होता है। प्राथमिक महत्व इस बात में निहित है कि अनिश्चितता केवल एक नैदानिक उपकरण (diagnostic tool) नहीं है, बल्कि अनुकूलन प्रक्रिया का एक सक्रिय घटक भी है।

स्थिरता और विश्वसनीयता: अनिश्चितता-जागरूक रणनीतियां अन्वेषण को स्थिर करती हैं, उन क्षेत्रों को प्राथमिकता देती हैं जहाँ स्कोरिंग फंक्शन विश्वसनीय होते हैं, जिससे स्पूरियस (spurious) भविष्यवाणियों का फायदा उठाने का जोखिम कम हो जाता है।
लॉस मॉड्यूलेशन की श्रेष्ठता: लेखक लॉस मॉड्यूलेशन (LM) रणनीति को सबसे मजबूत दृष्टिकोण के रूप में पहचानते हैं। स्कोर मॉड्यूलेशन के विपरीत, जो अनिश्चितता अनुमानों के साथ स्कोर को मिलाकर रिवॉर्ड लैंडस्केप को बदल देता है, LM मूल स्कोरिंग उद्देश्य की अखंडता को बनाए रखता है जबकि नीति लर्निंग पर अविश्वसनीय नमूनों के प्रभाव को कम करता है।
व्यावहारिक प्रभाव: यह दृष्टिकोण आणविक स्कोर से समझौता किए बिना हिट डिस्कवरी की विश्वसनीयता को बढ़ाता है, जिससे यह व्यापक रूप से किसी भी जेनेरेटिव फ्रेमवर्क के लिए उपयोगी हो जाता है जहाँ RL आणविक अनुकूलन को निर्देशित करता है और भविष्य कहने वाली अनिश्चितता का अनुमान लगाया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि उनके निष्कर्ष इस बात पर जोर देते हैं कि डी नोवो आणविक डिजाइन की गुणवत्ता और विश्वसनीयता में सुधार करने के लिए अनिश्चितता को ध्यान में रखना आवश्यक है, विशेष रूप से जब प्रशिक्षण डेटा से दूर रासायनिक स्थान की खोज की जा रही हो।