Bi-semantic Chemical Embedder for Joint Representation Learning of SMILES and Natural Language
यह शोध पत्र CheMatE को प्रस्तुत करता है, जो ModernBERT पर निर्मित एक द्वि-अर्थगत (bi-semantic) एम्बेडिंग मॉडल है, जो एक विशाल SMILES-एनोटेटेड वैज्ञानिक संग्रह पर निरंतर मास्क्ड लैंग्वेज मॉडलिंग और उसके बाद आणविक संरचनाओं तथा प्राकृतिक भाषा को संयुक्त रूप से निरूपित करने के लिए कंट्रास्टिव लर्निंग का उपयोग करने वाली दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है, जिससे रासायनिक गुण भविष्यवाणी और सामान्य भाषा समझ दोनों कार्यों में मजबूत प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रसायन विज्ञान की दुनिया की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें। इसके भीतर, एक ही चीज़ का वर्णन करने के दो बहुत अलग तरीके हैं: एक अणु (molecule)। एक शेल्फ पर, आपके पास "वैज्ञानिकों की संक्षिप्त भाषा" है, जो SMILES नामक एक संक्षिप्त कोड है जो अक्षरों और संख्याओं की एक अजीब स्ट्रिंग जैसा दिखता है (जैसे C1=CC=CC=C1)। यह कंप्यूटर के लिए कुशल है लेकिन मनुष्यों के लिए एक गुप्त कूटलिपि जैसा पढ़ता है। दूसरी शेल्फ पर, आपके पास "कथावाचक का वर्णन" है, जो लंबे पैराग्राफों में बताता है कि एक अणु कैसे व्यवहार करता है, वह कहाँ पाया जाता है, या वह कैसे प्रतिक्रिया करता है। लंबे समय तक, रसायन विज्ञान को समझने वाले कंप्यूटर प्रोग्रामों को एक पक्ष चुनना पड़ता था: वे या तो गुप्त कोड पढ़ने में माहिर थे लेकिन कहानी समझने में खराब थे, या इसके विपरीत। वे अक्सर "मानव" भाषा बोलना भूल जाते थे ताकि वे "रासायनिक कोड" के विशेषज्ञ बन सकें। यह शोध पत्र एक सरल लेकिन कठिन सवाल पूछता है: क्या हम एक ऐसा एकल मस्तिष्क बना सकते हैं जो एक ही समय में गुप्त कोड और कहानी दोनों में पारंगत हो, बिना अपना मानसिक संतुलन खोए?
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व डेविड मिंग सेगुरा और फिलिप श्वालर कर रहे हैं, कहा है कि हाँ। उन्होंने CheMatE (मैट्र्योस्का एम्बेडिंग के साथ केमिकल एंबेडर) नामक एक नया AI मॉडल बनाया है जो एक सुपर-द्विभाषी अनुवादक की तरह कार्य करता है। AI को केवल एक रसायनशास्त्री या एक भाषाविद् बनने के लिए मजबूर करने के बजाय, उन्होंने इसे सिखाया कि रासायनिक कोड और वैज्ञानिक कहानी एक ही सिक्के के दो पहलू हैं।
यहाँ बताया गया है कि उन्होंने यह कैसे किया, और यह क्यों काम करता है।
समस्या: "विशेषज्ञ" का जाल
पिछले AI मॉडलों को केवल गणित की परीक्षा के लिए अध्ययन करने वाले छात्र की तरह समझें। वे कैलकुलस में तो पूर्ण अंक प्राप्त कर सकते हैं, लेकिन यदि आप उनसे कविता लिखने के लिए कहें, तो वे विशेषणों का उपयोग करना भूल सकते हैं। रसायन विज्ञान की AI दुनिया में, SMILES स्ट्रिंग्स (कोड) पर भारी प्रशिक्षण प्राप्त करने वाले मॉडल कोड में पैटर्न पहचानने में इतने अच्छे हो गए कि वे उनके आसपास के प्राकृतिक भाषा वाक्यों को समझना "भूल" गए। वे ऐसे विशेषज्ञ बन गए जो लाइब्रेरी के बाकी हिस्सों से बात नहीं कर सकते थे।
समाधान: एक "द्विभाषी" लाइब्रेरी
टीम ने कोड और कहानी को अलग-अलग चीजों के रूप में मानना बंद करने का निर्णय लिया। इसके बजाय, उन्होंने एक प्रशिक्षण पद्धति बनाई जहाँ इन दोनों को आपस में बुना गया है।
1. इंजेक्शन पाइपलाइन: टेक्स्ट को मसालेदार बनाना
कल्पive कि आपके पास 14.4 मिलियन वैज्ञानिक लेखों और शैक्षिक ग्रंथों का एक ढेर है। ये "कहानियाँ" हैं। शोधकर्ताओं ने एक रोबोटिक पाइपलाइन बनाई जो इन कहानियों को पढ़ती है, प्रत्येक रासायनिक उल्लेख (जैसे "ग्लूकोज" या "एस्पिरिन") को ढूंढती है, और चुपके से उस रसायन का SMIly कोड उसके ठीक बगल में डाल देती है।
- परिणाम: एक वाक्य जैसे "Glucose is a simple sugar" बन जाता है "Glucose is a simple sugar
0=С[С@H](0)...।" - पैमाना: उन्होंने यह 14 मिलियन से अधिक दस्तावेजों के लिए किया, जिससे 21.9 बिलियन "शब्दों" (टोकन) वाला एक विशाल प्रशिक्षण सेट तैयार हुआ। इसका मतलब है कि AI कोड और कहानी को एक ही समय में, बार-बार होते हुए देखता है।
2. "स्मार्ट बैचिंग" ट्रिक: पहेली को फिट करना
इतनी बड़ी लाइब्रेरी पर AI को प्रशिक्षित करना अलग-अलग आकार के पहेली के टुकड़ों को एक बॉक्स में फिट करने की कोशिश करने जैसा है। कुछ दस्तावेज़ छोटे हैं; अन्य बहुत बड़े (8,192 टोकन तक लंबे) हैं। यदि आप उन्हें बस यादृच्छिक रूप से फेंक देते हैं, तो कुछ कंप्यूटर प्रोसेसर (GPUs) धीमे वाले दस्तावेज़ों के समाप्त होने की प्रतीक्षा करते हुए खाली बैठे रहेंगे, जिससे समय और पैसा बर्बाद होगा।
- समाधान: टीम ने एक "कॉस्ट-अवेयर बैच सैंपलर" का आविष्कार किया। इसे एक स्मार्ट लाइब्रेरियन के रूप में सोचें जो केवल ढेर में किताबों की संख्या नहीं गिनता, बल्कि यह भी गणना करता है कि प्रत्येक पुस्तक कितनी भारी और अजीब है। वे ढेरों को इस तरह व्यवस्थित करते हैं कि हर कंप्यूटर प्रोसेसर को काम का समान हिस्सा मिले, चाहे दस्तावेज़ कितने भी लंबे क्यों न हों। इसने प्रशिक्षण को 30% अधिक कुशल बनाया और उन्हें उन लंबे, जटिल दस्तावेज़ों को बिना क्रैश हुए संभालने की अनुमति दी।
3. दो-चरणीय प्रशिक्षण: पढ़ना सीखना, फिर जुड़ना सीखना
AI ने केवल मिश्रित टेक्स्ट को एक बार नहीं पढ़ा; इसने दो विशिष्ट चरणों में सीखा, जैसे एक छात्र पहले शब्दावली सीखता है और फिर निबंध लिखना सीखता है।
- चरण 1 (शब्दावली): मॉडल ने "मास्क्ड लैंग्वेज मॉडलिंग" नामक तकनीक का उपयोग किया। एक ऐसे वाक्य को पढ़ने की कल्पना करें जहाँ कुछ शब्द काले बक्सों से ढके हुए हैं। AI को गायब शब्दों का अनुमान लगाना था। लेकिन यहाँ, गायब शब्द एक सामान्य शब्द या SMILES कोड का एक हिस्सा हो सकता था। इसने AI को यह सीखने के लिए मजबूर किया कि कोड और टेक्स्ट एक ही संदर्भ के अंतर्गत आते हैं।
- चरण 2 (जुड़ाव): एक बार जब AI शब्दावली जान गया, तो उन्होंने इसे संबंधों को समझना सिखाया। उन्होंने एक खेल बनाया जहाँ AI को पूरी तरह से अलग रसायनों के बारे में पैराग्राफों को अनदेखा करते हुए, एक विशिष्ट रासायनिक कोड को सही पैराग्राफ के साथ मिलाना था। उन्होंने "मैट्र्योस्का" ट्विस्ट (रूसी नेस्टिंग डॉल के नाम पर) के साथ "मल्टीपल नेगेटिव रैंकिंग लॉस" का उपयोग किया। इसका अर्थ है कि AI ने सूक्ष्म विवरणों से लेकर एक बड़े दृश्य तक, विभिन्न स्तरों पर रसायन को समझना सीखा, जिससे यह सुनिश्चित हुआ कि ज़ूम आउट करने पर भी वह महत्वपूर्ण जानकारी न खो दे।
परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ
जब उन्होंने CheMate को टेस्ट किया, तो परिणाम प्रभावशाली थे। उन्होंने इसकी तुलना 11 अन्य मॉडलों से की, जिनमें से कुछ केवल कोड के विशेषज्ञ थे और अन्य केवल टेक्स्ट के विशेषज्ञ थे।
- स्कोर: CheMate एकमात्र ऐसा मॉडल था जो दोनों कार्यों को एक साथ करने के लिए शीर्ष समूह में रहा। इसने 86.7% का "बाय-सिमेंटिक स्कोर" प्राप्त किया, जिसका अर्थ है कि यह उनके द्वारा किए गए 48 विभिन्न परीक्षणों में से लगभग 88% में सर्वश्रेष्ठ प्रदर्शन करने वालों में से एक था।
- तुलना: जो मॉडल SMILES कोड पढ़ने में माहिर थे (जैसे MoLFormer या ChemBERTa), वे प्राकृतिक भाषा समझने में बहुत खराब थे। जो मॉडल भाषा में माहिर थे, वे कोड में ठीक थे, लेकिन सर्वश्रेष्ठ नहीं थे। CheMate ने इस ट्रेड-ऑफ को तोड़ दिया। इसने साबित किया कि एक कौशल पाने के लिए दूसरे का त्याग करने की आवश्यकता नहीं है।
यह क्यों मायने रखता है
यह केवल एक टेस्ट में उच्च स्कोर प्राप्त करने के बारे में नहीं है। यह साबित करके कि एक एकल मॉडल रासायनिक सूत्रों की कठोर संरचना और वैज्ञानिक लेखन के तरल संदर्भ दोनों को समझ सकता है, CheMate ड्रग डिस्कवरी और सामग्री विज्ञान (materials science) में स्मार्ट टूल्स के लिए द्वार खोलता है। यह सुझाव देता है कि भविष्य में, हमें रासायनिक आरेख और शोध पत्र दोनों को पढ़ने के लिए अलग-अलग उपकरणों की आवश्यकता नहीं होगी; एक एकीकृत मस्तिष्क यह सब कर सकता है, जिससे वैज्ञानिकों को विज्ञान के पीछे की पूरी कहानी को समझकर नई दवाएं या सामग्रियां खोजने में मदद मिलेगी।
लेखक सावधानी बरतते हुए नोट करते हैं कि हालांकि यह एक बड़ा कदम है, फिर भी यह प्रणाली पूर्ण नहीं है। यह टेक्स्ट में रसायनों को खोजने के लिए मौजूदा उपकरणों पर निर्भर करती है, जो कभी-कभी पेचीदा या बिल्कुल नए यौगिकों को मिस कर सकते हैं। हालाँकि, मूल विचार—कि कोड और कहानी को मिलाने से एक स्मार्ट, अधिक बहुमुखी AI बनता है—सफलतापूर्वक प्रदर्शित किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।