SupraBench: A Benchmark for Supramolecular Chemistry
यह शोध पत्र SupraBench प्रस्तुत करता है, जो बाइंडिंग एफिनिटी प्रेडिक्शन और होस्ट-गेस्ट रीजनिंग जैसे मौलिक सुप्रामोलिकुलर केमिस्ट्री कार्यों पर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है, साथ ही डोमेन एडाप्टेशन में सहायता के लिए एक विशेष 16M-टोकन कॉर्पस (SupraPMC) भी जारी करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कस्टम लॉक और की (ताले और चाबी) सिस्टम बनाने की कोशिश कर रहे हैं, लेकिन धातु के बजाय, आप नन्हे, अदृश्य अणुओं का उपयोग कर रहे हैं। यह सुप्रामोलेक्युलर केमिस्ट्री (Supramolecular Chemistry) की दुनिया है। यह "लॉक एंड की" के एक उच्च-दांव वाले खेल जैसा है जहाँ एक "होस्ट" (मेजबान) अणु एक विशिष्ट "गेस्ट" (अतिथि) अणु को पकड़ने की कोशिश करता है ताकि कुछ उपयोगी किया जा सके, जैसे दवा पहुँचाना या विषाक्त पदार्थों को साफ करना।
अभी, यह पता लगाना कि कौन सा ताला किस चाबी में फिट बैठता है, अविश्वसनीय रूप से धीमा और महंगा है। वैज्ञानिकों को भारी-भरकम कंप्यूटर सिमुलेशन चलाने पड़ते हैं जिसमें केवल एक जोड़े के लिए कई दिन लग सकते हैं, या लैब में उन्हें बनाने में और भी अधिक समय लग सकता है।
यहाँ AI (लार्ज लैंग्वेज मॉडल्स या LLMs) की भूमिका आती है। वैज्ञानिकों को उम्मीद थी कि ये AI चैटबॉट्स सुपर-फास्ट सहायक के रूप में काम कर सकते हैं, जो तुरंत भविष्यवाणी कर सकें कि कौन सा ताला किस चाबी में फिट होगा। लेकिन अब तक, कोई मानकीकृत "ड्राइवर का टेस्ट" नहीं था जिससे यह देखा जा सके कि ये AI ड्राइवर वास्तव में केमिस्ट्री में अच्छे हैं या सिर्फ अंदाज़ा लगा रहे हैं।
यहीं यह शोध पत्र (paper) काम आता है। लेखकों ने इस विशिष्ट क्षेत्र में AI के लिए पहला आधिकारिक "ड्राइवर का टेस्ट" बनाया, जिसे SUPRABENCH कहा जाता है।
टेस्ट ड्राइव: SUPRABENCH
SUPRABENCH को एक ड्राइविंग परीक्षा की तरह समझें जिसमें यह देखने के लिए पांच विशिष्ट चुनौतियाँ हैं कि एक AI केमिस्ट्री की सड़क को कितनी अच्छी तरह संभालता है:
- "कितना मजबूत?" टेस्ट (बाइंडिंग एफिनिटी): यदि आप AI को एक ताले और एक चाबी की तस्वीर देते हैं, तो क्या वह सटीक रूप से अनुमान लगा सकता है कि वे एक-दूसरे को कितनी मजबूती से पकड़ेंगे? (यह ड्रग डिजाइन के लिए सबसे महत्वपूर्ण टेस्ट है)।
- "बेहतरीन मिलान" टेस्ट (टॉप-बाइंडर सिलेक्शन): यदि आप AI को एक ताला और चार समान चाबियाँ दिखाते हैं, तो क्या वह उनमें से सबसे बेहतरीन को चुन सकता है जो फिट बैठता हो?
- "वातावरण" टेस्ट (सॉल्वेंट आइडेंटिफिकेशन): रासायनिक प्रतिक्रियाएं अलग-अलग "तरल पदार्थों" (जैसे पानी, अल्कोहल, या तेल) में होती हैं। क्या AI ताले और चाबी को देखकर यह अनुमान लगा सकता है कि वे किस तरल में तैर रहे हैं?
ने - "समझाएं" टेस्ट (होस्ट-गेस्ट डिस्क्रिप्शन): क्या AI साधारण अंग्रेजी में समझा सकता है कि एक ताला और चाबी क्यों फिट बैठते हैं?
- "चित्र बनाएं" टेस्ट (मॉलिक्यूलर आइडेंटिफिकेशन): क्या AI एक अणु के 2D चित्र को देखकर उसका रासायनिक नाम कोड सही ढंग से टाइप कर सकता है?
AI को इस टेस्ट के लिए पढ़ाई करने में मदद करने के लिए, लेखकों ने केमिस्ट्री लेखों का एक विशाल पुस्तकालय (जिसे SUPRAPMC कहा जाता है) भी जारी किया है, जो अनिवार्य रूप से एक "पाठ्यपुस्तक" है जिसे AI नियमों को सीखने के लिए पढ़ सकता है।
परिणाम: AI एक नौसिखिया ड्राइवर है
शोधकर्ताओं ने आठ अलग-अलग AI मॉडल्स (कुछ मुफ्त, कुछ महंगे) का इस परीक्षा पर परीक्षण किया। उन्हें यहाँ क्या मिला:
- "बड़े बच्चे" जीत तो जाते हैं, लेकिन फिर भी लड़खड़ाते हैं: सबसे उन्नत, महंगे AI मॉडल (जैसे गूगल और ओपनएआई के नवीनतम संस्करण) सबसे अच्छा प्रदर्शन करते हैं। हालांकि, वे अभी भी बहुत से सवालों के गलत जवाब देते हैं। मानव विशेषज्ञ और AI के बीच अभी भी एक बड़ा अंतर है।
- "स्टडी हैक्स" हमेशा काम नहीं करते:
- फ्यू-शॉट (उदाहरण दिखाना): AI को उत्तर देने के कुछ उदाहरण देने से उसे चीजों को समझाने में मदद मिली, लेकिन इसने वास्तव में AI को यह अनुमान लगाने में खराब बना दिया कि बंधन कितना मजबूत होगा। यह एक छात्र को गणित का एक नमूना सवाल दिखाने जैसा है, जो उसे निबंध लिखने में मदद करता है, लेकिन जब वह एक नया समीकरण हल करने की कोशिश करता है तो उसे भ्रमित कर देता है।
- CoT (चेन ऑफ थॉट): AI को अपना काम दिखाने या चरण-दर-चरण अपने तर्क को समझाने के लिए कहना एक अच्छा विचार लगता था। लेकिन केमिस्ट्री में, यह उल्टा पड़ गया। AI ने आत्मविश्वास से भरे ऐसे तथ्य बनाना शुरू कर दिया जो पूरी तरह से गलत थे। यह एक छात्र की तरह था जो केवल स्मार्ट दिखने के लिए आत्मविश्वास के साथ गलत फॉर्मूला लिख रहा है।
- "टेक्स्टबुक" पढ़ना मदद करता है (लेकिन एक शर्त के साथ): जब उन्होंने AI को उनकी नई केमिस्ट्री टेक्स्टबुक (SUPRAPMC) पर प्रशिक्षित किया, तो यह बॉन्ड स्ट्रेंथ (गणित वाला हिस्सा) की भविष्यवाणी करने में बहुत बेहतर हो गया। हालांकि, यह सख्त फॉर्मेटिंग नियमों का पालन करने में खराब हो गया, जैसे कि मल्टीपल-चॉइस प्रश्नों के लिए सही अक्षर (A, B, C, या D) चुनना। इसने विज्ञान तो सीख लिया लेकिन टेस्ट के नियम भूल गया।
- "ड्राइंग" की समस्या: जब AI को एक ड्राइंग देखने और रासायनिक कोड लिखने के लिए कहा गया, तो वह आमतौर पर सामान्य आकार (scaffold) को सही पहचान लेता था, लेकिन अक्सर वह सूक्ष्म विवरणों (परमाणुओं के बीच विशिष्ट संबंध) में गलती कर देता था। यह एक कार को पहचानने जैसा है लेकिन उसके पहियों को छत पर बना देना।
निचोड़
पेपर यह निष्कर्ष निकालता है कि हालांकि AI केमिस्ट्री में बेहतर हो रहा है, लेकिन यह अभी तक मानव विशेषज्ञों को बदलने या अपने आप लैब चलाने के लिए तैयार नहीं है। "रीजनिंग" (तर्क) का अंतर वास्तविक है: AI बहुत आत्मविश्वासी लग सकता है, लेकिन अक्सर इसमें संख्याओं को सही करने के लिए आवश्यक गहरी, विशिष्ट जानकारी की कमी होती है।
लेखकों को उम्मीद है कि इस टेस्ट (SUPRABENCH) और टेक्स्टबुक (SUPRAPMC) को जारी करके, अन्य शोधकर्ता भविष्य में बेहतर, अधिक विश्वसनीय केमिस्ट्री AI बनाने के लिए इनका उपयोग करेंगे। वे अनिवार्य रूप से कह रहे हैं, "यहाँ वह पैमाना है जिसका उपयोग हम प्रगति को मापने के लिए करेंगे, और यहाँ वह स्टडी गाइड है जो आपको वहां तक पहुँचने में मदद करेगी।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।