MolLangBench: A Comprehensive Benchmark for Language-Prompted Molecular Structure Recognition, Editing, and Generation
यह शोध पत्र MolLangBench प्रस्तुत करता है, जो भाषा-प्रेरित आणविक संरचना पहचान, संपादन और निर्माण के मूल्यांकन के लिए एक व्यापक बेंचमार्क है, जो यह प्रकट करता है कि मनुष्यों के लिए अपनी सहज सरलता के बावजूद, GPT-5 जैसे अत्याधुनिक मॉडल भी इन मौलिक रासायनिक कार्यों के साथ महत्वपूर्ण रूप से संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट सहायक है। आप उससे कविता लिखने, गणित की समस्या हल करने या समाचार लेख का सारांश निकालने के लिए कह सकते हैं, और वह बहुत अच्छा काम करता है। लेकिन क्या होगा अगर आप इस रोबोट को एक रसायनशास्त्री (chemist) की तरह व्यवहार करने के लिए कहें?
विशेष रूप से, क्या होगा यदि आप कहें: "इस अणु (molecule) को देखो। अब, इसे और मजबूत बनाने के लिए इसके एक विशिष्ट हिस्से को किसी दूसरे हिस्से से बदल दो," या "एक बिल्कुल नया अणु बनाओ जो एक विशिष्ट ताले के लिए चाबी जैसा दिखे?"
यह शोध पत्र, MolLangBench, इस बात का "रिपोर्ट कार्ड" है कि AI इन रसायन विज्ञान के कार्यों को कितनी अच्छी तरह कर सकता है। शोधकर्ताओं ने पाया कि जबकि हमारा AI स्मार्ट हो रहा है, फिर भी यह अणुओं की सटीक भाषा को समझने में संघर्ष कर रहा है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इस शोध पत्र का विवरण दिया गया है:
1. तीन बड़े परीक्षण
शोधकर्ताओं ने एक बेंचमार्क (एक मानकीकृत परीक्षण) बनाया जिसमें तीन मुख्य चुनौतियाँ शामिल हैं, जो एक वास्तविक रसायनशास्त्री लैब में क्या करता है, उसका प्रतिबिंब हैं:
"अंतर पहचानें" परीक्षण (पहचान - Recognition):
- कार्य: आप AI को एक अणु का चित्र (या उसका प्रतिनिधित्व करने वाला कोड) दिखाते हैं और पूछते हैं, "इस नाइट्रोजन से ठीक तीन कदम दूर कितने कार्बन परमाणु हैं?"
- उपमा: कल्पना कीजिए कि आप एक रोबोट को लेगो (Lego) का एक जटिल महल दिखाते हैं और पूछते हैं, "नीले टॉवर से ठीक तीन ईंट दूर कितनी लाल ईंटें हैं।"
- परिणाम: यहाँ तक कि सबसे स्मार्ट AI (GPT-5) भी इसे केवल 86% बार सही कर पाया। मनुष्यों के लिए यह आसान है; AI के लिए, यह आश्चर्यजनक रूप से कठिन है।
"रेसिपी बदलें" परीक्षण (संपादन - Editing):
- कार्य: आप AI को एक अणु देते हैं और निर्देश देते हैं: "मिथाइल समूह को हटा दें और यहाँ एक हाइड्रॉक्सिल समूह जोड़ दें।"
- उपमा: कल्पना कीजिए कि एक शेफ है जो रेसिपी को पूरी तरह जानता है। आप उसे कहते हैं, "नमक की जगह चीनी डाल दें।" एक अच्छा शेफ ऐसा करता है। AI अक्सर नमक तो बदल देता है, लेकिन गलती से चीनी गलत कटोरे में डाल देता है, या नमक को पूरी तरह से हटाना ही भूल जाता है।
- परिणाम: AI इसे लगभग 85% बार सही कर पाया। यह ठीक है, लेकिन रसायन विज्ञान में, एक छोटी सी गलती दवा को मददगार बनाने के बजाय जहरीला बना सकती है।
"एक नया व्यंजन बनाएं" परीक्षण (निर्माण - Generation):
- कार्य: आप शब्दों में एक अणु का वर्णन करते हैं ("एक छह-पक्षीय रिंग जिसके ऊपर एक नाइट्रोजन है और दाईं ओर एक डबल बॉन्ड है...") और उसे कोड लिखने या चित्र बनाने के लिए कहते हैं।
- उपमा: आप एक मैकेनिक को एक विशिष्ट कार का वर्णन करते हैं: "इसमें चार पहिए, एक V8 इंजन और लाल पेंट होना चाहिए।" मैकेनिक आपको एक लाल इंजन वाली साइकिल का चित्र थमा देता है।
- परिणाम: यह सबसे कठिन था। सबसे अच्छे AI ने इसे केवल 43% बार सही किया। अधिकांश समय, इसने ऐसे "असंभव" अणु बनाए जो वास्तविक जीवन में अस्तित्व में नहीं हो सकते।
2. AI क्यों विफल हो रहा है?
शोध पत्र कुछ मजेदार लेकिन निराशाजनक कारणों की पहचान करता है जिनकी वजह से AI लड़खड़ाता है:
"टोकन" की समस्या (गिनती करना कठिन है):
आधुनिक AI टेक्स्ट को वैसे ही पढ़ता है जैसे हम शब्दों को पढ़ते हैं, न कि व्यक्तिगत अक्षरों की तरह। यदि आप एक इंसान से पूछें, "'strawberry' में कितने 'r' हैं?", तो वे थोड़ा रुक सकते हैं। AI इससे भी अधिक संघर्ष करता है। रसायन विज्ञान में, परमाणु अक्षरों की तरह होते हैं। AI अक्सर अपने दिमाग में दो परमाणुओं को एक "शब्द" (टोकन) में मिला देता है, जिससे वह ट्रैक खो देता है कि चीजें कहाँ हैं। यह दीवार में ईंटों को गिनने की कोशिश करने जैसा है, लेकिन दीवार को इस तरह रंगा गया है कि ईंटें एक विशाल ब्लॉक की तरह दिखती हैं।"दृश्य भ्रम" की समस्या:
शोधकर्ताओं ने कोड के बजाय AI को अणुओं की तस्वीरें देने की कोशिश की। उन्होंने सोचा, "शायद अगर यह अणु को देखेगा, तो यह बेहतर समझ पाएगा!"- उपमा: यह एक रोबोट को कार की फोटो दिखाने और फिर उससे एक काम करने वाला इंजन बनाने के लिए कहने जैसा है। रोबॉट एक ऐसी ड्राइंग बनाता है जो दूर से कार जैसी दिखती है, लेकिन पहिए हवा में तैर रहे हैं, और इंजन ट्रंक के अंदर है। यह दूर से सही दिखता है, लेकिन करीब से देखने पर भौतिकी (physics) टूट जाती है।
3. "गोल्ड स्टैंडर्ड" डेटासेट
यह सुनिश्चित करने के लिए कि परीक्षण निष्पक्ष था, शोधकर्ताओं ने केवल AI को अनुमान लगाने के लिए नहीं कहा। उन्होंने प्रश्नों और उत्तरों को बनाने के लिए वास्तविक रसायन विज्ञान विशेषज्ञों को काम पर रखा।
- उन्होंने डेटासेट को गोल्ड स्टैंडर्ड की तरह माना।
- प्रत्येक प्रश्न की कई विशेषज्ञों द्वारा जांच की गई ताकि यह सुनिश्चित हो सके कि केवल एक ही सही उत्तर है।
- उन्होंने निर्देशों को इतना स्पष्ट बनाया कि बुनियादी रसायन विज्ञान के ज्ञान वाला मनुष्य बिना किसी अनुमान के उनका पालन कर सके।
4. मुख्य निष्कर्ष
शोध पत्र का मुख्य संदेश यह है: हम वर्तमान में AI की रसायन विज्ञान में क्षमता का बहुत अधिक आकलन कर रहे हैं।
जबकि AI कहानियाँ लिखने या सॉफ्टवेयर कोड करने में अद्भुत है, यह वर्तमान में रसायन विज्ञान में एक "नौसिखिया" है। यह पैटर्न को पहचान सकता है, लेकिन इसमें आणविक संरचनाओं को सुरक्षित रूप से हेरफेर करने की सटीकता की कमी है।
- यह क्यों मायने रखता है? यदि हम चाहते हैं कि AI नए जीवन रक्षक दवाओं या स्वच्छ ऊर्जा सामग्री की खोज में मदद करे, तो इसे 100% सटीक होना चाहिए। नए अणु बनाने में 43% सफलता दर का मतलब है कि हम अभी तक इसे नई दवाएं बनाने के लिए भरोसा नहीं कर सकते।
सारांश
MolLangBench को AI के ड्राइविंग टेस्ट के रूप में समझें।
- परीक्षण: क्या आप कार को पहचान सकते हैं, टायर बदल सकते हैं, और एक विवरण से नया इंजन बना सकते हैं?
- स्कोर: AI कार को पहचान सकता है (86%), यह ज्यादातर सही ढंग से टायर बदल सकता है (85%), लेकिन यदि आप इसे विवरण से एक नया इंजन बनाने के लिए कहते हैं, तो यह अक्सर एक टोस्टर बना देता है (43%)।
यह शोध पत्र AI को अणुओं की "व्याकरण" सिखाने के लिए अधिक शोध का आह्वान करता है ताकि यह "असंभव" रासायनिक संरचनाएं बनाना बंद कर सके और वैज्ञानिकों को वास्तविक दुनिया की समस्याओं को हल करने में मदद करना शुरू कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।