ChemDIRT: A Diversified Instruction, Representation, and Task Benchmark for Robust Chemistry-LLM Evaluation
यह शोध पत्र ChemDIRT का परिचय देता है, जो एक व्यापक बेंचमार्क है जिसे विविध निर्देशों, आणविक निरूपणों (molecular representations) और आठ विशिष्ट कार्य श्रेणियों में रसायन विज्ञान-केंद्रित बड़े भाषा मॉडलों की मजबूती को मापने के लिए उनके प्रदर्शन और निरंतरता को व्यवस्थित रूप से मापकर उनका मूल्यांकन करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
विज्ञान लंबे समय से समस्याओं को हल करने में मदद के लिए कंप्यूटरों पर निर्भर रहा है, लेकिन हाल ही में, एक नए प्रकार का कंप्यूटर प्रोग्राम उभरा है जो आश्चर्यजनक प्रवाह के साथ मानव भाषा को पढ़ और लिख सकता है। ये प्रोग्राम, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) के रूप में जाना जाता है, को विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है और वे प्रश्नों के उत्तर दे सकते हैं, कहानियाँ लिख सकते हैं, और यहाँ तक कि जटिल विचारों की व्याख्या भी कर सकते हैं। क्योंकि वे शब्दों को संभालने में बहुत कुशल हैं, वैज्ञानिकों ने यह पूछना शुरू कर दिया है कि क्या वे रसायन विज्ञान (chemistry) की भाषा को भी समझ सकते हैं। इस क्षेत्र में यह समझना शामिल है कि कैसे सूक्ष्म कण, जिन्हें परमाणु (atoms) कहा जाता है, आपस में जुड़कर अणु (molecules) बनाते हैं, और कैसे वे अणु प्रतिक्रियाओं के दौरान बदलते हैं। यदि कोई कंप्यूटर वास्तव में रसायन विज्ञान को समझ सकता है, तो यह नई दवाएं डिजाइन करने या नई सामग्रियों की खोज करने में मदद कर सकता है। हालाँकि, इसमें एक पेंच है: केवल इसलिए कि एक कंप्यूटर किसी प्रश्न का सही उत्तर देता है, इसका मतलब यह नहीं है कि वह अंतर्निहित विज्ञान को समझता है। यह केवल प्रश्न पूछने के विशिष्ट तरीके के आधार पर अनुमान लगा रहा हो सकता है।
यूनिवर्सिटी ऑफ नोट्रे डेम के शोधकर्ताओं की एक टीम ने यह परीक्षण करने का निर्णय लिया कि क्या इन कंप्यूटर प्रोग्रामों के पास वास्तव में रसायन विज्ञान की गहरी समझ है या वे केवल एक शब्द खेल (word game) खेलने में कुशल हैं। उन्होंने एक नया परीक्षण स्थल बनाया जिसे ChemDIRT कहा जाता है, जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या मॉडल समान समस्या को अलग-अलग तरीकों से प्रस्तुत किए जाने पर भी संभाल सकते हैं। वास्तविक दुनिया में, एक रसायन शास्त्री एक अणु को अक्षरों की एक श्रृंखला, एक रासायनिक नाम, या यहाँ तक कि एक चित्र के रूप में वर्णित कर सकता है। एक वास्तव में बुद्धिमान प्रणाली को इस बात की परवाह किए बिना वही सही उत्तर देना चाहिए कि किस प्रारूप (format) का उपयोग किया गया है। शोधकर्ता यह भी देखना चाहते थे कि क्या मॉडल सरल परमाणुओं की गिनती से लेकर रासायनिक प्रतिक्रिया कैसे विकसित होगी, इसकी भविष्यवाणी करने तक के विभिन्न प्रकार के कार्यों को संभाल सकते हैं। उन्होंने आठ अलग-अलग श्रेणियों के रासायनिक तर्क के हजारों उदाहरण एकत्र किए और बीस-तीन अलग-अलग कंप्यूटर मॉडलों का परीक्षण किया, जिनमें ओपन-सोर्स प्रोग्राम और प्रमुख प्रौद्योगिकी कंपनियों द्वारा विकसित प्रोग्राम दोनों शामिल थे।
परिणामों ने एक चौंकाने वाली विसंगति को प्रकट किया। जब शोधकर्ताओं ने अलग-अलग शब्दों का उपयोग करके एक ही रसायन विज्ञान का प्रश्न पूछा, तो कंप्यूटर प्रोग्राम अक्सर पूरी तरह से अलग उत्तर देते थे। दवा विषाक्तता (drug toxicity) से जुड़े एक विशिष्ट परीक्षण के लिए, प्रश्न की शब्दावली बदलने से कुछ मॉडलों की सटीकता में भारी उतार-चढ़ाव आया, जो कभी-कभी अस्सी प्रतिशत से भी अधिक था। एक मॉडल जो परीक्षण के एक संस्करण पर प्रतिभाशाली दिखाई देता था, वह उस संस्करण में बुरी तरह विफल हो गया जिसका अर्थ बिल्कुल समान था। यह सुझाव देता है कि कई प्रोग्राम वास्तव में रसायन विज्ञान के माध्यम से तर्क नहीं कर रहे हैं; इसके बजाय, वे प्रॉम्प्ट (prompt) के विशिष्ट आकार के प्रति प्रतिक्रिया दे रहे हैं। यह वैसा ही है जैसे कोई छात्र गणित की समस्या को तब तो पूरी तरह हल कर सकता है जब संख्याएँ नीली स्याही में लिखी हों, लेकिन यदि वही संख्याएँ लाल स्याही में लिखी हों, तो वह विफल हो जाए, भले ही गणित बिल्कुल समान हो।
अध्ययन में यह भी पाया गया कि अणु का प्रतिनिधित्व (representation) उतना ही महत्वपूर्ण है जितना कि प्रश्न पूछने के लिए उपयोग किए गए शब्द। रसायन शास्त्री एक ही अणु को अक्षरों की एक श्रृंखला, एक व्यवस्थित नाम, या एक दृश्य आरेख (visual diagram) का उपयोग करके वर्णित कर सकते हैं। शोधकर्ताओं ने इन विभिन्न प्रारूपों का उपयोग करके मॉडलों का परीक्षण किया और पाया कि प्रोग्राम बदलाव से अक्सर भ्रमित हो जाते थे। एक मॉडल जो अक्षर-आधारित विवरण मिलने पर अच्छा प्रदर्शन करता था, वह उसी अणु को दृश्य आरेख या औपचारिक नाम के रूप में दिखाए जाने पर काफी संघर्ष कर सकता था। कुछ मॉडल इन प्रारूपों के बीच अनुवाद करने में उत्कृष्ट थे, जबकि अन्य पूरी तरह से विफल रहे। यह विसंगति बताती है कि एक मानक परीक्षण पर मॉडल का उच्च स्कोर रासायनिक सिद्धांतों की वास्तविक समझ को नहीं, बल्कि परीक्षण प्रारूप और मॉडल के प्रशिक्षण डेटा के बीच एक भाग्यशाली मिलान को दर्शाता है।
शब्दों और प्रारूप के मुद्दे के अलावा, शोधकर्ताओं ने पाया कि मॉडल अत्यधिक विशिष्ट थे और अक्सर उन कार्यों में विफल रहे जिनमें बुनियादी संख्यात्मक तर्क (numerical reasoning) की आवश्यकता होती थी। जबकि कुछ प्रोग्राम प्रभावशाली सटीकता के साथ रासायनिक संरचनाएं उत्पन्न कर सकते थे या प्रतिक्रिया परिणामों की भविष्यवाणी कर सकते थे, वे आणविक भार (molecular weight) या रासायनिक समीकरणों को संतुलित करने जैसे सरल गुणों की गणना करने के लिए पूछे जाने पर अक्सर लड़खड़ा गए। कई मामलों में, मॉडलों ने बेहद गलत संख्याएँ प्रस्तुत कीं, जो कभी-कभी अरबों या उससे भी अधिक के कारक से गलत थीं। यह इंगित करता है कि प्रवाहपूर्ण पाठ या वैध रासायनिक स्ट्रिंग्स उत्पन्न करने की क्षमता यह गारंटी नहीं देती है कि कंप्यूटर प्रयोगशाला में आवश्यक वास्तविक गणनाएँ कर सकता है। सबसे मजबूत प्रदर्शन करने वाले वे थे जिन्हें विशेष रूप से रसायन विज्ञान के लिए प्रशिक्षित किया गया था, फिर भी इन विशिष्ट प्रणालियों ने भी महत्वपूर्ण कमजोरियां दिखाईं जब कार्य या इनपुट प्रारूप थोड़ा बदल गया।
शोधकर्ताओं ने निष्कर्ष निकाला कि वर्तमान कंप्यूटर मॉडल अभी तक रसायन विज्ञान के बारे में तर्क करने की विश्वसनीय, सामान्य क्षमता प्रदर्शित नहीं करते हैं। उनका प्रदर्शन दिए गए विशिष्ट निर्देशों और जिस प्रारूप में जानकारी प्रस्तुत की गई है, उस पर बहुत अधिक निर्भर है। एक मॉडल जो एक एकल परीक्षण पर शक्तिशाली दिखता है, वह वास्तविक दुनिया के परिवेश में नाजुक हो सकता है जहाँ प्रश्न कई अलग-अलग तरीकों से पूछे जाते हैं। अध्ययन का सुझाव है कि इन उपकरणों पर वास्तव में भरोसा करने के लिए, वैज्ञानिकों को उन्हें एक एकल, निश्चित परीक्षण पर निर्भर रहने के बजाय कार्यों और प्रारूपों की एक विस्तृत श्रृंखला में मूल्यांकन करना चाहिए। जब तक ये मॉडल इस बात से बेपरवाह होकर एक ही समस्या को लगातार नहीं संभाल सकते कि उसे कैसे पूछा गया है या डेटा को कैसे दिखाया गया है, वे वास्तविक वैज्ञानिक तर्क इंजन के बजाय परिष्कृत पैटर्न मैचर (pattern matchers) बने रहेंगे। आगे का रास्ता ऐसे सिस्टम बनाने में निहित है जो इन विविधताओं के प्रति सुदृढ़ (robust) हों, यह सुनिश्चित करते हुए कि जब एक कंप्यूटर कहता है कि वह रसायन विज्ञान को समझता है, तो वह वास्तव में समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।