Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery
साइंस एज इवैल्यूएशन (SEE) बेंचमार्क यह प्रकट करता है कि वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स वास्तविक दुनिया की वैज्ञानिक खोज में प्रयोगात्मक डेटा से विश्वसनीय साक्ष्य-आधारित अंतर्दृष्टि प्राप्त करने में संघर्ष करते हैं, जो स्थापित अवधारणाओं की व्याख्या करने और नवीन, न्यायसंगत वैज्ञानिक अनुमान उत्पन्न करने के बीच एक महत्वपूर्ण अंतर को उजागर करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक प्रयोगशाला में, खोज शायद ही कभी किसी अचानक मिली अंतर्दृष्टि का परिणाम होती है। यह साक्ष्य एकत्र करने की एक धीमी, विचारशील प्रक्रिया है। एक वैज्ञानिक प्रकाश के उस स्पेक्ट्रम को देखता है जो किसी अणु से टकराकर वापस आ रहा है, कोशिका की एक सूक्ष्म छवि, या तापमान परिवर्तन का एक ग्राफ, और पूछता है कि ये मौन संकेत वास्तव में क्या अर्थ रखते हैं। उत्तर पूरी तरह से इस बात पर आधारित होना चाहिए कि डेटा क्या दिखाता है, न कि इस पर कि वैज्ञानिक क्या खोजने की आशा करता है या उसने अन्य प्रयोगों में क्या देखा है। साक्ष्य पर टिके रहने का यह अनुशासन विश्वसनीय विज्ञान की आधारशिला है। आज, लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) नामक शक्तिशाली कंप्यूटर प्रोग्रामों से इस कार्य में सहायता करने के लिए कहा जा रहा है। ये प्रणालियाँ वैज्ञानिक शोध पत्रों के विशाल पुस्तकालयों को पढ़ सकती हैं और जटिल सिद्धांतों पर आसानी से चर्चा कर सकती हैं। लेकिन एक महत्वपूर्ण प्रश्न बना हुआ है: क्या वे प्रयोगात्मक परिणामों के एक कच्चे, अव्यवस्थित सेट को देख सकते हैं और एक ऐसा निष्कर्ष निकाल सकते हैं जो सही भी हो और पूरी तरह से उस सीमा के भीतर हो जो डेटा द्वारा अनुमत है?
"साइंस एज इवैल्यूएशन" (Science Edge Evaluation) नामक एक नया अध्ययन सीधे इस प्रश्न को संबोधित करता है। अलीबाबा ग्रुप, सिंघुआ यूनिवर्सिटी और अन्य संस्थानों के शोधकर्ताओं ने एक कठोर परीक्षण बनाया ताकि यह देखा जा सके कि क्या ये कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ वास्तव में वास्तविक वैज्ञानिक खोज में भागीदार के रूप में कार्य कर सकती हैं। उन्होंने एक बेंचमार्क बनाया जिसे SEE कहा जाता है, जिसमें रसायन विज्ञान, जीव विज्ञान और सामग्री विज्ञान से वास्तविक, प्रकाशित शोध से लिए गए एक हजार से अधिक प्रश्न शामिल हैं। पिछले परीक्षणों के विपरीत, जो केवल यह पूछते थे कि क्या किसी मॉडल को कोई तथ्य पता है या वह एक पाठ्यपुस्तक की समस्या को हल कर सकता है, यह बेंचमार्क मॉडलों के सामने वही दृश्य साक्ष्य प्रस्तुत करता है जो एक मानव वैज्ञानिक देखता है—जैसे जेल इमेज, स्पेक्ट्रल कर्व्स और माइक्रोस्कोपिक तस्वीरें—साथ ही उनके साथ दिया गया टेक्स्ट। लक्ष्य यह देखना था कि क्या मॉडल इन छवियों की व्याख्या कर सकते हैं और एक ऐसा निष्कर्ष निकाल सकते हैं जो प्रदान किए गए साक्ष्य की सीमाओं के भीतर रहे, बिना अनुमान लगाए या तथ्य गढ़े।
इस मूल्यांकन के परिणाम निराशाजनक थे। शोधकर्ताओं ने अठारह विभिन्न उन्नत मॉडलों का परीक्षण किया, जिनमें सामान्य-उद्देश्य वाली प्रणालियाँ और विशेष रूप से विज्ञान के लिए प्रशिक्षित मॉडल दोनों शामिल थे। सबसे अच्छा प्रदर्शन करने वाला मॉडल भी केवल 48.7 प्रतिशत बार ही सही उत्तर दे पाया। कोई भी मॉडल 50 प्रतिशत का आंकड़ा नहीं छू सका। यह कम स्कोर बताता है कि वर्तमान कृत्रिम बुद्धिमत्ता अभी तक वास्तविक प्रयोगशाला में आवश्यक सूक्ष्म तर्क (nuanced reasoning) को संभालने के लिए पर्याप्त विश्वसनीय नहीं है। शायद अधिक आश्चर्यजनक रूप से, विशेष रूप से विज्ञान के लिए डिज़ाइन किए गए मॉडलों ने सामान्य-उद्देश्य वाले मॉडलों से बेहतर प्रदर्शन नहीं किया। वास्तव में, सामान्य मॉडल औसतन थोड़े बेहतर थे। यह निष्कर्ष इंगित करता है कि केवल कंप्यूटर को अधिक वैज्ञानिक तथ्य खिलाना या उसे विशेष ग्रंथों पर प्रशिक्षित करना पर्याप्त नहीं है। कमी ज्ञान में नहीं, बल्कि हाथ में मौजूद विशिष्ट साक्ष्य के आधार पर सावधानीपूर्वक तर्क करने की क्षमता में है।
अध्ययन ने यह भी देखा कि जब इन मॉडलों को उनकी सहायता के लिए उपकरण दिए जाते हैं, जैसे कि पृष्ठभूमि जानकारी के लिए वेब खोजने की क्षमता या छवियों का गणितीय विश्लेषण करने के लिए कोड इंटरप्रेटर का उपयोग करना, तो क्या होता है। इन उपकरणों को देने से मदद मिली, जिससे सर्वोत्तम सटीकता बढ़कर 52.7 प्रतिशत हो गई। हालाँकि, सुधार मामूली था, और मॉडल अभी भी महत्वपूर्ण गलतियाँ करते रहे। शोधकर्ताओं ने पाया कि जबकि उपकरण अधिक जानकारी प्रदान कर सकते थे, लेकिन उन्होंने मूल समस्या का समाधान नहीं किया: मॉडल अभी भी उस जानकारी को सही ढंग से प्रबंधित करने में संघर्ष कर रहे थे। वे अक्सर तब रुकने में विफल रहे जब उनके पास पर्याप्त साक्ष्य होते थे, या उन्होंने नए डेटा को पुराने अनुमानों के साथ इस तरह मिला दिया जिससे गलत निष्कर्ष निकले। उपकरणों ने जो मॉडल देख सकते थे उसका विस्तार किया, लेकिन उन्होंने मॉडलों को यह नहीं सिखाया कि जो वे देख रहे हैं उसकी सीमाओं के भीतर कैसे सोचें।
जब शोधकर्ताओं ने मॉडलों की विफलता के विशिष्ट तरीकों का विश्लेषण किया, तो एक स्पष्ट पैटर्न उभर कर आया। त्रुटियाँ दो मुख्य श्रेणियों में विभाजित थीं: धारणा (perception) और निष्कर्ष (inference)। धारणा के संदर्भ में, मॉडलों में ग्राफ या स्पेक्ट्रम से सटीक संख्या पढ़ने की सटीकता की कमी थी। वे सामान्य पैटर्न पहचानने में अच्छे थे लेकिन माप यंत्र के रूप में कार्य करने में कमजोर थे। निष्कर्ष के संदर्भ में, मॉडलों ने अक्सर अपने पूर्व ज्ञान को वास्तविक दृश्य साक्ष्य पर हावी होने दिया। यदि किसी छवि में कुछ असामान्य दिखाया गया था, तो मॉडल अक्सर उस अजीब विवरण को अनदेखा कर देते थे और इसके बजाय उस चीज़ का वर्णन करते थे जिसकी वे अपने प्रशिक्षण डेटा के आधार पर अपेक्षा करते थे। वे अत्यधिक विस्तार (over-extrapolate) करने की प्रवृत्ति भी रखते थे, एक छोटे, आंशिक परिणाम को एक व्यापक, निर्णायक निष्कर्ष में बदल देते थे जिसका डेटा समर्थन नहीं करता था।
सबसे अधिक खुलासा करने वाले प्रयोगों में से एक था छवियों को पूरी तरह से हटा देना और मॉडलों से केवल टेक्स्ट के आधार पर उत्तर देने के लिए कहना। एक वास्तव में बुद्धिमान प्रणाली यह पहचान लेगी कि दृश्य साक्ष्य के बिना, वह प्रश्न का उत्तर नहीं दे सकती। इसके बजाय, मॉडलों ने लगभग हमेशा प्रयास किया कि वे उत्तर दें, केवल टेक्स्ट के आधार पर अनुमान लगाया। उन्होंने केवल 4.6 प्रतिशत मामलों में ही सूचना की कमी को पहचाना। यह व्यवहार, जिसे 'मतिभ्रम' (hallucination) कहा जाता है, विज्ञान में खतरनाक है क्योंकि यह आत्मविश्वास का एक झूठा आभास पैदा करता है। मॉडल यह स्वीकार करने के बजाय कि आवश्यक साक्ष्य मौजूद नहीं है, एक उत्तर गढ़ने के लिए तैयार थे।
अध्ययन निष्कर्ष निकालता है कि वर्तमान कृत्रिम बुद्धिमत्ता और वास्तविक वैज्ञानिक खोज के बीच का अंतर अधिक डेटा या स्मार्ट टूल्स के बारे में नहीं है। अंतर साक्ष्य को प्रबंधित करने की क्षमता के बारे में है। वास्तविक वैज्ञानिक खोज के लिए एक ऐसी प्रणाली की आवश्यकता होती है जो अवलोकनों के एक सेट को देख सके, समझ सके कि वे अवलोकन वास्तव में क्या सिद्ध करते हैं, और वहीं रुक सके। इसके लिए इस अनुशासन की आवश्यकता है कि, "यह डेटा क्या दिखाता है," और अनुमानों के साथ रिक्त स्थानों को भरने की इच्छा का प्रतिरोध करे। जब तक कृत्रिम बुद्धिमत्ता विश्वसनीय रूप से यह अंतर नहीं कर पाती कि क्या ज्ञात है और क्या केवल संभव है, तब तक यह स्थापित विचारों की व्याख्या करने के लिए एक उपकरण बनी रहेगी, न कि नई खोजों के लिए एक भागीदार के रूप में। शोधकर्ताओं का सुझाव है कि आगे का रास्ता केवल मॉडलों को बड़ा या अधिक जानकार बनाना नहीं है, बल्कि उन्हें साक्ष्य-बद्ध तर्क की कठोर पद्धति सिखाना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।