Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery
साइंस एज इवैल्यूएशन (SEE) बेंचमार्क यह प्रकट करता है कि वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स रसायन विज्ञान, जीव विज्ञान और पदार्थ विज्ञान में प्रयोगात्मक डेटा से विश्वसनीय साक्ष्य-आधारित अंतर्दृष्टि प्राप्त करने में संघर्ष करते हैं, जो टूल के उपयोग के साथ भी अधिकतम 52.7% सटीकता प्राप्त करते हैं, जो स्थापित अवधारणाओं की व्याख्या करने और वास्तविक वैज्ञानिक खोज करने के बीच एक महत्वपूर्ण अंतर को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने वाले जासूस हैं, लेकिन केवल एक गवाह का बयान पढ़ने के बजाय, आपको एक धुंधली तस्वीर, एक उंगली का निशान, एक रासायनिक परीक्षण का परिणाम और एक फटे हुए नक्शे को एक साथ देखना पड़ता है। वास्तविक वैज्ञानिक खोज ऐसी ही महसूस होती है। वैज्ञानिक केवल पाठ्यपुस्तक से तथ्यों को याद नहीं करते; उन्हें वास्तविक दुनिया के बिखरे हुए डेटा—जैसे सूक्ष्म कोशिकाओं की छवियां, मशीनों से निकलने वाली टेढ़ी-मेढ़ी रेखाएं और प्रयोगों से प्राप्त संख्याएं—को देखना होता है और यह समझना होता है कि वास्तव में क्या हो रहा है। उन्हें इस बात के प्रति सावधान रहना होता है कि वे उस आधार पर अनुमान न लगाएं जो वे सोचते हैं कि होना चाहिए, बल्कि केवल उस पर आधारित हों जो साक्ष्य वास्तव में दिखाते हैं।
लंबे समय से, हम "लार्ज लैंग्वेज मॉडल्स" (LLMs) नामक कंप्यूटर दिमागों का परीक्षण कर रहे हैं, यह देखने के लिए कि क्या वे इस जासूसी काम में मदद करने के लिए पर्याप्त स्मार्ट हैं। ये उसी प्रकार के AI हैं जो कहानियाँ लिख सकते हैं या सामान्य ज्ञान के सवालों के जवाब दे सकते हैं। लेकिन एक बड़ा सवाल है: क्या वे वास्तविक प्रयोगशाला की अव्यवस्थित, दृश्य और जटिल वास्तविकता को संभाल सकते हैं? यदि कोई AI वैज्ञानिकों को नई दवाएं या सामग्रियां खोजने में मदद करने वाला है, तो उसे केवल एक अच्छा वक्ता ही नहीं, बल्कि एक अच्छा पर्यवेक्षक और एक सावधान विचारक भी होना चाहिए जिसे पता हो कि कब कहना है, "मेरे पास अभी पर्याप्त सुराग नहीं हैं।"
द ग्रेट लैब टेस्ट: क्या AI विज्ञान को "देख" सकता है?
शोधकर्ताओं के एक समूह ने इन AI जासूसों को अंतिम परीक्षा में डालने का फैसला किया। उन्होंने साइंस एज इवैल्यूएशन (SEE) नामक एक नई चुनौती बनाई। SEE को एक विशाल, अत्यंत कठिन परीक्षा के रूप में समझें जो यह नहीं पूछती कि, "फ्रांस की राजधानी क्या है?" या "पानी का सूत्र क्या है?" इसके बजाय, यह AI को एक वास्तविक वैज्ञानिक रहस्य सौंपती है: माइक्रोस्कोप स्लाइड की एक फोटो, एक रसायन विज्ञान प्रयोग का ग्राफ, और एक ऐसा प्रश्न जिसके लिए उत्तर खोजने के लिए उन सभी कड़ियों को जोड़ना आवश्यक है।
यह परीक्षा तीन बड़े क्षेत्रों को कवर करती है: रसायन विज्ञान (चीजें कैसे बदलती हैं), जीव विज्ञान (जीवन कैसे कार्य करता है), और सामग्री विज्ञान (हम नई चीजें कैसे बनाते हैं)। प्रश्न वास्तविक, प्रकाशित वैज्ञानिक शोध पत्रों और वास्तविक प्रयोगशाला प्रयोगों से आते हैं। इसमें कुल 1,116 प्रश्न हैं, और उन्हें कठिन बनाया गया है। कुछ AI को एक ग्राफ से एक विशिष्ट संख्या पढ़ने के लिए कहते हैं, कुछ इसे जैविक आरेख में गलती पकड़ने के लिए कहते हैं, और कुछ के लिए जीव विज्ञान और रसायन विज्ञान के ज्ञान को आपस में मिलाने की आवश्यकता होती है।
परिणाम: एक वास्तविकता की जांच
शोधकर्ताओं ने इस परीक्षा पर 19 अलग-अलग AI मॉडलों का परीक्षण किया। इनमें सबसे बड़े, प्रसिद्ध "सामान्य" AI (जो सब कुछ कर सकते हैं) और कुछ "विज्ञान-विशेषज्ञ" AI (जिन्हें विशेष रूप से विज्ञान की किताबों पर प्रशिक्षित किया गया है) शामिल थे।
यहाँ एक बड़ा आश्चर्य है: उनमें से कोई भी शानदार प्रदर्शन के साथ उत्तीर्ण नहीं हुआ।
वास्तव में, सबसे अच्छा प्रदर्शन करने वाला मॉडल, GPT-5.6-Sol (Max) नामक एक शक्तिशाली मॉडल, केवल 48.7% उत्तर सही दे पाया। यह आधे से भी कम है! अन्य मॉडलों का प्रदर्शन और भी खराब रहा, जिनमें से कुछ का स्कोर 15.9% जितना कम था। यह एक छात्र के फाइनल एग्जाम देने और 'D-माइनस' ग्रेड प्राप्त करने जैसा है।
यहाँ तक कि अधिक दिलचस्प यह है कि "विज्ञान-विशेषज्ञ" मॉडल (जिन्होंने विज्ञान की क्लास में कड़ी मेहनत की थी) वास्तव में सामान्य-उद्देश्य वाले मॉडलों की तुलना में औसतन खराब प्रदर्शन करते हैं। सामान्य मॉडल औसतन 34.9% सही थे, जबकि विज्ञान विशेषज्ञ औसतन केवल 22.2% सही थे। यह सुझाव देता है कि केवल बहुत सारे विज्ञान तथ्यों को याद करना पर्याप्त नहीं है। AI को उन तथ्यों का उपयोग करना आना चाहिए जब वह एक वास्तविक, अव्यवस्थित तस्वीर देख रहा हो।
"टूल" की समस्या: क्या कैलकुलेटर मदद करता है?
शोधकर्ताओं ने सोचा: "क्या होगा यदि हम AI को एक कैलकुलेटर और एक सर्च इंजन दें?" उन्होंने शीर्ष छह मॉडलों को वेब सर्च (तथ्यों को खोजने के लिए) और एक कोड इंटरप्रेटर (गणित करने या छवियों का विश्लेषण करने के लिए) जैसे टूल्स का उपयोग करने दिया।
उन्हें टूल्स देने से मदद मिली, लेकिन बहुत ज्यादा नहीं। सबसे अच्छे मॉडल का स्कोर 48.7% से बढ़कर 52.7% हो गया। हालांकि यह एक छोटा सुधार है, फिर भी यह पास होने वाला ग्रेड नहीं है। टूल्स ने AI को अधिक जानकारी दी, लेकिन AI अभी भी यह समझने में संघर्ष कर रहा था कि कौन सी जानकारी महत्वपूर्ण है और उसे कैसे जोड़ा जाए। कभी-कभी, टूल्स ने AI को भ्रमित भी कर दिया, जिससे वह गलत रास्ता चुनने लगा या अत्यधिक सोचने के चक्र में फंस गया।
असली समस्या: वे क्यों विफल हो रहे हैं?
पेपर गहराई से यह पता लगाने की कोशिश करता है कि AI विफल क्यों हो रहा है। यह पता चला कि समस्या यह नहीं है कि AI के पास पर्याप्त तथ्य नहीं हैं। समस्या यह है कि AI साक्ष्यों पर टिके रहने में बुरा है।
- "अंधा अनुमान" लगाने की आदत: जब शोधकर्ताओं ने तस्वीरें हटा दीं और केवल AI को टेक्स्ट दिया, तो AI ने यह नहीं कहा, "अरे, मैं इस तस्वीर के बिना इसे हल नहीं कर सकता!" इसके बजाय, उसने अपने पिछले पढ़े हुए ज्ञान के आधार पर अनुमान लगाना शुरू कर दिया। उसने रहस्य को सुलझाने के लिए अपनी याददाश्त का उपयोग किया, न कि सबूतों को देखने के लिए। वास्तव में, AI ने केवल 4.6% मामलों में ही यह स्वीकार किया कि उसके पास जानकारी की कमी है।
- तस्वीर को अनदेखा करना: यदि तस्वीर में कुछ अजीब दिखाया गया जो AI की अपेक्षा से मेल नहीं खाता था, तो AI अक्सर तस्वीर को अनदेखा कर देता था और अपने "अंतर्ज्ञान" (जो उसने ट्रेनिंग डेटा से सीखा था) के साथ जाता था। यह एक ऐसे जासूस की तरह है जो उंगली के निशान को इसलिए अनदेखा कर देता है क्योंकि वह संदिग्ध की कहानी से मेल नहीं खाता।
- अति-आत्मविश्वास: AI अक्सर खाली जगहों को भरने की कोशिश करता था। यदि कोई प्रयोग अधूरा था, तो AI ने ऐसे निष्कर्ष निकाल लिए जैसे उसके पास सारा डेटा हो। वास्तविक वैज्ञानिक जानते हैं कि कभी-कभी आपके पास दावा करने के लिए पर्याप्त सबूत नहीं होते, लेकिन AI उत्तर देने के लिए बहुत उत्सुक रहता है।
गायब कदम
पेपर निष्कर्ष निकालता है कि हम AI को उपयोगी बनाने में एक महत्वपूर्ण कदम चूक रहे हैं। हम AI को एक लाइब्रेरी (तथ्यों को संग्रहीत करना) या एक कैलकुलेटर (गणित करना) बनाने की कोशिश कर रहे रहे हैं। लेकिन वास्तविक विज्ञान के लिए AI को एक जासूस होने की आवश्यकता है जो अव्यवस्थित साक्ष्यों को देख सके, यह स्वीकार कर सके कि उसे उत्तर नहीं पता है, और केवल उन निष्कर्षों पर आधारित हो जो स्पष्ट रूप से देखे जा सकने वाले साक्ष्यों द्वारा समर्थित हैं।
लेखकों का सुझाव है कि AI को वास्तविक वैज्ञानिक खोज के लिए वास्तव में उपयोगी बनाने के लिए, उसे साक्ष्यों को बेहतर ढंग से प्रबंधित करना सीखना होगा। उसे यह सीखना होगा कि कब अनुमान लगाना बंद करना है और कब अधिक डेटा मांगना है। जब तक AI यह नहीं कर पाता, तब तक वह रिपोर्ट लिखने के लिए एक बेहतरीन सहायक तो हो सकता है, लेकिन वह खुद प्रयोगशाला चलाने के लिए तैयार नहीं है। "तथ्यों को जानने" और "साक्ष्य से तर्क करने" के बीच का अंतर वास्तविक वैज्ञानिक खोज की ओर जाने वाला वह गायब कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।