CORE-Bench: Fostering the Credibility of Published Research Through a Computational Reproducibility Agent Benchmark
यह शोध पत्र CORE-Bench प्रस्तुत करता है, जो तीन वैज्ञानिक विषयों में फैले 270 कार्यों वाला एक व्यापक बेंचमार्क है, जिसे एआई एजेंटों की अनुसंधान परिणामों को कम्प्यूटेशनल रूप से पुनरुत्पादित करने की क्षमता का मूल्यांकन करने और सुधारने के लिए डिज़ाइन किया गया है, जो वैज्ञानिक वर्कफ़्लो को स्वचालित करने में वर्तमान महत्वपूर्ण सीमाओं को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जिसने अभी-अभी एक बेहतरीन सूफ़्ले (soufflé) की प्रसिद्ध रेसिपी प्रकाशित की है। आप दुनिया को बताते हैं, "यह रही रेसिपी, ये रहे इसके सामग्रियां, और यह रही इसके फूले हुए परिणाम की एक फोटो।" लेकिन जब आपके दोस्त इसे बनाने की कोशिश करते हैं, तो सूफ़्ले पिचक जाता है, जल जाता है, या उसका स्वाद कार्डबोर्ड जैसा हो जाता है। क्यों? शायद उन्होंने गलत ओवन का इस्तेमाल किया, गलत ब्रांड के अंडों का उपयोग किया, या आपकी निर्देश अस्पष्ट होने के कारण कोई कदम छोड़ दिया।
विज्ञान की दुनिया में, इसे पुनरुत्पादकता संकट (reproducibility crisis) कहा जाता है। वैज्ञानिक पेपर, कोड और डेटा प्रकाशित करते हैं, लेकिन अक्सर अन्य शोधकर्ता जब उस कोड को चलाने की कोशिश करते हैं, तो उन्हें वही परिणाम नहीं मिलते।
यह पेपर एक नया "टेस्ट किचन" पेश करता है जिसे CORE-Bench कहा जाता है, यह देखने के लिए कि क्या AI रोबोट्स (जिन्हें "एजेंट्स" कहा जाता है) को इस समस्या को ठीक करने के लिए काम पर रखा जा सकता है।
समस्या: विज्ञान का "ब्लैक बॉक्स"
विज्ञान भरोसे पर टिका है। यदि कोई अध्ययन कहता है कि एक नई दवा काम करती है, तो हमें उसे सत्यापित करने के लिए उसी गणित और कोड को चलाने की आवश्यकता होती है। लेकिन अक्सर, कोड अव्यवस्थित होता है, सॉफ़्टवेयर पुराना हो चुका होता है, या निर्देश गायब होते हैं। यह बिना निर्देशों के IKEA फर्नीचर जोड़ने की कोशिश करने जैसा है, ऐसे औजारों का उपयोग करके जो आपके पास नहीं हैं, और एक ऐसे कमरे में जहाँ रोशनी भी सही नहीं है।
समाधान: एक नया "रोबोट शेफ" टेस्ट
लेखकों ने CORE-Bench बनाया है, जो AI एजेंटों के लिए एक विशाल बाधा दौड़ (obstacle course) है।
- सेटअप: उन्होंने कंप्यूटर विज्ञान, चिकित्सा और सामाजिक विज्ञान से 90 वास्तविक वैज्ञानिक पेपर लिए।
- कार्य: उन्होंने AI एजेंटों से एक रिसर्च असिस्टेंट की तरह काम करने को कहा। एजेंट का काम है:
- कोड और डेटा डाउनलोड करना।
- सभी आवश्यक सॉफ़्टवेयर इंस्टॉल करना (जैसे किसी नए फोन के लिए सही ऐप्स डाउनलोड करना)।
- कोड चलाना।
- परिणामों (चार्ट, नंबर, टेक्स्ट) को देखना और उन पर विशिष्ट प्रश्नों के उत्तर देना।
- एक रिपोर्ट जमा करना कि, "मुझे मूल पेपर के समान ही परिणाम मिले।"
कठिनाई के स्तर
एक वीडियो गेम की तरह, इस टेस्ट में तीन स्तर हैं:
- ईज़ी मोड (आसान मोड): AI को परिणाम की तैयार "फोटो" दी जाती है। इसे बस तस्वीर देखनी है और सवालों के जवाब देने हैं। (जैसे मेनू पढ़ने के लिए कहा जाना)।
- मीडियम मोड (मध्यम मोड): AI को एक "डॉकर" (Docker) कंटेनर (औजारों का एक पूर्व-पैकेज किया गया बॉक्स) दिया जाता है और इसे चलाने के लिए कहा जाता है। इसे पता होना चाहिए कि बॉक्स को कैसे खोलना है और "स्टार्ट" बटन कैसे दबाना है।
- हार्ड मोड (कठिन मोड): AI को केवल "रेसिपी" (README फ़ाइल) मिलती है। इसे खुद पता लगाना होगा कि कौन से औजार खरीदने हैं, उन्हें इंस्टॉल करना है, त्रुटियों को ठीक करना है, और शुरुआत से कोड चलाना है। यह असली दुनिया का परीक्षण है।
परिणाम: रोबोट अभी भी सीख रहे हैं
शोधकर्ताओं ने दो प्रकार के AI "शेफ" का परीक्षण किया:
- AutoGPT: एक सामान्य-उद्देश्य वाला रोबोट जो कुछ भी करने की कोशिश करता है।
- CORE-Agent: एक विशेष रूप से प्रशिक्षित और कोचिंग दिया गया रोबोट जो इस विशिष्ट कार्य को करने के लिए बनाया गया है।
स्कोरकार्ड:
- ईज़ी मोड पर: विशेष रोबोट (CORE-Agent) ने काफी अच्छा प्रदर्शन किया, लगभग 60% कार्यों को सही ढंग से पूरा किया।
- हार्ड मोड पर: स्कोर काफी गिर गया। सबसे अच्छा रोबोट भी सबसे कठिन कार्यों में से केवल 21% ही सही कर पाया।
क्या गलत हुआ?
- भटक जाना: जब फोल्डर में कई फाइलें थीं, तो रोबोट अक्सर गलत चार्ट या फाइल को देखने लगते थे।
- इंस्टॉलेशन का जाल: हार्ड लेवल पर, रोबोट सॉफ़्टवेयर इंस्टॉल करने की कोशिश में फंस गए। वे बार-बार एक ही चीज़ इंस्टॉल करने की कोशिश करते रहे, अपना बजट (API लागत) खत्म कर दिया, और हार मान ली।
- विज़न (दृष्टि) की समस्या: रोबोट के लिए सादे टेक्स्ट को पढ़ने की तुलना में ग्राफ और चित्रों को "पढ़ना" बहुत कठिन था।
- भाषा की समस्या: रोबोटों को पायथन (Python) की तुलना में R भाषा में लिखे गए कोड के साथ अधिक संघर्ष करना पड़ा।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI कोडिंग में बेहतर हो रहा है, लेकिन यह अभी भी अपने आप जटिल वैज्ञानिक अनुसंधान को विश्वसनीय रूप से दोहराने में सक्षम होने से बहुत दूर है।
हालाँकि, एक अच्छी खबर है: विशेष प्रशिक्षण मदद करता है। जब शोधकर्ताओं ने सामान्य रोबोट को कुछ विशिष्ट संकेत और नियम दिए (जैसे "हमेशा आउटपुट फोल्डर पहले चेक करें" या "अनुमान न लगाएं, फाइल देखें"), तो इसके प्रदर्शन में काफी उछाल आया।
निचोड़:
हम सिर्फ एक रोबोट को वैज्ञानिक पेपर थमाकर आज यह उम्मीद नहीं कर सकते कि वह विज्ञान को सत्यापित करेगा। लेकिन अगर हम रोबोट को थोड़ी कोचिंग और सही औजार दें, तो वह मदद करना शुरू कर सकता है। लक्ष्य वैज्ञानिकों को बदलना नहीं है, बल्कि एक "रोबोट सहायक" बनाना है जो यह जांचने का उबाऊ और दोहराव वाला काम कर सके कि क्या गणित वास्तव में सही है, जिससे इंसान वास्तविक खोज करने के लिए स्वतंत्र हो सकें।
लेखकों को उम्मीद है कि इस टेस्ट (CORE-Bench) को जारी करके, अन्य डेवलपर्स बेहतर रोबोट बनाएंगे जो विज्ञान को अधिक विश्वसनीय बनाने में मदद कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।