FrontierScience: Evaluating AI's Ability to Perform Expert-Level Scientific Tasks
यह शोधपत्र FrontierScience को प्रस्तुत करता है, जो एक नया बेंचमार्क है जिसे दो ट्रैकों के माध्यम से अत्याधुनिक भाषा मॉडलों (फ्रंटियर लैंग्वेज मॉडल्स) के विशेषज्ञ-स्तरीय वैज्ञानिक तर्क का मूल्यांकन करने के लिए डिज़ाइन किया गया है—ओलंपियाड की समस्याएं जो पदक विजेताओं और कोचों द्वारा बनाई गई हैं, और ओपन-एंडेड पीएचडी-स्तर के अनुसंधान कार्य जिन्हें वैज्ञानिकों द्वारा सत्यापित किया गया है—जो केवल अंतिम उत्तरों के बजाय समस्या-समाधान की प्रक्रिया का आकलन करने के लिए एक सूक्ष्म रूब्रिक-आधारित ढांचे का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह परीक्षण करना चाहते हैं कि एक नया छात्र कितना बुद्धिमान है। वर्षों से, आप उन्हें पुराने पाठ्यपुस्तकों पर आधारित बहुविकल्पीय क्विज़ दे रहे हैं। वे इन क्विज़ को याद करने में इतने माहिर हो गए हैं कि अब वे इनमें पूरे अंक प्राप्त करते हैं, लेकिन आप अभी भी यह नहीं जानते कि क्या वे वास्तव में विज्ञान कर सकते हैं या केवल उत्तर याद रख सकते हैं।
यह पेपर एक नया, बहुत कठिन परीक्षण पेश करता है जिसे FrontierScience कहा जाता है। इसे ऐसे समझें जैसे आप छात्र को एक मानक कक्षा परीक्षा से हटाकर एक उच्च-दांव वाली, वास्तविक दुनिया की चुनौती की ओर ले जा रहे हैं।
यहाँ यह पेपर इसे सरल उपमाओं का उपयोग करके समझाता है:
1. दो ट्रैक: "द स्प्रिंट" और "द एक्सपीडिशन"
परीक्षण को दो अलग-अलग प्रकार की चुनौतियों में विभाजित किया गया है, जिन्हें विभिन्न कौशलों को मापने के लिए डिज़ाइन किया गया है:
ट्रैक 1: द ओलंपियाड (द स्प्रिंट)
- यह क्या है: ये अंतरराष्ट्रीय विज्ञान प्रतियोगिताओं (जैसे भौतिकी या रसायन विज्ञान ओलंपियाड) के सबसे कठिन प्रश्नों की तरह हैं।
- लक्ष्य: यह देखना है कि क्या AI एक एकल, सही उत्तर वाले जटिल, स्व-निहित पहेली को हल कर सकता है।
- किसने बनाया: इन वास्तविक प्रतियोगिताओं के वास्तविक स्वर्ण पदक विजेताओं और कोचों ने ये प्रश्न लिखे हैं। इन्हें चतुर और मौलिक बनाया गया है ताकि AI केवल किताब से उत्तर न देख सके।
- परिणाम: AI (विशेष रूप से एक मॉडल जिसे GPT-5.2 कहा जाता है) इसमें बहुत अच्छा रहा, इसने लगभग 77% उत्तर सही प्राप्त किए। यह स्प्रिंट में महारत हासिल करने वाले छात्र की तरह है।
ट्रैक 2: द रिसर्च (द एक्सपीडिशन)
- यह क्या है: ये खुले प्रश्न हैं जिनका सामना एक वास्तविक पीएचडी वैज्ञानिक वास्तविक खोज की कोशिश करते समय कर सकता है। वहाँ केवल एक "सही" उत्तर नहीं होता; वहां तक पहुँचने के लिए एक प्रक्रिया होती है।
- लक्ष्य: यह देखना है कि क्या AI वास्तविक शोध की अव्यवस्थित, खुले स्वरूप को संभाल सकता है।
- किसने बनाया: वास्तविक पीएचडी वैज्ञानिकों (प्रोफेसरों और शोधकर्ताओं) ने इन्हें लिखा है। ये उनके क्षेत्रों के वास्तविक, अनसुलझे उप-समस्याओं पर आधारित हैं।
- ग्रेडिंग: केवल एक संख्या की जाँच करने के बजाय, यह परीक्षण एक 10-पॉइंट रूब्रिक (एक विस्तृत चेकलिस्ट) का उपयोग करता है। AI को अंक मिलते हैं यदि वह तर्क को सही रखता है, सही सूत्रों का उपयोग करता है, और अच्छे मध्यवर्ती चरण बनाता है, भले ही अंतिम निष्कर्ष पूर्ण न हो।
- परिणाम: AI यहाँ संघर्ष करता रहा, केवल 25% स्कोर किया। यह उस छात्र की तरह है जो स्प्रिंट तो पूरी तरह से दौड़ लेता है लेकिन कई दिनों की लंबी पदयात्रा के बीच में रास्ता भटक जाता है।
2. उन्होंने टेस्ट कैसे बनाया ( "एंटी-चीटिंग" नियम)
लेखक इस बात को लेकर बहुत सावधान थे कि AI पुराने डेटा को याद करके नकल न कर सके।
- मौलिकता: प्रत्येक प्रश्न शून्य से लिखा गया था। यदि कोई प्रश्न ऐसा दिखता था जो AI द्वारा पहले देखे गए किसी भी चीज़ से बहुत मिलता-जुलता था, तो उसे बाहर कर दिया गया।
- "ह्यूमन फ़िल्टर": टेस्ट में कोई भी प्रश्न जोड़ने से पहले, उन्होंने इसे AI के साथ हल करने की कोशिश की। यदि AI ने इसे तुरंत सही हल कर लिया, तो प्रश्न को "बहुत आसान" या "दूषित" माना गया और उसे हटा दिया गया या फिर से लिखा गया। वे चाहते थे कि प्रश्न इतने कठिन हों कि वे वर्तमान सर्वश्रेष्ठ मॉडलों को भी उलझा सकें।
- समीक्षा प्रक्रिया: एक जजों के पैनल की कल्पना करें। "रिसर्च" ट्रैक के लिए, प्रत्येक प्रश्न की कम से कम दो अन्य वैज्ञानिकों द्वारा समीक्षा की गई थी ताकि यह सुनिश्चित हो सके कि यह निष्पक्ष, हल करने योग्य और वास्तव में वास्तविक अनुसंधान कार्य का प्रतिनिधित्व करता है।
3. मुख्य निष्कर्ष
यह पेपर दिखाता है कि AI ज्ञात पहेलियों को हलने (ओलंपियाड ट्रैक) में अविश्वसनीय रूप से अच्छा हो गया है। यह उन जटिल गणित और विज्ञान की समस्याओं को हल कर सकता है जो कभी कंप्यूटरों के लिए असंभव थीं।
हालाँकि, यह पेपर यह भी दिखाता है कि AI अभी भी एक वास्तविक अनुसंधान भागीदार बनने से बहुत दूर है। जब कार्य के लिए खुले निर्णय, रचनात्मकता और वास्तविक दुनिया की खोज की अनिश्चितता को नेविगेट करने की आवश्यकता होती है (रिसर्च ट्रैक), तो AI अभी भी अपने शुरुआती चरणों में है। वह एक नक्शा तो पढ़ सकता है, लेकिन अभी नया नक्शा बना नहीं सकता।
4. यह टेस्ट क्या नहीं करता
पेपर अपनी सीमाओं के बारे में ईमानदार है:
- कोई लैब वर्क नहीं: यह पूरी तरह से टेक्स्ट आधारित है। यह AI को वास्तविक लैब में रसायन मिलाने या माइक्रोस्कोप देखने के लिए नहीं कहता है। यह एक "केवल मस्तिष्क वाला" परीक्षण है।
- कोई मानव बेसलाइन नहीं: उन्होंने यह परीक्षण नहीं किया कि एक मानव विशेषज्ञ इन विशिष्ट प्रश्नों पर कितने अंक प्राप्त करेगा, इसलिए हमारे पास अभी तक एक पूर्ण "मानव बनाम AI" तुलना नहीं है।
- कोई विचार सृजन नहीं: यह टेस्ट विशिष्ट समस्याओं को हल करने पर केंद्रित है, न कि बिल्कुल नए वैज्ञानिक सिद्धांतों या परिकल्पनाओं को शून्य से बनाने पर।
संक्षेप में: FrontierScience एक नया, कठिन परीक्षण है जो यह सिद्ध करता है कि AI पाठ्यपुस्तक की पहेलियों को हल करने में एक शानदार छात्र है, लेकिन वास्तविक वैज्ञानिक खोज के अव्यवस्थित और रचनात्मक कार्य के मामले में वह अभी भी एक नौसिखिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।