COMPOSITE-Stem
यह शोधपत्र COMPOSITE-STEM को प्रस्तुत करता है, जो भौतिकी, जीव विज्ञान, रसायन विज्ञान और गणित के 70 ओपन-सोर्स कार्यों का एक नया विशेषज्ञ-क्यूरेटेड बेंचमार्क है, जो लचीले रूब्रिक-आधारित ग्रेडिंग का उपयोग करके यह प्रकट करता है कि वर्तमान सीमावर्ती (फ्रंटियर) एआई एजेंट अभी भी जटिल वैज्ञानिक तर्क में संघर्ष कर रहे हैं, जिसने केवल 21% का शीर्ष स्कोर प्राप्त किया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि दुनिया के सबसे बुद्धिमान वैज्ञानिकों (PhDs, प्रोफेसरों और शोधकर्ताओं) का एक समूह मिलकर आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक विशाल, उच्च-दांव वाला बाधा दौड़ (obstacle course) बनाने के लिए इकट्ठा हुआ है।
यह पेपर उस बाधा दौड़ का परिचय देता है, जिसे COMPOSITE-STEM कहा जाता है। इसका लक्ष्य सरल लेकिन कठिन है: यह देखना कि क्या AI एजेंट (ऐसे रोबोट जो सोच और कार्य कर सकते हैं) वास्तव में वास्तविक वैज्ञानिक कार्य कर सकते हैं, या वे केवल बहुविकल्पीय प्रश्नों (multiple-choice tests) पर उत्तरों का अनुमान लगाने में अच्छे हैं।
यहाँ बताया गया है कि उन्होंने क्या किया, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: "पाठ्यपुस्तक" का जाल (The "Textbook" Trap)
लंबे समय से, हमने AI का परीक्षण वैसे ही किया जैसे हम स्कूल में छात्रों का परीक्षण करते हैं: बहुविकल्पीय प्रश्न (Multiple Choice Questions)।
- समस्या: AI इन प्रश्नों के उत्तर याद करने में बहुत कुशल हो गया। यह एक ऐसे छात्र की तरह था जिसने उत्तर कुंजी (answer key) तो रट ली थी, लेकिन वह वास्तव में गणित नहीं कर सकता था या प्रयोग नहीं कर सकता था।
- परिणाम: परीक्षण "संतृप्त" (saturated) हो गए। AI ने इसमें शानदार सफलता प्राप्त की, लेकिन हमें यह नहीं पता चल सका कि क्या वह वास्तव में प्रयोगशाला में एक वैज्ञानिक की मदद कर सकता है।
2. समाधान: "वास्तविक दुनिया" की बाधा दौड़ (The "Real-World" Obstacle Course)
टीम ने COMPOSITE-STEM बनाया, जो एक लिखित परीक्षा के बजाय एक सर्वाइवल चैलेंज (survival challenge) की तरह है।
- सेटअप: उन्होंने भौतिकी (Physics), जीव विज्ञान (Biology), रसायन विज्ञान (Chemistry) और गणित (Math) में 70 कठिन कार्य बनाए।
- ट्विस्ट: AI से केवल "मुझे उत्तर बताओ" नहीं पूछा जाता है। उसे एक डिजिटल लैब में जाना होता है, कंप्यूटर टर्मिनल खोलना होता है, सॉफ्टवेयर इंस्टॉल करना होता है, छवियों (जैसे एक्स-रे या सूक्ष्मदर्शी फोटो) को देखना होता है, कोड चलाना होता है, और खुद अपना समाधान बनाना होता है।
- उपमा: AI से यह पूछने के बजाय कि, "पानी का रासायनिक सूत्र क्या है?" (जिसे वह अनुमान लगा सकता है), हम कहते हैं, "यहाँ एक बिखरी हुई लैब बेंच और एक खराब मशीन है। इसे ठीक करें, इस नमूने का विश्लेषण करें, और मुझे बताएं कि आपने क्या पाया।"
3. निर्णायक: "विशेषज्ञों का पैनल" (The "Judges: A Panel of Experts")
आप एक रोबोट के अव्यवस्थित, खुले अंत वाले काम को कैसे ग्रेड करेंगे? आप केवल एक सही संख्या की तलाश नहीं कर सकते।
- पुराना तरीका: सटीक मिलान (Exact Match)। यदि रोबोट कहता है "350" और उत्तर "350" है, तो उसे एक अंक मिलता है। यदि वह "350.1" कहता है, तो उसे शून्य मिलता है। यह बहुत सख्त है। वास्तविक विज्ञान के लिए यह उपयुक्त नहीं है।
- नया तरीका (LLM-as-a-Jury): उन्होंने पाँच अन्य अत्यंत बुद्धिमान AI का उपयोग किया जो जजों के रूप में कार्य करते हैं।
- इसे एक विज्ञान मेले (science fair) की तरह समझें। आप केवल अंतिम संख्या की जाँच नहीं करते; आप प्रक्रिया को देखते हैं। क्या रोबट ने सही उपकरणों का उपयोग किया? क्या उसने छवि को समझा? क्या उसने अपने तर्क को समझाया?
- जज एक "रूब्रिक" (चेकलिस्ट) का उपयोग करके आंशिक क्रेडिट (partial credit) देते हैं। यदि रोबोट 10 में से 7 चरण सही करता है, तो वह पास हो जाता है, भले ही अंतिम संख्या थोड़ी अलग हो।
4. परिणाम: "वास्तविकता की जाँच" (The Results: A "Reality Check")
उन्होंने चार सबसे प्रसिद्ध AI मॉडलों (जैसे Claude, GPT, और Gemini) का इस बाधा दौड़ पर परीक्षण किया।
- स्कोर: सर्वश्रेष्ठ AI ने केवल 21% कार्यों को सफलतापूर्वक पूरा किया।
- उपमा: कल्पना कीजिए कि अंधे आंखों से कार का इंजन ठीक करने की कोशिश कर रहे दिग्गजों के एक समूह की। यहाँ तक कि सबसे स्मार्ट व्यक्ति भी केवल 5 में से 1 बार इंजन को सही ढंग से ठीक कर पाया।
- वे क्यों विफल हुए?
- जल्दी हार मान लेना: कुछ AI ने बिना काम किए तुरंत उत्तर का अनुमान लगाने की कोशिश की।
- टूल का भ्रम (Tool Confusion): कुछ AI को सही सॉफ्टवेयर इंस्टॉल करना नहीं पता था (जैसे एक मैकेनिक जो कार ठीक करने के लिए रिंच के बजाय हथौड़े का उपयोग करने की कोशिश कर रहा हो)।
- "मजबूत" बनाम "कमजोर" का अंतर: शीर्ष प्रदर्शन करने वाला AI (Claude) दृढ़ता (persisting) करने में बहुत बेहतर था। इसने अलग-अलग टूल्स आज़माने और अपने काम की जाँच करने की कोशिश जारी रखी, जबकि अन्य हार मान गए या लूप (loops) में फंस गए।
5. यह क्यों महत्वपूर्ण है?
यह पेपर एक चेतावनी है।
- अच्छी खबर: हमारे पास अंततः एक तरीका है जिससे हम बता सकते हैं कि कोई AI वास्तव में "बुद्धिमान" है या केवल "याद करने में अच्छा" है।
- बुरी खबर: वर्तमान AI अभी वैज्ञानिकों को बदलने के लिए तैयार नहीं है। यह एक बहुत ही होनहार इंटर्न की तरह है जिसे निरंतर पर्यवेक्षण की आवश्यकता होती है।
- भविष्य: इन कार्यों को सार्वजनिक करके, टीम को उम्मीद है कि अन्य शोधकर्ता बेहतर AI को प्रशिक्षित करने के लिए इनका उपयोग करेंगे। वे एक ऐसा भविष्य बनाना चाहते हैं जहाँ AI वास्तव में मनुष्यों को नई दवाओं की खोज करने, जलवायु परिवर्तन को हल करने और ब्रह्मांड के रहस्यों को खोलने में मदद कर सके।
संक्षेप में: COMPOSITE-STEM वह "फाइनल एग्जाम" है जो साबित करता है कि AI को वास्तविक वैज्ञानिक खोजों के लिए भरोसेमंद बनने से पहले अभी भी बहुत सारा होमवर्क करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।