ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows
यह शोध पत्र ScienceBoard पेश करता है, जो एक यथार्थवादी बहु-डोमेन वातावरण और 169 कठोरता से सत्यापित वैज्ञानिक कार्यों का एक बेंचमार्क है जिसे मल्टीमॉडल स्वायत्त एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि वर्तमान अत्याधुनिक मॉडल जटिल वैज्ञानिक वर्कफ़्लो में केवल 15% सफलता दर प्राप्त करते हैं और स्वचालित वैज्ञानिक खोज का समर्थन करने के लिए बेहतर डिज़ाइन सिद्धांतों की आवश्यकता पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बेहद बुद्धिमान, सुपर-स्मार्ट रोबोट सहायक है। आप उसे कहते हैं, "लाइब्रेरी जाओ, ब्लैक होल के बारे में एक किताब ढूँढो, उसे पेज 42 पर खोलो, और मुझे उसका डायग्राम पढ़कर सुनाओ।"
कंप्यूटर की दुनिया में, हमने इन रोबोटों को लंबे समय से सरल काम करना सिखाया है। लेकिन अब, वैज्ञानिक यह देखना चाहते हैं कि क्या ये रोबोट वास्तविक, जटिल और उलझे हुए वैज्ञानिक कार्यों को संभाल सकते हैं। क्या वे एक वास्तविक शोधकर्ता (researcher) की तरह काम कर सकते हैं, विशेष सॉफ्टवेयर का उपयोग कर सकते हैं, मेनू के माध्यम से क्लिक कर सकते हैं, कमांड टाइप कर सकते हैं, और वास्तव में विज्ञान कर सकते हैं?
यह पेपर, SCIENCEBOARD, इसी सवाल का जवाब है। यह एक विशाल, हाई-टेक ट्रेनिंग जिम की तरह है जिसे विशेष रूप से इन "AI सह-वैज्ञानिकों" (AI Co-Scientists) को टेस्ट करने के लिए बनाया गया है।
यहाँ इसका सरल विवरण दिया गया है:
1. द जिम: SCIENCEBOARD
SCIENCEBOARD को एक वर्चुअल प्रयोगशाला के रूप में सोचें। इस लैब के अंदर, छह अलग-अलग "वर्कस्टेशन" हैं, जिनमें से प्रत्येक विज्ञान के एक अलग क्षेत्र का प्रतिनिधित्व करता है:
- बायोकेमिस्ट्री (Biochemistry): प्रोटीन को देखने के लिए एक डिजिटल माइक्रोस्कोप की तरह (ChimeraX नामक सॉफ्टवेयर का उपयोग करके)।
- खगोल विज्ञान (Astronomy): एक 3D प्लैनेटेरियम जहाँ आप सितारों और ग्रहों को ज़ूम इन कर सकते हैं (Celestia का उपयोग करके)।
- भूगोल (Geography): स्थलाकृति (terrain) और जल प्रवाह का विश्लेषण करने के लिए एक मैप मेकर (GrassGIS का उपयोग करके)।
- गणित और तर्क (Math & Logic): जटिल समीकरणों को हल करने या गणितीय प्रमेयों को सिद्ध करने के लिए उपकरण।
- लेखन (Writing): वैज्ञानिक शोध पत्र लिखने के लिए एक प्रणाली।
ट्विस्ट यह है कि AI एजेंट केवल उत्तर के बारे में "सोच" नहीं सकते। उन्हें कंप्यूटर के साथ भौतिक रूप से इंटरैक्ट करना होगा, ठीक वैसे ही जैसे एक इंसान करता है। उन्हें माउस हिलाना होगा, बटन क्लिक करने होंगे, टर्मिनल में टाइप करना होगा, और सॉफ्टवेयर के लोड होने का इंतज़ार करना होगा।
2. द टेस्ट: 169 वास्तविक दुनिया की चुनौतियाँ
शोधकर्ताओं ने रोबोटों को हल करने के लिए 169 विशिष्ट कार्य बनाए। ये पहेलियाँ नहीं हैं; ये वास्तविक काम हैं जो एक वैज्ञानिक कर सकता है।
- उदाहरण: "इस विशिष्ट प्रोटीन संरचना को खोजें, यह देखने के लिए एक सिमुलेशन चलाएं कि यह कैसे फोल्ड होता है, और मुझे परिणाम बताएं।"
- उदाहरण: "हमारे सौर मंडल के सिमुलेशन में सूर्य से ज़ूम आउट करें और मंगल की कक्षा (orbit) दिखाएं।"
ये कार्य "आसान" (एक बटन क्लिक करना) से लेकर "कठिन" (एक बहु-चरणीय प्रक्रिया जिसमें तर्क, गणित और जटिल मेनू नेविगेशन की आवश्यकता होती है) तक विस्तृत हैं।
3. द प्लेयर्स: AI एजेंट
शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI मॉडल्स (जैसे GPT-5, Gemini और विभिन्न ओपन-सोर्स मॉडल्स) को इस जिम में डाला ताकि वे उनके प्रदर्शन को देख सकें। उन्होंने उन्हें अलग-अलग तरीकों से परखा:
- "केवल आँखें" वाला दृष्टिकोण (The "Eyes Only" approach): AI केवल स्क्रीन के स्क्रीनशॉट देखता है।
- "केवल टेक्स्ट" वाला दृष्टिकोण (The "Text Only" approach): AI स्क्रीन पर मौजूद चीज़ों की एक सूची पढ़ता है (जैसे कोई दृष्टिहीन व्यक्ति मेनू पढ़ रहा हो)।
- "हाइब्रिड" दृष्टिकोण (The "Hybrid" approach): AI चित्र भी देखता है और मेनू टेक्स्ट भी पढ़ता है।
4. द रिजल्ट्स: एक वास्तविकता की जाँच (A Reality Check)
यहाँ बड़ी खबर है: रोबोट अभी भी बहुत अनाड़ी हैं।
यहाँ तक कि सबसे स्मार्ट, सबसे महंगे AI मॉडल भी औसतन केवल 20% बार ही सफल होते हैं।
- अच्छी खबर: वे गणित और बायोकेमिस्ट्री में बेहतर हो रहे हैं।
- बुरी खबर: वे भूगोल और खगोल विज्ञान में बुरी तरह संघर्ष करते हैं। क्यों? क्योंकि ये क्षेत्र काफी हद तक विजुअल्स (नक्शे, स्टार चार्ट) पर निर्भर करते हैं। AI स्क्रीन पर बिखराव (clutter) से भ्रमित हो जाता है। वह एक तारे और धूल के कण के बीच, या एक पर्वत श्रृंखला और एक नदी के बीच अंतर नहीं कर पाता है।
उपमा (Analogy): कल्पना कीजिए कि एक प्रतिभाशाली गणितज्ञ को व्यस्त शहर में कार चलाने के लिए कहा जा रहा है। वे सड़क के नियम (तर्क) जानते हैं, लेकिन वे ट्रैफिक लाइट या पैदल यात्रियों को नहीं देख पाते (विजुअल ग्राउंडिंग)। वे इसलिए दुर्घटनाग्रस्त होते रहते हैं क्योंकि वे अपने स्मार्ट विचारों को सुरक्षित, भौतिक क्रियाओं में अनुवाद नहीं कर पाते।
5. यह क्यों मायने रखता है?
पेपर यह निष्कर्ष निकालता है कि हालांकि AI बातचीत करने और पहेलियाँ सुलझाने में अद्भुत है, लेकिन यह अभी तक एक वैज्ञानिक सह-पायलट (Scientific Co-Pilot) बनने के लिए तैयार नहीं है।
इसे ठीक करने के लिए, शोधकर्ता सुझाव देते हैं कि हमें "सोलो AI" के बजाय "टीम AI" बनाने की आवश्यकता है।
- द प्लानर (The Planner): एक AI जो तर्क और चरणों की योजना बनाने में अच्छा है।
- द डूअर (The Doer): एक दूसरा AI जो स्क्रीन देखने और सही बटन क्लिक करने में विशेषज्ञ है।
बॉटम लाइन (निष्कर्ष)
SCIENCEBOARD एक वेक-अप कॉल है। यह हमें दिखाता है कि AI को माउस और कीबोर्ड देना ही काफी नहीं है। विज्ञान को वास्तव में स्वचालित करने के लिए, हमें इन रोबोटों को यह सिखाना होगा कि कंप्यूटर स्क्रीन के माध्यम से दुनिया को कैसे देखें और वास्तविक वैज्ञानिक सॉफ्टवेयर की अव्यवस्थित, अप्रत्याशित प्रकृति को कैसे संभालें।
हम वर्तमान में "ट्रेनिंग कैंप" चरण में हैं। रोबोट सीख रहे हैं, लेकिन वे भविष्य के नोबेल पुरस्कार विजेता वैज्ञानिकों से बहुत दूर हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।